Известная платформа A/B-тестов Optimizely выпустила когда-то отчёт с анализом 127 000 экспериментов за последние 5 лет. И вот что они обнаружили:
1. 88% экспериментов проваливаются
Вообщем лишь 1 из 10 ваших самых гениальных и продуманных идей в итоге действительно растит метрики.
Примерно такая же +- статистика наблюдается и в Big Tech компаниях.
💡 Вывод: важно не бояться неудач, а быстро тестировать гипотезы и извлекать уроки.
2. Половина компаний делает менее 36 тестов в год
Это всего 3 эксперимента в месяц – крайне мало.
По моему опыту, в ВК прям ощутимый эффект от A/B-платформы начинался только при 8–12 экспериментах в месяц.
3. Выручка как метрика: часто бесполезна
Примерно 30% экспериментов используют выручку как основную метрику.
Но красятся они меньше 1% случаев!
💡 Вывод: используйте чувствительные и релевантные метрики. Не берите просто самую верхнеуровневую (например, выручку), а раскладывайте её через деревья метрик и декомпозицию.
4. Тестирование нескольких вариантов даёт +50% к успеху
Оптимальные стратегии тестирования:
✔️ Multivariate тесты (MVT) успешнее классических A/B в 1.5 раза
✔️ Крупные UX-изменения повышают успех на 25%
✔️ Персонализированные тесты дают на 41% больший эффект
💡 Вывод: хотя у тестов с несколькими вариантами есть нюансы, экспериментируйте шире, а не только в формате A/B.
5. Топ-5% экспериментов приносят 50% импакта
Большая часть ценности приходит от малого числа успешных тестов.
💡 Вывод: важно не только генерировать гипотезы, но и приоритизировать их, чтобы находить самые перспективные.
Дополнительно
📌 Топовые компании делают 200+ экспериментов в год (~16+ тестов в месяц).
📌 Медианное количество – 3 эксперимента в месяц.
📌 500+ тестов в год делают лишь 3% компаний.
А вообще часто недооценивается ценность «неуспешных» тестов
Даже если тест «не дал роста», он убрал гипотезу с дороги, сэкономил ресурсы и помог скорректировать стратегию.
Сколько экспериментов вы проводите в месяц?)
1. 88% экспериментов проваливаются
Вообщем лишь 1 из 10 ваших самых гениальных и продуманных идей в итоге действительно растит метрики.
Примерно такая же +- статистика наблюдается и в Big Tech компаниях.
💡 Вывод: важно не бояться неудач, а быстро тестировать гипотезы и извлекать уроки.
2. Половина компаний делает менее 36 тестов в год
Это всего 3 эксперимента в месяц – крайне мало.
По моему опыту, в ВК прям ощутимый эффект от A/B-платформы начинался только при 8–12 экспериментах в месяц.
3. Выручка как метрика: часто бесполезна
Примерно 30% экспериментов используют выручку как основную метрику.
Но красятся они меньше 1% случаев!
💡 Вывод: используйте чувствительные и релевантные метрики. Не берите просто самую верхнеуровневую (например, выручку), а раскладывайте её через деревья метрик и декомпозицию.
4. Тестирование нескольких вариантов даёт +50% к успеху
Оптимальные стратегии тестирования:
✔️ Multivariate тесты (MVT) успешнее классических A/B в 1.5 раза
✔️ Крупные UX-изменения повышают успех на 25%
✔️ Персонализированные тесты дают на 41% больший эффект
💡 Вывод: хотя у тестов с несколькими вариантами есть нюансы, экспериментируйте шире, а не только в формате A/B.
5. Топ-5% экспериментов приносят 50% импакта
Большая часть ценности приходит от малого числа успешных тестов.
💡 Вывод: важно не только генерировать гипотезы, но и приоритизировать их, чтобы находить самые перспективные.
Дополнительно
📌 Топовые компании делают 200+ экспериментов в год (~16+ тестов в месяц).
📌 Медианное количество – 3 эксперимента в месяц.
📌 500+ тестов в год делают лишь 3% компаний.
А вообще часто недооценивается ценность «неуспешных» тестов
Даже если тест «не дал роста», он убрал гипотезу с дороги, сэкономил ресурсы и помог скорректировать стратегию.
Сколько экспериментов вы проводите в месяц?)