Представим, что мы уже научились искать идеи и правильно ставить цели при постановке гипотезы. Что делать дальше и как понять, что дело «выгорело»?
Виктория Аргышева, сооснователь и креативный директор «Норм агентства», и другие предприниматели постарались ответить на эти вопросы — они поделились лайфхаками о самом процессе тестирования: оценке сформулированных гипотез, их тесте и анализе результатов.
Как правильно сформулировать гипотезу
Перед началом теста любой гипотезы — маркетинговой или продуктовой — надо корректно ее сформулировать и определить исходную точку «А» и финальную точку «Б».
Какие детали нужно продумать сразу
Совет от Андрея Божьева, founder booktech-стартапа Relolib, ex-CMO бизнес-единицы «Дошкола» «ИнтернетУрок»
Гипотеза сформулирована. Дальше стоит сразу учесть несколько моментов.
Когда я тестирую гипотезы, всегда иду вот по такому списку:
Виктория Аргышева, сооснователь и креативный директор «Норм агентства», и другие предприниматели постарались ответить на эти вопросы — они поделились лайфхаками о самом процессе тестирования: оценке сформулированных гипотез, их тесте и анализе результатов.
Как правильно сформулировать гипотезу
Перед началом теста любой гипотезы — маркетинговой или продуктовой — надо корректно ее сформулировать и определить исходную точку «А» и финальную точку «Б».
Коротко это можно выразить формулой: «Если [гипотеза], то [результат]».
Например, «Если упаковать курсы онлайн-школы в пакетные предложения [гипотеза], можно увеличить средний чек на 50% [результат]».Какие детали нужно продумать сразу
Совет от Андрея Божьева, founder booktech-стартапа Relolib, ex-CMO бизнес-единицы «Дошкола» «ИнтернетУрок»
Гипотеза сформулирована. Дальше стоит сразу учесть несколько моментов.
Когда я тестирую гипотезы, всегда иду вот по такому списку:
- На какую цель или метрику направлена гипотеза.
- Какие метрики мы измеряем. Какие показатели у них сейчас и откуда мы получаем эти данные.
- На какой выборке проводим тестирование: конкретный сегмент и данные об аудитории.
- Ожидаемый результат в конкретных измеримых показателях.
- Порядок тестирования и интерпретации результатов.
Например, так может выглядеть работа с гипотезой у онлайн-школы, которая пытается повысить процент пользователей, которые совершают повторные покупки.
Как приоритизировать гипотезы
Обычно гипотез в бизнесе больше одной, а бюджеты ограничены. Поэтому следующий шаг — оценить и приоритизировать их. Самые популярные методики для скоринга — ICE и RICE (подробнее можно почитать здесь). Они подходят, если для запуска проекта нужна экспертиза разных членов команды (а так бывает чаще всего).
Но минусы тоже есть. RICE и ICE хорошо работают, только когда у участников скоринга хороший уровень экспертизы и высокая вовлеченность в проект: все должны быть заинтересованы в крутом результате. Иначе получите неправильную оценку.
Чтобы сделать результаты скоринга точными, рекомендуем вводить вес голосов участников. Например, если человек регулярно показывает хороший перформанс в продукте и делает успешные решения, его голос обладает коэффициентом х2. Голоса остальных ребят — коэффициентом х0.5. Главное быть прозрачными и объяснить команде, от чего зависит этот коэффициент, чтобы все было экологично и не было обид.
Лайфхаки по тесту гипотезы
Когда вы выбрали гипотезы, надо определить сроки эксперимента и бюджет. Обычно для теста хватает двух недель, а вот деньги — дело индивидуальное. Но есть несколько лайфхаков от Кирилла Пшинника, СЕО «Зерокодер», которые помогут не потратить их впустую.
Лайфхак 1: выбирайте самый дешевый способ теста из возможных
Помните, что гипотеза может не сработать (это нормально, на то она и гипотеза), поэтому важно выключать перфекционизм и не тратить слишком много ресурсов на ее проверку.
Перед запуском вебинара я часто предлагаю брендам запустить лид-магнит (например, чек-лист) со схожей темой и посмотреть интерес аудитории. Так мы не потратим деньги на продакшн и выясним интерес аудитории.
Лайфхак 2: сначала тестируйте спрос на продукт, потом вкладывайтесь в разработку
На физические товары можно предложить оформить предзаказ. Услуги или инфопродукты можно продавать с датой старта через несколько месяцев. Главное — сказать аудитории честно, что продукт еще не готов, и дать скидку за ожидание.
Если гипотеза не подтвердится — вернете деньги и отправите письмо с извинениями. Это дешевле, чем вложиться в разработку ненужного продукта.
Однажды мы запустили один из курсов по разработке, потратили много ресурсов, а первый вебинар показал ноль интереса и продаж. Теперь такие ошибки мы не повторяем.
В следующий раз уже не готовили заранее контент курса, а собрали только маркетинговую упаковку и провели несколько пробных вебинаров. По этим вебинарам поняли, что интерес к теме колоссальный — и только после этого начали подготовку самого курса.
Лайфхак 3: убедитесь в чистоте эксперимента
Не проверяйте одновременно гипотезы, которые бьют в одну и ту же цель. Допустим, вы хотели увеличить количество покупок с главной страницы сайта. Для этого изменили описание продукта и сделали другую систему оплаты. То есть протестировали параллельно два изменения. Количество покупок при этом упало.
Почему?
Неизвестно, потому что две гипотезы тестировались одновременно.
Лайфхак 4: синхронизируйтесь со всеми участниками проекта
Очевидно, но часто в спешке этот момент забывается. Одна часть команды решает, что инициатива хорошая, и запускает тест, а другая к нему не готова. Чтобы этого избежать, достаточно проводить регулярные статусы с командой.
Лайфхак 5: дожидайтесь статистически значимых результатов
Иногда бывает так: вы начали тест, смотрите на результаты, они плохие.
Например, повысили цены на сайте, и покупок — ноль. Возникает соблазн снизить цены, поменять настройки в рекламном кабинете, как-то еще повлиять на эксперимент.
Такие действия приводят к ошибкам при измерении метрик, снижению точности результатов и некорректному анализу данных. Поэтому сначала дождитесь конца тестового периода, а уже потом корректируйте гипотезу.
Как анализировать результаты
С помощью калькулятора A/Б-тестов
Если вы тестировали не абсолютно новый продукт, а какое-то изменение, подойдет вот калькулятор А/Б-тестов. Он поможет понять, был ли результат статистически значимыми и стоит ли внедрять изменение.
Не обманывая себя
Подсознательно всегда хочется, чтобы гипотеза оказалась удачной. Из-за этого легко попасть в когнитивную ловушку и уговорить себя, что результаты, которые не дотягивают до идеальных, можно считать успехом.
Допустим, мы решили, что гипотеза подтвердится, если покупку сделают 50% из зарегистрировавшихся на вебинар. По результатам проверки гипотезы покупку делают немного меньше. Допустим, 30%. Но мы все равно считаем, что гипотеза подтверждена, — покупки же есть.
Чтобы не допустить эту ошибку, сверяйте результаты теста с тем, что хотели получить изначально. Если результаты хуже запланированных, изменение лучше не внедрять.
Не забывая про главное
При проверке гипотез самый главный показатель — деньги. Все остальные — конверсии, количество заказов — производные метрики. Если вы проверили гипотезу и у вас ноль продаж, гипотеза провалена. Если есть спрос и продажи, гипотезу нужно докручивать и масштабировать.
Ободряющий вывод
Большинство гипотез в стартапах не подтверждаются. Чтобы в этой ситуации сохранять мотивацию, помните: опровергнутая гипотеза так же важна, как и успешная.
Она помогает отсечь не вашу аудиторию, не ваш маркетинговый канал — отказаться от невостребованного продукта.
А значит, с каждым тестом вы на шаг ближе к росту проекта.
Обычно гипотез в бизнесе больше одной, а бюджеты ограничены. Поэтому следующий шаг — оценить и приоритизировать их. Самые популярные методики для скоринга — ICE и RICE (подробнее можно почитать здесь). Они подходят, если для запуска проекта нужна экспертиза разных членов команды (а так бывает чаще всего).
Но минусы тоже есть. RICE и ICE хорошо работают, только когда у участников скоринга хороший уровень экспертизы и высокая вовлеченность в проект: все должны быть заинтересованы в крутом результате. Иначе получите неправильную оценку.
Чтобы сделать результаты скоринга точными, рекомендуем вводить вес голосов участников. Например, если человек регулярно показывает хороший перформанс в продукте и делает успешные решения, его голос обладает коэффициентом х2. Голоса остальных ребят — коэффициентом х0.5. Главное быть прозрачными и объяснить команде, от чего зависит этот коэффициент, чтобы все было экологично и не было обид.
Лайфхаки по тесту гипотезы
Когда вы выбрали гипотезы, надо определить сроки эксперимента и бюджет. Обычно для теста хватает двух недель, а вот деньги — дело индивидуальное. Но есть несколько лайфхаков от Кирилла Пшинника, СЕО «Зерокодер», которые помогут не потратить их впустую.
Лайфхак 1: выбирайте самый дешевый способ теста из возможных
Помните, что гипотеза может не сработать (это нормально, на то она и гипотеза), поэтому важно выключать перфекционизм и не тратить слишком много ресурсов на ее проверку.
Перед запуском вебинара я часто предлагаю брендам запустить лид-магнит (например, чек-лист) со схожей темой и посмотреть интерес аудитории. Так мы не потратим деньги на продакшн и выясним интерес аудитории.
Лайфхак 2: сначала тестируйте спрос на продукт, потом вкладывайтесь в разработку
На физические товары можно предложить оформить предзаказ. Услуги или инфопродукты можно продавать с датой старта через несколько месяцев. Главное — сказать аудитории честно, что продукт еще не готов, и дать скидку за ожидание.
Если гипотеза не подтвердится — вернете деньги и отправите письмо с извинениями. Это дешевле, чем вложиться в разработку ненужного продукта.
Однажды мы запустили один из курсов по разработке, потратили много ресурсов, а первый вебинар показал ноль интереса и продаж. Теперь такие ошибки мы не повторяем.
В следующий раз уже не готовили заранее контент курса, а собрали только маркетинговую упаковку и провели несколько пробных вебинаров. По этим вебинарам поняли, что интерес к теме колоссальный — и только после этого начали подготовку самого курса.
Лайфхак 3: убедитесь в чистоте эксперимента
Не проверяйте одновременно гипотезы, которые бьют в одну и ту же цель. Допустим, вы хотели увеличить количество покупок с главной страницы сайта. Для этого изменили описание продукта и сделали другую систему оплаты. То есть протестировали параллельно два изменения. Количество покупок при этом упало.
Почему?
Неизвестно, потому что две гипотезы тестировались одновременно.
Лайфхак 4: синхронизируйтесь со всеми участниками проекта
Очевидно, но часто в спешке этот момент забывается. Одна часть команды решает, что инициатива хорошая, и запускает тест, а другая к нему не готова. Чтобы этого избежать, достаточно проводить регулярные статусы с командой.
Лайфхак 5: дожидайтесь статистически значимых результатов
Иногда бывает так: вы начали тест, смотрите на результаты, они плохие.
Например, повысили цены на сайте, и покупок — ноль. Возникает соблазн снизить цены, поменять настройки в рекламном кабинете, как-то еще повлиять на эксперимент.
Такие действия приводят к ошибкам при измерении метрик, снижению точности результатов и некорректному анализу данных. Поэтому сначала дождитесь конца тестового периода, а уже потом корректируйте гипотезу.
Как анализировать результаты
С помощью калькулятора A/Б-тестов
Если вы тестировали не абсолютно новый продукт, а какое-то изменение, подойдет вот калькулятор А/Б-тестов. Он поможет понять, был ли результат статистически значимыми и стоит ли внедрять изменение.
Не обманывая себя
Подсознательно всегда хочется, чтобы гипотеза оказалась удачной. Из-за этого легко попасть в когнитивную ловушку и уговорить себя, что результаты, которые не дотягивают до идеальных, можно считать успехом.
Допустим, мы решили, что гипотеза подтвердится, если покупку сделают 50% из зарегистрировавшихся на вебинар. По результатам проверки гипотезы покупку делают немного меньше. Допустим, 30%. Но мы все равно считаем, что гипотеза подтверждена, — покупки же есть.
Чтобы не допустить эту ошибку, сверяйте результаты теста с тем, что хотели получить изначально. Если результаты хуже запланированных, изменение лучше не внедрять.
Не забывая про главное
При проверке гипотез самый главный показатель — деньги. Все остальные — конверсии, количество заказов — производные метрики. Если вы проверили гипотезу и у вас ноль продаж, гипотеза провалена. Если есть спрос и продажи, гипотезу нужно докручивать и масштабировать.
Ободряющий вывод
Большинство гипотез в стартапах не подтверждаются. Чтобы в этой ситуации сохранять мотивацию, помните: опровергнутая гипотеза так же важна, как и успешная.
Она помогает отсечь не вашу аудиторию, не ваш маркетинговый канал — отказаться от невостребованного продукта.
А значит, с каждым тестом вы на шаг ближе к росту проекта.
