Чтобы проверить маркетинговую идею, измените что-то одно, заранее выберите нужный результат и сравните его с прежним вариантом в сопоставимых условиях. Не начинайте с фразы «Попробуем и посмотрим». Ниже — план проверки на примере формы заявки и разбор того, какие выводы можно сделать из чисел.
Опишите проблему и одно изменение
Допустим, посетители доходят до формы, но редко её отправляют. Команда хочет убрать поле «Название компании», потому что оно не требуется для первого ответа. Рабочая гипотеза: «Если сократить форму с пяти полей до четырёх, доля отправленных заявок вырастет».
Здесь есть конкретное действие и ожидаемый результат. Формулировка «сделать сайт удобнее» для проверки слишком широка: непонятно, что менять и по каким данным оценивать итог.
Сначала исключите обычную поломку
- Отправьте форму с телефона и компьютера.
- Проверьте, доходит ли заявка до сотрудника.
- Убедитесь, что отправка учитывается один раз, а не при каждом обновлении страницы.
- Посмотрите, не требуется ли заполнить поле, которое посетитель не может понять.
- Проверьте, совпадает ли предложение на странице с рекламным объявлением.
Исправление неработающей формы не нужно откладывать ради эксперимента. Сначала восстановите обычную работу, затем соберите исходные данные для сравнения.
Заполните карточку проверки
| Поле | Пример заполнения |
|---|---|
| Проблема | Посетители открывают страницу, но редко отправляют заявку |
| Изменение | Убираем необязательное для первого контакта поле |
| Главный показатель | Доля посетителей страницы, отправивших форму |
| Что ещё проверяем | Не уменьшилась ли доля подходящих заявок |
| Что сохраняем одинаковым | Предложение, цена, реклама и остальные элементы формы |
| Период и объём данных | Определяем до запуска с учётом обычной посещаемости и частоты заявок |
| Условие остановки | Заявки перестали доходить или обнаружена другая техническая ошибка |
До запуска запишите, какое улучшение оправдает дальнейшую работу. Универсального процента для этого нет. Небольшое изменение может быть полезным на посещаемом сайте и почти ничего не дать на странице с редкими обращениями.
По возможности сравнивайте варианты одновременно
Если инструменты сайта позволяют, случайным образом показывайте одной группе посетителей старую форму, другой — новую. Распределение должно сохраняться для одного и того же посетителя, чтобы он не переключался между вариантами при каждом заходе.
Если такой возможности нет, можно сначала наблюдать старую форму, затем новую. Но сравнение двух периодов слабее: могли измениться реклама, дни недели, сезон и состав посетителей. Запишите эти отличия и не называйте изменение формы единственной причиной результата.
Не завершайте проверку только потому, что в первые дни один вариант оказался впереди. Редкие заявки сильно меняют проценты на малом числе посещений. Срок и необходимый объём данных выбирают заранее; для строгого сравнения долей их рассчитывают с учётом исходной доли заявок и размера эффекта, который нужно заметить.
Если посещений мало и ждать числа заявок пришлось бы слишком долго, начните с другой полезной проверки: попросите нескольких людей из нужной аудитории пройти форму без подсказок. Запишите, где они остановились и что им непонятно. Это поможет найти неудобства, но не измерит будущий рост заявок.
Посчитайте результат: учебный пример
| Показатель | Старая форма | Новая форма |
|---|---|---|
| Посетители страницы | 400 | 400 |
| Отправленные заявки | 22 | 32 |
| Доля отправок | 22 / 400 × 100 = 5,5% | 32 / 400 × 100 = 8% |
| Подходящие заявки | 18 | 20 |
| Подходящие заявки на посетителя | 4,5% | 5% |
Разница по всем заявкам — 2,5 процентного пункта: 8 − 5,5. Но по подходящим заявкам разница составляет только 0,5 процентного пункта: 5 − 4,5. Поэтому смотреть только на число отправок было бы недостаточно.
Эта таблица показывает способ расчёта, а не доказывает превосходство новой формы. Для вывода нужно оценить, насколько различие устойчиво при таком числе наблюдений, проверить работу учёта и условия сравнения. Из одной удачной таблицы нельзя обещать такой же рост всему сайту.
Запишите решение без преувеличения
- Получили достаточно убедительный полезный результат: оставьте изменение и проверьте работу после полного запуска.
- Главный показатель вырос, но качество ухудшилось: сначала выясните причину; больше отправок не обязательно означает больше нужных клиентов.
- Данных недостаточно: продлите проверку, если это оправдано, или признайте, что уверенного ответа пока нет.
- Есть техническая ошибка: исправьте её и не используйте испорченные данные для выбора победителя.
Короткий итог может звучать так: «Отправок стало больше, но разница в подходящих заявках пока мала. Массовый запуск не делаем; сначала проверим качество обращений и достаточность данных». Это полезное решение, даже если красивой победы не получилось.
Перед использованием чужих цифр проверьте, как было проведено исследование. Итоги своей проверки удобно сохранить в отчёте по рекламной кампании, отделив наблюдения от предполагаемых причин.
Вопросы и ответы
Что такое гипотеза простыми словами?
Это проверяемое предположение: какое изменение должно привести к какому результату. В нём должны быть названы оба элемента.
Можно ли менять сразу текст, цену и форму?
Можно проверить весь новый вариант предложения, но тогда вы не узнаете, какое отдельное изменение повлияло на результат.
Почему нельзя сравнить только число заявок?
Потому что число посещений и качество обращений могут отличаться. Сравнивайте доли по одинаковым правилам и учитывайте нужный бизнесу результат.
Сколько дней должна идти проверка?
Единого срока нет. Он зависит от посещаемости, частоты нужного действия и того, какое различие важно обнаружить.
Если заметного улучшения нет, работа была напрасной?
Нет. Если проверка проведена корректно, она помогает не тратить ресурсы на изменение, пользу которого вы не подтвердили.
