CUPED: как повысить точность оценки A/B-теста

CUPED — способ повысить точность оценки эффекта A/B-теста с помощью данных, полученных до экспериментального воздействия. Предыдущую активность участников используют для статистической поправки, чтобы уменьшить объяснимый шум. CUPED не заменяет случайное распределение, не исправляет ошибки сбора событий и не гарантирует положительный результат: метод полезен, когда прошлые данные действительно помогают объяснить исследуемый показатель.

Зачем маркетинговому эксперименту CUPED

Представьте тест нового предложения в личном кабинете постоянных покупателей. Одни клиенты обычно совершают много действий, другие заходят редко. Даже при корректном случайном распределении фактические группы могут немного различаться по прошлой активности. Из-за этого оценка эффекта меняется от выборки к выборке сильнее, чем хотелось бы команде.

Если активность до теста связана с активностью во время теста, часть такой вариативности можно учесть при анализе. Это не означает сделать клиентов одинаковыми или переписать историю покупок. Меняется способ оценки эффекта. Исходные события, назначение группы и фактические показатели сохраняются.

Microsoft объясняет снижение дисперсии как свойство оценки эффекта, а не как механическое уменьшение разброса исходных данных удалением выбросов. Для практического решения важно именно это различие: более узкая неопределённость расчёта не означает, что новый вариант заставил всех покупателей вести себя предсказуемее.

Какие задачи CUPED не решает

Метод не восстанавливает потерянные заказы, не создаёт контрольную группу там, где её нет, и не делает наблюдательное сравнение причинным экспериментом. Если пользователи сами выбирают вариант или попадают в него по заинтересованности, поправка на прошлую активность не устраняет автоматически все различия.

CUPED также не меняет бизнес-смысл метрики. Если команда считает клики, результат остаётся оценкой кликов, а не прибыли. Более чувствительный анализ неподходящего показателя способен дать точный ответ на несущественный вопрос. До статистической настройки нужно согласовать решение и единицу результата.

Какие данные нужны для CUPED

Одна единица наблюдения в двух периодах

Для простого пользовательского теста одна строка может соответствовать одному назначенному участнику. В ней хранят идентификатор, группу, показатель до воздействия и показатель в экспериментальном окне. Несколько событий одного человека нельзя без обоснования считать независимыми участниками.

Если эксперимент распределяет магазины или организации, анализ должен учитывать эту единицу и зависимости. Пользовательская формула не становится подходящей автоматически. Большое число событий не компенсирует малое число независимых единиц.

История должна предшествовать воздействию

Участники могут входить в эксперимент в разные дни. Для каждого важно определить границу, после которой вариант уже мог повлиять на поведение. Календарное «предыдущее воскресенье» не гарантирует отсутствие воздействия для человека, включённого раньше. Сохраняйте правило построения окна и проверяйте временные метки.

Не используйте как прошлый признак число просмотров нового предложения после его показа. Этот показатель может быть частью самого механизма эффекта. Поправка способна вычесть изменение, которое и нужно измерить. Высокая корреляция с результатом не делает такой признак допустимым.

Как работает простая поправка CUPED

В простом варианте с одним признаком скорректированный показатель записывают как Y* = Y − θ × (X − m). Здесь Y — результат в тесте, X — показатель до воздействия, m — одно общее опорное среднее X, а θ — коэффициент связи. Обе группы должны использовать согласованное правило, а не произвольные поправки ради желаемого итога.

В исходной работе Deng, Xu, Kohavi и Walker для базовой схемы коэффициент выражается через ковариацию X и Y, делённую на дисперсию X. При одинаковом коэффициенте разница скорректированных средних равна разнице исходных средних минус θ, умноженное на разницу средних X. Общая опорная величина при вычитании сокращается.

Это базовая схема, а не инструкция для любой платформы. Например, Optimizely описывает регрессионную реализацию. Уточните способ оценки коэффициентов и неопределённости; настройки продукта не являются универсальной нормой.

Учебный пример поправки средних

Возьмём условную метрику количества действий на участника. В контроле среднее X до теста равно 10, среднее Y в тесте — 20. В новом варианте X равно 14, Y равно 24. Для иллюстрации зададим общий коэффициент θ = 0,5 и опорное среднее m = 12. Коэффициент здесь выбран для объяснения арифметики, а не оценён по этим четырём числам.

Скорректированное среднее контроля: 20 − 0,5 × (10 − 12) = 21. Для нового варианта: 24 − 0,5 × (14 − 12) = 23. Исходная разница равнялась 4 действиям, после поправки — 2. Тот же результат: 4 − 0,5 × (14 − 10) = 2.

Пример показывает устройство корректировки, а не доказанный эффект и не достигнутое снижение дисперсии. Для вывода нужны пользовательские наблюдения, корректный дизайн и оценка неопределённости. По одним групповым средним нельзя восстановить ковариацию, подобрать обоснованный коэффициент или рассчитать надёжность результата.

Когда CUPED помогает, а когда пользы мало

Польза зависит от того, насколько допустимые прошлые признаки объясняют вариативность результата. Активность постоянного пользователя может быть устойчивой, а редкая покупка — плохо предсказываться историей. Нельзя переносить эффект метода с одной метрики на все показатели и продукты.

В идеализированной базовой схеме с одним оптимально выбранным линейным коэффициентом остающаяся дисперсия связана с множителем 1 − ρ², где ρ — корреляция X и Y. При условном ρ = 0,6 множитель равен 0,64: остаётся 64% исходной дисперсии, снижение составляет 36%. Стандартная ошибка в этом расчёте меняется с квадратным корнем: множитель равен 0,8, то есть снижение составляет 20%.

Это теоретическая иллюстрация при указанных условиях, не обещание сократить любой эксперимент на 36%. Календарная длительность зависит также от цикла поведения, накопления данных и плана наблюдения. В реальном проекте проверяют достигнутую точность на подходящих исторических или контрольных проверках, а не подставляют желаемую корреляцию.

Новые участники и отсутствующая история

Если у человека нет прошлых данных, сначала установите причину. Он может быть новым, редко посещать сервис или потерять связующий идентификатор. Нулевое число покупок и неизвестное число покупок — разные состояния. Слепая замена любого пропуска нулём смешивает их.

Существуют схемы с отдельным признаком наличия истории и согласованным заполнением пропусков. Их нужно проверять в выбранной реализации. Не удаляйте всех новичков только ради красивого снижения дисперсии: так изменится аудитория, к которой относится вывод. Если анализ сознательно ограничен постоянными пользователями, это должно следовать из задачи и быть раскрыто.

Что проверить перед использованием CUPED

План и техническая приёмка

• Зафиксировать метрику, допустимые признаки и временные окна до просмотра победителя.
• Проверить идентификаторы, дубли, назначения и полноту истории.
• Отдельно оценить долю участников без прошлых данных в каждой группе.
• Проверить единицы измерения и стабильность определения метрики.
• Согласовать способ оценки коэффициентов и стандартных ошибок.
• Сохранить исходный и скорректированный расчёты для диагностики.

Проверка на A/A-разделениях помогает увидеть поведение процедуры там, где нет намеренного различия вариантов. Она не заменяет проверки данных и допущений. Важно оценивать не только среднюю поправку, но и корректность интервалов или частоту ошибочных срабатываний для принятого анализа.

Заметное нарушение планового распределения групп требует отдельного разбора. CUPED нельзя использовать как косметическое исправление такой проблемы. Причиной могут быть сбой назначения, потеря событий или разные правила включения. Сначала восстановите понимание процесса, затем решайте, пригодны ли данные.

Не выбирать метод по понравившемуся результату

Если команда пробует десятки исторических окон, признаков и преобразований, а оставляет только версию с положительной значимостью, итог уже зависит от этого поиска. Более узкий интервал не оправдывает такой выбор. Правила анализа и существенные отклонения от плана нужно сохранять вместе с результатом.

Не переносите стандартную ошибку исходных средних на скорректированную разницу без проверки. Поправка меняет оцениватель и требует соответствующего расчёта неопределённости. Для отношений, например общей выручки к числу заказов, простая формула среднего пользовательских отношений может оценивать другой показатель. Поручите такие случаи специалисту, который проверит постановку целиком.

Как представить результат CUPED команде

В отчёте укажите исследуемую аудиторию, метрику, исходную и скорректированную оценки, интервалы и объём данных. Объясните, что использовано из прошлого периода и как обработаны пропуски. Не подписывайте скорректированные средние как фактически наблюдавшееся число покупок: это элементы статистического расчёта.

Решение о запуске варианта принимают с учётом практического размера эффекта, защитных метрик и стоимости изменения. CUPED способен помочь точнее оценить как положительный, так и отрицательный результат. Если после корректировки вывод остаётся неопределённым, это допустимый исход исследования, а не причина искать ещё более удобный коэффициент.

Вопросы и ответы