Коротко: заранее задайте бюджет, точку проверки и условия остановки рекламного теста — тогда решение продолжать или остановиться будет приниматься по правилу, а не по надежде, что результат вот-вот появится.
Рекламный тест — это проверка гипотезы за деньги. Вы тратите бюджет, чтобы понять, покупают ли ваш товар люди, которые увидели рекламу. Проблема в том, что тест легко превратить в бесконечный расход: каждый день кажется, что результат вот-вот появится, и бюджет уходит, а ответа нет.
Чтобы этого не происходило, нужно заранее договориться с собой о правиле остановки: при каких условиях тест продолжается, а при каких прекращается. Эта статья объясняет, как такое правило составить, зачем оно нужно и как не нарушать его под давлением.
Все примеры условные. Конкретные ставки, цены и лимиты площадок меняются, поэтому их берите из актуального кабинета продавца на дату теста.
Зачем нужно правило до запуска
Правило задают до первого показа, потому что после первых результатов любое решение окрашено надеждой или страхом. Если вы решаете, когда остановиться, уже увидев данные, вы почти всегда найдёте причину продолжить: «ещё немного», «данные неполные», «вот-вот сработает».
Правило, записанное заранее, работает как договор. Оно защищает от двух типичных ошибок: остановиться слишком рано, когда тест ещё мог сработать, и продолжить слишком долго, когда тест уже явно не работает.
Что входит в правило
Хорошее правило состоит из четырёх частей.
Первая часть — гипотеза. Одним предложением: «покупатель, который ищет X, купит товар Y по цене Z, если увидит рекламу с сообщением W». Если гипотезу сформулировать нельзя, тест ещё не готов к запуску.
Вторая часть — бюджет на тест. Это максимальная сумма, которую вы готовы потратить до решения. Бюджет должен быть таким, чтобы потеря не была критичной для магазина.
Третья часть — показатель успеха. Например, доля заказов от переходов или стоимость заказа на единицу выкупленного товара. Показатель должен считаться одинаково каждый раз.
Четвёртая часть — условия остановки. Их две: по достижении бюджета и по отсутствию результата к заданной точке.
Как задать точку проверки
Точка проверки — момент, когда вы смотрите на результат и принимаете решение. Её нужно задать до запуска по объёму данных, а не по календарю. Если за неделю было три заказа, это слишком мало для вывода. Значит, либо продлеваем тест в рамках бюджета, либо признаём, что данных недостаточно и гипотеза не проверена.
Удобно задавать точку через количество переходов в карточку. Например, решать после определённого числа переходов, а не через определённое число дней. Тогда тест не зависит от того, насколько активно вы его смотрите.
Пример условного правила
Допустим, у вас тест на товар с выкупленной единицей, которая приносит условную прибыль 100 рублей, как в статье про юнит-экономику. Бюджет на тест — условные 3 000 рублей. Показатель — стоимость заказа на выкупленную единицу. Условие остановки: если к 3 000 рублей расхода заказов меньше двух, тест останавливается. Если заказы есть, но стоимость заказа выше прибыли на единицу, тест тоже останавливается, потому что каждый новый заказ будет убыточным.
Так правило отвечает на два вопроса сразу: сколько можно потратить и при каком результате считать гипотезу проваленной.
Что делать при срабатывании правила
Остановка теста — не провал, а результат. Вы узнали, что гипотеза в таком виде не работает. Это полезнее, чем продолжать тратить деньги и надеяться.
После остановки запишите вывод: какая гипотеза не подтвердилась, что было измерено и почему. Затем решите, что меняете: сообщение, цену, карточку, аудиторию или отказываетесь от товара. Не запускайте тот же тест с теми же параметрами: он даст тот же результат.
Типовые ошибки
Первая ошибка — менять правило по ходу теста. Если вы подняли бюджет или сдвинули точку проверки, тест перестал быть тестом. Если правило нужно поменять, остановите текущий тест и запустите новый.
Вторая ошибка — смотреть на одну метрику и игнорировать другие. Высокий переход при низкой стоимости заказа может означать, что реклама привлекает тех, кто просто любопытствует. Смотрите на связку показателей.
Третья ошибка — считать неудачный день провалом. Реклама колеблется, и один день ничего не говорит. Решения принимайте по накопленным данным на точке проверки.
Четвёртая ошибка — запускать тест без учёта маржи. Если прибыль на единицу тонкая, даже хорошая конверсия в заказ может не окупить расход. Правило остановки должно учитывать, сколько приносит каждая единица.
Как выбрать бюджет теста
Бюджет теста — это плата за знание. Его задают так, чтобы потеря была неприятной, но не опасной. Если потеря грозит остановить закупки или оставить магазин без оборотных средств, бюджет слишком велик, даже если на бумаге он выглядит небольшим.
Практичный подход: взять сумму, которую вы без проблем потеряете, и разделить её на несколько коротких проверок. Так каждый тест проверяет одну гипотезу, а общий риск остаётся управляемым. Если одна проверка не дала ответа, у вас всё ещё есть бюджет на следующую.
Не стоит тратить весь бюджет на одну гипотезу в первый же день. Даже если сообщение кажется сильным, один тест не подтверждает его на всём рынке. Лучше проверить две-три гипотезы маленькими суммами, чем одну большой.
Три возможных исхода
Любой тест заканчивается одним из трёх исходов. Заранее понимать, что делать в каждом, полезно не меньше, чем сам запуск.
Первый исход — правило сработало в пользу гипотезы. Показатель выше порога, стоимость заказа ниже прибыли на единицу. Это повод не масштабироваться сразу, а повторить тест на другом периоде или на другой аудитории. Один успешный период может быть случайным.
Второй исход — правило сработало против гипотезы. Бюджет закончился без результата или заказы убыточны. Это тоже ценный итог. Зафиксируйте, что проверяли, и переходите к следующей гипотезе. Не пытайтесь спасти тест, увеличивая бюджет.
Третий исход — данных недостаточно для вывода. Заказов мало, точка проверки не достигнута, бюджет почти не потрачен. Здесь правило тоже работает: тест либо продлевается в пределах заранее заданного лимита, либо закрывается как не давший ответа. Главное — не принимать неполные данные за окончательный результат.
Связь теста с маржой
Тест рекламы нельзя оценивать отдельно от маржи. Стоимость заказа имеет смысл только в сравнении с прибылью на единицу товара. Если прибыль на единицу небольшая, даже удачный тест может не принести денег, потому что каждый заказ почти полностью съедается расходом.
Поэтому перед тестом обязательно посчитайте единицу товара, как описано в статье про юнит-экономику. Тогда правило остановки опирается на реальную прибыль, а не на ощущение, что заказы «идут».
Если вы видите, что реклама приводит заказы, но маржа не покрывает расход, проблема может быть в цене, закупке или расходах на логистику, а не в рекламе. Тест в этом случае показывает проблему, но не решает её.
Не полагайтесь на один канал
Реклама — один из способов привлечь покупателя. Если все тесты идут через один канал, вы не знаете, работает ли гипотеза сама по себе или работает только этот канал. Поэтому полезно хотя бы иногда проверять гипотезу через другой путь: карточку с улучшенным главным фото, другое сообщение в описании, другую категорию покупателей.
Это не значит, что нужно распыляться. Сначала проверьте гипотезу на одном канале до конца, затем переносите её в другой. Так вы поймёте, что именно сработало.
Пример разбора трёх исходов
Допустим, вы проверяете две гипотезы на одинаковом бюджете. Первая гипотеза: покупатель выбирает товар из-за компактности. Вторая: покупатель выбирает товар из-за комплектации. Условный результат: компактность даёт переходы, но заказов мало. Комплектация даёт меньше переходов, но заказы стабильнее и стоимость заказа ниже прибыли на единицу.
Вывод: вторая гипотеза выглядит перспективнее, хотя переходов у неё меньше. Именно поэтому правило должно смотреть на заказы и стоимость заказа, а не только на переходы. Дальше имеет смысл повторить вторую гипотезу на другом периоде, прежде чем масштабировать.
Чек-лист перед запуском теста
- Записана ли гипотеза одним предложением?
- Задан ли бюджет, который не угрожает магазину?
- Определён ли показатель успеха и способ его расчёта?
- Задана ли точка проверки по объёму данных?
- Записаны ли условия остановки по бюджету и по результату?
- Учтена ли прибыль на единицу при оценке показателя?
Если хотя бы один пункт не выполнен, тест лучше не запускать. Неподготовленный тест тратит деньги, но не даёт ответа.
Что делать после теста
Сравните результат с правилом, которое записали заранее. Если гипотеза подтвердилась, переходите к масштабированию постепенно, с новыми точками проверки. Если не подтвердилась, зафиксируйте вывод и переходите к следующей гипотезе.
Тесты полезно вести журналом. Через несколько месяцев журнал покажет, какие сообщения и аудитории дают результат и на каких ошибках вы теряли деньги чаще всего. Это важнее любого отдельного теста.
Если вы хотите понять, как реклама связана с общей воронкой и маржой магазина, начните с диагностики магазина. Она покажет, где в вашей картине расходы и покупатели расходятся.