Рекламный эксперимент
Понимание атрибуции помогает читать источники, но не доказывает эффект изменения объявления. Теперь подготовим экспериментальный план для COPY-A-01 и COPY-B-01. Он должен назвать один изменяемый фактор, близкий к нему результат и условия сравнения. Мы не запустим эксперимент; сохраним только воспроизводимую постановку задачи.
Вымышленная «Линия» предлагает прежний AUDIT-ONE. Вариант A начинает с предмета аудита, вариант B — с вопроса о понятности предложения. Оба ведут на /audit/ и обещают отчёт без внедрения. Реального кабинета, бюджета и наблюдений нет. Никакое статистическое заключение не получено.
Определяем различие вариантов
У A главный вход — прямое название услуги. У B главный вход — проблема сообщения. Меняется подача первого смысла, а не цена, результат или объём. Если B одновременно обещает исправления, мы сравним уже разные предложения. Тогда результат будет невозможно объяснить одной формулировкой.
Гипотеза: вопрос о понятности может привлечь людей с задачей разбора сообщения. Но он также может привлечь тех, кто ожидает бесплатный совет или внедрение. Поэтому ближайший результат нельзя ограничить кликабельностью. Для «Линии» важна пригодность обращений относительно одной страницы и отчёта.
План сохранит три показателя: переходы, принятые заявки и пригодные заявки. Они не объединяются в одно число. Более высокий процент переходов может сопровождаться меньшей пригодностью. Это не парадокс: сообщение стало заметнее, но создало другое ожидание. Поэтому заранее фиксируем смысл результата.
Сохраняем одинаковые условия
В учебном плане предложение, посадочная страница и критерий пригодности одинаковы. Группы запросов также согласованы. Изменение рынка, сети или устройства станет отдельным фактором. Мы не обещаем, что платформа позволит идеально удержать все условия; конкретный механизм и ограничения ещё требуется изучить.
Google Ads предлагает разные типы экспериментов, включая варианты для различных форматов кампаний. Доступный механизм выбирают после проверки фактической системы. Наша нейтральная таблица не является командой создать пробную кампанию или разделить действующий бюджет.
{
"experiment_id": "COPY-FRAME-01",
"variant_a": "COPY-A-01",
"variant_b": "COPY-B-01",
"changed_factor": "opening_message_frame",
"offer": "AUDIT-ONE",
"primary_business_readout": "qualified_request",
"started_at": null,
"observed_result": null,
"status": "planned"
}Различаем одновременное сравнение и историю
Если сначала показать A неделю, а потом B другую неделю, измениться могут спрос и общий поток. Сравнение периодов не становится рандомизированным экспериментом только потому, что в названии файла есть AB. Нужно сохранять способ распределения, время и возможные внешние изменения.
Одновременный план тоже требует проверки: как распределяется аудитория, не взаимодействуют ли варианты и одинаково ли считаются события. В нашей модели эти механизмы неизвестны. Поэтому метод получает статус candidate, а результаты остаются пустыми. Честное ограничение важнее красивой таблицы с искусственной уверенностью.
Также нельзя менять критерий пригодности после просмотра вариантов. Если для A считать только запросы аудита, а для B включить разработку магазина, сравнение потеряет смысл. Общий словарь из урока 14 должен оставаться одинаковым. Изменение определения отмечают как отдельную версию исследования.
Читаем учебную арифметику
Для объяснения будущего разбора рассмотрим синтетические агрегаты, не результаты эксперимента. В наборе A: 20000 показов, 400 переходов, 4000 условных единиц, 40 принятых и 16 пригодных заявок. В наборе B: 20000 показов, 500 переходов, 5000 единиц, 50 принятых и 15 пригодных. Эти числа придуманы и не подтверждают эффект COPY-B-01.
| Показатель | Учебный A | Учебный B |
|---|---|---|
| Доля переходов | 2% | 2,5% |
| Стоимость принятой заявки | 100 единиц | 100 единиц |
| Стоимость пригодной заявки | 250 единиц | Около 333,33 единицы |
| Пригодность принятых | 40% | 30% |
В арифметической модели B даёт больше переходов, но меньше пригодных обращений и более высокую цену пригодного результата. Это основание не выбирать вариант по одной кликабельности. Однако небольшой синтетический набор не является статистическим доказательством превосходства A. Мы лишь показываем различие метрик.
Планируем чтение незавершённого результата
Представим, что будущий снимок A сделан после завершения всех статусов, а B — сразу после получения заявок. У B может оказаться больше pending. Это различие связано с полнотой данных, а не обязательно с текстом. Поэтому в плане должны быть одинаковые условия закрытия либо явная оговорка о задержке. Без этого даже одинаковые формы и предложение не дают сопоставимых бизнес-результатов.
Другой случай — часть обращений нельзя связать с вариантом материала. Неизвестные записи не следует распределять поровну ради симметрии. Их сохраняют отдельной группой и описывают предел результата. Потеря связи может быть важнее небольшой разницы стоимости, поэтому качество измерения рассматривается раньше окончательного выбора победителя.
При сравнении полезно заранее указать, какое решение допускается. Можно продолжить исследование, отменить неподходящий материал или оставить базовую версию без вывода о превосходстве. Статус inconclusive является содержательным результатом, когда данных недостаточно. Он не означает, что нужно любой ценой накопить ещё больше расходов: бюджет и условия проекта сохраняют собственные ограничения.
Наши синтетические A и B не заполняют started_at. Их задача — научить различать метрики. Если поместить такую таблицу в итог настоящей кампании без обозначения, читатель примет иллюстрацию за наблюдение. Поэтому подпись fictional сохранена и в статье, и в файле, и в состоянии урока; история проекта остаётся подготовкой.
Сохраняем неизвестный вывод
В plan.json наблюдаемый итог отсутствует, а fictional-summary.csv обозначен как иллюстрация. Их нельзя объединить в отчёт о выполненном запуске. При будущем реальном исследовании понадобятся достаточные данные, качество измерения, метод сравнения и понимание неопределённости. Универсального числа дней или обращений для любого проекта мы не назначаем.
Неподтверждённое коммерческое обещание также не становится допустимым вариантом только потому, что его удобно проверить. Все экспериментальные тексты должны сохранять правдивый предмет услуги. Исследуют подачу, а не возможность убедить человека неверным обещанием.
Ожидаемый результат — план COPY-FRAME-01 и отдельно обозначенная арифметическая иллюстрация. Кампании и программы не запускались. Следующий урок рассмотрит обновление материалов: как сохранять историю вариантов и почему снижение показателя само по себе не доказывает усталость аудитории от картинки.