Как интерпретировать показатели учебного сайта
В отчёте второй учебной недели больше открытий, продолжений и активаций исходников. Возникает естественное желание сказать, что сайт стал лучше. Но таблица пока подтверждает только изменение выбранных наблюдений. Для оценки причины нужно узнать, что происходило с материалами, аудиторией и способом измерения.
Разберём интерпретацию на тех же вымышленных W1 и W2. В первой неделе было 180 открытий, 28 продолжений и 26 активаций исходника; во второй — 220, 40 и 38. Условия CSV одинаковы и известны. Они удобны для арифметики, но не являются реальным экспериментом или отчётом ProfessorWeb.
Количество и доля
Число открытий увеличилось на 40, то есть примерно на 22,22% относительно W1. Продолжений стало на 12 больше: рост около 42,86%. Эти проценты имеют разные исходные значения. Сравнивая их, нельзя забывать, что увеличение аудитории само способно увеличить число действий, даже если интерфейс и полезность содержания не менялись.
Для вопроса о продолжении вычислим отношение событий. В W1 оно равно 28/180, примерно 15,56%; в W2 — 40/220, примерно 18,18%. Разница составляет около 2,63 процентного пункта. Относительное изменение этой доли — другая величина, около 16,88%. Подпись «рост на 2,63%» смешала бы две формы сравнения.
Результат не означает, что 18,18% людей завершили курс. Наши события фиксируют активации ссылок, а знаменатель содержит открытия, которые могут повторяться. Доля нужна как простое наблюдение при известных определениях. Для вопроса о людях и последовательности потребуется отдельный набор данных; удобство арифметики не позволяет перескочить эту границу.
Активаций исходника стало 38 вместо 26. Их отношение к открытиям выросло примерно с 14,44% до 17,27%. Это может быть хорошим сигналом для проверки блока примера. Однако мы не знаем, стали ли файлы действительно полезнее, сколько загрузок завершилось и выполнялись ли программы. Определение события остаётся прежним даже при благоприятном направлении показателя.
Состав группы
Рассмотрим данные по каждой статье. Для Markdown отношение продолжений изменилось с 20% до 25%, а для XML осталось 10%. Общий результат объединяет изменение одной статьи и изменение числа открытий обеих. Если смотреть только сумму, легко решить, что одинаково улучшились все материалы, хотя таблица говорит другое.
Вес каждой статьи зависит от числа открытий. В большой библиотеке популярный новый материал может заметно сдвинуть итог сайта, даже если прежние статьи не изменились. Поэтому хороший отчёт показывает общий результат и основные составляющие. Полная детализация тоже не всегда нужна: сначала выбираются группы, связанные с вопросом редактора.
Допустим, вместо двух документов во второй период добавили десятки новых страниц. Сравнение сумм показывает рост наблюдаемой библиотеки, но не отвечает на вопрос о прежнем наборе. Для него нужно оставить один и тот же список ID. Отдельно можно исследовать новые материалы и их возраст после публикации, не смешивая эти два исследования.
| Наблюдение | Возможная гипотеза | Что проверить |
|---|---|---|
| Больше открытий | Изменился входящий поток | Источники и состав материалов |
| Больше next/open | Стало понятнее продолжение | Саму ссылку и определения событий |
| Меньше исходников | Ответ стал достаточен на странице | Назначение примера и вопросы читателей |
| Везде больше событий | Появился технический повтор | Инициализацию и доставку |
Каждая строка содержит гипотезу, а не окончательное объяснение. Особенно полезна последняя: рост не обязан быть достижением продукта. Повторная установка счётчика или изменение события могут создать красивую диаграмму. Поэтому техническая проверка относится к интерпретации положительных результатов так же, как к исследованию падения.
Корреляция и причина
Представим, что между неделями редактор перенёс ссылку на исходник выше. Одновременно вышла внешняя публикация про Markdown. После этого стало больше скачиваний. По двум строкам нельзя отделить влияние нового места ссылки от другого состава посетителей. Время правки и изменение показателя совпали, но это ещё не измеренный вклад правки.
Чтобы исследовать причину, сохраните журнал изменений и сравнимые условия. Для строгого эксперимента понадобятся собственные правила распределения, метрика результата и оценка неопределённости. Простое сравнение до и после может быть полезно для наблюдения, но не должно автоматически называться A/B-тестом. В этой серии мы сначала учимся не переоценивать доступные сведения.
У маленьких чисел высока чувствительность к отдельным действиям. Один дополнительный переход из десяти открытий изменяет долю на десять процентных пунктов. Это арифметическое свойство, а не доказательство большого улучшения. Поэтому рядом с процентом сохраняйте числитель и знаменатель. Скрыв их, вы сделаете слабое наблюдение внешне похожим на устойчивый результат.
Не выбирайте случайно удачный период после просмотра множества вариантов. Если каждый день менять границы сравнения, обязательно найдётся благоприятная пара. Лучше заранее определить вопрос и окно наблюдения, а затем объяснить, почему его пришлось изменить. Такой журнал не устраняет все сложности, но уменьшает произвольность редакционного вывода.
Что сравнивать с поиском
В SEO-курсе были показы, клики и средняя позиция. Здесь — открытия и действия браузера. Например, увеличение поисковых кликов способно сопровождаться ростом открытий, но суммы не обязаны совпасть. Источники охватывают разные этапы и имеют собственные определения, режимы приватности и пропуски. Несовпадение не является само по себе неисправностью.
Для содержательного анализа можно сохранить обе серии отдельно: поисковый отчёт объясняет доступный входящий спрос, поведенческий — наблюдаемые действия после входа. Соединение выполняется по периоду и постоянному документу с указанием ограничений. Нельзя делить произвольный счётчик событий на клики другой платформы и выдавать результат за универсальную конверсию.
Платформы предлагают собственные модели и определения. Событие GA4, ключевое событие и рекламная конверсия имеют разные назначения; в Метрике достижение цели и другие метрики тоже выбираются под вопрос. Сохранение документации помогает объяснить значение столбца при обновлении интерфейса. Ключевые события GA4, цели Метрики.
Следующее действие редактора
По нашим строкам можно выбрать Markdown для содержательной проверки продолжения. Сначала читаем страницу и ссылку назначения, затем рассматриваем журнал правок и источники. Полезно задать узкий вопрос: соответствует ли текст ссылки тому, что читатель получит дальше? Такой вопрос допускает проверку, тогда как общее «статья стала эффективнее» оставляет слишком много разных объяснений.
Если наблюдение расходится с ожиданием, сохраняйте его. Не подставляйте ожидаемый результат в отчёт и не удаляйте неудобную неделю только потому, что она мешает истории успеха. Иногда итогом анализа будет не изменение статьи, а обнаружение недостающих данных. Это полноценный результат: следующий этап тогда направляется на качество измерения.
Первые восемь уроков дали небольшой измерительный контур: договор, явные адаптеры, проверку, метки и воспроизводимый отчёт. Он позволяет задавать вопросы и отделять наблюдение от объяснения. В углублённой части начнём с пропусков и тестовых посещений, чтобы увидеть, какие действия могли не попасть в выбранную картину поведения.