Индексирование и допуск страницы в AI-поиск

Страница может быть хорошей, но недоступной для обхода. Она может быть доступной и индексируемой, но пока не появляться в поиске. Она может быть в поиске и всё равно не стать источником конкретного генеративного ответа. В этом уроке разнесём эти состояния по отдельным полям.

Возьмём P01–P03 из карты ProfessorWeb Lab. Технические ответы в eligibility.json вымышлены и показывают, как вести журнал. Мы не проверяем рабочий ProfessorWeb и не меняем настройки Search Console.

От доступности к наблюдаемому появлению

Начнём с HTTP-ответа. У P01 записан статус 200: сервер в демонстрационном снимке отдаёт документ. Это ещё ничего не говорит о содержании robots, метатеге noindex или выборе canonical. Поэтому рядом лежат отдельные признаки crawl_allowed, index_directive и canonical_matches. Они отражают разные механизмы, и один успешный ответ не заменяет остальных сведений.

Для P02 запишем noindex. В учебной редакционной версии это ожидаемое состояние черновика. Ошибка возникает, если такой признак попадает в публикуемый материал, который должен участвовать в поиске. Правильное действие зависит от назначения страницы, а не от желания сделать все строки зелёными. Редактору стоит сначала определить состояние публикации и только затем обсуждать изменение директив.

Для Google добавим search_gen_ai_control. Текущая справка описывает включение, исключение и наследование настройки от родительского свойства. Это отдельный уровень относительно HTML и обхода. В нашей записи P03 наследует значение родителя, но родительское значение неизвестно. Следовательно, итоговый допуск имеет статус unknown, а не included. Наследование нельзя трактовать как автоматическое разрешение без сведений о родителе.

Разделим eligible_by_snapshot и observed_in_search. Первое — наш вывод из сохранённых технических признаков, второе — отдельное свидетельство в определённый момент. Даже полный набор признаков допуска не гарантирует индексирование или выдачу. Поле observed_in_ai_answer ещё уже: оно относится к конкретному ответу. В документе не должно быть логики «200 → AI цитирует».

Какие действия назначим по результату? Для P01 — продолжить анализ содержания. Для P02 — оставить локальный черновик закрытым до публикации. Для P03 — выяснить эффективное значение настройки, если появится разрешённый доступ к соответствующему аккаунту. В учебной лаборатории этот пункт останется открытой задачей. Не требуется создавать фиктивное подтверждение, чтобы таблица выглядела завершённой.

Снимок и его срок годности

Технический снимок связывается с captured_at, средой и источником сведений. Статус из локальной сборки не описывает ответ рабочего хостинга. Запись из инструмента проверки URL не равна текущему HTML, если поисковая система видела прошлую версию. Поэтому у каждого признака полезно хранить время либо общее объяснение, когда и каким способом получен набор.

Добавим сценарий ошибки: canonical у P01 указывает на P02. Если это реальная ошибка, измерения могут относиться к неожиданной странице. До исправления и нового наблюдения нельзя делать вывод, что P01 «не интересен AI». Контентная гипотеза должна ждать технического объяснения. В нашей лаборатории соответствующий вариант лежит отдельным объектом conflict_example, чтобы не менять исходное успешное состояние.

Для поиска с JavaScript также важен фактически доступный текст. Но не будем объявлять статический HTML специальным требованием генеративных функций: это удобный способ уменьшить число сложностей нашего проекта. Google рекомендует следовать обычным техническим правилам и учитывать особенности обработки JavaScript. Решение выбираем по устройству приложения и возможности проверить опубликованный результат.

Полученный документ сохраняет четыре слоя: ответ страницы, правила обхода и индексирования, состояние включения генеративных функций, свидетельство появления. На его основании уже можно назначить работу конкретной роли. Содержательный урок начинается в следующем шаге, когда технический допуск не подменяет качество самого примера.

Важно записывать и источник неизвестности. Значение unknown может появиться из-за отсутствия права просмотра, из-за устаревшего снимка или потому, что поле пока не собирают. Для этих случаев нужны разные действия. Неизвестное право не исправляется изменением title, а устаревший снимок не требует немедленно переносить сайт на другой движок.

Если вы позже будете выполнять проверки на собственном проекте, сначала сохраните исходный документ и только потом меняйте настройки. Тогда останется возможность сопоставить до и после. Наш текущий результат — схема такого журнала и полностью вымышленные состояния. Он не подтверждает, что любой из новых черновиков ProfessorWeb уже допущен к индексированию.

Неизвестное состояние полезно сохранять до обсуждения приоритета. У P03 нет основания для окончательного допуска, поэтому план может назначить выяснение настройки, но не обещать последующее появление. Если доступ появится, новый снимок получает свою дату и источник. Старый JSON остаётся историей того, что было известно редактору. Перезаписывание неизвестного положительным значением задним числом исказило бы весь эксперимент: выглядело бы, будто условие было установлено заранее. Таким образом, технический журнал служит не только диагностике, но и честному восстановлению основания каждого редакционного решения.

Чтение сохранённого состояния

Откройте три объекта pages и сравните их без подсчёта общего балла. P01 имеет положительные учебные признаки допуска. P02 закрыт как черновик. У P03 неизвестно эффективное значение родителя. Эти состояния требуют разных решений и не должны окрашиваться одним словом «плохо».

Состояние	Следствие для нашего решения
HTTP 200	Документ задан как доступный, но число не подтверждает отсутствие запретов обхода или индексирования.
noindex у P02	Для локального черновика это ожидаемая граница; публикация требует отдельного перехода состояния материала.
inherit у P03	Эффективный допуск неизвестен без значения родительского свойства и не выводится из имени настройки.
canonical conflict	Ошибочный вариант требует технического разбора до обсуждения недостаточной полезности текста для поиска.

Поле environment сообщает, что это вымышленный снимок. Оно намеренно повторяет происхождение, чтобы отдельный JSON оставался понятным вне архива. В полном проекте такую роль играет запись источника каждого признака. Одно состояние может происходить из исходного HTML, другое — из личного кабинета, третье — из наблюдения выдачи.

Для самостоятельной адаптации добавьте поле среды до реального сбора. Локальная редакционная версия, тестовый домен и рабочая публикация имеют разные правила. Если один технический ответ относится к локальной версии, его нельзя молча использовать как основание поиска производственной страницы. Сначала уточняется объект наблюдения, затем его техническая пригодность.

Основной артефакт eligibility.json находится в lesson-04 архива серии. Полный снимок содержит также исходные таблицы и договоры. Они читаются вручную; результаты примеров описаны как ожидаемые, выполнение не проводилось.

Первичные источники: google guide, google control.