Vercel позволяет отдельно учитывать или блокировать обращения двух групп ИИ-роботов: сборщиков контента и ассистентов, которые открывают страницу по запросу человека. Настройка доступна на всех тарифах.
Какие две группы ИИ-роботов разделила Vercel?
Первая группа собирает страницы для индексации и обучения моделей. Вторая получает страницы в ответ на действие человека или поисковый запрос. В наборе правил AI Bots для Vercel Firewall теперь можно отдельно настраивать действия для каждой группы.
Об этом говорится в анонсе Vercel от 29 октября. Firewall — система, которая проверяет входящие обращения к сайту и применяет заданные правила доступа. Для нужного вида роботов можно включить учёт обращений или блокировку.
Это полезное различие для владельца контента. У массового сбора страниц и обращения за ответом на конкретный вопрос разные задачи. Новая настройка позволяет принимать решение по каждой группе, сохраняя общий журнал происходящего.
В документации Vercel категории называются AI Crawlers и AI Assistants. Компания обновляет правила по мере добавления новых роботов.
С какого режима начать проверку?
Для изучения обращений предусмотрен режим Log: он записывает подходящий трафик без блокировки этим правилом. Режим Deny блокирует обращения выбранной группы. Начать с наблюдения удобно, если пока неизвестно, какие роботы действительно приходят на сайт.
Например, редакция может захотеть ограничить массовый сбор материалов и сохранить доступ ассистентов к публичным страницам. До изменения полезно записать исходные настройки и посмотреть журнал: кто обращается, какие страницы запрашивает и чем заканчиваются запросы.
Это предлагаемый порядок проверки. Настройки нашего портала в рамках этой новости не менялись. Наличие режима Log также не отменяет другие правила защиты: запрос может быть ограничен на другом этапе.
Где находятся настройки и кому они доступны?
Настройки находятся в проекте Vercel, в разделе Security → Firewall → Rules, в группе Bot Management. У AI Bots есть отдельное окно настройки категорий. Изменения нужно просмотреть и опубликовать; права на изменение определяются ролью пользователя.
Сам набор AI Bots доступен на всех тарифах. Это условие относится именно к нему: соседние возможности защиты могут иметь другие условия доступа. Переносить доступность одной настройки на весь набор функций Firewall нельзя.
Перед публикацией правила стоит ещё раз проверить выбранную категорию и действие. Для первого изменения лучше иметь один понятный вопрос: например, какие публичные статьи запрашивают ассистенты. Тогда результат можно сверить с журналом, а не оценивать на ощущениях.
Поможет ли это попасть в ответы нейросетей?
Разрешённый доступ помогает ассистенту получить страницу, но не гарантирует её выбора или цитирования. Нужно отдельно оценивать доступность материала, полезность ответа и реальные переходы. Одной настройки Firewall для вывода о росте GEO-трафика недостаточно.
GEO — продвижение через ответы генеративных систем. Базовые принципы разобраны в нашем руководстве по GEO-продвижению. Новый инструмент Vercel касается доступа роботов к содержимому сайта.
Для проверки подготовьте несколько публичных адресов с понятными ответами на вопросы читателей. Сверьте доступность страницы, правильность содержания и журнал обращений. Поисковые переходы и подтверждённые цитирования записывайте отдельно: это разные наблюдения.
Следующий шаг обычно редакционный: уточнить вопрос, обновить факты, убрать пустой раздел. Системно выбирать такие задачи помогает контент-план сайта по поисковому спросу. Новая настройка полезна как часть этой работы, но сама по себе не создаёт спрос и не доказывает качество текста.
