CDN и Googlebot: 3 совета Google, чтобы сайт не выпал из поиска

Вы подключили CDN (сеть доставки контента), чтобы разгрузить сервер, а запросов от поискового робота вдруг стало больше. Google объяснил в блоге Search Central 11 ноября, откуда берётся этот всплеск, и предупредил о второй ловушке: общая защита от ботов может закрыть сайт от поискового робота.

Почему после подключения CDN нагрузка может вырасти?

Быстрые ответы CDN для Googlebot — знак, что сервер здоров и выдержит больше запросов, и робот начинает обходить сайт чаще. Для него переключение на CDN выглядит как мощное обновление сервера. Но на новых узлах копий многих страниц ещё нет: первый запрос по каждому адресу идёт на исходный сервер. В итоге запросов больше, а работу, которую владелец хотел переложить на сеть доставки, по-прежнему делает исходный сервер.

CDN хранит копии страниц рядом с посетителями и разгружает исходный сервер, где лежит оригинал сайта. Пока копии страницы в кеше нет, узел берёт её у исходного сервера.

Допустим, посетители часто открывают главную, а робот идёт по редко посещаемым статьям. Копия главной уже готова, а для старых страниц сеть обращается к исходному серверу. Поэтому быстрая главная ещё не показывает, насколько снизилась нагрузка на сервер по всему сайту.

Почему общая защита от ботов может помешать поиску?

Если защитный сервис показывает роботу CAPTCHA, Googlebot задачу не решит и нужную страницу не получит. Для проверенных поисковых роботов исключения настраивают отдельно, иначе общая проверка остановит и нежелательные запросы, и полезный обход.

Всплеск запросов в журналах сервера пугает, и после переезда хочется сразу включить в панели CDN общую защиту от ботов. Но она не отличает полезного робота от вредного.

CAPTCHA — задание вроде выбора картинок. Googlebot на нём застревает: для Google сайт выглядит закрытым или сломанным, и если так оставить, страницы и товарные карточки начнут выпадать из поиска.

Это частный случай зависимости сайта от внешних сервисов: мало, чтобы сервер отвечал, — робот должен получить содержимое нужной статьи.

Что сделать при подключении CDN: 3 совета Google

1. Пустите проверенных ботов. Если ботов нужно блокировать, включите в CDN и файрволе разрешение для проверенных: у крупных CDN для этого есть переключатель или готовое правило. Роботов Google узнают по опубликованным Google диапазонам IP-адресов.
2. Прогрейте кеш до переключения. До того как пустить через новый CDN весь трафик, запросите через него в контролируемом темпе самые посещаемые страницы, страницы будущих пиков (акции, сезонные запуски) и адреса, которые Googlebot обходит чаще всего.
3. Поставьте временный тормоз. Если обход всё равно сильно грузит сервер, пока кеш наполняется, настройте ответ 429 (слишком много запросов) или 503 (сервис недоступен) на несколько часов, максимум на 1–2 дня.

Если CDN подключает подрядчик или хостинг, обсудите с ним эти пункты до переключения. Подготовьте небольшой список для проверки: главная, популярный материал, старая статья и важная коммерческая страница. Попросите показать, какой ответ приходит при первом и последующих обращениях, и убедитесь, что защитный экран не подменяет содержание.

Если сайта ещё нет, порядок запуска описан в инструкции по созданию сайта.