Optimization 2021: IndexNow в Яндексе. Исследование работы нового инструмента

На прошедшей онлайн-конференции Optimization 2021 Сергей Кокшаров (SEO-аналитик, автор @devakatalk) поделился результатами исследования работы нового инструмента Яндекса – IndexNow.

IndexNow – это небольшой API, запущенный в конце октября этого года. Он позволяет за один запрос отправлять от 1 до 10 тыс. страниц на «индексацию» в Яндекс. Подробнее можно посмотреть на сайте IndexNow.org.

Что обещают поисковики:

  • Яндекс попытается посмотреть URL для быстрого получения изменений.
  • Можно уведомлять об удалении страниц (404).
  • Сокращает период на обнаружение нового контента.

Гарантии:

  • Нет гарантий, что страницы сразу пересканируются.
  • Нет гарантий, что страницы попадут в поиск.
  • Нет гарантий, что они обновятся в поиске.
  • Нет никаких гарантий.

1

Далее Сергей рассказал, как проводил исследование:

  • Отправлял запросы для разных страниц.
  • Анализировал серверные логи.
  • Анализировал выдачу Яндекса.
  • Сравнил IndexNow с работой инструмента «Переобход страниц» в Яндекс.Вебмастере.

Переиндексация старых страниц

Сергей отправил на переиндексацию через IndexNow 35 старых страниц. Через минуту в логах видно, что поисковик проверил ключ. И далее, в следующие 7 часов в логах ничего больше не произошло.

Затем те же самые страницы были отправлены на «Переобход» через Яндексе.Вебмастер. В ту же минуту Яндекс переобошел все эти страницы.

Добавить в заметки чтобы посмотреть позже?

Чтобы узнавать о свежих записях укажите email:

2

Сканирование новых страниц

В отличие от предыдущего случая с переиндексацией, сканирование 887 новых страниц через IndexNow началось практически сразу же. За 10 минут Яндексбот просканировал 834 страницы и на этом остановился.

Возможно, считает Сергей, сработал лимит: в FAQ IndexNow говорится «Отправлять повторный запрос не раньше, чем через 10 минут». Сергей предположил, что Яндекс выделяет 10 минут на сканирование, и дальше все зависит от того, сколько за это время вы успеете отдать страниц.

При отправке 100 новых страниц на «Переобход», все 100 были проиндексированы в течение минуты.

В случае со сканированием новых страниц, Сергей засчитал ничью и поставил по одному баллу каждому инструменту.

Предварительный результат:

3

Индексация страницы

Сергей создал новую страницу, добавил ее через IndexNow. Поисковик ее сразу же просканировал, в индексе ничего не появилось спустя полчаса. Сергей повторил процедуру с этой же страницей, но она так и не появилась в индексе даже спустя 45 минут.

Тогда Сергей отправил страницу на переобход в Вебмастере. Через 13 минут страница зашла в индекс, но с пометкой «57 минут назад», т.е. поисковик занес ее в базу, когда она была отправлена через IndexNow.

4

Сергей решил перепроверить и создал новую страницу, добавил на переобход, и она была сразу же просканирована. В индексе страница появилась через 24 минуты.

5

На третий раз Сергей создал страницу и отправлял на переобход каждые 2 минуты. При этому Яндекс просканировал страницу лишь 2 раза. Однако спустя 9 минут (рекорд) страница появилась в индексе.

6

Таким образом при индексации новых страниц лидирует переобход:

7

Удаление из индекса

Страница удаляется, возвращается 404 код статуса. Далее Сергей отправил запрос в IndexNow, но страница не была просканирована.

Тогда был отправлен запрос на переобход в Вебмастере и бот сразу пересканировал страницу, а спустя 50 минут страница удалена из индекса.

8

Результаты

9

Рекомендации

  • Используйте IndexNow для сканирования новых урлов;
  • Отдавайте страницы как можно быстрее (лимит — 10 минут);
  • IndexNow работает нестабильно;
  • При достаточном количестве лимитов используйте Переобход;
  • Конструкция 301– 200 или 301– 404 превращает минусы IndexNow в плюсы.

Читайте также:

Optimization 2021: круглый стол с представителями поисковых систем о продвижении бизнеса в новых условиях

Optimization 2021: органическое продвижение в Яндекс.Дзен

+ +