Все ли ваши страницы нашел робот Google?

Начало работы

Чаще всего новые пользователи хотят знать, все ли страницы их сайта обнаружил робот Google. Вот несколько наших советов.

• Если ваш сайт был создан недавно, подождите: с момента публикации до появления ваших страниц в Google может пройти несколько дней.
• Если у вас небольшой сайт (менее 500 страниц), то просто введите URL главной страницы в Google Поиске (без префикса http:// или https://). Если страница появляется в результатах поиска, значит она есть в индексе Google. Если это так, а также если на вашем сайте продуманная навигация (то есть по ссылкам с его найденной страницы можно перейти на любую другую), значит робот Googlebot с высокой вероятностью обнаружил все его разделы. Если некоторые страницы исключены из системы навигации или для перехода на них нужно выполнить определенные действия (например, выбрать вариант в раскрывающемся списке), то вы можете сообщить Google о них. Поиск по тексту менее надежен, чем поиск по URL, потому что добавленная в индекс Google страница необязательно попадет в первые результаты поиска.
• Если на вашем сайте больше 500 страниц, то вы можете воспользоваться отчетом об индексировании страниц. Если сайт не такой большой или контент на нем обновляется нечасто, то в этом отчете нет необходимости.

Как интерпретировать данные в отчете об индексировании страниц

Отчет об индексировании показывает, сколько страниц вашего сайта попытался просканировать робот Googlebot, а также добавлены ли они в индекс Google. Так вы можете оценить общий охват контента на вашем сайте системами Google. Чтобы увидеть статус индексирования определенной страницы, откройте отчет инструмента проверки URL.

Вот как выглядит отчет об индексировании крупного сайта:

Общие показатели над диаграммой – это количество проиндексированных и непроиндексированных страниц по состоянию на последнюю дату, представленную на диаграмме. Обратите внимание, что если URL не был просканирован, то он не учитывается.

Каждый столбец на диаграмме показывает общее количество страниц, которые проиндексировал (или попытался проиндексировать) робот Googlebot за период до указанной даты, а не в этот день.

Каждому URL может быть присвоен один из следующих статусов:

• Проиндексировано. Робот Google просканировал страницу, и она добавлена в индекс.
  • Что следует предпринять. Ничего. Всё в порядке. Чтобы посмотреть пример проиндексированной страницы, нажмите Посмотреть данные об индексированных страницах.
• Не проиндексировано. Страница не проиндексирована. Это не всегда плохо. Если в столбце Источник указано значение Сайт, то, вероятно, при необходимости вы можете устранить проблему. Если же в столбце Источник вы видите значение Google, то индексирование страницы вряд ли возможно (обычно по веской причине).
  • Что следует предпринять:
    • Убедитесь в том, что все важные страницы проиндексированы.
    • Если для того или иного элемента в столбце Источник указано значение Cайт, изучите описание его статуса. Это поможет вам понять, нужно ли что-то исправить и как.
    • Если количество непроиндексированных страниц резко возросло, то проверьте, не запретили ли вы сканировать какой-либо раздел своего сайта.

Как пользоваться отчетом

1. Изучайте отчет о сканировании хотя бы раз в месяц или после внесения значительных изменений на сайте (например, если вы добавили много нового контента, обновили имеющийся или запретили сканирование некоторых разделов). Помните, что может понадобиться несколько дней, чтобы изменения отразились в отчете. Просматривать этот отчет каждый день и даже каждую неделю не обязательно, если вы не предпринимали таких действий, поскольку в случае заметных отклонений в статистике Google отправит вам уведомление. Также можно просматривать уведомления Search Console в панели сообщений. Убедитесь в том, что все важные страницы проиндексированы.
2. По мере добавления новых материалов на сайт количество проиндексированных без ошибок страниц должно расти постепенно. О причинах резкого изменения этого количества рассказывается в разделе Устранение неполадок. Группировка данных в таблице из сводки выполнена по статусу и причине. Наиболее серьезные ошибки следует устранять в первую очередь. Помните, что для обнаружения нового контента нужно несколько дней.
3. Проверьте неиндексированные страницы на наличие неполадок. При необходимости устраните обнаруженные проблемы. На диаграмме включите фильтр Не проиндексировано, а затем нажимайте на строки в таблице и устраняйте указанные неполадки. Вы можете посмотреть примеры страниц с той или иной неполадкой и получить дополнительную информацию, нажав на URL нужной страницы. Чтобы выяснить причины ошибок сканирования и индексирования страницы, используйте инструмент проверки URL (его можно открыть прямо из таблицы с примерами в отчете об индексировании). Чтобы узнать, в чем заключается ошибка, следует ли ее устранить и как это сделать, нажмите на ссылку Подробнее.
4. Следите за количеством неиндексированных элементов. Если оно резко изменилось, то выясните, в чем может быть причина.

Какие данные несущественны

Если у вас крупный сайт, то некоторые его элементы могут не попасть в индекс. Важно, чтобы в индекс попали все основные страницы и их канонические версии. Чтобы выявить такие версии, воспользуйтесь инструментом проверки URL.