Отчет об индексировании

Из отчета об индексировании можно узнать, какие страницы вашего сайта были обнаружены и добавлены в индекс поисковым роботом Google и не возникло ли при этом каких-либо проблем.

ОТКРЫТЬ ОТЧЕТ

 

Учебный курс по Google Search Console: отчет об индексировании в Search Console

 

Внешний вид отчета изменился?
Вероятно, вы заметили, что внешний вид некоторых отчетов изменился. Например, все объекты, представленные в трех категориях (Без ошибок, Предупреждения и Ошибка), теперь разбиты на две группы (Без ошибок и Ошибка). Это также может означать, что в таблице на целевой странице отчета теперь представлены только объекты с ошибками. Если ваш отчет выглядит не так, как во время последнего использования, то ознакомьтесь с информацией об изменениях.

Краткое руководство

Инструкции для неспециалистов

Если вы лишь недавно начали заниматься вопросами индексирования и поисковой оптимизации или ваш сайт небольшой, изучите это руководство по началу работы.

  1. Подумайте о том, нужен ли вам этот отчет. Если на вашем сайте менее 500 страниц, вам нет необходимости его изучать. В этом случае вы можете выяснить, добавлен ли ваш сайт в индекс Google, с помощью специальных поисковых запросов ниже. Если для вашего сайта отсутствуют результаты поиска, воспользуйтесь отчетом об индексировании, чтобы проверить, действительно ли ни одна ваша страница не проиндексирована. Если в отчете нет страниц без ошибок (или вообще нет никаких), откройте раздел "Устранение неполадок".
    • Пример страниц сайта, о которых известно Google:
      Синтаксис: site:<путь_или_корневой_домен_сайта>
      Примеры: site:example.com или site:example.com/petstore
    • Поиск индексированных страниц сайта, содержащих определенные ключевые слова:
      Синтаксис: site:<сайт> ключевое_слово1 ключевое_слово2
      Пример: site:example.com/petstore iguanas zebras.
    • Поиск по точному URL с целью узнать, индексирована ли определенная страница сайта:
      Синтаксис: site:<точный_url>
      Пример: site:http://example.com/petstore/gerbil
  2. Ознакомьтесь с этим кратким руководством пользователя, в котором приведено описание отчета доступным языком.
  3. Если вас интересует более подробная информация:
    • Прочитайте статью о том, как работает Google Поиск. Если вы не знаете, как работает индексирование, вам будет сложно разобраться в этом отчете.
    • Важно! Из отчета об индексировании можно узнать общий статус индексирования вашего сайта. Чтобы узнать, были ли проиндексированы отдельные страницы, воспользуйтесь инструментом проверки URL.
    • На что обратить внимание в отчете
      • Все ли ваши наиболее значимые URL не содержат ошибок (отмечены зеленым цветом)? У большинства сайтов всегда бывает несколько непроиндексированных страниц. Тем не менее все наиболее значимые страницы обязаны быть проиндексированы. Также следите за тем, чтобы повторяющиеся URL не индексировались. Чтобы проверить статус индексирования вашей главной страницы и основных страниц сайта, используйте инструмент проверки URL. Обратите внимание, что список примеров в отчете не может содержать больше 1000 URL и в нем могут быть представлены не все URL, имеющие выбранный статус, даже если их меньше 1000.
      • Соответствует ли число непроиндексированных страниц (отмечены серым цветом) вашим ожиданиям? Существует ряд объективных причин, по которым URL оказывается непроиндексирован. Это может быть правило в файле robots.txt, размещенный на странице тег noindex, повторяющийся URL или ошибка 404 после того, как вы удалили страницу, но взамен не добавили новую.
      • Если общее количество URL в этом отчете намного меньше количества страниц на вашем сайте, значит какие-то из них не были обнаружены. Ниже перечислены возможные причины этого.
        • Ваши страницы (или весь сайт) были созданы совсем недавно. Прежде чем Google просканирует и проиндексирует новый сайт или страницу, может пройти неделя. Поиск и сканирование нового сайта или страницы могут занять у нас несколько дней. Если через неделю ничего не изменилось или вам нужно, чтобы роботы Google срочно обнаружили ваш контент, запросите сканирование приоритетных для вас страниц.
        • Google не может найти страницы. Чтобы просканировать страницу, Google нужно ее сначала найти. Для этого на уже обработанной странице или в файле Sitemap должна присутствовать ссылка на новую страницу. Если ваш сайт создан недавно, запросите индексирование его главной страницы. Просканировав ее, Google найдет и остальные URL. Если какие-то страницы оказались пропущены, проверьте, есть ли на других страницах или ресурсах ссылки на них. Если вы используете сервис веб-хостинга, например Wix или SquareSpace, он может автоматически отправлять нам информацию о том, что вы создали новые страницы. Информацию о том, как публиковать страницы и делать их доступными для поисковых систем, вы найдете в документации сервиса.
      • Изучите инструкции, в которых описываются причины возникновения и способы устранения ошибок, соответствующих тому или иному статусу. Чтение инструкций сэкономит ваше время и усилия.
    • Какие данные несущественны
      • Не все URL сайта должны добавляться в индекс. URL копий страниц и страниц, не содержащих значимой информации, обычно пропускаются. Достаточно убедиться в том, что основные страницы сайта попадают в индекс.
      • Непроиндексированные страницы могут не содержать ошибок. Посмотрите, почему исключена страница, и убедитесь, что при ее сканировании не возникло проблем.
      • Приведенные суммарные цифры могут не совпадать с вашей оценкой количества страниц сайта. Цифры над диаграммой точно и полно отражают покрытие вашего сайта с точки зрения Google, хотя по разным причинам они могут незначительно отличаться от ваших.
      • Добавление страницы в индекс не гарантирует, что она будет отображаться в ваших результатах поиска. Результаты поиска персонализируются для пользователя с учетом его истории поиска, местоположения и многих других факторов. Поэтому, даже если страница проиндексирована, она не всегда попадает в результаты поиска и может отображаться в них на разных позициях. Таким образом, если вы видите в Search Console, что URL проиндексирован, значит он может быть показан в результатах поиска.

Часто задаваемые вопросы

Какие данные представлены в этом отчете?

Отчет об индексировании показывает, какие URL сайта были просканированы и добавлены в индекс Google. (Если вы не уверены в значении этих терминов, ознакомьтесь с Принципами работы Google Поиска.) Google находит новые страницы в интернете разными способами и, как правило, старается просканировать их. Если URL не работает или недоступен, будут предприняты повторные попытки просканировать его.

URL в этом отчете может иметь один из следующих статусов:

  • Проиндексировано. Роботы Google нашли страницу и добавили ее в индекс. Вам ничего делать не нужно.
  • Не проиндексировано. URL не проиндексирован из-за ошибки индексирования или по объективной причине (страница заблокирована или является копией). Изучите инструкции, чтобы выяснить, требует ли ситуация исправления.

Что такое индексирование?

После того как Google находит (сканирует) вашу страницу, он обрабатывает ее содержимое и добавляет ее в индекс Google (индексирует ее). После этого она может появляться в результатах Поиска и других сервисах и разделах Google, например в рекомендациях. Подробную информацию об этом можно найти в статье Как работает Google Поиск.

Как добиться, чтобы Google проиндексировал мой сайт или страницу?

Если вы используете сервис веб-хостинга, например Wix или SquareSpace, он может автоматически отправлять нам информацию о том, что вы создали или изменили какие-то страницы. Поищите в документации этого сервиса сведения о том, как публиковать страницы и делать их доступными для поисковых систем.

Если вы создали сайт или страницу без помощи сервиса веб-хостинга, вы можете сообщить об этом Google с помощью файлов Sitemap или другими способами.

Мы настоятельно рекомендуем убедиться, что ваша главная страница добавлена в индекс. Тогда Google сможет проиндексировать остальные URL вашего сайта (если навигация по нему работает корректно и охватывает все страницы).

Нормально ли то, что страница не проиндексирована?

Конечно. Google пропускает страницы, индексирование которых вы запретили с помощью файла robots.txt или тега noindex, страницы, которые являются копиями других страниц сайта, а также те, добавление которых мы считаем неоправданным (например, одинаковые страницы, на которых применены разные фильтры). Чтобы узнать, почему та или иная страница не попала в индекс, используйте инструмент проверки URL. Если страница пропущена в результате ошибки индексирования или по причине, которая не соответствует вашим намерениям, следуйте рекомендациям, изложенным в документации.

Для специалистов по поисковой оптимизации, разработчиков и опытных владельцев сайтов

Информация ниже предназначена для специалистов по поисковой оптимизации, разработчиков и опытных владельцев сайтов, которые ещё не работали с отчетом об индексировании.
  1. Прочитайте статью о том, как работает Google Поиск. Если вы не знаете, как работает индексирование, вам будет сложно разобраться в этом отчете.
  2. Следуйте рекомендациям в разделах Как работать с отчетом, На что следует обратить внимание и Какие данные несущественны.
  3. Прочитайте раздел, посвященный устранению неполадок, чтобы узнать, как выявлять наиболее распространенные ошибки и исправлять их.
  4. Помните, что статус "Не проиндексировано" ещё не означает наличие ошибки. Определите причину, по которой тот или иной URL не был проиндексирован.
  5. Изучите рекомендации по интересующему вас статусу, чтобы понять, в чем проблема и как ее устранить.

Как работать с отчетом

В отчете об индексировании показан статус индексирования всех URL, обнаруженных поисковыми роботами Google на вашем веб-ресурсе.

На сводной странице представлены причины, по которым URL не были проиндексированы, а также диаграмма, демонстрирующая проиндексированные и непроиндексированные URL за все время.

Таблица Почему эти страницы не индексируются

Существует ряд проблем, которые мешают индексированию страниц вашего сайта. Чтобы перейти в раздел, где содержится список URL с этой проблемой, а также история ее возникновения на вашем сайте, нажмите на строку в таблице.

Таблица Повысьте удобство сайта

Некоторые проблемы не мешают индексированию. Тем не менее мы рекомендуем их устранить, чтобы Google было проще анализировать ваш сайт. Чтобы открыть страницу сведений для всех URL с одним и тем же статусом или причиной, нажмите на строку в таблице.

Ссылка Посмотреть данные о проиндексированных страницах

По этой ссылке приведена статистика индексирования страниц с указанием их количества, а также до 1000 проиндексированных URL в качестве примера.

Сводная страница

На сводной странице отчета представлена диаграмма и указано число проиндексированных и непроиндексированных (но обнаруженных) страниц. Там же содержатся таблицы, в которых указаны причины, по которым URL не были проиндексированы, а также даны рекомендации по оптимизации.

На что следует обратить внимание

Обычно с появлением на сайте новых материалов постепенно увеличивается количество страниц, проиндексированных без ошибок. О причинах резкого изменения этого количества рассказывается в разделе Устранение неполадок. Группировка данных в таблице из сводки выполнена по статусу и причине.

Вам необходимо, чтобы в индекс попала каноническая версия каждой важной страницы. Дубликаты или альтернативные страницы, контент которых не имеет существенных отличий от содержимого канонической версии, в отчете обычно помечаются как исключенные. Если страница учтена как дубликат или альтернативный вариант, значит ее каноническая версия обнаружена и включена в индекс, а проблем с ней нет. Чтобы выявить такие версии, воспользуйтесь инструментом проверки URL.

Подробнее о причинах отсутствия страниц в индексе

Какие данные несущественны

  • Индексирование всех страниц. В индекс должны попасть не все страницы сайта, а только канонические, как описано выше.
  • Мгновенная обработка. Если вы добавляете новый контент, индексирование может занять несколько дней. Чтобы ускорить эту процедуру, можно отправить нам запрос.

Основной робот

Значение напротив слов Основной робот на странице сводных данных показывает, с помощью какого агента пользователя по умолчанию сканируется ваш сайт, то есть имитирует ли Google посещение с мобильного устройства (вариант Смартфоны) или с компьютера (вариант ПК).

Основной робот сканирует весь ваш сайт, но Google может также использовать для части ваших страниц дополнительного робота из двух указанных выше. Например, если основной робот для сайта обозначен как "Смартфоны", то дополнительным будет "ПК", и наоборот. Цель сканирования страниц с помощью дополнительного робота – получить больше информации о том, как ваш сайт работает на устройствах разных типов.

Статус

URL может иметь один из следующих статусов:

  • Не проиндексировано. URL не включен в индекс, что может быть результатом наличия ошибки, требующей исправления, или так и должно быть. Причины, по которым URL не были проиндексированы, перечислены в таблице Почему эти страницы не индексируются.
  • Без ошибок. Чтобы увидеть проиндексированные страницы и страницы без ошибок, нажмите Посмотреть данные о проиндексированных страницах под диаграммой на сводной странице отчета.

Причина

Сведения с описанием причин для каждого типа статуса представлены в разделе ниже.

Источник

В таблице значение Источник указывает, является источником проблемы Google или сайт. Как правило, проблемы, для которых источником указан сайт, вы можете устранить самостоятельно.

Проверка

Статус проверки. В первую очередь следует решить проблемы со статусом "Ошибка" или "Не начато".

Проверка исправлений

Устранив проблему на всех страницах, где она выявлена, запросите повторную проверку сайта. Если проблема действительно решена во всех известных случаях, Search Console пометит ее в таблице как исправленную и переместит в конец списка.

Для чего это нужно

Советуем сообщить Google, что вы устранили все проблемы с определенным статусом. Это дает следующие преимущества:

  • Вы получите от Google письмо с подтверждением того, что вы исправили ошибки для всех URL. Если где-то они остались, мы сообщим и об этом.
  • Вы сможете отслеживать ход проверки и просматривать список всех страниц в очереди, а также их статусов.

Исправлять ошибки и проверять страницы не всегда имеет смысл. Например, в некоторых случаях страницы могут быть намеренно заблокированы в файле robots.txt. Вы сами решаете, устранять ли каждую конкретную неполадку.

Вы также можете исправить проблемы и не запрашивать проверку. Google просканирует страницы, на которых обнаружены неполадки, даже если вы не отправите запрос.

Как начать проверку

Чтобы сообщить Search Console, что вы устранили проблему, выполните следующие действия:

  1. Устраните проблему везде, где она выявлена на сайте. Если вы пропустите хотя бы одно вхождение, процесс проверки будет остановлен, как только Google его обнаружит.
  2. Откройте страницу сведений о проблеме, которую вы устранили. Нажмите на нужную строку в таблице.
  3. Нажмите Проверить исправление. Не нажимайте "Проверить исполнение" ещё раз, пока проверка не закончится (успешно или с ошибкой). Подробнее о том, как система Google проверяет исправления
  4. Вы можете следить за тем, как продвигается проверка. Проверка обычно занимает около двух недель, однако в некоторых случаях требуется больше времени. По окончании вы получите уведомление о результатах.
  5. Если проверка завершилась с ошибкой, вы можете посмотреть, на какой именно странице возникает эта ошибка. Для этого нажмите Подробности на странице сведений о проблемах. Устраните проблему на странице, подтвердите исправления для всех URL со статусом Не проверено и снова запустите проверку.

При каких условиях проблема считается устраненной для определенного URL или раздела на сайте?

Для URL или раздела на сайте проблема расценивается как решенная при выполнении любого из следующих условий:

  • Размещенная по этому URL страница просканирована, и выявленная ранее проблема на ней не обнаружена. Если нарушение было связано с тегом AMP, значит вы успешно внесли исправления или тег удален (если его не требуется использовать). При проверке будет показываться статус Нет ошибок.
  • Страница по какой-либо причине недоступна роботам Google (удалена, содержит метатег с директивой noindex, требует авторизации и т. д.). Для такого URL проблема тоже будет считаться решенной. При проверке статус изменится на Другое.

Срок актуальности проблем

Проблема считается актуальной с момента, когда она была впервые выявлена на вашем сайте, и вплоть до 90 дней после того, как последняя страница с нарушением была помечена как исправленная. Если в течение этого срока Search Console не обнаружит проблему снова, она будет удалена из таблицы.

Датой выявления проблемы считается момент, когда она первый раз была зарегистрирована в течение срока актуальности. Эта дата неизменна. Далее Search Console действует по следующему алгоритму:

  • Если проблема была исправлена на всех страницах, однако, например, через 15 дней после этого она появилась вновь, мы будем по-прежнему считать ее актуальной, а дата выявления останется неизменной.
  • Если же это произойдет по меньшей мере через 91 день, проблема уже будет удалена из истории. Мы зарегистрируем нарушение как новое и с другой датой выявления.
Процесс проверки

Ниже описано, как проходит процедура проверки после того, как вы нажмете Проверить исправление. Она может занять несколько дней, и вы будете получать по электронной почте уведомления о том, как она проходит.

  1. После того как вы нажмете Проверить исправление, Search Console сразу же обработает несколько страниц.
    • Если хотя бы на одной из них будет обнаружено нарушение, о котором идет речь, проверка закончится, а ее статус останется неизменным.
    • Если на выбранных страницах нарушение обнаружено не будет, процедура проверки продолжится, а ее статус изменится на Начато. При этом Search Console может выявить другие проблемы, не связанные с текущей, однако зарегистрирует их отдельно, а проверка будет выполняться и далее.
  2. Search Console будет проверять список страниц, на которых была обнаружена проблема, а не весь сайт. Список обработанных URL хранится в истории проверок Search Console. Ее можно открыть на странице со сведениями о проблеме.
  3. При проверке URL происходит следующее:
    1. Если проблема не найдена, статус проверки страниц меняется на Нет нарушений. Если это первый URL в очереди на обработку, статус проверки сайта меняется на Ошибки исправлены.
    2. Если URL недоступен, статус проверки страниц на наличие ошибки приобретает значение Другое (это не статус ошибки).
    3. Если проблема по-прежнему присутствует, сайту назначается статус Найдены ошибки и проверка заканчивается. Если такое нарушение выявлено на новой странице, обнаруженной при обычном сканировании сайта, это расценивается как ещё один случай прежней проблемы.
  4. Когда система проверит все URL в очереди и убедится, что проблема устранена, статус изменится на Нет ошибок. Учтите, что при этом степень серьезности проблемы останется прежней (Ошибка или Предупреждение), однако количество затронутых элементов станет равным нулю.

Даже если вы не нажмете "Начать проверку", Google все равно сможет обнаружить, что проблема на сайте исправлена. Если тот факт, что проблема исправлена на всех страницах, обнаружится при обычном сканировании, количество ее случаев в отчете будет равно нулю.

Повторная проверка

⚠️ Прежде чем запрашивать новую проверку, дождитесь окончания предыдущей, даже если во время нее вы устранили нарушение на каких-либо страницах.

Чтобы заново выполнить проверку, при которой была обнаружена ошибка, выполните следующие действия:

  1. Откройте историю проверки, которая завершилась с ошибкой, и нажмите Подробности.
  2. Нажмите Начать новую проверку.
  3. Система заново проверит все URL со статусом Не проверено или Ошибка, а также обнаружит другие аналогичные проблемы, если они появились с момента последней проверки. URL со статусом Нет ошибок или Другое повторно проверяться не будут.
  4. Проверка обычно занимает около двух недель, однако в некоторых случаях требуется больше времени.

Как посмотреть ход процесса

Чтобы увидеть ход текущей проверки или, если она завершена, историю последней проверки, выполните следующие действия:

  1. Откройте страницу сведений о проблеме. Для этого нажмите на соответствующую строку на главной странице отчета.
    • Статус запроса отображается как на странице сведений о проблеме, так и в строке Проверка таблицы с подробностями.
  2. Чтобы открыть страницу сведений о проверке для вашего запроса, нажмите Подробности.
    • В таблице будет показан статус проверки для каждого URL в запросе.
    • Статус элемента применяется для конкретной проблемы, которую вы рассматриваете. На одной и той же странице одна проблема может иметь статус Нет ошибок, а другая – Ошибка, Не проверено или Другое.
    • В отчетах об AMP и индексировании записи в истории проверок группируются по URL.
    • В отчете о расширенных результатах и об удобстве для мобильных записи группируются по URL и элементам структурированных данных (согласно значению элемента name).
Статус запроса проверки

Выявленной проблеме может быть назначен один из перечисленных ниже статусов.

  • Не начато. Один или несколько экземпляров проблемы ни разу не был включен в запрос проверки.
    Дальнейшие действия
    1. Нажмите на описание проблемы и ознакомьтесь с подробными сведениями о ней. Проанализируйте страницы, где она обнаружена, с помощью инструмента проверки AMP-страниц. Если этот инструмент не находит нарушений на странице, значит вы уже устранили их после того, как роботы Google обнаружили их и создали отчет.
    2. Нажмите Подробнее на странице со сведениями о проблеме, чтобы узнать, какое правило было нарушено.
    3. Выберите пример строки URL в таблице, чтобы получить подробную информацию о проблеме на соответствующей странице.
    4. Устраните нарушение на всех страницах и нажмите Проверить исправление, чтобы мы просканировали их зановоПроверка обычно занимает около двух недель, однако в некоторых случаях требуется больше времени.
  • Начато. Вы начали проверку, и проблема не обнаружена на новых страницах.
    Что следует предпринять. Следите за уведомлениями от Google, в которых вы найдете инструкции, если от вас будут требоваться какие-либо действия.
  • Ошибки исправлены. Вы начали проверку, и проблема исправлена на страницах, где она ранее была обнаружена.
    Что следует предпринять. Следите за уведомлениями Google о ходе проверки, в которых могут содержаться новые инструкции для вас.
  • Нет ошибок. Проблема устранена на всех страницах, где она ранее была обнаружена (или прежние URL больше не доступны). Этот статус может появиться только в том случае, если вы ранее нажимали Проверить исправление. Если проблемы на страницах исчезают без запроса повторной проверки с вашей стороны, статус изменяется на "Отсутствует".
    Что следует предпринять. От вас не требуется никаких действий.
  • Отсутствует. Мы обнаружили, что все страницы, где ранее наблюдалась проблема, исправлены, хотя вы ни разу не запрашивали проверку.
    Что следует предпринять. От вас не требуется никаких действий.
  • Есть ошибки. Проблема до сих пор наблюдается на некоторых страницах. Этот статус может появиться в том случае, если ранее вы нажимали Проверить.
    Что следует предпринять. Устраните нарушение и запросите повторную проверку.
Статусы проверки для отдельных случаев

После того как вы запросите проверку, Search Console присвоит каждому случаю возникновения проблемы один из перечисленных ниже статусов.

  • Не проверено. Проблема находится в очереди на проверку. В ходе последней проверки выяснилось, что она не устранена.
  • Нет ошибок (не во всех отчетах). Мы проверили страницу на предмет наличия проблемы и выяснили, что нарушение больше не наблюдается. Такой статус может появиться, только если вы запрашивали обработку именно этой страницы, нажав кнопку Проверить.
  • Есть ошибки. Мы проверили страницу на предмет наличия проблемы и выяснили, что нарушение по-прежнему наблюдается. Такой статус может появиться, только если вы запрашивали обработку именно этой страницы, нажав кнопку Проверить.
  • Другое (не во всех отчетах). У Google нет доступа к странице или элементу (для структурированных данных), где выявлена проблема. Этот вариант аналогичен статусу Нет ошибок.

Обратите внимание, что у одного и того же URL может быть разный статус применительно к разным нарушениям. К примеру, если на одной и той же странице встречается проблема А и проблема Б, первой может быть назначен статус Нет ошибок, а второй – В ожидании.

Фильтр способов обнаружения URL, доступный в раскрывающемся меню

В раскрывающемся меню над диаграммой есть фильтр, позволяющий систематизировать результаты индексирования по способу, с помощью которого робот Google обнаружил соответствующий URL. Возможны следующие значения:

  • Все обработанные страницы (по умолчанию). Все URL, обнаруженные роботом Google любыми способами.
  • Все отправленные страницы. Страницы, добавленные с помощью отчета о файлах Sitemap или файла robots.txt.
  • Только неотправленные страницы. Только страницы, не указанные в файле Sitemap.
  • URL из определенного файла Sitemap. Только URL, которые перечислены в определенном файле Sitemap, добавленном с помощью этого отчета, а также URL из вложенных файлов Sitemap.

URL считается отправленным с помощью файла Sitemap, даже если он также обнаружен и иным способом (например, если робот перешел на страницу, просканировав другой ресурс).

Страница сведений

Чтобы посмотреть данные о том или ином сочетании статуса и причины, нажмите на нужную строку в сводке и перейдите по ссылке Подробнее на открывшейся странице.

Диаграмма на этой странице содержит сведения об URL, с которыми в разное время были связаны ошибки сканирования.

В таблице "Примеры" показаны примеры страниц, которые получили соответствующий статус, с указанием причины. Таблица содержит не более 1000 URL с такой ошибкой, и этот список может быть неполным. Каждая строка поддерживает ряд функций:

  • Чтобы перейти к более подробной информации об URL, нажмите на строку.
  • Чтобы открыть страницу с этим URL в новой вкладке, нажмите на значок .
  • Чтобы открыть Проверку URL, нажмите на значок .
  • Чтобы скопировать URL, нажмите на значок .

Устранив все ошибки и предупреждения, нажмите Проверить исправление, чтобы сообщить нам об этом.

Вы устранили связанную с URL проблему, но пометка о ней осталась? Проверьте дату последнего сканирования этого URL. Возможно, оно было выполнено до того, как вы приняли меры. В таком случае убедитесь, что проблема действительно решена, и запросите повторное индексирование.

Как отправить сведения об ошибке другим пользователям

Чтобы предоставить кому-либо доступ к информации об ошибке, выявленной с помощью отчета об индексировании или об улучшениях, нажмите кнопку Отправить на странице со сведениями о конкретной проблеме. Адресат получит ссылку доступа только к этой странице и результатам проверок, но не к другим страницам. Пользователи, перешедшие по такой ссылке, не смогут выполнять действия с вашим ресурсом или аккаунтом. Вы можете в любое время отменить доступ к этой странице.

Как экспортировать данные

Данные из некоторых отчетов можно экспортировать, нажав кнопку скачивания . Экспортируются данные, которые представлены как на диаграммах, так и в таблицах. Значения, отмеченные в отчете символами "~" и "-" (недоступно/не является числом), в скачанном файле будут заменены на нули.

Устранение неполадок

Таблица отсортирована по приоритетам проблем на основе их серьезности и количества затронутых страниц. Чтобы проанализировать конкретную проблему в таблице ошибок индексирования, выполните следующие действия:

  1. Нажмите на строку в таблице Почему эти страницы не индексируются. Убедитесь, что проблема имеет отношение к вашей цели индексирования и ей присвоен определенный статус.
  2. Ознакомьтесь с информацией о проблеме.
  3. Изучите примеры страницы с той же проблемой:
    1. Нажмите на значок рядом с URL в таблице с примерами, чтобы открыть инструмент проверки.
    2. Ознакомьтесь с данными в разделах Охват > Сканирование и Охват > Индексирование.
    3. Чтобы протестировать текущую версию страницы, нажмите Проверить страницу на сайте.

Распространенные проблемы с индексированием

Ниже описаны наиболее распространенные ошибки, которые могут встречаться в отчете.

Резкое снижение общего числа проиндексированных страниц без указания ошибок

Снижение числа проиндексированных страниц без указания ошибок может быть связано с тем, что при помощи файла robots.txt, директивы noindex или системы авторизации заблокирован доступ к страницам. Попробуйте выяснить, не связано ли уменьшение количества страниц без ошибок с увеличением количества исключенных URL. Учтите, что если эти URL были отправлены в Google в составе файла Sitemap, то они будут отмечены как ошибочные, а не исключенные.

Больше исключенных страниц, чем проиндексированных

Если исключенных страниц больше, чем проиндексированных, выясните, почему исключены страницы. Чаще всего такая ситуация возникает по следующим причинам:

  • У вас есть правило в файле robots.txt, которое запрещает Google сканировать крупные разделы вашего сайта. Если доступ к определенным страницам закрыт по ошибке, откройте его.
  • На сайте много повторяющихся страниц, в основном потому что вы используете параметры для фильтрации или сортировки общих наборов элементов (например, type=dress, color=green или sort=price). Скорее всего, такие страницы должны быть исключены, если на них отображается один и тот же контент, который сортируется, фильтруется или обрабатывается различными способами.
Резкий скачок числа ошибок

Это может происходить по двум причинам. Первая – был изменен шаблон, вторая – был добавлен файл Sitemap с URL, сканирование которых заблокировано с помощью файла robots.txt, директивы noindex или запроса авторизации.

Если число ошибок резко увеличилось, выполните следующие действия:

  1. Чтобы определить, какая проблема влияет на общее число ошибок или проиндексированных страниц, попробуйте найти взаимосвязь между этими показателями и спарклайном рядом со строкой конкретной ошибки в сводке.
  2. Перейдите на страницу сведений об ошибке, чтобы узнать, чем она вызвана и как ее устранить.
  3. Нажмите на строку, чтобы открыть пример страницы с ошибкой, если это необходимо.
  4. Устраните ошибку и нажмите Проверить исправление на упомянутой странице сведений. Подробнее о процедуре проверки
  5. Со сведениями о числе ошибок можно знакомиться как во время выполнения проверки, так и позже.
Ошибки сервера
Ошибка сервера означает, что робот Googlebot не смог получить доступ к вашему URL, истекло время ожидания ответа на запрос или сайт был перегружен. В результате робот был вынужден отменить запрос.
Проверьте статус хоста своего сайта в отчете о статистике сканирования и выясните, сообщает ли Google о проблемах с доступностью сайта, которые вы можете устранить.

Проверка подключения к серверу

Попробуйте с помощью инструмента проверки URL воспроизвести ошибку сервера, отмеченную в отчете об индексировании.
Вы также можете ознакомиться с информацией о доступности хоста в отчете о статистике сканирования.

Устранение ошибок подключения к серверу

  • Сократите количество загрузок динамических страниц.
    На динамических сайтах одинаковый контент может размещаться на страницах с разными URL (например, www.example.com/shoes.php?color=red&size=7 и www.example.com/shoes.php?size=7&color=red). В некоторых случаях значительная задержка отклика динамических страниц приводит к превышению времени ожидания. Также сервер может вернуть статус "Перегрузка", чтобы робот Googlebot сканировал сайт медленнее. Мы рекомендуем использовать краткие списки параметров и не злоупотреблять ими. Если вы знаете, как используются параметры на вашем сайте, вы можете сообщить Google, как их следует обрабатывать.
  • Убедитесь, что сервер, на котором размещен ваш сайт, не отключен и не перегружен, а также проверьте его конфигурацию.
    Если не удалось устранить проблемы с подключением, временем ожидания или откликом, обратитесь к поставщику услуг хостинга и попробуйте увеличить пропускную способность сайта.
  • Проверьте, не блокируется ли доступ к сайту для роботов Google.
    У поискового робота Google могут быть проблемы с доступом к сайту из-за системной ошибки, например ошибки конфигурации DNS или некорректных настроек брандмауэра, защиты от DoS-атак и системы управления контентом. Любой хостинг-провайдер, оказывающий услуги высокого качества, использует систему защиты. Как правило, она автоматически блокирует запросы к серверу, если их количество существенно превышает обычный уровень. Поскольку робот Googlebot зачастую отправляет больше запросов, чем обычный пользователь, системы защиты могут расценить это как угрозу и заблокировать роботу доступ к сайту, не позволяя выполнить сканирование. Чтобы исправить эту ошибку, выясните, какой элемент инфраструктуры вашего сайта препятствует сканированию, и снимите блокировку. Если у вас нет доступа к настройкам брандмауэра, обратитесь к хостинг-провайдеру.
  • Управляйте сканированием и индексированием сайта разумно.
    Некоторые веб-мастера намеренно блокируют роботу Googlebot доступ к своим сайтам, например с помощью брандмауэра, как описано выше. Чаще всего это делается с целью предотвратить сканирование и индексирование отдельных веб-страниц, а не всего сайта. Если вы тоже так поступаете, обратите внимание на следующее:
Ошибка 404

Как правило, мы рекомендуем исправлять только страницы с ошибкой 404, а не с исключением 404. Ошибка 404 означает, что вы запросили у нас индексирование страницы, но она не была найдена. URL с исключением 404 – это адреса, которые мы обнаружили каким-либо другим способом. Если страница была перенесена, вам необходимо настроить перенаправление 3XX на новый URL. Подробнее о том, как выявлять и исправлять ошибки 404

Отсутствие страниц и сайтов в результатах поиска

Если страница не указана в отчете, это наверняка связано с одной из следующих причин:

  • У Google нет сведений о странице. Что нужно учитывать:
    • Если вы создали сайт или страницу недавно, Google обнаружит и просканирует их не сразу.
    • Чтобы мы узнали о вашей странице, необходимо отправить нам файл Sitemap или запрос на сканирование. Также вы можете просто подождать, пока робот Google не обнаружит ссылку на страницу самостоятельно.
    • Между временем, когда URL станет нам известен, и полным или частичным сканированием вашего сайта обычно проходит некоторое время – до нескольких недель.
    • Индексация никогда не происходит сразу, даже если вы отправите прямой запрос.
    • Мы не можем гарантировать, что в индекс Google попадут абсолютно все страницы.
  • Роботы Google не могут обработать страницу, так как она требует авторизации или по иным причинам доступна не всем пользователям в интернете.
  • Роботы Google не могут проиндексировать страницу, так как на ней используется директива noindex.
  • Страница по какой-то причине исключена из индекса.

Как устранить проблему

Проанализируйте проблему на странице с помощью инструмента проверки URL. Если страница не представлена в отчете об индексировании, но отмечена как проиндексированная в отчете инструмента проверки URL, вероятно, она была обработана и в ближайшее время появится в отчете об индексировании. Если же по данным инструмента проверки URL страница не была проиндексирована, протестируйте опубликованную страницу. Это поможет вам определить, с чем связана неполадка. Устранить ее вам помогут сведения, полученные по результатам теста, а также специальная документация к тесту.

Ошибки и исключения для статуса Отправлено
Если в описании причины неудачных попыток индексирования есть слово "отправлено" или "отправка" (например, "При отправке URL произошла ошибка 403"), это значит, что ваш URL есть в файле Sitemap, который указан в файле robots.txt или добавлен с помощью отчета "Файлы Sitemap".
Возможные пути решения такой проблемы:
  • снимите запрет на сканирование страницы;
  • удалите конкретный URL из файла Sitemap и снова добавьте этот файл с помощью упомянутого выше отчета (для скорейшей обработки);
  • в том же отчете удалите все файлы Sitemap, содержащие конкретный URL (и убедитесь, что этого URL нет ни в одном файле Sitemap, указанном в robots.txt).

Часто задаваемые вопросы

Почему страница, которую я не хочу включать в поисковый индекс, попала в него?

Робот Google может найти страницу различными способами, в том числе среди ссылок на ваш сайт на других ресурсах, и проиндексировать любой найденный URL, если вы не добавили на страницу метатег с директивой noindex и не применили временную блокировку.

Почему мой сайт в последнее время не индексировался повторно?

Периодичность повторной индексации зависит от того, как часто на ваших страницах происходят изменения. Мы определяем это по ряду факторов. Если ваш контент меняется редко, нет необходимости постоянно обновлять сведения о нем в нашем индексе. Вы можете отправить нам запрос на повторное сканирование.

Как отправить запрос на повторное сканирование веб-страницы или сайта?

Следуйте инструкциям.

Почему у меня так много исключенных страниц?

Посмотрите причины исключения в отчете об индексировании. Вот наиболее распространенные из них:

  • У вас есть правило в файле robots.txt, которое запрещает Google сканировать крупные разделы вашего сайта. Воспользуйтесь инструментом проверки URL, чтобы выяснить, так ли это.
  • На сайте много дублирующихся страниц, в основном потому, что вы используете параметры для фильтрации или сортировки общих наборов элементов (например, type=dress, color=green или sort=price). В отчете такие страницы помечаются как повторяющиеся или альтернативные.
  • URL выполняет переадресацию на другой URL. В таком случае в индекс включается только второй URL.

Почему у робота Google нет доступа к моему файлу Sitemap?

Убедитесь, что файл Sitemap не заблокирован в файле robots.txt и функционирует, а URL в robots.txt или отчете об отправке файлов Sitemap является корректным. Проверьте URL в Sitemap с помощью любого общедоступного инструмента.

Почему Google продолжает сканировать удаленную страницу?

Робот Google продолжает сканировать все известные URL, даже если при открытии некоторых страниц уже какое-то время возникают ошибки 4XX (но только при условии временных ошибок). URL не сканируется только в том случае, если он возвращает атрибут noindex.

Чтобы список ошибок 404 в отчете об индексировании не был слишком длинным, мы показываем только те URL, для которых ошибка была зарегистрирована за последний месяц.

Мне доступна моя страница. Почему робот Google ее не видит?

Чтобы узнать, может ли страница быть просканирована, воспользуйтесь инструментом проверки URL. Если эту операцию выполнить нельзя, вы увидите информацию о причине. Если инструмент не выявляет никаких ошибок, вероятно, проблема с доступом была устранена с момента последнего сканирования. Протестируйте с помощью указанного инструмента текущую версию страницы и запросите индексирование.

Инструмент проверки URL не находит проблем, но в отчете об индексировании показывается ошибка. Почему?

Возможно, робот Google в последний раз обрабатывал страницу до того, как вы исправили связанную с ней ошибку. Посмотрите дату сканирования URL на странице сведений о нем в отчете об индексировании или в инструменте проверки URL (в данных об индексированной версии). Определите, вносили ли вы изменения на странице с момента ее сканирования.

Как узнать статус сканирования конкретного URL?

Если вас интересует статус сканирования определенной веб-страницы, воспользуйтесь инструментом проверки URL. Отчет об индексировании не поддерживает поиск или фильтрацию по URL.

Причины назначения статусов

В отчете об индексировании могут быть указаны следующие причины, по которым страницы были проиндексированы с ошибками или не были проиндексированы вовсе:


Не проиндексировано

Страницы не были проиндексированы, и не обязательно в результате ошибки. Прочитайте описание причины, чтобы выяснить, есть ли ошибка.

Ошибка сервера (5xx)

В ответ на запрос страницы сервер возвратил ошибку 5xx. Изучите сведения о том, как исправить ошибки сервера.

Ошибка переадресации

При индексировании произошла одна из следующих ошибок:

  • Слишком длинная цепь переадресаций.
  • Бесконечная переадресация.
  • Длина URL переадресации превышает допустимую.
  • Недопустимый или пустой URL в цепи переадресаций.

Чтобы узнать причину сбоя, воспользуйтесь подходящим инструментом отладки, например Lighthouse.

Доступ к URL заблокирован в файле robots.txt

Страница заблокирована с помощью файла robots.txt. Чтобы узнать, так ли это, воспользуйтесь инструментом проверки файла robots.txt. Обратите внимание, что страница все равно может быть проиндексирована другими способами. Это может произойти, если Google в состоянии найти информацию о странице, не загружая ее (такое случается нечасто). Чтобы страница не индексировалась, удалите блокировку в файле robots.txt и используйте директиву noindex.

Страница, связанная с отправленным URL, содержит тег noindex

Робот Googlebot отказался от обработки страницы, обнаружив в ее коде директиву noindex. Если вы не хотите, чтобы эта страница индексировалась, то все в порядке. В противном случае необходимо удалить директиву noindex. Чтобы узнать, используется ли такой тег или директива, попробуйте открыть страницу в браузере и выполните поиск тела и заголовков ответа для атрибута noindex. Если вы хотите, чтобы страница была проиндексирована, необходимо удалить эту директиву. Откройте инструмент проверки URL и выполните следующие действия:

  1. Нажмите на значок лупы рядом с URL в таблице.
  2. В разделе Покрытие > Индексирование > Индексирование разрешено? отчета должно быть указано, что директива noindex блокирует индексирование.
  3. Проверьте, удален ли тег noindex со страницы на сайте, выполнив следующие действия:
    1. Нажмите Проверить страницу на сайте.
    2. Откройте раздел Доступность > Индексирование > Индексирование разрешено? и проверьте, удалена ли директива noindex. Если да, вы можете нажать кнопку Запросить индексирование, чтобы повторить процедуру. Если директива по-прежнему доступна, удалите ее. В противном случае проиндексировать страницу не получится.

Ложная ошибка 404

В ответ на запрос страница возвращает ложную ошибку 404. Это означает, что пользователь видит сообщение "не найдено", которое не сопровождается кодом ответа 404. Рекомендуем использовать код 404 в случаях, когда имеет место настоящая ошибка этого типа, или снабжать страницу дополнительной информацией, чтобы робот Google мог отличить настоящую ошибку от ложной. Подробнее о том, как это исправить

Страница не проиндексирована вследствие ошибки 401 (неавторизованный запрос)

Доступ робота Googlebot к странице заблокирован из-за необходимости авторизации (код ответа 401). Если вы хотите, чтобы робот мог проиндексировать страницу, отключите авторизацию или откройте ему доступ. Чтобы проверить, наблюдается ли эта ошибка по-прежнему, откройте страницу в режиме инкогнито.

Не найдено (404)

В ответ на запрос страницы получен код ошибки 404. URL был найден Google без специального запроса на сканирование и без помощи файла Sitemap. Возможно, робот Google обнаружил этот URL в ссылке на другом сайте или соответствующая страница существовала раньше и была удалена. Робот, вероятно, продолжит попытки найти указанный URL. Хотя предотвратить это невозможно, такая процедура будет выполняться все реже и реже. Ответ 404 не является неполадкой, если он предусмотрен. Если ваша страница перенесена, используйте переадресацию 301. Изучите сведения из раздела, посвященного исправлению ошибок 404.

Страница заблокирована из-за ошибки 403 (доступ запрещен)

Агент пользователя предоставил учетные данные, но не получил доступа. Учтите, что робот Googlebot никогда не предоставляет учетные данные, поэтому сведения об ошибке, которые возвращает сервер, некорректны. Если вы не хотите, чтобы страница была добавлена в индекс Google, заблокируйте ее с помощью файла robots.txt или метатега noindex. Если вы хотите, чтобы робот Googlebot проиндексировал страницу, отмените обязательную авторизацию или внесите его в белый список.

URL заблокирован из-за ошибки 4xx (ошибка клиента)

Сервер столкнулся с ошибкой 4xx, которая не относится к описанным здесь типам ошибок. Воспользуйтесь инструментом проверки URL.

Индексирование страницы запрещено с помощью инструмента удаления URL

В настоящее время робот Googlebot не может обработать страницу, поскольку мы получили связанный с ней запрос на удаление URL. Если вы являетесь подтвержденным владельцем сайта, то можете с помощью инструмента удаления URL узнать, кем был отправлен такой запрос. Обратите внимание, что срок действия подобных запросов составляет около 90 дней с даты удаления. По истечении этого срока робот Googlebot может вернуться на страницу и обработать ее, даже если вы не запрашивали индексирование. Если вы не хотите, чтобы страница была добавлена в индекс Google, удалите ее, внедрите на ней авторизацию или используйте директиву noindex.

Страница просканирована, но пока не проиндексирована

Это сообщение означает, что мы просканировали страницу, но пока не добавили ее в индекс Google. В дальнейшем она может быть проиндексирована, а может и остаться в текущем состоянии; вновь отправлять этот URL на сканирование не нужно.

Обнаружена, не проиндексирована

Это означает, что мы нашли страницу, но пока не добавили ее в индекс Google. Обычно это объясняется тем, что роботу Google не удалось просканировать сайт, поскольку это могло привести к чрезмерной загрузке ресурса, и сканирование было перенесено на более поздний срок. Именно поэтому в отчете не указывается дата последнего сканирования.

Вариант страницы с тегом canonical

Эта страница дублирует другую, которую Google считает канонической, и верно указывает на нее. Вам не нужно ничего предпринимать.

Страница является копией. Канонический вариант не выбран пользователем.

У этой страницы есть точные копии, ни одна из которых не указана как каноническая версия. Google считает эту страницу неканонической. Необходимо выполнить нормализацию. Чтобы узнать, какой URL интерпретируется нами как канонический, проверьте неканонический с помощью специального инструмента.

Страница является копией. Канонические версии страницы, выбранные Google и пользователем, не совпадают

Этот URL помечен как канонический для набора страниц, но Google считает, что другой URL больше подходит в качестве канонического. Робот проиндексировал не эту страницу, а выбранную Google. Рекомендуем отметить эту страницу как неканоническую копию. Она была обнаружена без специального запроса на сканирование. Чтобы узнать, какой URL интерпретируется нами как канонический, проверьте неканонический с помощью специального инструмента.

Страница с переадресацией

URL выполняет перенаправление на другую страницу, поэтому он не был проиндексирован.


Предупреждения

Предупреждения перечислены в таблице Повысьте удобство сайта на сводной странице отчета об индексировании. Эти проблемы не мешают добавлять страницы в индекс, однако замедляют процесс анализа и индексирования.

Проиндексировано, несмотря на блокировку в файле robots.txt

Страница была проиндексирована, хотя доступ к ней заблокирован файлом robots.txt на вашем сайте. Google всегда следует инструкциям в этом файле, однако веб-страница может быть проиндексирована, если ссылки на нее есть на других сайтах. В этом случае роботы Google не будут открывать и сканировать такую страницу, но смогут проиндексировать ее, используя сведения с другой страницы, которая содержит ссылку на вашу. Из-за запрета, заданного в файле robots.txt, фрагмент вашего контента в результатах поиска Google может оказаться слишком коротким.

Что следует предпринять:

Страница проиндексирована без контента

Страница есть в индексе Google, но поисковый робот не смог обработать ее содержание. Возможно, она замаскирована от Google или формат размещенных на ней материалов не позволяет ее проиндексировать. Такая ситуация не имеет отношения к блокировке доступа с помощью файла robots.txt. Проверьте страницу и ознакомьтесь с информацией в разделе Покрытие.


Проиндексировано

Число проиндексированных URL указано на диаграмме на сводной странице. Чтобы увидеть примеры страниц с дополнительной информацией, под диаграммой нажмите Посмотреть данные о проиндексированных страницах.

 

 
 
 
 
Эта информация оказалась полезной?
Как можно улучшить эту статью?
true
Не знакомы с Search Console?

Ещё не пользовались Search Console? Этот сервис пригодится вам, если вы специалист по поисковой оптимизации, разработчик сайтов или только начали изучать веб-технологии. Начните знакомство с Search Console отсюда.

Поиск
Удалить поисковый запрос
Закрыть поиск
Приложения Google
Главное меню
Поиск по Справочному центру
true
83844
false