Отчет об индексировании

Из этого отчета вы можете узнать, какие страницы вашего сайта были проиндексированы и как устранить неполадки на страницах, которые не удалось обработать.

 

ОТКРЫТЬ ОТЧЕТ ОБ ИНДЕКСИРОВАНИИ

 

Как использовать этот отчет

Для начала рекомендуем прочитать статью о том, как работает Google Поиск.

В отчете указывается статус индексирования всех URL вашего сайта, по которым перешел или попытался перейти робот Googlebot. На странице сводки вы увидите результаты сканирования всех URL, сгруппированные по статусу (ошибка, предупреждение, без ошибок) и причине (например, Отправленный URL не найден (ошибка 404)). Нажмите на строку таблицы, чтобы просмотреть список всех URL с этой ошибкой или статусом и подробные сведения о проблеме.

Сводные данные

В этом отчете приведены сведения об индексировании всех страниц вашего сайта, которые пытался просканировать робот Google, систематизированные по статусу и причине.

На что следует обратить внимание

  • Обычно по мере того, как вы добавляете новые материалы на свой сайт, на нем увеличивается количество страниц, проиндексированных без ошибок.
  • Резкий скачок числа проблем, связанных со сканированием, может произойти по двум причинам. Первая – был изменен шаблон, вторая – был добавлен файл Sitemap с URL, которые заблокированы для сканирования с помощью файла robots.txt, директивы noindex или запроса авторизации. Нажмите на строку ошибки, чтобы посмотреть подробные сведения.
  • Снижение числа проиндексированных страниц без указания ошибок может быть связано с тем, что доступ к страницам заблокирован при помощи файла robots.txt, директивы noindex или иных инструментов. Попробуйте выяснить, наблюдается ли скачок количества исключенных URL, соответствующий снижению в статистике страниц.
  • Если исключенных страниц больше, чем проиндексированных, посмотрите, какие именно страницы исключены. Чаще всего такая ситуация возникает по следующим причинам:
    • У вас есть правило в файле robots.txt, которое запрещает Google сканировать крупные разделы вашего сайта.
    • На сайте много дублирующихся страниц, в основном потому что вы используете параметры для фильтрации или сортировки общих наборов элементов (например, type=dress, color=green или sort=price). Скорее всего, такие страницы должны быть исключены, если на них показывается один и тот же контент, который сортируется или фильтруется различными способами.

Ознакомьтесь с другими советами по устранению неполадок, перечисленными ниже.

Какие данные несущественны

  • Не удивляйтесь, что не все URL вашего сайта индексируются. Вам необходимо, чтобы в индекс попала одна версия каждой страницы – каноническая. Дублирующиеся или альтернативные страницы, контент которых не имеет существенных отличий от содержимого канонической версии, в отчете обычно помечаются как исключенные. Поэтому если страница учтена как дубликат или альтернативный вариант, это означает, что ее каноническая версия обнаружена и включена в индекс, а проблем с ней нет. Чтобы выявить такие версии, воспользуйтесь инструментом проверки URL.
  • Если вы добавляете новый контент, мы проиндексируем его не сразу. Чтобы ускорить эту процедуру, можно отправить нам запрос.

Статус

Странице сайта может быть присвоен один из следующих статусов:

  • Ошибка. Проиндексировать страницу не удалось. Чтобы ознакомиться с дополнительными сведениями об ошибке и узнать, как ее устранить, посмотрите описание нужного типа ошибки. Такие проблемы необходимо решить в первую очередь.
  • Предупреждение. Робот проиндексировал страницу, но обнаружил на ней проблему.
  • Исключено. Страница не добавлена в индекс. Это может быть связано с тем, что она индексируется в текущий момент или специально исключена вами (например, с помощью директивы noindex).
  • Страница без ошибок. Страница проиндексирована.

Причина

Каждый из приведенных выше статусов (без ошибок, предупреждение, ошибка, исключено) может быть вызван определенной причиной. Именно на основании причин систематизированы данные в таблице. Каждая строка может относиться как к одному, так и к нескольким URL. Дополнительные сведения о типах статусов представлены в соответствующем разделе ниже.

Проверка

Статус проверки. В первую очередь решить следует проблемы, при которых индексация не началась или была прервана.

О проверке сайтов

Устранив проблему на всех страницах, где она выявлена, запросите повторную проверку сайта. Если она действительно решена во всех перечисленных случаях, Search Console пометит ее в таблице статусов как исправленную и переместит в конец списка. Наш сервис отслеживает статус как проблемы в целом, так и всех случаев ее возникновения по отдельности. Проблема будет считаться решенной только после того, как вы устраните ее во всех выявленных случаях. В разделах Статус проверки сайта на наличие проблемы и Статус проверки страниц на наличие проблемы рассказывается, как отслеживать ситуацию с устранением нарушения.

Срок актуальности проблемы

Проблема считается актуальной с момента, когда она была впервые выявлена на вашем сайте, и вплоть до 90 дней после того, как последняя страница с нарушением была помечена как исправленная. Если в течение этого срока Search Console не обнаружит проблему снова, она будет удалена из истории отчетов.

Датой выявления проблемы считается момент, когда она первый раз была зарегистрирована в течение срока актуальности. Эта дата неизменна. Далее Search Console действует по следующему алгоритму:

  • Если проблема была исправлена на всех страницах, однако через 15 дней после этого она появилась вновь, мы будем по-прежнему считать ее актуальной, а дата выявления останется неизменной.
  • Если же это произойдет через 91 день, проблема уже будет удалена из истории. Мы зарегистрируем нарушение как новое и с другой датой выявления.

Основной процесс проверки

Ниже описано, как проходит процедура проверки после того, как вы нажмете Проверить исправление. Она может занять несколько дней, и вы будете получать по электронной почте уведомления о том, как она проходит.

  1. После того как вы нажмете Проверить исправление, Search Console сразу же обработает несколько страниц.
    • Если хотя бы на одной из них будет обнаружено нарушение, о котором идет речь, проверка закончится, а ее статус останется неизменным.
    • Если на выбранных страницах нарушение обнаружено не будет, процедура проверки продолжится, а ее статус изменится на Начато. При этом Search Console может выявить другие проблемы, не связанные с текущей, однако зарегистрирует их отдельно, а проверка будет выполняться и далее.
  2. Search Console будет проверять список страниц, на которых была обнаружена проблема, а не весь сайт. Список обработанных URL хранится в истории проверок Search Console. Ее можно найти на странице со сведениями о проблеме.
  3. После проверки URL происходит следующее:
    1. Если проблема не найдена, статус проверки страниц приобретает значение Нет нарушений. Если это первый URL в очереди на обработку, статус проверки сайта меняется на Ошибки исправлены.
    2. Если URL недоступен, статус проверки страниц на наличие ошибки приобретает значение Другое (это не статус ошибки).
    3. Если проблема по-прежнему присутствует, сайту назначается статус Есть ошибки и проверка заканчивается. Если такое нарушение выявлено на новой странице, обнаруженной при обычном сканировании сайта, это расценивается как ещё один случай прежней проблемы.
  4. Если все URL с ошибками и предупреждениями проверены, а проблема в соответствующих разделах сайта не найдена, статус проверки приобретает значение Нет ошибок. Внимание! В этом случае по-прежнему будет указан исходный уровень нарушения (Ошибка или Предупреждение).

Даже если вы не нажмете "Начать проверку", Google все равно сможет обнаружить все элементы с нарушениями на вашем сайте. Если при обычном сканировании окажется, что определенная проблема исправлена на всех страницах, где она раньше имела место, статус ее проверки в отчете будет изменен на "Отсутствует".

При каких условиях проблема считается устраненной для определенного URL или раздела на сайте?

Для URL или раздела на сайте проблема расценивается как решенная при выполнении любого из следующих условий:

  • Размещенная по этому URL страница просканирована, а выявленная ранее проблема на ней не обнаружена. Если нарушение было связано с тегом AMP, причины могут быть две: или вы успешно внесли исправления, или тег удален (если его не требуется использовать). При проверке будет демонстрироваться статус "Нет ошибок".
  • Страница по какой-либо причине недоступна роботам Google (удалена, содержит тег noindex, требует авторизации и т. д.). Для такого URL проблема тоже будет считаться решенной. При проверке статус изменится на "Другое".

Повторная проверка

Если нажать Провести повторную проверку после неудачной прежней попытки, Search Console начнет снова проверять все страницы, на которых проблема была выявлена ранее, а также новые страницы, где она была найдена при обычном сканировании.

Прежде чем запросить новую проверку, дождитесь окончания предыдущей, даже если во время нее вы устранили нарушение на каких-либо страницах.

Страницы с ошибками, которые прошли проверку (помеченные как Нет ошибок) или стали недоступными (помеченные как Другое), повторно не проверяются. Они будут удалены из истории проверок после того, как вы нажмете "Провести повторную проверку".

История проверок

Чтобы просмотреть статус запроса на проверку, откройте страницу со сведениями о проблеме и нажмите на ссылку, по которой доступна подробная информация о проверке.

Записи, упомянутые в истории проверок, в отчетах об AMP-страницах и статусе индексирования систематизированы по URL. В отчете о расширенных результатах и об удобстве для мобильных записи группируются по URL и элементам структурированных данных (согласно значению элемента name). Статус решения проблемы касается той проблемы, которая стала предметом проверки. На одной и той же странице одна проблема может иметь статус "Нет ошибок", а другая "Ошибка", "Не проверено" или "Другое".

Статус проверки сайта на наличие проблемы

Выявленной проблеме может быть назначен один из перечисленных ниже статусов.

  • Не начато. На сайте есть страницы, где представлена данная проблема, и они не проходили проверку. Что следует предпринять:
    1. Нажмите на описание проблемы и просмотрите подробные сведения о ней. Перейдите на страницы, где она обнаружена, и проанализируйте их с помощью инструмента проверки AMP-страниц. Если он не видит нарушений на странице, это означает, что вы уже устранили их после того, как роботы Google обнаружили их и создали отчет.
    2. Нажмите "Подробнее" на странице со сведениями о проблеме, чтобы узнать, какое правило было нарушено.
    3. Выберите пример строки URL в таблице, чтобы получить подробную информацию о проблеме на соответствующей странице.
    4. Устраните нарушение на всех страницах и нажмите Проверить исправление, чтобы мы просканировали их заново. Google будет уведомлять вас о ходе проверки. Эта процедура может занять от нескольких дней до двух недель. 
  • Начато. Вы начали проверку, и проблема не обнаружена на новых страницах. Что следует предпринять. Следите за уведомлениями от Google, в которых могут быть представлены необходимые инструкции.
  • Ошибки исправлены. Вы начали проверку, и проблема исправлена на страницах, где она ранее была обнаружена. Что следует предпринять. От вас не требуется никаких действий. Следите за уведомлениями Google о ходе дальнейшей проверки.
  • Нет ошибок. Проблема устранена на всех страницах, где она ранее была обнаружена (или более недоступны соответствующие URL). Этот статус может появиться только в том случае, если вы ранее нажимали "Проверить исправление". Если сервис Search Console не обнаружил страницы с проблемами по иной причине, появится статус "Отсутствует". Что следует предпринять. От вас не требуется никаких действий.
  • Отсутствует. Мы обнаружили, что все страницы, где ранее наблюдалась проблема, исправлены, хотя вы ни разу не запрашивали проверку. Что следует предпринять. От вас не требуется никаких действий.
  • Есть ошибки. Проблема до сих пор наблюдается на некоторых страницах. Этот статус может появиться в том случае, если ранее вы нажимали "Проверить". Что следует предпринять. Устраните нарушение и запросите повторную проверку.

Статус проверки страниц на наличие проблемы

После того как вы запросите проверку, Search Console присвоит перечисленные ниже статусы выявленной проблемы всем страницам, на которых она есть (статусы Нет ошибок и Другое в отчете о статусе индексирования не используются).

  • Не проверено. Проблема находится в очереди на проверку. В ходе последней проверки выяснилось, что она не устранена.
  • Нет ошибок. Мы проверили страницу на предмет наличия проблемы и выяснили, что нарушение больше не наблюдается. Такой статус может появиться, только если вы запрашивали обработку именно этой страницы, нажав кнопку Проверить.
  • Есть ошибки. Мы проверили страницу на предмет наличия проблемы и выяснили, что нарушение по-прежнему наблюдается. Такой статус может появиться, только если вы запрашивали обработку именно этой страницы, нажав кнопку Проверить.
  • Другое. У Google более нет доступа к странице или элементу (для структурированных данных), где выявлена проблема. Этот вариант аналогичен статусу Нет ошибок.

Обратите внимание, что у одного и того же URL может быть разный статус применительно к разным нарушениям. К примеру, если на одной и той же странице встречается проблема А и проблема Б, первой может быть назначен статус Нет ошибок, а второй – Не проверено.

Фильтр по обнаружению URL, представленный в раскрывающемся меню

В раскрывающемся меню над таблицей доступен фильтр, позволяющий систематизировать результаты индексирования по механизму, с помощью которого робот Googlebot обнаружил соответствующий URL. Возможны следующие значения:

  • Все обработанные страницы (по умолчанию). Все URL, обнаруженные роботом Googlebot любыми способами.
  • Все отправленные страницы. Страницы, добавленные с помощью файла Sitemap (при использовании сервиса Search Console или запроса ping).
  • URL из определенного файла Sitemap. Только URL, которые перечислены в определенном файле Sitemap, добавленном с помощью сервиса Search Console. Если файл имеет тип Индекс Sitemap, то приводятся URL из всех добавленных файлов Sitemaps.

URL считается отправленным с помощью файла Sitemap, даже если он также обнаружен и иным способом (например, если робот перешел на страницу, просканировав другой ресурс).

Просмотр подробных сведений

Чтобы посмотреть данные о статусе, нажмите на нужную строку в сводке и перейдите по ссылке Подробнее на открывшейся странице.

На диаграмме приводятся сведения о страницах, с которыми в разное время были связаны ошибки сканирования.

В таблице можно увидеть пример списка страниц с той или иной проблемой:

  • Перейдите по URL в таблице, нажав на ссылку в строке.
  • Проверьте URL, нажав на значок лупы Поиск.
  • Когда будут исправлены все ошибки, а также связанные с предупреждениями проблемы, отправьте в Google запрос на повторную проверку.

Если вы устранили неполадку после того, как было выполнено последнее сканирование, пометка о проблеме в URL может сохраниться. В этом случае проверьте дату сканирования. Затем убедитесь, что проблема действительно решена, и запросите повторное сканирование.

 

Как отправить отчет об ошибке другим пользователям

Чтобы предоставить кому-либо доступ к информации об ошибке, нажмите кнопку Отправить. Адресат получит ссылку и доступ только к этой странице и результатам проверок, но не к другим страницам. Пользователи, перешедшие по такой ссылке, не смогут выполнять действия с вашим ресурсом или аккаунтом. Вы можете в любое время отменить доступ к этой странице.

Устранение неполадок

Резкий скачок числа ошибок

Что нужно предпринять, если наблюдается резкое увеличение количества ошибок

  1. Чтобы определить, какая проблема влияет на общее число ошибок или проиндексированных страниц, попробуйте обнаружить взаимосвязь между этими показателями и данными по конкретной ошибке.
  2. Устраните неполадки. При этом учитывайте следующее:
    1. Группировка URL в таблице выполняется по типу проблемы и наличию предупреждений. Строки упорядочены с учетом того, каков характер проблемы, на каком количестве страниц она обнаружена и принимаются ли меры для ее решения. Рекомендуем решать эти проблемы в порядке, котором они перечислены изначально.
    2. Найдите в относящейся к проблеме строке пиковые значения, совпадающие по времени возникновения с пиковыми значениями числа ошибок на диаграмме.
    3. Если нажать на строку, связанную с той или иной ошибкой, откроется специальная страница со сведениями об этой ошибке и о том, как ее устранить.
    4. Устраните ошибку и нажмите Проверить исправление. Подробнее о процедуре проверки
    5. Со сведениями о числе ошибок можно знакомиться как во время выполнения проверки, так и позже.
  3. Рекомендуем вам регулярно просматривать данные по страницам со статусом "Исключено", выполнять сортировку по количеству таких страниц и проверять их на наличие ошибок.

Как узнать статус сканирования конкретного URL

Если вас интересует статус сканирования определенной веб-страницы, воспользуйтесь инструментом проверки URL. Отчет об индексировании не поддерживает поиск или фильтрацию по URL.
Исправление ошибок сервера
Ошибка сервера означает, что робот Googlebot не смог получить доступ к вашему URL, истекло время ожидания ответа на запрос или сайт был перегружен. В результате робот был вынужден отменить запрос.

Проверка подключения к серверу

Попробуйте с помощью инструмента проверки URL воспроизвести ошибку сервера, отмеченную в отчете об индексировании.

Устранение ошибок подключения к серверу

  • Сократите количество загрузок для запросов динамических страниц.
    На динамических сайтах одинаковый контент может размещаться на страницах с разными URL (например, если содержание страницы www.example.com/shoes.php?color=red&size=7 идентично материалам на странице www.example.com/shoes.php?size=7&color=red).  Значительная задержка отклика у динамических страниц может привести к тайм-ауту. Также сервер может вернуть статус "Перегрузка", чтобы робот Googlebot сканировал сайт медленнее. Мы рекомендуем использовать краткие списки параметров и не злоупотреблять ими. Если вы знаете, как используются параметры на вашем сайте, вы можете сообщить Google, как их следует обрабатывать.
  • Убедитесь, что сервер, на котором размещен ваш сайт, не отключен и не перегружен, а также проверьте его конфигурацию.
    Если не удалось устранить проблемы с подключением, тайм-аутом или откликом, обратитесь к поставщику услуг хостинга и попробуйте увеличить пропускную способность сайта.
  • Проверьте, не блокируется ли доступ Google к сайту.
    У поискового робота Google могут быть проблемы с доступом к сайту из-за системной ошибки, например ошибки конфигурации DNS или некорректных настроек брандмауэра, защиты от DoS-атак и системы управления контентом. Любой хостинг-провайдер, оказывающий услуги высокого качества, использует систему защиты. Как правило, она автоматически блокирует запросы к серверу, если их количество существенно превышает обычный уровень. Поскольку робот Googlebot зачастую отправляет больше запросов, чем обычный пользователь, системы защиты могут расценить это как угрозу и заблокировать роботу доступ к сайту, не позволяя выполнить сканирование. Чтобы исправить эту ошибку, выясните, какой элемент инфраструктуры вашего сайта препятствует сканированию, и снимите блокировку. Если у вас нет доступа к настройкам брандмауэра, обратитесь к хостинг-провайдеру.
  • Используйте корректные методы для контроля сканирования и индексирования сайта.
    Некоторые веб-мастера намеренно блокируют роботу Googlebot доступ к своим сайтам, например с помощью брандмауэра, как описано выше. Чаще всего это делается с целью предотвратить сканирование и индексирование только отдельных веб-страниц, а не всего сайта. Если вы используете этот метод, обратите внимание на следующее:
Исправление ошибок 404

В целом, мы рекомендуем исправлять только страницы с ошибкой 404, а не с исключением 404. Ошибка 404 означает, что вы запросили у нас индексирование страницы, но она не была найдена. URL с исключением 404 – это адреса, которые мы обнаружили каким-либо другим способом.

Какие меры нужно принимать для исправления ошибок 404:

  1. Решите, нужно ли устранять выявленную проблему. Большинство таких случаев можно проигнорировать: они не влияют на индексирование и рейтинг сайта.
    • Если вы сами отправили этот URL на проверку, то это ошибка и ее лучше исправить.
    • Если эта страница была удалена и вы не создали вместо нее никакой другой, реализуйте возврат кода ошибки 404. Ошибка перестанет показываться в отчете примерно через месяц.
    • Если проблема в самом URL, который генерируется скриптом или никогда не существовал на вашем сайте, вы можете не обращать на нее внимание. Конечно, это сообщение об ошибке может мешать вам в отчете. Но за ним не стоит никакой проблемы с сайтом, если причина не кроется в URL с часто допускаемыми опечатками. Подобные ошибки 404 исчезают из отчета примерно в течение месяца.
  2. Если вы отправили URL на индексацию, а в отчете по нему указан статус Ошибка, выполните следующие действия:
    1. Выясните, был ли URL отправлен с помощью нажатия на значок лупы Поиск рядом с ним, и изучите информацию в разделе Как обнаружено. Внесите в файл Sitemap необходимые изменения.
    2. Если контент перемещен, добавьте переадресацию.
    3. Если контент страницы полностью удален и на вашем сайте нет похожей информации, старый URL должен возвращать сообщение об ошибке 404 или 410. В настоящее время Google обрабатывает ошибки 410 ("Удалено") и 404 ("Не найдено") в одинаковом порядке. Если для несуществующей страницы возвращается код, отличный от 404 и 410, или если вместо возвращения кода 404 выполняется переадресация на другую страницу, это может привести к ошибкам. В таких случаях говорят о ложных ошибках 404, которые вводят в заблуждение не только пользователей, но и поисковые системы.
    4. Если URL вам неизвестен. Иногда в отчетах могут фигурировать ошибки 404 для URL, которых никогда не было на сайте. Подобная ситуация возможна, если пользователь пытается перейти по несуществующему URL, например некорректно указывает его в адресной строке браузера или нажимает на неправильную ссылку на ваш ресурс. Если с каким-либо URL это происходит часто, создайте для него переадресацию.
      Ещё одна причина подобной ошибки может заключаться в том, что робот Googlebot пытается перейти по ссылкам, обнаруженным в коде JavaScript, файлах Flash, в другом встроенном контенте, или по ссылкам, которые есть только в файле Sitemap. Например, на вашем сайте может использоваться следующий код для отслеживания скачиваний файлов в Google Аналитике:
      <a href="helloworld.pdf"
        onClick="_gaq.push(['_trackPageview','/download-helloworld']);">
        Hello World PDF</a>

      Обнаружив его, робот Googlebot может попытаться просканировать URL http://www.example.com/download-helloworld, даже если такой страницы нет. Поэтому на странице ошибок сканирования в Search Console для упомянутой ссылки может появиться сообщение об ошибке 404 ("Не найдено"). Мы работаем над тем, чтобы такие сообщения не появлялись. Они не влияют на сканирование и рейтинг сайта.

  3. Не создавайте для таких URL ненужный контент или переадресации на главную страницу и не блокируйте их в файле robots.txt. В этом случае нам будет сложнее определить структуру сайта и правильно его обрабатывать. Такие ошибки 404 мы называем ложными. После одного удачного сканирования Google будет каждый раз пытаться повторно просканировать URL. Добавьте переадресацию 300, чтобы отложить сканирование на продолжительное время. Обратите внимание, что если отправить запрос на удаление URL с помощью инструмента удаления URL, ошибка из отчета не исчезнет.

Часто задаваемые вопросы

Почему мой сайт или страница не включены в индекс?

Если ваш сайт создан недавно, Google не сразу обнаружит и просканирует его.

  1. Чтобы мы узнали о вашей новой веб-странице, необходимо отправить нам либо файл Sitemap, либо запрос на сканирование. Также вы можете просто подождать, пока робот Googlebot не обнаружит ссылку на такую страницу самостоятельно.
  2. Между временем, когда URL станет нам известен, и полным или частичным сканированием вашего сайта обычно проходит некоторое время – до нескольких недель.

Индексация никогда не производится сразу, даже если вы отправите прямой запрос.

Почему страница, которую мне не нужно включать в поисковый индекс, попала в него?

Робот Google может найти страницу различными способами, в том числе среди ссылок на ваш сайт на другом ресурсе, и проиндексировать любой найденный URL, если вы не добавили на страницу метатег noindex или не применили к ней временную блокировку.

  1. Чтобы предотвратить появление страницы в результатах поиска Google, добавьте в ее код атрибут noindex или реализуйте на ней запрос логина и пароля.
  2. Чтобы удалить из результатов поиска Google страницу, которая уже включена в них, выполните инструкции, представленные в нашем Справочном центре.

Почему мой сайт в последнее время не индексировался повторно?

Периодичность повторной индексации зависит от того, как часто на ваших страницах происходят изменения. Мы определяем это по ряду факторов. Если ваш контент меняется редко, нет необходимости постоянно обновлять сведения о нем в нашем индексе. Вы можете отправить нам запрос на повторное сканирование.

Как отправить запрос на повторное сканирование веб-страницы или сайта?

Ознакомьтесь с соответствующими инструкциями.

Почему у меня так много исключенных страниц?

Посмотрите причины исключения в отчете об индексировании. Вот наиболее распространенные из них:

  • У вас есть правило в файле robots.txt, которое запрещает Google сканировать крупные разделы вашего сайта. Воспользуйтесь инструментом проверки URL, чтобы выяснить, так ли это.
  • На сайте много дублирующихся страниц, в основном потому, что вы используете параметры для фильтрации или сортировки общих наборов элементов (например, type=dress, color=green или sort=price). В отчете такие страницы помечаются как дублирующиеся или альтернативные.
  • URL выполняет переадресацию на другой URL. В таком случае в индекс включается только второй URL.

Почему у робота Google нет доступа к моему файлу Sitemap?

Убедитесь, что файл Sitemap не заблокирован в файле robots.txt и функционирует, а URL в robots.txt или отчете об отправке файлов Sitemap является корректным. Проверьте URL в Sitemap с помощью любого общедоступного инструмента

Почему Google продолжает сканировать удаленную страницу?

Робот Google продолжает сканировать все известные URL, даже если они некоторое время возвращали ошибки 4XX (но только при условии временных ошибок). URL не сканируется только в том случае, если он возвращает атрибут noindex.

Чтобы список ошибок 404 в отчете об индексировании не был чрезмерно велик, мы показываем только URL, для которых ошибка была зарегистрирована за последний месяц

Мне доступна моя страница. Почему робот Google ее не видит?

Чтобы узнать, может ли страница быть просканирована, воспользуйтесь инструментом проверки URL. Если эту операцию выполнить нельзя, вы увидите информацию о причине. Если инструмент не выявляет никаких ошибок, вероятно, проблема с доступом была устранена с момента последней обработки. После самостоятельного тестирования с помощью инструмента запросите повторное сканирование.

Инструмент проверки URL не находит проблем, но в отчете об индексировании отображается ошибка. Почему?

Возможно, вы исправили ошибку после последней обработки сайта роботом Googlebot. Посмотрите дату сканирования URL на странице сведений о нем в отчете об индексировании или в инструменте проверки URL (в данных об индексированной версии). Определите, производили ли вы какие-либо изменения на странице с момента ее сканирования.

В каких случаях могут быть назначены те или иные статусы

Возможные типы ошибок на страницах перечислены ниже.

"Отправлено" и "Не отправлено"

Статус "Отправлено" в результатах индексирования означает, что вы явным образом запросили индексирование того или иного URL, включив его в файл Sitemap. Пометка "Не отправлено" говорит о том, что робот Google обнаружил URL самостоятельно (например, в виде ссылки на другом сайте) и этого адреса нет ни в одном файле Sitemap.

Ошибка


Страницы с ошибками не индексируются.


Ошибка сервера (5xx). В ответ на запрос страницы сервер возвратил ошибку 5xx. Дополнительная информация представлена в разделе Исправление ошибок сервера.

Ошибка переадресации. С этим URL связана ошибка переадресации. Она может принадлежать к одному из следующих типов: слишком длинная цепь переадресаций; бесконечная переадресация; длина URL переадресации превышает максимально допустимую; недопустимый или пустой URL в цепи переадресаций.

Доступ к отправленному URL заблокирован в файле robots.txt. Вы запросили индексирование этой страницы, но она заблокирована с помощью файла robots.txt. Воспользуйтесь инструментом проверки файла robots.txt.

Страница, связанная с отправленным URL, содержит тег noindex. Вы запросили индексирование этой страницы, но она содержит директиву noindex в метатеге или в заголовке ответа HTTP. Если вы хотите проиндексировать страницу, необходимо удалить эту директиву.

Отправленный URL возвращает ложную ошибку 404. Вы запросили индексирование этой страницы, но сервер возвращает ложную ошибку 404.

Отправленный URL возвращает ошибку 401 (неавторизованный запрос). Вы запросили индексирование этой страницы, но URL возвращает ошибку 401 (неавторизованный запрос). Отключите авторизацию или откройте роботу Googlebot доступ к этой странице.

Отправленный URL не найден (ошибка 404). Вы отправили на индексирование несуществующий URL. Ознакомьтесь с разделом Исправление ошибок 404.

Ошибки при сканировании отправленного URL. Вы запросили индексирование этой страницы, но произошли ошибки сканирования, которые не входят ни в одну из перечисленных категорий. Воспользуйтесь инструментом проверки URL.

Предупреждение


Есть вероятность, что страницы с таким статусом потребуют вашего внимания. В зависимости от результата сканирования они могут быть не проиндексированы.


Проиндексировано, несмотря на блокировку в файле robots.txt. Страница была проиндексирована, несмотря на блокировку файлом robots.txt (Google всегда следует предписаниям этого файла, однако если на других сайтах есть ссылки на вашу страницу, то robots.txt не поможет). Этот статус установлен, так как мы не уверены, что вы хотите удалить страницу из результатов поиска. Если ваше намерение именно таково, файл robots.txt не является корректным способом избежать индексирования. Чтобы страница не индексировалась, необходимо использовать тег noindex или запретить анонимный доступ к ней. С помощью специального инструмента можно понять, какое именно правило блокирует страницу. Из-за файла robots.txt страница может не самым оптимальным образом показываться в результатах поиска. Если вы не хотите удалять страницу из результатов поиска, измените файл robots.txt.

Страница без ошибок


Страницы с таким статусом были проиндексированы.

Страница отправлена и проиндексирована. Вы запросили индексирование этой страницы, запрос выполнен.

Страница проиндексирована, но ее нет в файле Sitemap. URL был обнаружен Google и проиндексирован. Советуем отправлять на индексирование все важные URL, используя файл Sitemap.

Исключенные страницы


Перечисленные ниже виды страниц обычно не индексируются по объективным причинам, не связанным с неполадками. Возможные причины: страница является точной копией проиндексированной страницы, поисковым роботам запрещено ее обрабатывать и т. д.


Индексирование страницы запрещено тегом noindex. Робот Googlebot отказался от обработки страницы, обнаружив в ее коде директиву noindex. Если вы не хотите, чтобы эта страница индексировалась, то все в порядке. В противном случае необходимо удалить указанную директиву.

Индексирование страницы запрещено с помощью инструмента удаления страниц. В настоящее время робот Googlebot не может обработать страницу, поскольку мы получили связанный с ней запрос на удаление URL. При помощи специального инструмента вы можете выяснить, кем он был отправлен, если являетесь подтвержденным владельцем сайта. Обратите внимание, что срок действия подобных запросов составляет около 90 дней с даты удаления. По истечении этого срока робот Googlebot может вернуться на страницу и обработать ее, даже если вы не запрашивали индексирование. Если вы не хотите, чтобы страница была добавлена в индекс Google, удалите ее, внедрите на ней авторизацию или используйте директиву noindex.

Заблокировано в файле robots.txt. Директива в файле robots.txt запрещает роботу Googlebot доступ к странице. Проверить это можно с помощью инструмента проверки файла robots.txt. Обратите внимание, что страница все равно может быть проиндексирована другими способами. Это может произойти, если Google в состоянии отыскать информацию о странице, не загружая ее (такое случается нечасто). Чтобы страница не индексировалась, удалите блокировку в файле robots.txt и используйте директиву noindex.

Страница не проиндексирована вследствие ошибки 401 (неавторизованный запрос). Доступ робота Googlebot к странице заблокирован из-за необходимости авторизации (код 401). Если вы хотите, чтобы робот мог проиндексировать страницу, отмените обязательную авторизацию или откройте ему доступ.

Ошибка сканирования. Возникли проблемы при обращении к URL. Может быть возвращен код 4xx или 5xx. Чтобы выявить возможные неполадки, попробуйте обработать страницу с помощью инструмента проверки URL. Страница не была проиндексирована.

Страница просканирована, но пока не проиндексирована. В дальнейшем она может быть проиндексирована, а может и остаться в текущем состоянии; вновь отправлять этот URL на сканирование не нужно.

Обнаружена, не проиндексирована. Это сообщение означает, что мы нашли страницу, но пока не добавили ее в индекс Google. Обычно это объясняется тем, что робот Google не смог просканировать сайт, поскольку тот оказался перегружен, и был вынужден перенести сканирование на более поздний срок. Именно поэтому в отчете не указывается дата последнего сканирования.

Вариант страницы с тегом canonical. Эта страница дублирует другую, которую Google считает канонической, и верно указывает на нее. Вам не нужно ничего предпринимать.

Страница является копией. Канонический вариант не выбран пользователем. У этой страницы есть точные копии, ни одна из которых не указана как каноническая версия. Google считает текущую страницу неканонической. Необходимо выполнить нормализацию. Выбранный Google канонический URL можно узнать, проверив неканонический с помощью специального инструмента.

Страница является копией. Канонические версии страницы, выбранные Google и пользователем, не совпадают. Этот URL помечен как канонический для набора страниц, но Google считает, что другой URL больше подходит в качестве канонического. Робот проиндексировал не эту страницу, а выбранную Google. Рекомендуем отметить эту страницу как неканоническую копию. Она была обнаружена без специального запроса на сканирование. Проверив ее URL с помощью специального инструмента, вы узнаете канонический URL по версии Google.

Не найдено (404). В ответ на запрос страницы получен код ошибки 404. URL был найден Google без специального запроса на сканирование и без помощи файла Sitemap. Возможно, робот Google обнаружил этот URL в ссылке на другом сайте или соответствующая страница существовала раньше и была удалена. Робот, вероятно, продолжит попытки найти указанный URL. Хотя предотвратить это невозможно, с каждым разом между ними будет проходить все больше времени. Если ваша страница перенесена, используйте переадресацию 301. Ознакомьтесь с разделом, посвященным исправлению ошибок 404.

Страница удалена в результате жалобы юридического характера. Мы получили официальную жалобу и удалили страницу из индекса.

Страница с переадресацией. URL выполняет перенаправление на другую страницу, поэтому он не был проиндексирован.

Ложная ошибка 404. Страница возвращает ложную ошибку 404. Это означает, что пользователь видит сообщение "не найдено", которое не сопровождается кодом 404. Рекомендуем использовать код 404 в случаях, когда имеет место настоящая ошибка этого типа, или снабжать страницу дополнительной информацией, чтобы робот Google мог отличить настоящую ошибку от ложной. Подробнее…

Страница является копией. Отправленный URL не выбран в качестве канонического. URL представляет собой один из ряда дубликатов и не указан в качестве канонической страницы. Вы запросили индексирование этого URL, однако вместо него был проиндексирован другой. Причина в том, что Google выбирает из нескольких дубликатов каноническую страницу и индексирует только ее. Отличие от статуса "Канонические версии страницы, выбранные Google и пользователем, не совпадают" в том, что вы специально запросили индексирование. Выбранный Google канонический URL можно узнать, проверив неканонический с помощью специального инструмента.

 

Известные проблемы

В бета-версии нового интерфейса Search Console обнаружены перечисленные ниже неполадки. Сообщать нам о них не нужно, однако вы можете поделиться с нами своим мнением о функциях интерфейса, а также оповестить нас об иных проблемах, возникших при работе с ним. Для этого воспользуйтесь специальной кнопкой, доступной на панели навигации.

  • Поскольку данные индексации не обновляются ежедневно, иногда сведения предоставляются с задержкой, а в некоторых случаях применяется интерполяция.
  • На диаграммах должны быть представлены данные за последние 90 дней, однако в настоящее время этот срок может быть короче. 
  • Фильтр файлов Sitemap в раскрывающемся меню включает только файлы Sitemap, добавленные с помощью сервиса Search Console или директив robots.txt.
  • Названия статусов в списке могут быть изменены. Пометку "Ошибка" получают URL с различными кодами ответа (4xx, 5xx).
Эта информация оказалась полезной?
Как можно улучшить эту статью?