Отчет об индексировании

Из этого отчета можно узнать, какие страницы вашего сайта были проиндексированы и какие проблемы были обнаружены при индексировании.

 

ОТКРЫТЬ ОТЧЕТ

 

Учебный курс по Google Search Console: отчет об индексировании в Search Console

Анализ данных отчета

Для начала рекомендуем прочитать статью о том, как работает Google Поиск.

В отчете указывается статус индексирования всех URL вашего сайта, по которым перешел или попытался перейти робот Googlebot. На странице сводки вы увидите результаты сканирования всех URL, сгруппированные по статусу (ошибка, предупреждение, без ошибок) и причине (например, Отправленный URL не найден (ошибка 404)). Нажмите на строку таблицы, чтобы изучить список всех URL с этой ошибкой или статусом и подробные сведения о проблеме.

 

В каком случае отчет может не быть полезен

Если на вашем сайте менее 500 страниц, вам лучше не использовать отчет, а найти свои страницы в Google, введя в окне поиска site:ваш_сайт, где вместо ваш_сайт нужно указать URL сайта без префикса "http://" или "https://". Пример: site:example.com или site:example.com/magazin. В результатах поиска будут перечислены страницы, найденные роботами Google на вашем сайте. Чтобы найти конкретные страницы, можно добавить в запрос поисковые слова, например так: site:example.com/magazin одежда обувь.

 

Сводные данные

В этом отчете приведена информация об индексировании всех страниц вашего сайта, которые пытался просканировать робот Google, с группировкой по статусам и причинам их назначения.

Основной робот

Значение напротив слов Основной робот на странице сводных данных говорит о том, с помощью какого агента пользователя Google по умолчанию сканирует ваш сайт, то есть имитируется ли посещение с мобильного устройства (вариант Смартфоны) или с компьютера (вариант ПК).

Основной робот сканирует весь ваш сайт, но Google может также использовать для части ваших страниц дополнительного робота (из двух указанных выше). Например, если основной робот для сайта обозначен как "Смартфоны", то дополнительным будет "ПК", и наоборот. Цель сканирования страниц с помощью дополнительного агента пользователя – получить больше информации о том, как ваш сайт работает на устройствах разных типов.

На что следует обратить внимание

Обычно с появлением на сайте новых материалов постепенно увеличивается количество страниц, проиндексированных без ошибок. О причинах резкого изменения этого количества рассказывается в разделе Устранение неполадок. Группировка данных в таблице из сводки выполнена по статусу и причине. Наиболее серьезные ошибки следует устранять в первую очередь.

Какие данные несущественны

  • Не удивляйтесь, что не все URL вашего сайта индексируются. Вам необходимо, чтобы в индекс попала каноническая версия каждой страницы. Дубликаты или альтернативные страницы, контент которых не имеет существенных отличий от содержимого канонической версии, в отчете обычно помечаются как исключенные. Если страница учтена как дубликат или альтернативный вариант, значит ее каноническая версия обнаружена и включена в индекс, а проблем с ней нет. Чтобы выявить такие версии, воспользуйтесь инструментом проверки URL. Подробнее о причинах отсутствия страниц в индексе…
  • На индексирование нового контента иногда требуется несколько дней. Чтобы ускорить эту процедуру, можно отправить нам запрос.

Статус

Странице сайта может быть присвоен один из следующих статусов:

  • Ошибка. Проиндексировать страницу не удалось. Чтобы ознакомиться с дополнительными сведениями об ошибке и узнать, как ее устранить, посмотрите описание нужного типа ошибки. Такие проблемы необходимо решить в первую очередь.
  • Предупреждение. Робот проиндексировал страницу, но обнаружил на ней проблему.
  • Исключено. Страница не проиндексирована, скорее всего потому, что таково было ваше решение. В частности, это может быть связано с тем, что страница исключена вами при помощи директивы noindex или является копией уже проиндексированной канонической страницы.
  • Страница без ошибок. Страница проиндексирована.

Причина

Каждый из приведенных выше статусов является следствием определенной причины. Дополнительные сведения о типах статусов представлены в соответствующем разделе ниже.

Проверка

Статус проверки. В первую очередь следует решить проблемы со статусом "Ошибка" или "Не начато".

О проверке сайтов

Устранив проблему на всех страницах, где она выявлена, запросите повторную проверку сайта. Если она действительно решена во всех перечисленных случаях, Search Console пометит ее в таблице статусов как исправленную и переместит в конец списка. Наш сервис отслеживает статус как проблемы в целом, так и всех случаев ее возникновения по отдельности. Проблема будет считаться решенной только после того, как вы устраните ее во всех выявленных случаях. В разделах Статус проверки сайта на наличие проблемы и Статус проверки страниц на наличие проблемы рассказывается, как отслеживать ситуацию с устранением нарушения.

Срок актуальности проблемы

Проблема считается актуальной с момента, когда она была впервые выявлена на вашем сайте, и вплоть до 90 дней после того, как последняя страница с нарушением была помечена как исправленная. Если в течение этого срока Search Console не обнаружит проблему снова, она будет удалена из истории отчетов.

Датой выявления проблемы считается момент, когда она первый раз была зарегистрирована в течение срока актуальности. Эта дата неизменна. Далее Search Console действует по следующему алгоритму:

  • Если проблема была исправлена на всех страницах, однако через 15 дней после этого она появилась вновь, мы будем по-прежнему считать ее актуальной, а дата выявления останется неизменной.
  • Если же это произойдет через 91 день, проблема уже будет удалена из истории. Мы зарегистрируем нарушение как новое и с другой датой выявления.

Основной процесс проверки

Ниже описано, как проходит процедура проверки после того, как вы нажмете Проверить исправление. Она может занять несколько дней. Вы будете получать по электронной почте уведомления о пройденных этапах.

  1. После того как вы нажмете Проверить исправление, Search Console сразу же обработает несколько страниц.
    • Если хотя бы на одной из них будет обнаружено нарушение, о котором идет речь, проверка закончится, а ее статус останется неизменным.
    • Если на выбранных страницах нарушение обнаружено не будет, процедура проверки продолжится, а ее статус изменится на Начато. При этом Search Console может выявить другие проблемы, не связанные с текущей, однако зарегистрирует их отдельно, а проверка будет выполняться далее.
  2. Search Console будет проверять список страниц, на которых была обнаружена проблема, а не весь сайт. Список обработанных URL хранится в истории проверок Search Console. Ее можно открыть на странице со сведениями о проблеме.
  3. При проверке URL происходит следующее:
    1. Если проблема не найдена, статус проверки страниц меняется на Нет нарушений. Если это первый URL в очереди на обработку, статус проверки сайта меняется на Ошибки исправлены.
    2. Если URL недоступен, статус проверки страниц на наличие ошибки приобретает значение Другое (это не статус ошибки).
    3. Если проблема по-прежнему присутствует, сайту назначается статус Есть ошибки и проверка заканчивается. Если такое нарушение выявлено на новой странице, обнаруженной при обычном сканировании сайта, это расценивается как ещё один случай прежней проблемы.
  4. Если все URL с ошибками и предупреждениями проверены и проблем не найдено, статус проверки меняется на Нет ошибок. Внимание! В этом случае по-прежнему будет указан исходный уровень нарушения (Ошибка или Предупреждение).

Даже если вы не нажмете "Начать проверку", Google все равно сможет обнаружить все элементы с нарушениями на вашем сайте. Если при обычном сканировании окажется, что определенная проблема исправлена на всех страницах, где она раньше имела место, статус ее проверки в отчете будет изменен на "Отсутствует".

При каких условиях проблема считается устраненной для определенного URL или раздела на сайте?

Для URL или раздела на сайте проблема расценивается как решенная при выполнении любого из следующих условий:

  • Размещенная по этому URL страница просканирована, а выявленная ранее проблема на ней не обнаружена. Если нарушение было связано с тегом AMP, значит вы успешно внесли исправления или тег удален (если его не требуется использовать). При проверке будет демонстрироваться статус "Нет ошибок".
  • Страница по какой-либо причине недоступна роботам Google (удалена, содержит метатег с директивой noindex, требует авторизации и т. д.). Для такого URL проблема тоже будет считаться решенной. При проверке статус изменится на "Другое".

Повторная проверка

Если нажать Провести повторную проверку после неудачной прежней попытки, Search Console начнет снова проверять все страницы, на которых проблема была выявлена ранее, а также новые страницы, где она была найдена при обычном сканировании.

Прежде чем запросить новую проверку, дождитесь окончания предыдущей, даже если во время нее вы устранили нарушение на каких-либо страницах.

Страницы с ошибками, которые прошли проверку (помеченные как Нет ошибок) или стали недоступными (помеченные как Другое), повторно не проверяются. Они будут удалены из истории проверок после того, как вы нажмете "Провести повторную проверку".

История проверок

Чтобы просмотреть статус запроса на проверку, откройте страницу со сведениями о проблеме и нажмите на ссылку, по которой доступна подробная информация о проверке.

Записи, упомянутые в истории проверок, в отчетах об AMP-страницах и статусе индексирования систематизированы по URL. В отчете о расширенных результатах и об удобстве для мобильных записи группируются по URL и элементам структурированных данных (согласно значению элемента name). Статус решения проблемы касается той проблемы, которая стала предметом проверки. На одной и той же странице одна проблема может иметь статус "Нет ошибок", а другая "Ошибка", "Не проверено" или "Другое".

Статус проверки сайта на наличие проблемы

Выявленной проблеме может быть назначен один из перечисленных ниже статусов.

  • Не начато. На сайте есть страницы, где представлена данная проблема, и они не проходили проверку. Что нужно предпринять:
    1. Нажмите на описание проблемы и ознакомьтесь с подробными сведениями о ней. Проанализируйте страницы, где она обнаружена, с помощью инструмента проверки AMP-страниц. Если этот инструмент не находит нарушений на странице, значит вы уже устранили их после того, как роботы Google обнаружили их и создали отчет.
    2. Нажмите "Подробнее" на странице со сведениями о проблеме, чтобы узнать, какое правило было нарушено.
    3. Выберите пример строки URL в таблице, чтобы получить подробную информацию о проблеме на соответствующей странице.
    4. Устраните нарушение на всех страницах и нажмите Проверить исправление, чтобы мы просканировали их заново. Google будет уведомлять вас о ходе проверки. Эта процедура может занять от нескольких дней до двух недель.
  • Начато. Вы начали проверку, и проблема не обнаружена на новых страницах. Что следует предпринять: следите за уведомлениями от Google, в которых вы найдете инструкции, если от вас будут требоваться какие-либо действия.
  • Ошибки исправлены. Вы начали проверку, и проблема исправлена на страницах, где она ранее была обнаружена. Что следует предпринять: просто следите за уведомлениями Google о ходе проверки, в которых могут содержаться новые инструкции для вас.
  • Нет ошибок. Проблема устранена на всех страницах, где она ранее была обнаружена (или прежние URL больше не доступны). Этот статус может появиться только в том случае, если вы ранее нажимали "Проверить исправление". Если сервис Search Console не обнаружил страницы с проблемами по иной причине, появится статус "Отсутствует". Что следует предпринять: ничего делать не нужно.
  • Отсутствует. Мы обнаружили, что все страницы, где ранее наблюдалась проблема, исправлены, хотя вы ни разу не запрашивали проверку. Что следует предпринять: ничего делать не нужно.
  • Есть ошибки. Проблема до сих пор наблюдается на некоторых страницах. Этот статус может появиться в том случае, если ранее вы нажимали "Проверить". Что следует предпринять: устраните нарушение и запросите повторную проверку.

Статус проверки страниц на наличие проблемы

После того как вы запросите проверку, Search Console присвоит каждому случаю возникновения проблемы один из перечисленных ниже статусов.

  • Не проверено. Проблема находится в очереди на проверку. В ходе последней проверки выяснилось, что она не устранена.
  • Нет ошибок (не во всех отчетах). Мы проверили страницу на предмет наличия проблемы и выяснили, что нарушение больше не наблюдается. Такой статус может появиться, только если вы запрашивали обработку именно этой страницы, нажав кнопку Проверить.
  • Есть ошибки. Мы проверили страницу на предмет наличия проблемы и выяснили, что нарушение по-прежнему наблюдается. Такой статус может появиться, только если вы запрашивали обработку именно этой страницы, нажав кнопку Проверить.
  • Другое (не во всех отчетах). У Google нет доступа к странице или элементу (для структурированных данных), где выявлена проблема. Этот вариант аналогичен статусу Нет ошибок.

Обратите внимание, что у одного и того же URL может быть разный статус применительно к разным нарушениям. К примеру, если на одной и той же странице встречается проблема А и проблема Б, первой может быть назначен статус Нет ошибок, а второй – Не проверено.

Фильтр способов обнаружения URL, доступный в раскрывающемся меню

В раскрывающемся меню над таблицей есть фильтр, позволяющий систематизировать результаты индексирования по способу, с помощью которого робот Googlebot обнаружил соответствующий URL. Возможны следующие значения:

  • Все обработанные страницы (по умолчанию). Все URL, обнаруженные роботом Googlebot любыми способами.
  • Все отправленные страницы. Страницы, добавленные в отчет с помощью файла Sitemap или запроса ping.
  • URL из определенного файла Sitemap. Только URL, которые перечислены в определенном файле Sitemap, добавленном с помощью этого отчета, а также URL из вложенных файлов Sitemap.

URL считается отправленным с помощью файла Sitemap, даже если он также обнаружен и иным способом (например, если робот перешел на страницу, просканировав другой ресурс).

Страница сведений

Чтобы посмотреть данные о том или ином сочетании статуса и причины, нажмите на нужную строку в сводке и перейдите по ссылке Подробнее на открывшейся странице.

Диаграмма на этой странице содержит сведения об URL, с которыми в разное время были связаны ошибки сканирования.

В таблице можно увидеть примеры страниц с той или иной проблемой:

  • Чтобы открыть одну из перечисленных в таблице страниц, нажмите на значок перехода в нужной строке.
  • Чтобы проверить один из URL, нажмите на значок лупы в нужной строке.
  • Когда будут исправлены все ошибки, а также связанные с предупреждениями проблемы, отправьте в Google запрос на повторную проверку.

Вы устранили связанную с URL проблему, но пометка о ней осталась? Проверьте дату последнего сканирования этого URL. Возможно, оно было выполнено до того, как вы приняли меры. В таком случае убедитесь, что проблема действительно решена, и запросите повторное индексирование.

Источник

Значение напротив слова Источник на странице сведений говорит о том, с помощью какого агента пользователя сканировались перечисленные в таблице URL. Агент пользователя имитирует посещение страницы с мобильного устройства (вариант "Смартфоны") или с компьютера (вариант "ПК").

 

Как отправить сведения об ошибке другим пользователям

Чтобы предоставить кому-либо доступ к информации об ошибке, выявленной с помощью отчета об индексировании или об улучшениях, нажмите кнопку Отправить на странице со сведениями о конкретной проблеме. Адресат получит ссылку доступа только к этой странице и результатам проверок, но не к другим страницам. Пользователи, перешедшие по такой ссылке, не смогут выполнять действия с вашим ресурсом или аккаунтом. Вы можете в любое время отменить доступ к этой странице.

Как экспортировать данные

Данные из некоторых отчетов можно экспортировать, нажав кнопку скачивания . Доступны для экспорта сведения и на диаграммах, и в таблицах.

Устранение неполадок

Чтобы узнать статус индексирования конкретного URL в этом отчете, выполните следующие действия:

  1. На странице с подробной информацией нажмите на URL в таблице с примерами, чтобы открыть боковую панель с вариантами тестирования.
  2. На боковой панели нажмите Проверить URL, чтобы узнать дополнительную информацию о версии страницы в индексе Google.
  3. Откройте раздел Отчет об индексировании > Сканирование или Отчет об индексировании > Индексирование, чтобы узнать статус сканирования или индексирования страницы. Чтобы протестировать текущую версию страницы, нажмите Проверить страницу на сайте.

Распространенные проблемы

Ниже описаны наиболее распространенные ошибки, которые могут встречаться в отчете.

Резкое снижение общего числа проиндексированных страниц без указания ошибок

Снижение числа проиндексированных страниц без указания ошибок может быть связано с тем, что при помощи файла robots.txt, директивы noindex или системы авторизации заблокирован доступ к страницам, индексирование которых вы не запрашивали. Если вы отправляли запрос на индексирование таких страниц, появятся оповещения о соответствующих ошибках. Попробуйте выяснить, не связано ли уменьшение количества страниц без ошибок с увеличением количества исключенных URL.

Больше исключенных страниц, чем проиндексированных

Если исключенных страниц больше, чем проиндексированных, выясните, почему исключены страницы. Чаще всего такая ситуация возникает по следующим причинам:

  • У вас есть правило в файле robots.txt, которое запрещает Google сканировать крупные разделы вашего сайта. Если доступ к определенным страницам закрыт по ошибке, откройте его.
  • На сайте много дублирующихся страниц, в основном потому, что вы используете параметры для фильтрации или сортировки общих наборов элементов (например, type=dress, color=green или sort=price). Скорее всего, такие страницы должны быть исключены, если на них показывается один и тот же контент, который сортируется, фильтруется или обрабатывается различными способами. Если вы обладаете достаточным опытом в данной области и считаете, что Google неверно обрабатывает параметры вашего сайта, вы можете настроить их обработку с помощью инструмента Параметры URL.
Резкий скачок числа ошибок

Это может происходить по двум причинам. Первая – был изменен шаблон, вторая – был добавлен файл Sitemap с URL, сканирование которых заблокировано с помощью файла robots.txt, директивы noindex или запроса авторизации. Нажмите на строку ошибки, чтобы посмотреть подробные сведения.

Если число ошибок резко увеличилось, выполните следующие действия:

  1. Чтобы определить, какая проблема влияет на общее число ошибок или проиндексированных страниц, попробуйте найти взаимосвязь между этими показателями и спарклайном рядом со строкой конкретной ошибки в сводке.
  2. Нажмите на строку, относящуюся к неполадке, которая может быть связана со скачком числа ошибок. Откроется специальная страница со сведениями об этой неполадке и о том, как ее устранить.
  3. Устраните ошибку и нажмите Проверить исправление на упомянутой странице со сведениями. Подробнее о процедуре проверки
  4. Со сведениями о числе ошибок можно знакомиться как во время выполнения проверки, так и позже.
  5. Рекомендуем вам регулярно изучать данные по страницам со статусом "Исключено", выполнять сортировку по количеству таких страниц и проверять их на наличие ошибок.
Ошибки сервера
Ошибка сервера означает, что робот Googlebot не смог получить доступ к вашему URL, истекло время ожидания ответа на запрос или сайт был перегружен. В результате робот был вынужден отменить запрос.

Проверка подключения к серверу

Попробуйте с помощью инструмента проверки URL воспроизвести ошибку сервера, отмеченную в отчете об индексировании.

Устранение ошибок подключения к серверу

  • Сократите количество загрузок динамических страниц.
    На динамических сайтах одинаковый контент может размещаться на страницах с разными URL (например, www.example.com/shoes.php?color=red&size=7 и www.example.com/shoes.php?size=7&color=red). В некоторых случаях проблемы возникают из-за того, что получение динамических страниц занимает слишком много времени. Также сервер может вернуть статус "Перегрузка", чтобы робот Googlebot сканировал сайт медленнее. Мы рекомендуем использовать краткие списки параметров и не злоупотреблять ими. Если вы знаете, как используются параметры на вашем сайте, вы можете сообщить Google, как их следует обрабатывать.
  • Убедитесь, что сервер, на котором размещен ваш сайт, не отключен и не перегружен, а также проверьте его конфигурацию.
    Если не удалось устранить проблемы с подключением, временем ожидания или откликом, обратитесь к поставщику услуг хостинга и попробуйте увеличить пропускную способность сайта.
  • Проверьте, не блокируется ли доступ к сайту для роботов Google.
    У поискового робота Google могут быть проблемы с доступом к сайту из-за системной ошибки, например ошибки конфигурации DNS или некорректных настроек брандмауэра, защиты от DoS-атак и системы управления контентом. Любой хостинг-провайдер, оказывающий услуги высокого качества, использует систему защиты. Как правило, она автоматически блокирует запросы к серверу, если их количество существенно превышает обычный уровень. Поскольку робот Googlebot зачастую отправляет больше запросов, чем обычный пользователь, системы защиты могут расценить это как угрозу и заблокировать роботу доступ к сайту, не позволяя выполнить сканирование. Чтобы исправить эту ошибку, выясните, какой элемент инфраструктуры вашего сайта препятствует сканированию, и снимите блокировку. Если у вас нет доступа к настройкам брандмауэра, обратитесь к хостинг-провайдеру.
  • Управляйте сканированием и индексированием сайта разумно.
    Некоторые веб-мастера намеренно блокируют роботу Googlebot доступ к своим сайтам, например с помощью брандмауэра, как описано выше. Чаще всего это делается с целью предотвратить сканирование и индексирование только отдельных веб-страниц, а не всего сайта. Если вы тоже так поступаете, обратите внимание на следующее:
Ошибка 404

В целом мы рекомендуем исправлять только страницы с ошибкой 404, а не с исключением 404. Ошибка 404 означает, что вы запросили у нас индексирование страницы, но она не была найдена. URL с исключением 404 – это адреса, которые мы обнаружили каким-либо другим способом.

Проанализируйте и при необходимости исправьте ошибки 404.

Отсутствие страниц и сайтов в результатах поиска

Если страница не указана в отчете, это наверняка связано с одной из следующих причин:

  • У Google нет сведений о странице. Что нужно учитывать:
    • Если вы создали сайт или страницу недавно, Google обнаружит и просканирует их не сразу.
    • Чтобы мы узнали о вашей странице, необходимо отправить нам либо файл Sitemap, либо запрос на сканирование. Также вы можете просто подождать, пока робот Googlebot не обнаружит ссылку на страницу самостоятельно.
    • Между временем, когда URL станет нам известен, и полным или частичным сканированием вашего сайта обычно проходит некоторое время – до нескольких недель.
    • Индексация никогда не происходит сразу, даже если вы отправите прямой запрос.
  • Роботы Google не могут обработать страницу, так как она требует авторизации или по иным причинам доступна не всем пользователям в Интернете.
  • Роботы Google не могут проиндексировать страницу, так как на ней используется директива noindex.
  • Страница по какой-то причине исключена из индекса.

Как устранить проблему

Проанализируйте проблему на странице с помощью инструмента проверки URL. Если страница не представлена в отчете об индексировании, но отмечена как проиндексированная в отчете инструмента проверки URL, вероятно, она была обработана и в ближайшее время появится в отчете об индексировании. Если же по данным инструмента проверки URL страница не была проиндексирована, протестируйте опубликованную страницу. Это позволит вам определить, с чем связана неполадка. Устранить ее вам помогут сведения, полученные по результатам теста, а также специальная документация к тесту.

Проблемы с отправленными URL
Если причина неудачных попыток индексирования содержит слово "отправлено" (например, "Отправлено, но при сканировании URL возникла проблема"), это значит, что ваш URL есть в файле Sitemap, который указан в файле robots.txt или добавлен с помощью отчета "Файлы Sitemap".
Как устранить проблему такого типа:
  • снимите запрет на сканирование страницы; или
  • удалите конкретный URL из файла Sitemap и снова добавьте этот файл в упомянутом выше отчете (для скорейшей обработки); или
  • в том же отчете удалите все файлы Sitemap, содержащие конкретный URL (и убедитесь, что этого URL нет ни в одном файле Sitemap, указанном в robots.txt).

Часто задаваемые вопросы

Почему страница, которую мне не нужно включать в поисковый индекс, попала в него?

Робот Google может найти страницу различными способами, в том числе среди ссылок на ваш сайт на других ресурсах, и проиндексировать любой найденный URL, если вы не добавили на страницу метатег с директивой noindex и не применили временную блокировку.

Почему мой сайт в последнее время не индексировался повторно?

Периодичность повторной индексации зависит от того, как часто на ваших страницах происходят изменения. Мы определяем это по ряду факторов. Если ваш контент меняется редко, нет необходимости постоянно обновлять сведения о нем в нашем индексе. Вы можете отправить нам запрос на повторное сканирование.

Как отправить запрос на повторное сканирование веб-страницы или сайта?

Следуйте инструкциям.

Почему у меня так много исключенных страниц?

Посмотрите причины исключения в отчете об индексировании. Вот наиболее распространенные из них:

  • У вас есть правило в файле robots.txt, которое запрещает Google сканировать крупные разделы вашего сайта. Воспользуйтесь инструментом проверки URL, чтобы выяснить, так ли это.
  • На сайте много дублирующихся страниц, в основном потому, что вы используете параметры для фильтрации или сортировки общих наборов элементов (например, type=dress, color=green или sort=price). В отчете такие страницы помечаются как повторяющиеся или альтернативные.
  • URL выполняет переадресацию на другой URL. В таком случае в индекс включается только второй URL.

Почему у робота Google нет доступа к моему файлу Sitemap?

Убедитесь, что файл Sitemap не заблокирован в файле robots.txt и функционирует, а URL в robots.txt или отчете об отправке файлов Sitemap является корректным. Проверьте URL в Sitemap с помощью любого общедоступного инструмента.

Почему Google продолжает сканировать удаленную страницу?

Робот Google продолжает сканировать все известные URL, даже если при открытии некоторых страниц довольно давно стали возникать ошибки 4XX. Предполагается, что такие ошибки могут оказаться временным явлением. URL не сканируется только в том случае, если он возвращает атрибут noindex.

Чтобы список ошибок 404 в отчете об индексировании не был слишком длинным, мы показываем только те URL, для которых ошибка была зарегистрирована за последний месяц.

Мне доступна моя страница. Почему робот Google ее не видит?

Чтобы узнать, может ли страница быть просканирована, воспользуйтесь инструментом проверки URL. Если эту операцию выполнить нельзя, вы увидите информацию о причине. Если инструмент не выявляет никаких ошибок, вероятно, проблема с доступом была устранена с момента последней обработки. Протестируйте с помощью указанного инструмента текущую версию страницы и запросите индексирование.

Инструмент проверки URL не находит проблем, но в отчете об индексировании показывается ошибка. Почему?

Возможно, робот Googlebot в последний раз обрабатывал страницу до того, как вы исправили связанную с ней ошибку. Посмотрите дату сканирования URL на странице сведений о нем в отчете об индексировании или в инструменте проверки URL (в данных об индексированной версии). Определите, вносили ли вы изменения на странице с момента ее сканирования.

Как узнать статус сканирования конкретного URL?

Если вас интересует статус сканирования определенной веб-страницы, воспользуйтесь инструментом проверки URL. Отчет об индексировании не поддерживает поиск или фильтрацию по URL.

Причины назначения статусов

Причины, по которым могут назначаться различные статусы, перечислены ниже.

Ошибка


Страницы с ошибками не индексируются.


Ошибка сервера (5xx). В ответ на запрос страницы сервер возвратил ошибку 5xx. Дополнительная информация представлена в разделе Исправление ошибок сервера.

Ошибка переадресации. При индексировании произошла одна из следующих ошибок: – слишком длинная цепь переадресаций; – бесконечная переадресация; – длина URL переадресации превышает допустимую; – недопустимый или пустой URL в цепи переадресаций. Воспользуйтесь инструментом отладки Lighthouse или другим, чтобы узнать причину сбоя.

Доступ к отправленному URL заблокирован в файле robots.txt. Вы запросили индексирование этой страницы, но она заблокирована с помощью файла robots.txt.

  1. Выберите страницу в таблице с примерами, чтобы раскрыть боковую панель инструментов.
  2. Запустите инструмент проверки файла robots.txt, нажав на ссылку Проверить блокировку URL в robots.txt. В нем будет показано правило, которое запрещает сканирование этого URL.
  3. Измените это правило в файле robots.txt или удалите его. Чтобы найти этот файл, нажмите на ссылку Открыть robots.txt в инструменте проверки. Если вы пользуетесь сервисом веб-хостинга и не можете изменить этот файл, изучите документацию сервиса или сообщите о проблеме в его службу поддержки.

Страница, связанная с отправленным URL, содержит тег noindex. Вы запросили индексирование этой страницы, но она содержит директиву noindex в метатеге или в заголовке ответа HTTP. Если вы хотите проиндексировать страницу, необходимо удалить эту директиву. Откройте инструмент проверки URL и выполните следующие действия:

  1. Нажмите на значок лупы рядом с URL в таблице.
  2. В разделе Доступность > Индексирование > Индексирование разрешено? отчета должно быть указано, что директива noindex блокирует индексирование.
  3. Проверьте, удален ли тег noindex со страницы на сайте, выполнив следующие действия:
    1. Нажмите Проверить страницу на сайте.
    2. Откройте раздел Доступность > Индексирование > Индексирование разрешено? и проверьте, удалена ли директива noindex. Если да, вы можете нажать кнопку Запросить индексирование, чтобы повторить процедуру. Если директива не удалена, удалите ее: в противном случае проиндексировать страницу не получится.

Отправленный URL возвращает ложную ошибку 404. Вы запросили индексирование этой страницы, но сервер возвращает ложную ошибку 404. Узнайте как это исправить.

Отправленный URL возвращает ошибку 401 (неавторизованный запрос). Вы запросили индексирование этой страницы, но URL возвращает ошибку 401 (неавторизованный запрос). Отключите авторизацию или откройте роботу Googlebot доступ к этой странице. Проверить, происходит ли эта ошибка, можно, открыв страницу в режиме инкогнито.

Отправленный URL не найден (ошибка 404). Вы отправили на индексирование несуществующий URL. Ознакомьтесь с разделом Исправление ошибок 404.

Ошибки при сканировании отправленного URL. Вы запросили индексирование этой страницы, но произошли ошибки сканирования, которые не входят ни в одну из перечисленных категорий. Воспользуйтесь инструментом проверки URL.

Предупреждение


Есть вероятность, что страницы с таким статусом потребуют вашего внимания. В зависимости от результата сканирования они могут быть не проиндексированы.


Проиндексировано, несмотря на блокировку в файле robots.txt. Страница была проиндексирована, несмотря на блокировку файлом robots.txt (Google всегда следует предписаниям этого файла, однако если на других сайтах есть ссылки на вашу страницу, то robots.txt не поможет). Этот статус установлен, так как мы не уверены, что вы хотите удалить страницу из результатов поиска. Если ваше намерение именно таково, файл robots.txt не является корректным способом избежать индексирования. Чтобы страница не индексировалась, необходимо использовать тег noindex или запретить анонимный доступ к ней. С помощью специального инструмента можно понять, какое именно правило блокирует страницу. Из-за файла robots.txt страница может не самым оптимальным образом показываться в результатах поиска. Если вы не хотите удалять страницу из результатов поиска, измените файл robots.txt.

Страница без ошибок

Страницы с таким статусом были проиндексированы.

Страница была отправлена в Google и проиндексирована. Вы запросили индексирование этой страницы, и робот Googlebot обработал ее.

Страница проиндексирована, но ее нет в файле Sitemap. Поисковые роботы Google обнаружили и проиндексировали URL. Советуем отправлять на индексирование все важные URL, используя файл Sitemap.

Исключенные страницы

Перечисленные ниже виды страниц обычно не индексируются по объективным причинам, не связанным с неполадками. Примеры: страница является точной копией проиндексированной страницы, поисковым роботам запрещено ее обрабатывать и т. д.

Индексирование страницы запрещено тегом noindex. Робот Googlebot отказался от обработки страницы, обнаружив в ее коде директиву noindex. Если вы не хотите, чтобы эта страница индексировалась, то все в порядке. В противном случае эту директиву необходимо удалить. Чтобы узнать, используется ли такой тег или директива, попробуйте открыть страницу в браузере и выполните поиск тела и заголовков ответа для атрибута noindex. 

Индексирование страницы запрещено с помощью инструмента удаления страниц. В настоящее время робот Googlebot не может обработать страницу, поскольку мы получили связанный с ней запрос на удаление URL. Если вы являетесь подтвержденным владельцем сайта, то можете с помощью инструмента удаления URL узнать, кем был отправлен такой запрос. Обратите внимание, что срок действия подобных запросов составляет около 90 дней с даты удаления. По истечении этого срока робот Googlebot может вернуться на страницу и обработать ее, даже если вы не запрашивали индексирование. Если вы не хотите, чтобы страница была добавлена в индекс Google, удалите ее, внедрите на ней авторизацию или используйте директиву noindex.

Заблокировано в файле robots.txt. Директива в файле robots.txt запрещает роботу Googlebot доступ к странице. С помощью инструмента проверки файла robots.txt можно узнать, так ли это. Обратите внимание, что страница все равно может быть проиндексирована другими способами. Это может произойти, если Google в состоянии отыскать информацию о странице, не загружая ее (такое случается нечасто). Чтобы страница не индексировалась, удалите блокировку в файле robots.txt и используйте директиву noindex.

Страница не проиндексирована вследствие ошибки 401 (неавторизованный запрос). Доступ робота Googlebot к странице заблокирован из-за необходимости авторизации (код 401). Если вы хотите, чтобы робот мог проиндексировать страницу, отмените обязательную авторизацию или откройте ему доступ.

Ошибка сканирования. Возникли проблемы при обращении к URL, в связи с чем страница не была проиндексирована. Может быть возвращен код 4xx или 5xx. Используйте инструмент проверки URL, чтобы выявить возможные неполадки.

Страница просканирована, но пока не проиндексирована. В дальнейшем она может быть проиндексирована, а может и остаться в текущем состоянии; вновь отправлять этот URL на сканирование не нужно.

Обнаружена, не проиндексирована. Это сообщение означает, что мы нашли страницу, но пока не добавили ее в индекс Google. Обычно это объясняется тем, что робот Google не смог просканировать сайт, поскольку тот оказался перегружен, и был вынужден перенести сканирование на более поздний срок. Именно поэтому в отчете не указывается дата последнего сканирования.

Вариант страницы с тегом canonical. Эта страница дублирует другую, которую Google считает канонической, и при этом канонический URL корректно задан. Вам не нужно ничего предпринимать.

Страница является копией. Канонический вариант не выбран пользователем. У этой страницы есть точные копии, ни одна из которых не указана как каноническая версия. Google считает текущую страницу неканонической. Необходимо указать каноническую страницу. Чтобы узнать, какой URL интерпретируется нами как канонический, проверьте неканонический с помощью специального инструмента.

Страница является копией. Канонические версии страницы, выбранные Google и пользователем, не совпадают. Этот URL помечен как канонический для набора страниц, но Google считает, что другой URL больше подходит в качестве канонического. Робот проиндексировал не эту страницу, а URL, выбранный Google. Рекомендуем отметить эту страницу как неканоническую копию. Она была обнаружена без специального запроса на сканирование. Чтобы узнать, какой URL интерпретируется нами как канонический, проверьте неканонический с помощью специального инструмента.

Не найдено (404). В ответ на запрос страницы получен код ошибки 404. URL был найден Google без специального запроса на сканирование и без помощи файла Sitemap. Возможно, робот Google обнаружил этот URL в ссылке на другом сайте или соответствующая страница существовала раньше и была удалена. Робот, вероятно, продолжит попытки найти указанный URL. Хотя предотвратить это невозможно, такая процедура будет выполняться все реже и реже. Ответ 404 не является неполадкой, если он предусмотрен. Если ваша страница перенесена, используйте переадресацию 301. Ознакомьтесь с разделом, посвященным исправлению ошибок 404.

Страница удалена в результате жалобы юридического характера. Мы получили официальную жалобу и удалили страницу из индекса.

Страница с переадресацией. URL выполняет перенаправление на другую страницу, поэтому он не был проиндексирован.

Ложная ошибка 404. Страница возвращает ложную ошибку 404. Это означает, что пользователь видит сообщение "не найдено", которое не сопровождается кодом 404. Рекомендуем использовать код 404 в случаях, когда имеет место настоящая ошибка этого типа, или снабжать страницу дополнительной информацией, чтобы робот Google мог отличить настоящую ошибку от ложной. Подробнее…

Страница является копией. Отправленный URL не выбран в качестве канонического. URL представляет собой один из нескольких дубликатов и не указан в качестве канонической страницы. Вы запросили индексирование этого URL, однако вместо него был проиндексирован другой. Причина в том, что Google выбирает из нескольких дубликатов каноническую страницу и индексирует только ее. Отличие от статуса "Канонические версии страницы, выбранные Google и пользователем, не совпадают" в том, что вы целенаправленно запросили индексирование. Чтобы узнать, какой URL интерпретируется нами как канонический, проверьте неканонический с помощью специального инструмента.

Эта информация оказалась полезной?
Как можно улучшить эту статью?