Отчет об индексировании

Из отчета об индексировании можно узнать, какие страницы вашего сайта были обнаружены и добавлены в индекс поисковым роботом Google и не возникло ли при этом каких-либо проблем.

ОТКРЫТЬ ОТЧЕТ

 

Учебный курс по Google Search Console: отчет об индексировании в Search Console

Начало работы

Для неспециалистов

Если вы лишь недавно начали заниматься вопросами индексирования и поисковой оптимизации, изучите настоящее руководство, чтобы научиться интерпретировать данные этого отчета.

  1. Прочитайте статью о том, как работает Google Поиск. Если вы не знаете, как работает индексирование, вам будет сложно разобраться в этом отчете.
  2. Определите, нужен ли вам этот отчет. Если на вашем сайте менее 500 страниц, вам нет необходимости изучать его. В этом случае вы можете выяснить, добавлен ли ваш сайт в индекс Google, с помощью следующих поисковых запросов:

    • site:<ваш корневой домен или раздел сайта> – страницы вашего сайта, обнаруженные поисковыми роботами Google. Примеры: site:example.com или site:example.com/magazin.
    • site:<ваш сайт> <слово 1> <слово 2> – индексированные страницы вашего сайта, содержащие определенные слова. Пример: site:example.com/magazin краски кисти.
    • site:<точный URL> – индексирована ли определенная страница вашего сайта. Пример: site:http://example.com/magazin/instrument
    Если результатов по этим поисковым запросам нет, изучите отчет, чтобы определить, были ли проиндексированы хоть какие-то страницы вашего сайта. Если в нем нет страниц без ошибок (или вообще нет никаких), откройте раздел "Устранение неполадок".
  3. Из этого отчета можно узнать, каков общий статус индексирования вашего сайта. Если вас интересует информация о том, были ли индексированы отдельные страницы, воспользуйтесь инструментом проверки URL.
  4. На что обратить внимание в отчете
    • Страниц с каким статусом у вас больше? Статус Страница без ошибок (зеленый) означает страницы, добавленные в индекс. Статус Исключено (серый) – URL, исключенные из индекса, в том числе и заблокированные вами.
    • Много ли в отчете страниц со статусом "Ошибка" (красный)? Ошибки практически неизбежны. Поэтому не тратьте время, устраняя их на страницах, которые для вас не очень важны.
    • Соответствует ли число страниц со статусом "Исключено" (серый) вашим ожиданиям? Этот статус означает, что страницы не индексируются, потому что у нас есть основания полагать, что вы не хотите включать их в индекс. Например, вы запретили их сканирование в файле robots.txt или добавили них тег noindex. Дублирующиеся страницы также исключаются (Google индексирует только одну из идентичных страниц). Убедитесь, что страницы исключены по приемлемым для вас причинам. В противном случае устраните ошибки, следуя инструкциям, соответствующим статусу исключения.
    • Добавлены ли в индекс самые важные URL вашего сайта? Отчет об индексировании не предназначен для проверки отдельных URL, но вы можете отфильтровать результаты так, чтобы отображались только URL без ошибок, и посмотреть, есть ли среди них наиболее важные для вас. Обратите внимание, что список примеров в отчете не может содержать больше 1000 URL и в нем могут быть представлены не все URL, имеющие выбранный статус, даже если их меньше 1000. Чтобы проверить статус индексирования вашей главной страницы и основных страниц сайта, используйте инструмент проверки URL.
    • Достаточное ли количество URL на вашем сайте обнаружено Google? В отчете показаны все URL вашего сайта, о которых известно нашему поисковому роботу, в том числе и не добавленные в индекс. Если общее количество URL в этом отчете намного меньше количества страниц на вашем сайте, значит какие-то из них не были обнаружены. Это происходит по разным причинам. Ниже перечислены некоторые из них.
      • Ваши страницы (или весь сайт) были созданы совсем недавно. Прежде чем Google просканирует новый сайт или страницу, может пройти неделя. Если через неделю ничего не изменилось или вам нужно, чтобы роботы Google срочно обнаружили ваш веб-ресурс, запросите сканирование приоритетных для вас страниц.
      • Google не может найти страницы. Ссылки на страницы должны содержаться в известных Google источниках: на других просканированных страницах, на вашей главной странице, на страницах вашего или другого сайта, уже обнаруженных роботом Google, или в файле Sitemap. Если ваш сайт создан недавно, запросите индексирование его главной страницы. Просканировав ее, Google найдет и остальные URL. Если какие-то страницы оказались пропущены, проверьте, есть ли на других страницах или ресурсах ссылки на них. Если веб-ресурс размещен на платформе управления хостингом сайтов (например, Wix или SquareSpace), информацию о том, как публиковать страницы и делать их доступными для поисковых систем, вы найдете в документации сервиса.
    • Изучите инструкции, в которых описываются причины возникновения и способы устранения ошибок, соответствующих тому или иному статусу. Это сэкономит вам массу времени в дальнейшей работе.
  5. Какие данные несущественны
    • Не все URL сайта должны добавляться в индекс. Мы пропускаем копии страниц и страницы, не содержащие значимой информации.
    • Исключенные URL – это норма. Посмотрите, почему исключена страница, и убедитесь, что при ее сканировании не возникло ошибок.
    • Если URL содержит ошибку, ее желательно исправить, следуя рекомендациям.
    • Цифры над диаграммой точно и полно отражают покрытие вашего сайта с точки зрения Google. Они могут по разным причинам незначительно отличаться от количества страниц, подсчитанного вами.
    • Добавление страницы в индекс не гарантирует, что она будет отображаться в ваших результатах поиска. Результаты поиска персонализируются для пользователя с учетом его истории поиска, местоположения и многих других факторов. Поэтому, даже если страница проиндексирована, она не всегда попадает в результаты поиска и может отображаться в них на разных позициях. Таким образом, если вы видите в Search Console, что URL проиндексирован, значит он может быть показан в результатах поиска.

Часто задаваемые вопросы

Какие данные представлены в этом отчете?

Отчет об индексировании показывает, какие URL сайта были просканированы и добавлены в индекс Google. (Если вы плохо представляете себе значение этих терминов, узнайте, как работает Google Поиск.) Используя различные способы, Google находит новые страницы в интернете и, как правило, старается просканировать их. Если URL не работает или недоступен, будут предприняты повторные попытки просканировать его.

URL в этом отчете может иметь один из следующих статусов:

  • Страница без ошибок: роботы Google нашли страницу и добавили ее в индекс. Вам ничего делать не нужно.
  • Предупреждение: роботы Google нашли и, возможно, проиндексировали страницу, но возникла проблема. Ниже вы найдете информацию о том, что делать в таких случаях.
  • Ошибка: URL не добавлен в индекс предположительно из-за ошибки, которую вы можете исправить. Ниже вы найдете информацию о том, что делать в таких случаях.
  • Исключено: URL не добавлен в индекс, но это, вероятно, соответствует вашим намерениям. Либо вы запретили роботам Google сканирование и индексирование этой страницы, либо она является копией другой, уже отсканированной страницы вашего сайта.

Что такое индексирование?

После того как Google находит (сканирует) вашу страницу, он обрабатывает ее содержимое и добавляет ее в индекс Google (индексирует ее). После этого она может появляться в результатах Поиска и других сервисах и разделах Google, например в рекомендациях. Подробную информацию об этом можно найти в статье Как работает Google Поиск.

Как добиться, чтобы Google проиндексировал мой сайт или страницу?

Если вы используете сервис веб-хостинга, например Wix или SquareSpace, он может автоматически отправлять нам информацию о том, что вы создали или изменили какие-то страницы. Поищите в документации этого сервиса сведения о том, как публиковать страницы и делать их доступными для поисковых систем.

Если вы создали сайт или страницу без помощи сервиса веб-хостинга, вы можете сообщить об этом Google с помощью файлов Sitemap или другими способами.

Мы настоятельно рекомендуем убедиться, что ваша главная страница добавлена в индекс. Тогда Google сможет проиндексировать остальные страницы вашего сайта (если на нем реализована удобная для пользователей навигация, охватывающая все страницы).

Если страница не проиндексирована, это нормально?

Да. Google пропускает страницы, которые вы запретили индексировать с помощью файла robots.txt или тега noindex, страницы, которые являются копиями других страниц сайта, а также те, добавление которых мы считаем неоправданным (например, одинаковые страницы, на которых применены разные фильтры). Чтобы узнать, почему та или иная страница не попала в индекс, используйте инструмент проверки URL. Если страница пропущена в результате ошибки индексирования или по причине, которая не соответствует вашим намерениям, следуйте рекомендациям, изложенным в документации.

Для специалистов по поисковой оптимизации, разработчиков и опытных владельцев сайтов

Информация ниже предназначена для специалистов по поисковой оптимизации, разработчиков и опытных владельцев сайтов, которые ещё не работали с отчетом об индексировании.
  1. Прочитайте статью о том, как работает Google Поиск. Если вы не знаете, как работает индексирование, вам будет сложно разобраться в этом отчете.
  2. Следуйте рекомендациям в разделах Как работать с отчетом, На что следует обратить внимание и Какие данные несущественны.
  3. Прочитайте раздел, посвященный устранению неполадок, чтобы узнать, как выявлять наиболее распространенные ошибки и исправлять их.
  4. Помните, что статус "Исключено" ещё не означает наличие ошибки. Как правило, он присваивается тем страницам, которые, по нашему мнению, вы хотели исключить из индекса. В случае повторяющегося URL выясните, почему URL повторяется и почему в индекс Google добавлен именно этот вариант. Если вы считаете, что в качестве канонической нужно было выбрать другую версию страницы, вы можете сообщить Google, какой вариант URL считать каноническим.
  5. Изучите рекомендации по интересующему вас статусу, чтобы понять, в чем проблема и как ее устранить.

Как работать с отчетом

В отчете об индексировании показан статус индексирования всех URL, обнаруженных поисковыми роботами Google на вашем веб-ресурсе.

  • На странице сводки вы увидите результаты сканирования всех URL, сгруппированные по статусу (ошибка, предупреждение, без ошибок) и причине (например, Отправленный URL не найден (ошибка 404)).
  • Чтобы открыть страницу сведений для всех URL с одним и тем же статусом или причиной, нажмите на строку в таблице.

Сводные данные

На первой странице отчета показан статус индексирования всех страниц вашего сайта, которые роботы Google попытались просканировать. Данные сгруппированы по статусу и причине.

Основной робот

Значение напротив слов Основной робот на странице сводных данных говорит о том, с помощью какого агента пользователя по умолчанию сканируется ваш сайт. То есть имитирует ли Google посещение с мобильного устройства (вариант Смартфоны) или с компьютера (вариант ПК). Для разных устройств используются разные поисковые роботы.

Основной робот сканирует весь ваш сайт, но Google может также использовать для части ваших страниц дополнительного робота (из двух указанных выше). Например, если основной робот для сайта обозначен как "Смартфоны", то дополнительным будет "ПК", и наоборот. Цель сканирования страниц с помощью дополнительного агента пользователя – получить больше информации о том, как ваш сайт работает на устройствах разных типов.

На что следует обратить внимание

Обычно с появлением на сайте новых материалов постепенно увеличивается количество страниц, проиндексированных без ошибок. О причинах резкого изменения этого количества рассказывается в разделе Устранение неполадок. Группировка данных в таблице из сводки выполнена по статусу и причине.

Вам необходимо, чтобы в индекс попала каноническая версия каждой важной страницы. Дубликаты или альтернативные страницы, контент которых не имеет существенных отличий от содержимого канонической версии, в отчете обычно помечаются как исключенные. Если страница учтена как дубликат или альтернативный вариант, значит ее каноническая версия обнаружена и включена в индекс, а проблем с ней нет. Чтобы выявить такие версии, воспользуйтесь инструментом проверки URL. Подробнее…

Какие данные несущественны

  • Индексирование всех страниц. В индекс должны попасть не все страницы сайта, а только канонические, как описано выше.
  • Мгновенная обработка. Если вы добавляете новый контент, индексирование может занять несколько дней. Чтобы ускорить эту процедуру, можно отправить нам запрос.

Статус

Странице сайта может быть присвоен один из следующих статусов:

  • Ошибка. Проиндексировать страницу не удалось. Чтобы ознакомиться с дополнительными сведениями об ошибке и узнать, как ее устранить, посмотрите описание нужного типа ошибки. Такие проблемы необходимо решить в первую очередь.
  • Предупреждение. Робот проиндексировал страницу, но обнаружил на ней проблему.
  • Исключено. Страница не проиндексирована, скорее всего потому, что таково было ваше решение. В частности, это может быть связано с тем, что страница исключена вами при помощи директивы noindex или является копией уже проиндексированной канонической страницы.
  • Страница без ошибок. Страница проиндексирована.

Причина

Каждый из приведенных выше статусов является следствием определенной причины. Дополнительные сведения о типах статусов представлены в соответствующем разделе ниже.

Проверка

Статус проверки. В первую очередь следует решить проблемы со статусом "Ошибка" или "Не начато".

О проверке сайтов

Устранив проблему на всех страницах, где она выявлена, запросите повторную проверку сайта. Если проблема действительно решена во всех перечисленных случаях, Search Console пометит ее в таблице статусов как исправленную и переместит в конец списка. Наш сервис отслеживает статус как проблемы в целом, так и всех случаев ее возникновения по отдельности. Проблема будет считаться решенной только после того, как вы устраните ее во всех выявленных случаях. В разделах Статус проверки сайта на наличие проблемы и Статус проверки страниц на наличие проблемы рассказывается, как отслеживать ситуацию с устранением нарушения.

Срок актуальности проблемы

Проблема считается актуальной с момента, когда она была впервые выявлена на вашем сайте, и вплоть до 90 дней после того, как последняя страница с нарушением была помечена как исправленная. Если в течение этого срока Search Console не обнаружит проблему снова, она будет удалена из истории отчетов.

Датой выявления проблемы считается момент, когда она первый раз была зарегистрирована в течение срока актуальности. Эта дата неизменна. Далее Search Console действует по следующему алгоритму:

  • Если проблема была исправлена на всех страницах, однако, например, через 15 дней после этого она появилась вновь, мы будем по-прежнему считать ее актуальной, а дата выявления останется неизменной.
  • Если же это произойдет по меньшей мере через 91 день, проблема уже будет удалена из истории. Мы зарегистрируем нарушение как новое и с другой датой выявления.

Основной процесс проверки

Ниже описано, как проходит процедура проверки после того, как вы нажмете Проверить исправление. Она может занять несколько дней, и вы будете получать по электронной почте уведомления о том, как она проходит.

  1. После того как вы нажмете Проверить исправление, Search Console сразу же обработает несколько страниц.
    • Если хотя бы на одной из них будет обнаружено нарушение, о котором идет речь, проверка закончится, а ее статус останется неизменным.
    • Если на выбранных страницах нарушение обнаружено не будет, процедура проверки продолжится, а ее статус изменится на "Начато". При этом Search Console может выявить другие проблемы, не связанные с текущей, однако зарегистрирует их отдельно, а проверка будет выполняться и далее.
  2. Search Console будет проверять список страниц, на которых была обнаружена проблема, а не весь сайт. Список обработанных URL хранится в истории проверок Search Console. Ее можно открыть на странице со сведениями о проблеме.
  3. При проверке URL происходит следующее:
    1. Если проблема не найдена, статус проверки страниц меняется на "Нет нарушений". Если это первый URL в очереди на обработку, статус проверки сайта меняется на Ошибки исправлены.
    2. Если URL недоступен, статус проверки страниц на наличие ошибки приобретает значение "Другое" (это не статус ошибки).
    3. Если проблема по-прежнему присутствует, сайту назначается статус "Найдены ошибки" и проверка заканчивается. Если такое нарушение выявлено на новой странице, обнаруженной при обычном сканировании сайта, это расценивается как ещё один случай прежней проблемы.
  4. Если все URL с ошибками и предупреждениями проверены и проблема на них не найдена, статус проверки приобретает значение "Нет ошибок". Внимание! В этом случае по-прежнему будет указан исходный уровень нарушения ("Ошибка" или "Предупреждение").

Даже если вы не нажмете "Начать проверку", Google все равно сможет обнаружить, что проблема на сайте исправлена. Если тот факт, что проблема исправлена на всех страницах, обнаружится при обычном сканировании, статус ее проверки в отчете будет изменен на "Отсутствует".

При каких условиях проблема считается устраненной для определенного URL или раздела на сайте?

Для URL или раздела на сайте проблема расценивается как решенная при выполнении любого из следующих условий:

  • Размещенная по этому URL страница просканирована, и выявленная ранее проблема на ней не обнаружена. Если нарушение было связано с тегом AMP, значит вы успешно внесли исправления или тег удален (если его не требуется использовать). При проверке будет демонстрироваться статус "Нет ошибок".
  • Страница по какой-либо причине недоступна роботам Google (удалена, содержит метатег с директивой noindex, требует авторизации и т. д.). Для такого URL проблема тоже будет считаться решенной. При проверке статус изменится на "Другое".

Повторная проверка

Если при первой проверке были найдены ошибки и вы вновь ее запустите, Search Console начнет снова проверять все страницы, на которых проблема была выявлена ранее, а также все новые страницы, где она была найдена при обычном сканировании.

Прежде чем запрашивать новую проверку, дождитесь окончания предыдущей, даже если во время нее вы устранили нарушение на каких-либо страницах.

Страницы с ошибками, которые прошли проверку (помеченные как "Нет ошибок") или стали недоступными (помеченные как "Другое"), повторно не проверяются. Когда вы запустите повторную проверку, они будут удалены из истории.

История проверок

Чтобы проверить статус запроса на проверку, откройте страницу со сведениями о проблеме и нажмите на ссылку, по которой доступна подробная информация о проверке.

Записи, упомянутые в истории проверок, в отчетах об AMP-страницах и статусе индексирования систематизированы по URL. В отчете о расширенных результатах и об удобстве для мобильных записи группируются по URL и элементам структурированных данных (согласно значению элемента name). Статус касается той проблемы, которая стала предметом проверки. На одной и той же странице одна проблема может иметь статус "Нет ошибок", а другая "Ошибка", "Не проверено" или "Другое".

Статус проверки сайта на наличие проблемы

Выявленной проблеме может быть назначен один из перечисленных ниже статусов.

  • Не начато. На сайте есть страницы, где представлена данная проблема, и они не проходили проверку. Что следует предпринять.
    1. Нажмите на описание проблемы и ознакомьтесь с подробными сведениями о ней. Проанализируйте страницы, где она обнаружена, с помощью инструмента проверки AMP-страниц. Если этот инструмент не находит нарушений на странице, значит вы уже устранили их после того, как роботы Google обнаружили их и создали отчет.
    2. Нажмите "Подробнее" на странице со сведениями о проблеме, чтобы узнать, какое правило было нарушено.
    3. Выберите пример строки URL в таблице, чтобы получить подробную информацию о проблеме на соответствующей странице.
    4. Устраните нарушение на всех страницах и нажмите Проверить исправление, чтобы мы просканировали их заново. Google будет уведомлять вас о ходе проверки. Проверка обычно занимает около двух недель, однако в некоторых случаях требуется больше времени.
  • Начато. Вы начали проверку, и проблема не обнаружена на новых страницах. Что следует предпринять. Следите за уведомлениями от Google, в которых вы найдете инструкции, если от вас будут требоваться какие-либо действия.
  • Ошибки исправлены. Вы начали проверку, и проблема исправлена на страницах, где она ранее была обнаружена. Что следует предпринять. Следите за уведомлениями Google о ходе проверки, в которых могут содержаться новые инструкции для вас.
  • Нет ошибок. Проблема устранена на всех страницах, где она ранее была обнаружена (или прежние URL больше не доступны). Этот статус может появиться только в том случае, если вы ранее нажимали "Проверить исправление". Если сервис Search Console не обнаружил страницы с проблемами по иной причине, появится статус "Отсутствует". Что следует предпринять. От вас не требуется никаких действий.
  • Отсутствует. Мы обнаружили, что все страницы, где ранее наблюдалась проблема, исправлены, хотя вы ни разу не запрашивали проверку. Что следует предпринять. От вас не требуется никаких действий.
  • Есть ошибки. Проблема до сих пор наблюдается на некоторых страницах. Этот статус может появиться в том случае, если ранее вы нажимали "Проверить". Что следует предпринять: устраните нарушение и запросите повторную проверку.

Статус проверки страниц на наличие проблемы

После того как вы запросите проверку, Search Console присвоит каждому случаю возникновения проблемы один из перечисленных ниже статусов.

  • Не проверено. Проблема находится в очереди на проверку. В ходе последней проверки выяснилось, что она не устранена.
  • Нет ошибок (не во всех отчетах). Мы проверили страницу на предмет наличия проблемы и выяснили, что нарушение больше не наблюдается. Такой статус может появиться, только если вы запрашивали обработку именно этой страницы, нажав кнопку "Проверить".
  • Есть ошибки. Мы проверили страницу на предмет наличия проблемы и выяснили, что нарушение по-прежнему наблюдается. Такой статус может появиться, только если вы запрашивали обработку именно этой страницы, нажав кнопку "Проверить".
  • Другое (не во всех отчетах). У Google нет доступа к странице или элементу (для структурированных данных), где выявлена проблема. Этот вариант аналогичен статусу "Нет ошибок".

Обратите внимание, что у одного и того же URL может быть разный статус применительно к разным нарушениям. К примеру, если на одной и той же странице встречается проблема А и проблема Б, первой может быть назначен статус "Нет ошибок", а второй – "В ожидании".

Фильтр способов обнаружения URL, доступный в раскрывающемся меню

В раскрывающемся меню над таблицей есть фильтр, позволяющий систематизировать результаты индексирования по способу, с помощью которого робот Googlebot обнаружил соответствующий URL. Возможны следующие значения:

  • Все обработанные страницы (по умолчанию). Все URL, обнаруженные роботом Googlebot любыми способами.
  • Все отправленные страницы. Страницы, добавленные в отчет с помощью файла Sitemap или запроса ping.
  • URL из определенного файла Sitemap. Только URL, которые перечислены в определенном файле Sitemap, добавленном с помощью этого отчета, а также URL из вложенных файлов Sitemap.

URL считается отправленным с помощью файла Sitemap, даже если он также обнаружен и иным способом (например, если робот перешел на страницу, просканировав другой ресурс).

Страница сведений

Чтобы посмотреть данные о том или ином сочетании статуса и причины, нажмите на нужную строку в сводке и перейдите по ссылке Подробнее на открывшейся странице.

Диаграмма на этой странице содержит сведения об URL, с которыми в разное время были связаны ошибки сканирования.

В таблице показаны примеры страниц, которые получили соответствующий статус, а также причины этого.

  • Чтобы перейти к более подробной информации об URL, нажмите на строку.
  • Чтобы открыть страницу с этим URL в новой вкладке, нажмите на значок .
  • Чтобы открыть Проверку URL, нажмите на значок .
  • Чтобы скопировать URL, нажмите на значок .

Значение напротив слова Источник на странице сведений показывает, с помощью какого агента пользователя сканировались перечисленные в таблице URL.

Устранив все ошибки и предупреждения, нажмите Проверить исправление, чтобы сообщить нам об этом.

Вы устранили связанную с URL проблему, но пометка о ней осталась? Проверьте дату последнего сканирования этого URL. Возможно, оно было выполнено до того, как вы приняли меры. В таком случае убедитесь, что проблема действительно решена, и запросите повторное индексирование.

Как отправить сведения об ошибке другим пользователям

Чтобы предоставить кому-либо доступ к информации об ошибке, выявленной с помощью отчета об индексировании или об улучшениях, нажмите кнопку Отправить на странице со сведениями о конкретной проблеме. Адресат получит ссылку доступа только к этой странице и результатам проверок, но не к другим страницам. Пользователи, перешедшие по такой ссылке, не смогут выполнять действия с вашим ресурсом или аккаунтом. Вы можете в любое время отменить доступ к этой странице.

Как экспортировать данные

Данные из некоторых отчетов можно экспортировать, нажав кнопку скачивания . Экспортируются данные, которые представлены как на диаграммах, так и в таблицах. Значения, отмеченные в отчете символами "~" и "-" (недоступно/не является числом), в скачанном файле будут заменены на нули.

Устранение неполадок

Чтобы узнать статус индексирования конкретного URL в этом отчете, выполните следующие действия:

  1. Определите, насколько важна проблема. Учитывайте статус, цель индексирования и тип ошибки.
  2. Ознакомьтесь с информацией о проблеме.
  3. Проверьте URL с помощью специального инструмента:
    1. Нажмите на значок рядом с URL в таблице с примерами, чтобы открыть инструмент проверки.
    2. Ознакомьтесь с данными в разделах Охват > Сканирование и Охват > Индексирование.
    3. Чтобы протестировать текущую версию страницы, нажмите Проверить страницу на сайте.

Распространенные проблемы

Ниже описаны наиболее распространенные ошибки, которые могут встречаться в отчете.

Резкое снижение общего числа проиндексированных страниц без указания ошибок

Снижение числа проиндексированных страниц без указания ошибок может быть связано с тем, что при помощи файла robots.txt, директивы noindex или системы авторизации заблокирован доступ к страницам. Попробуйте выяснить, не связано ли уменьшение количества страниц без ошибок с увеличением количества исключенных URL. Учтите, что если эти URL были отправлены в Google в составе файла Sitemap, они будут отмечены как ошибочные, а не исключенные.

Больше исключенных страниц, чем проиндексированных

Если исключенных страниц больше, чем проиндексированных, выясните, почему исключены страницы. Чаще всего такая ситуация возникает по следующим причинам:

  • У вас есть правило в файле robots.txt, которое запрещает Google сканировать крупные разделы вашего сайта. Если доступ к определенным страницам закрыт по ошибке, откройте его.
  • На сайте много дублирующихся страниц в основном потому, что вы используете в URL параметры для фильтрации или сортировки общих наборов элементов (например, type=dress, color=green или sort=price). Скорее всего, такие страницы должны быть исключены, если на них показывается один и тот же контент, который сортируется, фильтруется или обрабатывается различными способами. Если вы обладаете достаточным опытом в данной области и считаете, что Google неверно обрабатывает параметры вашего сайта, вы можете настроить их обработку с помощью инструмента Параметры URL.
Резкий скачок числа ошибок

Это может происходить по двум причинам. Первая – был изменен шаблон, вторая – был добавлен файл Sitemap с URL, сканирование которых заблокировано с помощью файла robots.txt, директивы noindex или запроса авторизации.

Если число ошибок резко увеличилось, выполните следующие действия:

  1. Чтобы определить, какая проблема влияет на общее число ошибок или проиндексированных страниц, попробуйте найти взаимосвязь между этими показателями и спарклайном рядом со строкой конкретной ошибки в сводке.
  2. Перейдите на страницу сведений об ошибке, чтобы узнать, чем она вызвана и как ее устранить.
  3. Нажмите на строку, чтобы открыть пример страницы с ошибкой, если это необходимо.
  4. Устраните ошибку и нажмите Проверить исправление на упомянутой странице со сведениями. Подробнее о процедуре проверки
  5. Со сведениями о числе ошибок можно знакомиться как во время выполнения проверки, так и позже.
Ошибки сервера
Ошибка сервера означает, что робот Googlebot не смог получить доступ к вашему URL, истекло время ожидания ответа на запрос или сайт был перегружен. В результате робот был вынужден отменить запрос.
Проверьте статус хоста своего сайта в отчете о статистике сканирования и выясните, сообщает ли Google о проблемах с доступностью сайта, которые вы можете устранить.

Проверка подключения к серверу

Попробуйте с помощью инструмента проверки URL воспроизвести ошибку сервера, отмеченную в отчете об индексировании.
Вы также можете ознакомиться с информацией о доступности хоста в отчете о статистике сканирования.

Устранение ошибок подключения к серверу

  • Сократите количество загрузок динамических страниц.
    На динамических сайтах одинаковый контент может размещаться на страницах с разными URL (например, www.example.com/shoes.php?color=red&size=7 и www.example.com/shoes.php?size=7&color=red). В некоторых случаях проблемы возникают из-за того, что получение динамических страниц занимает слишком много времени. Также сервер может вернуть статус "Перегрузка", чтобы робот Googlebot сканировал сайт медленнее. Мы рекомендуем использовать краткие списки параметров и не злоупотреблять ими. Если вы знаете, как используются параметры на вашем сайте, вы можете сообщить Google, как их следует обрабатывать.
  • Убедитесь, что сервер, на котором размещен ваш сайт, не отключен и не перегружен, а также проверьте его конфигурацию.
    Если не удалось устранить проблемы с подключением, временем ожидания или откликом, обратитесь к поставщику услуг хостинга и попробуйте увеличить пропускную способность сайта.
  • Проверьте, не блокируется ли доступ к сайту для роботов Google.
    У поискового робота Google могут быть проблемы с доступом к сайту из-за системной ошибки, например ошибки конфигурации DNS или некорректных настроек брандмауэра, защиты от DoS-атак и системы управления контентом. Любой хостинг-провайдер, оказывающий услуги высокого качества, использует систему защиты. Как правило, она автоматически блокирует запросы к серверу, если их количество существенно превышает обычный уровень. Поскольку робот Googlebot зачастую отправляет больше запросов, чем обычный пользователь, системы защиты могут расценить это как угрозу и заблокировать роботу доступ к сайту, не позволяя выполнить сканирование. Чтобы исправить эту ошибку, выясните, какой элемент инфраструктуры вашего сайта препятствует сканированию, и снимите блокировку. Если у вас нет доступа к настройкам брандмауэра, обратитесь к хостинг-провайдеру.
  • Управляйте сканированием и индексированием сайта разумно.
    Некоторые веб-мастера намеренно блокируют роботу Googlebot доступ к своим сайтам, например с помощью брандмауэра, как описано выше. Чаще всего это делается с целью предотвратить сканирование и индексирование только отдельных веб-страниц, а не всего сайта. Если вы тоже так поступаете, обратите внимание на следующее:
Ошибка 404

Как правило, мы рекомендуем исправлять только страницы с ошибкой 404, а не с исключением 404. Ошибка 404 означает, что вы запросили у нас индексирование страницы, но она не была найдена. URL с исключением 404 – это адреса, которые мы обнаружили каким-либо другим способом. Если страница была перенесена, вам необходимо настроить перенаправление 3XX на новый URL. Подробнее о том, как выявлять и исправлять ошибки 404

Отсутствие страниц и сайтов в результатах поиска

Если страница не указана в отчете, это наверняка связано с одной из следующих причин:

  • У Google нет сведений о странице. Что нужно учитывать:
    • Если вы создали сайт или страницу недавно, Google обнаружит и просканирует их не сразу.
    • Чтобы мы узнали о вашей странице, необходимо отправить нам либо файл Sitemap, либо запрос на сканирование. Также вы можете просто подождать, пока робот Googlebot не обнаружит ссылку на страницу самостоятельно.
    • Между временем, когда URL станет нам известен, и полным или частичным сканированием вашего сайта обычно проходит некоторое время – до нескольких недель.
    • Индексация никогда не происходит сразу, даже если вы отправите прямой запрос.
    • Мы не можем гарантировать, что в индекс Google попадут абсолютно все страницы.
  • Роботы Google не могут обработать страницу, так как она требует авторизации или по иным причинам доступна не всем пользователям в Интернете.
  • Роботы Google не могут проиндексировать страницу, так как на ней используется директива noindex.
  • Страница по какой-то причине исключена из индекса.

Как устранить проблему

Проанализируйте проблему на странице с помощью инструмента проверки URL. Если страница не представлена в отчете об индексировании, но отмечена как проиндексированная в отчете инструмента проверки URL, вероятно, она была обработана и в ближайшее время появится в отчете об индексировании. Если же по данным инструмента проверки URL страница не была проиндексирована, протестируйте опубликованную страницу. Это поможет вам определить, с чем связана неполадка. Устранить ее вам помогут сведения, полученные по результатам теста, а также специальная документация к тесту.

Ошибки и исключения для статуса Отправлено
Если в описании причины неудачных попыток индексирования есть слово "отправлено" или "отправка" (например, "При отправке URL произошла ошибка 403"), это значит, что ваш URL есть в файле Sitemap, который указан в файле robots.txt или добавлен с помощью отчета "Файлы Sitemap".
Возможные пути решения такой проблемы:
  • снимите запрет на сканирование страницы;
  • удалите конкретный URL из файла Sitemap и снова добавьте этот файл с помощью упомянутого выше отчета (для скорейшей обработки);
  • в том же отчете удалите все файлы Sitemap, содержащие конкретный URL (и убедитесь, что этого URL нет ни в одном файле Sitemap, указанном в robots.txt).

Часто задаваемые вопросы

Почему страница, которую мне не нужно включать в поисковый индекс, попала в него?

Робот Google может найти страницу различными способами, в том числе среди ссылок на ваш сайт на других ресурсах, и проиндексировать любой найденный URL, если вы не добавили на страницу метатег с директивой noindex и не применили временную блокировку.

Почему мой сайт в последнее время не индексировался повторно?

Периодичность повторной индексации зависит от того, как часто на ваших страницах происходят изменения. Мы определяем это по ряду факторов. Если ваш контент меняется редко, нет необходимости постоянно обновлять сведения о нем в нашем индексе. Вы можете отправить нам запрос на повторное сканирование.

Как отправить запрос на повторное сканирование веб-страницы или сайта?

Следуйте инструкциям.

Почему у меня так много исключенных страниц?

Посмотрите причины исключения в отчете об индексировании. Вот наиболее распространенные из них:

  • У вас есть правило в файле robots.txt, которое запрещает Google сканировать крупные разделы вашего сайта. Воспользуйтесь инструментом проверки URL, чтобы выяснить, так ли это.
  • На сайте много дублирующихся страниц в основном потому, что вы используете в URL параметры для фильтрации или сортировки общих наборов элементов (например, type=dress, color=green или sort=price). В отчете такие страницы помечаются как повторяющиеся или альтернативные.
  • URL выполняет переадресацию на другой URL. В таком случае в индекс включается только второй URL.

Почему у робота Google нет доступа к моему файлу Sitemap?

Убедитесь, что файл Sitemap не заблокирован в файле robots.txt и функционирует, а URL в robots.txt или отчете об отправке файлов Sitemap является корректным. Проверьте URL в Sitemap с помощью любого общедоступного инструмента.

Почему Google продолжает сканировать удаленную страницу?

Робот Google продолжает сканировать все известные URL, даже если при открытии некоторых страниц довольно давно стали возникать ошибки 4XX. Предполагается, что такие ошибки могут оказаться временным явлением. URL не сканируется только в том случае, если он возвращает атрибут noindex.

Чтобы список ошибок 404 в отчете об индексировании не был слишком длинным, мы показываем только те URL, для которых ошибка была зарегистрирована за последний месяц.

Мне доступна моя страница. Почему робот Google ее не видит?

Чтобы узнать, может ли страница быть просканирована, воспользуйтесь инструментом проверки URL. Если эту операцию выполнить нельзя, вы увидите информацию о причине. Если инструмент не выявляет никаких ошибок, вероятно, проблема с доступом была устранена с момента последней обработки. Протестируйте с помощью указанного инструмента текущую версию страницы и запросите индексирование.

Инструмент проверки URL не находит проблем, но в отчете об индексировании показывается ошибка. Почему?

Возможно, робот Googlebot в последний раз обрабатывал страницу до того, как вы исправили связанную с ней ошибку. Посмотрите дату сканирования URL на странице сведений о нем в отчете об индексировании или в инструменте проверки URL (в данных об индексированной версии). Определите, вносили ли вы изменения на странице с момента ее сканирования.

Как узнать статус сканирования конкретного URL?

Если вас интересует статус сканирования определенной веб-страницы, воспользуйтесь инструментом проверки URL. Отчет об индексировании не поддерживает поиск или фильтрацию по URL.

Причины назначения статусов

В отчете об индексировании представлены следующие статусы:

Ошибка

Страницы с ошибками не индексируются.

Ошибка сервера (5xx). В ответ на запрос страницы сервер возвратил ошибку 5xx. Изучите сведения из раздела Исправление ошибок сервера.

Ошибка переадресации. При индексировании произошла одна из следующих ошибок: слишком длинная цепь переадресаций; бесконечная переадресация; длина URL переадресации превышает допустимую; недопустимый или пустой URL в цепи переадресаций. Чтобы узнать причину сбоя, воспользуйтесь подходящим инструментом отладки, например Lighthouse.

Доступ к отправленному URL заблокирован в файле robots.txt. Вы запросили индексирование этой страницы, но она заблокирована с помощью файла robots.txt.

  1. Выберите страницу в таблице с примерами, чтобы раскрыть боковую панель инструментов.
  2. Запустите инструмент проверки файла robots.txt, нажав на ссылку Проверить блокировку URL в robots.txt. В нем будет показано правило, которое запрещает сканирование этого URL.
  3. Измените это правило в файле robots.txt или удалите его. Чтобы найти этот файл, нажмите на ссылку Открыть robots.txt в инструменте проверки. Если вы пользуетесь сервисом веб-хостинга и не можете изменить этот файл, изучите документацию сервиса или сообщите о проблеме в его службу поддержки.

Страница, связанная с отправленным URL, содержит тег noindex. Вы запросили индексирование этой страницы, но она содержит директиву noindex в метатеге или в заголовке ответа HTTP. Если вы хотите проиндексировать страницу, необходимо удалить эту директиву. Откройте инструмент проверки URL и выполните следующие действия:

  1. Нажмите на значок лупы рядом с URL в таблице.
  2. В разделе Покрытие > Индексирование > Индексирование разрешено? отчета должно быть указано, что директива noindex блокирует индексирование.
  3. Проверьте, удален ли тег noindex со страницы на сайте, выполнив следующие действия:
    1. Нажмите Проверить страницу на сайте.
    2. Откройте раздел Доступность > Индексирование > Индексирование разрешено? и проверьте, удалена ли директива noindex. Если да, вы можете нажать кнопку Запросить индексирование, чтобы повторить процедуру. Если директива по-прежнему доступна, удалите ее. В противном случае проиндексировать страницу не получится.

Отправленный URL возвращает ложную ошибку 404. Вы запросили индексирование этой страницы, но сервер возвращает ложную ошибку 404. Подробнее о том, как это исправить

Отправленный URL возвращает ошибку 401 (неавторизованный запрос). Вы запросили индексирование этой страницы, но URL возвращает ошибку 401 (неавторизованный запрос). Отключите авторизацию или откройте роботу Googlebot доступ к этой странице. Чтобы проверить, наблюдается ли эта ошибка по-прежнему, откройте страницу в режиме инкогнито.

Отправленный URL не найден (ошибка 404). Вы отправили на индексирование несуществующий URL. Изучите сведения из раздела, посвященного исправлению ошибок 404.

При отправке URL произошла ошибка 403. Сервер определил, что робот Googlebot выполнил вход, но не предоставил ему доступа к контенту. Если вы хотите, чтобы страница была проиндексирована, предоставьте доступ к ней анонимным посетителям. В противном случае не отправляйте страницу на индексирование.

URL заблокирован из-за ошибки 4xx (ошибка клиента). Сервер вернул код ответа 4xx, который не относится к описанным здесь типам ошибок. Устраните ошибку или не отправляйте страницу на индексирование. Воспользуйтесь инструментом проверки URL.

Предупреждение

Страницы с таким статусом могут потребовать вашего внимания. Есть вероятность того, что их не удалось проиндексировать при сканировании.

Проиндексировано, несмотря на блокировку в файле robots.txt. Страница была проиндексирована, хотя доступ к ней заблокирован файлом robots.txt на вашем сайте. Google всегда следует инструкциям в этом файле, однако веб-страница может быть проиндексирована, если ссылки на нее есть на других сайтах. Такое предупреждение означает, что нам не удалось определить, действительно ли вы хотите избежать показа страницы в результатах поиска.

  • Если вы действительно хотите запретить индексирование страницы, не используйте для этого файл robots.txt. Вместо этого добавьте на нее тег noindex или разрешите доступ к ней только вошедшим в аккаунт пользователям. Вы можете проверить файл robots.txt, чтобы определить, какое именно правило блокирует страницу. Из-за правила в файле robots.txt фрагмент страницы в результатах поиска Google может оказаться слишком коротким.
  • Если вы не хотите удалять страницу из результатов поиска, внесите изменения в файл robots.txt.

Страница проиндексирована без контента. Страница есть в индексе Google, но поисковый робот не смог обработать ее содержание. Возможно, она замаскирована от Google или создана в неиндексируемом формате. Это не имеет отношения к блокировке доступа с помощью файла robots.txt.

Страница без ошибок

Страницы с таким статусом были проиндексированы.

Страница была отправлена в Google и проиндексирована. Вы запросили индексирование этой страницы, и робот Googlebot обработал ее.

Страница проиндексирована, но ее нет в файле Sitemap. Поисковые роботы Google обнаружили и проиндексировали URL. Советуем отправлять на индексирование все важные URL, используя файл Sitemap.

Исключенные страницы

Перечисленные ниже виды страниц обычно не индексируются по объективным причинам, не связанным с неполадками. Примеры: страница является точной копией проиндексированной страницы, поисковым роботам запрещено ее обрабатывать и т. д.

Индексирование страницы запрещено тегом noindex. Робот Googlebot отказался от обработки страницы, обнаружив в ее коде директиву noindex. Если вы не хотите, чтобы эта страница индексировалась, то все в порядке. В противном случае эту директиву необходимо удалить. Чтобы узнать, используется ли такой тег или директива, попробуйте открыть страницу в браузере и выполните поиск тела и заголовков ответа для атрибута noindex. 

Индексирование страницы запрещено с помощью инструмента удаления страниц. В настоящее время робот Googlebot не может обработать страницу, поскольку мы получили связанный с ней запрос на удаление URL. Если вы являетесь подтвержденным владельцем сайта, то можете с помощью инструмента удаления URL узнать, кем был отправлен такой запрос. Обратите внимание, что срок действия подобных запросов составляет около 90 дней с даты удаления. По истечении этого срока робот Googlebot может вернуться на страницу и обработать ее, даже если вы не запрашивали индексирование. Если вы не хотите, чтобы страница была добавлена в индекс Google, удалите ее, внедрите на ней авторизацию или используйте директиву noindex.

Заблокировано в файле robots.txt. Директива в файле robots.txt запрещает роботу Googlebot доступ к странице. С помощью инструмента проверки файла robots.txt можно узнать, так ли это. Обратите внимание, что страница все равно может быть проиндексирована другими способами. Это может произойти, если Google в состоянии найти информацию о странице, не загружая ее (такое случается нечасто). Чтобы страница не индексировалась, удалите блокировку в файле robots.txt и используйте директиву noindex.

Страница не проиндексирована вследствие ошибки 401 (неавторизованный запрос). Доступ робота Googlebot к странице заблокирован из-за необходимости авторизации (код 401). Если вы хотите, чтобы робот мог проиндексировать страницу, отмените обязательную авторизацию или откройте ему доступ.

Страница просканирована, но пока не проиндексирована. В дальнейшем она может быть проиндексирована, а может и остаться в текущем состоянии; вновь отправлять этот URL на сканирование не нужно.

Обнаружена, не проиндексирована. Это сообщение означает, что мы нашли страницу, но пока не добавили ее в индекс Google. Обычно это объясняется тем, что роботу Google не удалось просканировать сайт, поскольку это могло привести к чрезмерной загрузке ресурса, и сканирование было перенесено на более поздний срок. Именно поэтому в отчете не указывается дата последнего сканирования.

Вариант страницы с тегом canonical. Эта страница дублирует другую, которую Google считает канонической, и при этом канонический URL корректно задан. Вам не нужно ничего предпринимать.

Страница является копией. Канонический вариант не выбран пользователем. У этой страницы есть точные копии, ни одна из которых не указана как каноническая версия. Google считает текущую страницу неканонической. Необходимо указать каноническую страницу. Чтобы узнать, какой URL интерпретируется нами как канонический, проверьте неканонический с помощью специального инструмента.

Страница является копией. Канонические версии страницы, выбранные Google и пользователем, не совпадают. Этот URL помечен как канонический для набора страниц, но Google считает, что другой URL больше подходит в качестве канонического. Робот проиндексировал не эту страницу, а URL, выбранный Google. Рекомендуем отметить эту страницу как неканоническую копию. Она была обнаружена без специального запроса на сканирование. Чтобы узнать, какой URL интерпретируется нами как канонический, проверьте неканонический с помощью специального инструмента.

Не найдено (404). В ответ на запрос страницы получен код ошибки 404. URL был найден Google без специального запроса на сканирование и без помощи файла Sitemap. Возможно, робот Google обнаружил этот URL в ссылке на другом сайте или соответствующая страница существовала раньше и была удалена. Робот, вероятно, продолжит попытки найти указанный URL. Хотя предотвратить это невозможно, такая процедура будет выполняться все реже и реже. Ответ 404 не является неполадкой, если он предусмотрен. Если ваша страница перенесена, используйте переадресацию 301. Ознакомьтесь с разделом, посвященным исправлению ошибок 404.

Страница с переадресацией. URL выполняет перенаправление на другую страницу, поэтому он не был проиндексирован.

Ложная ошибка 404. Страница возвращает ложную ошибку 404. Это означает, что пользователь видит сообщение "не найдено", которое не сопровождается кодом 404. Рекомендуем использовать код 404 в случаях, когда имеет место настоящая ошибка этого типа, или снабжать страницу дополнительной информацией, чтобы робот Google мог отличить настоящую ошибку от ложной. Подробнее…

Страница является копией. Отправленный URL не выбран в качестве канонического. URL представляет собой один из нескольких дубликатов и не указан в качестве канонической страницы. Вы запросили индексирование этого URL, однако вместо него был проиндексирован другой. Причина в том, что Google выбирает из нескольких дубликатов каноническую страницу и индексирует только ее. Отличие от статуса "Канонические версии страницы, выбранные Google и пользователем, не совпадают" в том, что вы целенаправленно запросили индексирование. Чтобы узнать, какой URL интерпретируется нами как канонический, проверьте неканонический с помощью специального инструмента.

Страница заблокирована из-за ошибки 403 (доступ запрещен). Агент пользователя предоставил учетные данные, но не получил доступа. Учтите, что робот Googlebot никогда не предоставляет учетные данные, поэтому сведения об ошибке, которые возвращает сервер, некорректны. Вам необходимо либо устранить ошибку, либо заблокировать доступ к странице с помощью файла robots.txt или метатега noindex.

URL заблокирован из-за ошибки 4xx (ошибка клиента). Сервер столкнулся с ошибкой 4xx, которая не относится к описанным здесь типам ошибок.

Эта информация оказалась полезной?
Как можно улучшить эту статью?
true
Не знакомы с Search Console?

Ещё не пользовались Search Console? Этот сервис пригодится вам, если вы специалист по поисковой оптимизации, разработчик сайтов или только начали изучать веб-технологии. Начните знакомство с Search Console отсюда.

Поиск
Удалить поисковый запрос
Закрыть поиск
Приложения Google
Главное меню
Поиск по Справочному центру
true
83844
false