Отчет об индексировании

Узнайте, какие страницы на вашем сайте может найти и проиндексировать Google и как решать возможные проблемы, которые при этом возникают.

ОТЧЕТ ОБ ИНДЕКСИРОВАНИИ

 

Учебный курс по Google Search Console: отчет об индексировании в Search Console

 

Внешний вид отчета изменился?
Вероятно, вы заметили, что внешний вид некоторых отчетов изменился. Например, все объекты, представленные в трех категориях (Без ошибок, Предупреждения и Ошибка), теперь разбиты на две группы (Без ошибок и Ошибка). Это также может означать, что в таблице на целевой странице отчета теперь представлены только объекты с ошибками. Если ваш отчет выглядит не так, как во время последнего использования, то ознакомьтесь с информацией об изменениях.

Краткое руководство

Инструкции для неспециалистов

Если вы лишь недавно начали заниматься вопросами индексирования и поисковой оптимизации или ваш сайт небольшой, изучите это руководство по началу работы.

  1. Подумайте, нужен ли вам этот отчет. Если на вашем сайте менее 500 страниц, вам нет необходимости его изучать. В этом случае вы можете выяснить, добавлены ли страницы вашего сайта в индекс Google, с помощью специальных поисковых запросов, представленных ниже. И только если для вашего сайта отсутствуют результаты поиска и вы хотите узнать причину этого, имеет смысл воспользоваться отчетом об индексировании (см. раздел Устранение неполадок).
    • Поиск страниц сайта, о которых известно Google
      Синтаксис: site:<путь или корневой домен сайта>
      Примеры: site:example.com или site:example.com/petstore
    • Поиск по тематике вашего сайта (по словам, которые есть на основных страницах, в том числе на главной)
      Синтаксис: site:<путь или корневой домен сайта> слово1 слово2
      Пример site:example.com/petstore iguanas zebras
    • Поиск по точному URL с целью узнать, проиндексирована ли определенная страница сайта (используйте URL основных страниц сайта, в том числе главной)
      Синтаксис: site:<точный URL>
      Пример: site:http://example.com/petstore/gerbil
  2. Чтобы получить общее представление об отчете, прочтите это краткое и простое руководство.
  3. Если вас интересует более подробная информация:
    • Прочитайте статью о том, как работает Google Поиск. Если вы не знаете, как работает индексирование, вам будет сложно разобраться в этом отчете.
    • С помощью этого отчета нельзя определить статус индексирования конкретных страниц. Для этой цели воспользуйтесь инструментом проверки URL.
    • На что обратить внимание в отчете
      • Все ли ваши наиболее значимые URL проиндексированы (отмечены зеленым цветом)? У большинства сайтов обычно бывает несколько непроиндексированных страниц, но все основные страницы должны быть проиндексированы. Также следите за тем, чтобы повторяющиеся URL не индексировались. Чтобы проверить статус индексирования вашей главной страницы и основных страниц сайта, используйте инструмент проверки URL. Обратите внимание, что список примеров в отчете не может содержать больше 1000 URL и в нем могут быть представлены не все URL, имеющие выбранный статус, даже если их меньше 1000.
      • Непроиндексированные URL (отмечены серым цветом) остались без обработки по объективным причинам? Существует ряд объективных причин, по которым URL оказывается непроиндексирован. Это может быть ожидаемое правило в файле robots.txt, размещенный на странице тег noindex, повторяющийся URL или ошибка 404 после того, как вы удалили страницу, но не добавили новую вместо нее.
      • Если общее количество URL в этом отчете намного меньше количества страниц на вашем сайте, значит какие-то из них не были обнаружены. Ниже перечислены возможные причины этого.
        • Отсутствующие страницы (или весь сайт) были созданы совсем недавно. Обычно поиск и сканирование нового сайта или страницы занимают у нас несколько дней. В некоторых случаях может пройти неделя, прежде чем Google начнет индексирование. Если через неделю ничего не изменилось или вам нужно, чтобы роботы Google срочно обнаружили ваш контент, запросите сканирование приоритетных для вас страниц.
        • Google не может найти отсутствующие страницы. Чтобы просканировать страницу, Google нужно ее сначала найти. Для этого на уже обработанной странице или в файле Sitemap должна присутствовать ссылка на новую страницу. Если ваш сайт создан недавно, запросите индексирование его главной страницы. Просканировав ее, Google найдет и остальные URL. Если какие-то страницы оказались пропущены, проверьте, есть ли на других страницах или ресурсах ссылки на них. Если вы используете сервис веб-хостинга, например Wix или SquareSpace, он может автоматически отправлять нам информацию о том, что вы создали новые страницы. Информацию о том, как публиковать страницы и делать их доступными для поисковых систем, вы найдете в документации сервиса.
      • Изучите рекомендации по интересующей вас проблеме индексирования, чтобы понять, в чем она состоит и как ее устранить. Это в дальнейшем сэкономит вам много сил и времени.
    • Чего не следует ожидать от отчета
      • Не все URL сайта добавляются в индекс. URL копий страниц и страниц, не содержащих значимой информации, обычно пропускаются. Достаточно убедиться, что в индекс попадают основные страницы сайта.
      • Если страница не проиндексирована, это ещё не значит, что с ней что-то не в порядке. Вы должны изучить и понять причины отсутствия конкретного URL в индексе.
      • Приведенные суммарные цифры могут не совпадать с вашей оценкой количества страниц сайта. Общие показатели проиндексированных и непроиндексированных страниц над диаграммой являются точными и полными с точки зрения Google, хотя по разным причинам они могут незначительно отличаться от ваших.
      • Добавление страницы в индекс не гарантирует, что она будет отображаться в ваших результатах поиска. Результаты поиска подбираются для каждого конкретного пользователя с учетом его истории поиска, местоположения и многих других факторов. Поэтому даже проиндексированная страница не всегда попадает в результаты поиска и может показываться в них на разных позициях. Если вы видите в Search Console, что URL проиндексирован, значит он теоретически может быть показан в результатах поиска.

Часто задаваемые вопросы

Какие данные представлены в этом отчете?

Отчет об индексировании показывает, сколько URL вашего сайта было просканировано и добавлено в индекс Google. (Если вы не уверены в значении этих терминов, ознакомьтесь с принципами работы Google Поиска.) Google находит новые страницы в интернете разными способами и, как правило, старается просканировать их. Если URL отсутствует или недоступен, будут предприняты повторные попытки просканировать его.

Что такое индексирование?

После того как робот Google находит (сканирует) вашу страницу, он обрабатывает ее содержимое и добавляет ее в индекс Google (индексирует ее). После этого она может появляться в результатах Поиска и других сервисах и разделах Google, например в рекомендациях. Подробную информацию об этом можно найти в статье Как работает Google Поиск.

Как добиться, чтобы мой сайт или страницу проиндексировали?

Если вы используете сервис веб-хостинга, например Wix или SquareSpace, он может автоматически отправлять в Google информацию о том, что вы создали или изменили какие-то страницы. Поищите в документации этого сервиса сведения о том, как публиковать страницы и делать их доступными для поисковых систем.

Если вы создали сайт или страницу без помощи сервиса веб-хостинга, вы можете сообщить об этом Google с помощью файлов Sitemap или другими способами.

Мы настоятельно рекомендуем убедиться, что ваша главная страница добавлена в индекс. Тогда Google сможет проиндексировать остальные URL вашего сайта (если навигация по нему работает корректно и охватывает все страницы).

Нормально ли то, что страница не проиндексирована?

Конечно. Google пропускает страницы, индексирование которых вы запретили с помощью файла robots.txt или тега noindex, страницы, которые являются копиями других страниц сайта, а также те, добавление которых мы считаем неоправданным (например, одинаковые страницы, на которых применены разные фильтры). Чтобы узнать, почему та или иная страница не попала в индекс, используйте инструмент проверки URL. Если страница пропущена в результате ошибки индексирования или по причине, которая не соответствует вашим намерениям, следуйте советам, изложенным в документации.

Руководство для специалистов по поисковой оптимизации, разработчиков и опытных владельцев сайтов

Информация ниже предназначена для специалистов по поисковой оптимизации, разработчиков и опытных владельцев сайтов, которые ещё не работали с отчетом об индексировании.
  1. Прочитайте статью о том, как работает Google Поиск. Если вы не знаете, как работает индексирование, вам будет сложно разобраться в этом отчете.
  2. Следуйте рекомендациям в разделах Как работать с отчетом, На что следует обратить внимание и Чего не следует ожидать от отчета.
  3. Прочитайте раздел Устранение неполадок, чтобы узнать, как выявлять наиболее распространенные ошибки и исправлять их.
  4. Помните, что статус "Не проиндексировано" ещё не означает наличие ошибки. Определите причину, по которой тот или иной URL не был проиндексирован.
  5. Изучите рекомендации по интересующей вас проблеме, чтобы понять, в чем она состоит и как ее устранить.

Как работать с отчетом

В отчете об индексировании показан статус индексирования всех URL, обнаруженных поисковыми роботами Google на вашем ресурсе.

Сводная страница

На сводной странице отчета представлена диаграмма и указано число проиндексированных и непроиндексированных (но запрошенных) страниц. Там же содержатся таблицы, в которых указаны причины, по которым URL не были проиндексированы, а также даны рекомендации по оптимизации.

  • В таблице Почему эти страницы не индексируются перечислены проблемы, которые мешают индексированию страниц вашего сайта. Чтобы увидеть список URL с этой проблемой и историю ее возникновения на вашем сайте, нажмите на строку в таблице.
  • В таблице с данными об удобстве страниц перечислены проблемы, которые не мешают индексированию, но мы рекомендуем их устранить, чтобы Google было проще анализировать ваш сайт. Чтобы открыть страницу сведений для всех URL с той же проблемой, нажмите на строку в таблице.
  • По ссылке Посмотреть данные об индексированных страницах приведена статистика индексирования страниц с указанием их количества, а также до 1000 проиндексированных URL в качестве примера.

На что следует обратить внимание

Обычно с появлением на сайте новых материалов постепенно увеличивается количество проиндексированных страниц. О причинах, по которым это количество может резко измениться, рассказывается в разделе Устранение неполадок.

Вам необходимо, чтобы в индекс попала каноническая версия каждой важной страницы. Следите за тем, чтобы копии или альтернативные версии страниц не индексировались. Если страница помечена как копия или альтернативная версия, значит ее каноническая версия обнаружена и включена в индекс, а проблем с ней нет. Чтобы выявить такие версии, воспользуйтесь инструментом проверки URL.

Подробнее о причинах отсутствия страниц в индексе

Чего не следует ожидать от отчета

  • Индексирование всех страниц. В индекс должны попасть не все страницы сайта, а только канонические, как описано выше.
  • Мгновенная обработка. Если вы добавляете новый контент, индексирование может занять несколько дней. Чтобы ускорить эту процедуру, можно отправить нам запрос.

Основной робот

Значение напротив слов Основной робот на странице сводных данных показывает, с помощью какого агента пользователя по умолчанию сканируется ваш сайт, то есть имитирует ли Google посещение с мобильного устройства (вариант Смартфоны) или с компьютера (вариант ПК).

Основной робот сканирует весь ваш сайт, но Google может также использовать для части ваших страниц дополнительного робота из двух указанных выше. Например, если основной робот для сайта обозначен как "Смартфоны", то дополнительным будет "ПК", и наоборот. Цель сканирования страниц с помощью дополнительного робота – получить больше информации о том, как ваш сайт работает на устройствах разных типов.

Статус

URL может иметь один из следующих статусов:

  • Не проиндексировано. URL не проиндексирован из-за ошибки индексирования или по объективной причине (например, индексирование запрещено в файле robots.txt или страница является копией). Причины, почему URL не были проиндексированы, указаны в таблице Почему эти страницы не индексируются. Изучите рекомендации по каждой причине, чтобы понять, следует ли ее устранять. Значение Источник подскажет, можно ли исправить такую проблему.
  • Проиндексировано. Робот Googlebot успешно проиндексировал эти страницы. Чтобы увидеть пример проиндексированных URL, под диаграммой на сводной таблице отчета нажмите Посмотреть данные об индексированных страницах.

Причина

Причина, по которой URL не может быть проиндексирован. Сведения с описанием причин для каждой проблемы и способы ее устранения (если это нужно) представлены в разделе ниже.

Источник

В таблице значение Источник указывает, является источником проблемы Google или сайт. Как правило, вы можете самостоятельно устранить только те проблемы, где источником назван сайт.

Проверка

Указание, поступал ли от вас запрос на проверку внесенных исправлений. Если да, то будет также указан статус проверки. В первую очередь следует устранить проблемы со статусом "Ошибка" или "Не начато" и источником "Сайт".

Проверка исправлений

Устранив проблему на всех страницах, где она выявлена, запросите повторную проверку сайта. Если проблема действительно решена во всех известных случаях, Search Console пометит ее в таблице как исправленную и переместит в конец списка.

Для чего это нужно

Советуем сообщить Google, что вы устранили все проблемы с определенным статусом. Это дает следующие преимущества:

  • Вы получите от Google письмо с подтверждением того, что вы исправили ошибки для всех URL. Если где-то они остались, мы сообщим и об этом.
  • Вы сможете отслеживать ход проверки и просматривать список всех страниц в очереди, а также их статусов.

Исправлять ошибки и проверять страницы не всегда имеет смысл. Например, в некоторых случаях страницы могут быть намеренно заблокированы в файле robots.txt. Вы сами решаете, устранять ли каждую конкретную неполадку.

Вы также можете исправить проблемы и не запрашивать проверку. Google просканирует страницы, на которых обнаружены неполадки, даже если вы не отправите запрос.

Как начать проверку

Чтобы сообщить Search Console, что вы устранили проблему, выполните следующие действия:

  1. Устраните проблему везде, где она выявлена на сайте. Если вы пропустите хотя бы одно вхождение, процесс проверки будет остановлен, как только Google его обнаружит.
  2. Откройте страницу сведений о проблеме, которую вы устранили. Нажмите на нужную строку в таблице.
  3. Нажмите Проверить исправление. Не нажимайте "Проверить исполнение" ещё раз, пока проверка не закончится (успешно или с ошибкой). Подробнее о том, как система Google проверяет исправления
  4. Вы можете следить за тем, как продвигается проверка. Проверка обычно занимает около двух недель, однако в некоторых случаях требуется больше времени. По окончании вы получите уведомление о результатах.
  5. Если проверка завершилась с ошибкой, вы можете посмотреть, на какой именно странице возникает эта ошибка. Для этого нажмите Подробности на странице сведений о проблемах. Устраните проблему на странице, подтвердите исправления для всех URL со статусом Не проверено и снова запустите проверку.

При каких условиях проблема считается устраненной для определенного URL или раздела на сайте?

Для URL или раздела на сайте проблема расценивается как решенная при выполнении любого из следующих условий:

  • Размещенная по этому URL страница просканирована, и выявленная ранее проблема на ней не обнаружена. Если нарушение было связано с тегом AMP, значит вы успешно внесли исправления или тег удален (если его не требуется использовать). При проверке будет показываться статус Нет ошибок.
  • Страница по какой-либо причине недоступна роботам Google (удалена, содержит метатег с директивой noindex, требует авторизации и т. д.). Для такого URL проблема тоже будет считаться решенной. При проверке статус изменится на Другое.

Срок актуальности проблем

Проблема считается актуальной с момента, когда она была впервые выявлена на вашем сайте, и вплоть до 90 дней после того, как последняя страница с нарушением была помечена как исправленная. Если в течение этого срока Search Console не обнаружит проблему снова, она будет удалена из таблицы.

Датой выявления проблемы считается момент, когда она первый раз была зарегистрирована в течение срока актуальности. Эта дата неизменна. Далее Search Console действует по следующему алгоритму:

  • Если проблема была исправлена на всех страницах, однако, например, через 15 дней после этого она появилась вновь, мы будем по-прежнему считать ее актуальной, а дата выявления останется неизменной.
  • Если же это произойдет по меньшей мере через 91 день, проблема уже будет удалена из истории. Мы зарегистрируем нарушение как новое и с другой датой выявления.
Процесс проверки

Ниже описано, как проходит процедура проверки после того, как вы нажмете Проверить исправление. Она может занять несколько дней, и вы будете получать по электронной почте уведомления о том, как она проходит.

  1. После того как вы нажмете Проверить исправление, Search Console сразу же обработает несколько страниц.
    • Если хотя бы на одной из них будет обнаружено нарушение, о котором идет речь, проверка закончится, а ее статус останется неизменным.
    • Если на выбранных страницах нарушение обнаружено не будет, процедура проверки продолжится, а ее статус изменится на Начато. При этом Search Console может выявить другие проблемы, не связанные с текущей, однако зарегистрирует их отдельно, а проверка будет выполняться и далее.
  2. Search Console будет проверять список страниц, на которых была обнаружена проблема, а не весь сайт. Список обработанных URL хранится в истории проверок Search Console. Ее можно открыть на странице со сведениями о проблеме.
  3. При проверке URL происходит следующее:
    1. Если проблема не найдена, статус проверки страниц меняется на Нет нарушений. Если это первый URL в очереди на обработку, статус проверки сайта меняется на Ошибки исправлены.
    2. Если URL недоступен, статус проверки страниц на наличие ошибки приобретает значение Другое (это не статус ошибки).
    3. Если проблема по-прежнему присутствует, сайту назначается статус Найдены ошибки и проверка заканчивается. Если такое нарушение выявлено на новой странице, обнаруженной при обычном сканировании сайта, это расценивается как ещё один случай прежней проблемы.
  4. Когда система проверит все URL в очереди и убедится, что проблема устранена, статус изменится на Нет ошибок. Учтите, что при этом степень серьезности проблемы останется прежней (Ошибка или Предупреждение), однако количество затронутых элементов станет равным нулю.

Даже если вы не нажмете "Начать проверку", Google все равно сможет обнаружить, что проблема на сайте исправлена. Если тот факт, что проблема исправлена на всех страницах, обнаружится при обычном сканировании, количество ее случаев в отчете будет равно нулю.

Повторная проверка

⚠️ Прежде чем запрашивать новую проверку, дождитесь окончания предыдущей, даже если во время нее вы устранили нарушение на каких-либо страницах.

Чтобы заново выполнить проверку, при которой была обнаружена ошибка, выполните следующие действия:

  1. Откройте историю проверки, которая завершилась с ошибкой, и нажмите Подробности.
  2. Нажмите Начать новую проверку.
  3. Система заново проверит все URL со статусом Не проверено или Ошибка, а также обнаружит другие аналогичные проблемы, если они появились с момента последней проверки. URL со статусом Нет ошибок или Другое повторно проверяться не будут.
  4. Проверка обычно занимает около двух недель, однако в некоторых случаях требуется больше времени.

Как посмотреть ход процесса

Чтобы увидеть ход текущей проверки или, если она завершена, историю последней проверки, выполните следующие действия:

  1. Откройте страницу сведений о проблеме. Для этого нажмите на соответствующую строку на главной странице отчета.
    • Статус запроса отображается как на странице сведений о проблеме, так и в строке Проверка таблицы с подробностями.
  2. Чтобы открыть страницу сведений о проверке для вашего запроса, нажмите Подробности.
    • В таблице будет показан статус проверки для каждого URL в запросе.
    • Статус элемента применяется для конкретной проблемы, которую вы рассматриваете. На одной и той же странице одна проблема может иметь статус Нет ошибок, а другая – Ошибка, Не проверено или Другое.
    • В отчетах об AMP и индексировании записи в истории проверок группируются по URL.
    • В отчете о расширенных результатах и об удобстве для мобильных записи группируются по URL и элементам структурированных данных (согласно значению элемента name).
Статус запроса проверки

Выявленной проблеме может быть назначен один из перечисленных ниже статусов.

  • Не начато. Один или несколько экземпляров проблемы ни разу не был включен в запрос проверки.
    Дальнейшие действия
    1. Нажмите на описание проблемы и ознакомьтесь с подробными сведениями о ней. Проанализируйте страницы, где она обнаружена, с помощью инструмента проверки AMP-страниц. Если этот инструмент не находит нарушений на странице, значит вы уже устранили их после того, как роботы Google обнаружили их и создали отчет.
    2. Нажмите Подробнее на странице со сведениями о проблеме, чтобы узнать, какое правило было нарушено.
    3. Выберите пример строки URL в таблице, чтобы получить подробную информацию о проблеме на соответствующей странице.
    4. Устраните нарушение на всех страницах и нажмите Проверить исправление, чтобы мы просканировали их зановоПроверка обычно занимает около двух недель, однако в некоторых случаях требуется больше времени.
  • Начато. Вы начали проверку, и проблема не обнаружена на новых страницах.
    Что следует предпринять. Следите за уведомлениями от Google, в которых вы найдете инструкции, если от вас будут требоваться какие-либо действия.
  • Ошибки исправлены. Вы начали проверку, и проблема исправлена на страницах, где она ранее была обнаружена.
    Что следует предпринять. Следите за уведомлениями Google о ходе проверки, в которых могут содержаться новые инструкции для вас.
  • Нет ошибок. Проблема устранена на всех страницах, где она ранее была обнаружена (или прежние URL больше не доступны). Этот статус может появиться только в том случае, если вы ранее нажимали Проверить исправление. Если проблемы на страницах исчезают без запроса повторной проверки с вашей стороны, статус изменяется на "Отсутствует".
    Что следует предпринять. От вас не требуется никаких действий.
  • Отсутствует. Мы обнаружили, что все страницы, где ранее наблюдалась проблема, исправлены, хотя вы ни разу не запрашивали проверку.
    Что следует предпринять. От вас не требуется никаких действий.
  • Есть ошибки. Проблема до сих пор наблюдается на некоторых страницах. Этот статус может появиться в том случае, если ранее вы нажимали Проверить.
    Что следует предпринять. Устраните нарушение и запросите повторную проверку.
Статусы проверки для отдельных случаев

После того как вы запросите проверку, Search Console присвоит каждому случаю возникновения проблемы один из перечисленных ниже статусов.

  • Не проверено. Проблема находится в очереди на проверку. В ходе последней проверки выяснилось, что она не устранена.
  • Нет ошибок (не во всех отчетах). Мы проверили страницу на предмет наличия проблемы и выяснили, что нарушение больше не наблюдается. Такой статус может появиться, только если вы запрашивали обработку именно этой страницы, нажав кнопку Проверить.
  • Есть ошибки. Мы проверили страницу на предмет наличия проблемы и выяснили, что нарушение по-прежнему наблюдается. Такой статус может появиться, только если вы запрашивали обработку именно этой страницы, нажав кнопку Проверить.
  • Другое (не во всех отчетах). У Google нет доступа к странице или элементу (для структурированных данных), где выявлена проблема. Этот вариант аналогичен статусу Нет ошибок.

Обратите внимание, что у одного и того же URL может быть разный статус применительно к разным нарушениям. К примеру, если на одной и той же странице встречается проблема А и проблема Б, первой может быть назначен статус Нет ошибок, а второй – В ожидании.

Фильтрация на основе файла Sitemap

В раскрывающемся меню над диаграммой есть фильтр, позволяющий систематизировать результаты индексирования по URL, указанным в файле Sitemap. Доступны описанные ниже варианты.

  • Все обработанные страницы (по умолчанию). Все URL, обнаруженные роботом Google, независимо от содержимого файла Sitemap.
  • Все отправленные страницы. Все URL в файле Sitemap или файле индекса Sitemap, отправленном с помощью отчета о файлах Sitemap или файла robots.txt на вашем сайте.
  • Только неотправленные страницы. Только страницы, которых нет в файле Sitemap, отправленном с помощью отчета о файлах Sitemap или файла robots.txt на вашем сайте.
  • URL из определенного файла Sitemap. Только URL, которые присутствуют в определенном файле Sitemap, отправленном с помощью отчета о файлах Sitemap или файла robots.txt на вашем сайте.

URL считается отправленным с помощью файла Sitemap, даже если он также был обнаружен и иным способом (например, если робот перешел на страницу, просканировав другой ресурс).

Страница сведений

Чтобы посмотреть данные о URL сайта с такой же проблемой или статусом, нажмите на строку в сводке и перейдите по ссылке Подробнее на открывшейся странице.

Диаграмма на этой странице содержит сведения об URL, с которыми в разное время были связаны ошибки сканирования.

В таблице "Примеры" показаны примеры страниц, где возникла соответствующая проблема. Таблица содержит не более 1000 URL с такой ошибкой, и этот список может быть неполным. Каждая строка поддерживает ряд функций:

  • Чтобы перейти к более подробной информации об URL, нажмите на строку.
  • Чтобы открыть страницу с этим URL в новой вкладке, нажмите на значок .
  • Чтобы открыть Проверку URL, нажмите на значок .
  • Чтобы скопировать URL, нажмите на значок .

Устранив все ошибки и предупреждения, нажмите Проверить исправление, чтобы сообщить нам об этом.

Вы устранили связанную с URL проблему, но пометка о ней осталась? Проверьте дату последнего сканирования этого URL. Возможно, оно было выполнено до того, как вы приняли меры. В таком случае убедитесь, что проблема действительно решена, и запросите повторное индексирование.

Как отправить сведения об ошибке другим пользователям

Чтобы предоставить кому-либо доступ к информации об ошибке, выявленной с помощью отчета об индексировании или об улучшениях, нажмите кнопку Отправить на странице со сведениями о конкретной проблеме. Адресат получит ссылку доступа только к этой странице и результатам проверок, но не к другим страницам. Пользователи, перешедшие по такой ссылке, не смогут выполнять действия с вашим ресурсом или аккаунтом. Вы можете в любое время отменить доступ к этой странице.

Как экспортировать данные

Данные из некоторых отчетов можно экспортировать, нажав кнопку скачивания . Экспортируются данные, которые представлены как на диаграммах, так и в таблицах. Значения, отмеченные в отчете символами "~" и "-" (недоступно/не является числом), в скачанном файле будут заменены на нули.

Устранение неполадок

Таблица отсортирована по степени критичности проблем. Чтобы проанализировать конкретную проблему в таблице ошибок индексирования, выполните следующие действия:

  1. Нажмите на строку в таблице Почему эти страницы не индексируются. Убедитесь, что проблема имеет отношение к вашей цели индексирования и для нее указана причина "Не проиндексировано". Определите источник по таблице и решите, можете ли вы исправить ошибки самостоятельно.
  2. Ознакомьтесь с информацией о проблеме.
  3. Изучите примеры страницы с той же проблемой:
    1. Нажмите на значок рядом с URL в таблице с примерами, чтобы открыть инструмент проверки.
    2. Ознакомьтесь с данными в разделах Охват > Сканирование и Охват > Индексирование.
    3. Чтобы протестировать текущую версию страницы, нажмите Проверить страницу на сайте.

Выявление наиболее распространенных ошибок индексирования и их исправление

Ниже описаны наиболее распространенные ошибки, которые могут встречаться в отчете.

Резкое снижение общего числа проиндексированных страниц без указания ошибок

Снижение числа проиндексированных страниц без указания ошибок может быть связано с тем, что при помощи файла robots.txt, директивы noindex или системы авторизации заблокирован доступ к страницам. Найдите момент, когда количество непроиндексированных URL заметно увеличилось, а число проиндексированных страниц уменьшилось.

Число непроиндексированных страниц превышает число проиндексированных

Если непроиндексированных страниц больше, чем проиндексированных, то причину этого можно найти в отчете. Вот из-за чего чаще всего возникает большое число непроиндексированных страниц:

  • У вас есть правило в файле robots.txt, которое запрещает Google сканировать крупные разделы вашего сайта. Если доступ к определенным страницам закрыт по ошибке, откройте его.
  • На сайте много повторяющихся страниц, в основном потому что вы используете параметры для фильтрации или сортировки общих наборов элементов (например, type=dress, color=green или sort=price). Возможно, эти страницы не должны индексироваться, если на них представлен один и тот же контент, который сортируется, фильтруется или обрабатывается разными способами.
Резкий скачок числа ошибок

Это может происходить по двум причинам. Первая – был изменен шаблон, вторая – был добавлен файл Sitemap с URL, сканирование которых заблокировано с помощью файла robots.txt, директивы noindex или запроса авторизации.

Если число ошибок резко увеличилось, выполните следующие действия:

  1. Чтобы определить, какая проблема влияет на общее число ошибок или проиндексированных страниц, попробуйте найти взаимосвязь между этими показателями и спарклайном рядом со строкой конкретной ошибки в сводке.
  2. Перейдите на страницу сведений об ошибке, чтобы узнать, чем она вызвана и как ее устранить.
  3. Нажмите на строку, чтобы открыть пример страницы с ошибкой, если это необходимо.
  4. Устраните ошибку и нажмите Проверить исправление на упомянутой странице сведений. Подробнее о процедуре проверки
  5. Со сведениями о числе ошибок можно знакомиться как во время выполнения проверки, так и позже.
Ошибки сервера
Ошибка сервера означает, что робот Googlebot не смог получить доступ к вашему URL, истекло время ожидания ответа на запрос или сайт был перегружен. В результате робот был вынужден отменить запрос.
Проверьте статус хоста своего сайта в отчете о статистике сканирования и выясните, сообщает ли Google о проблемах с доступностью сайта, которые вы можете устранить.

Проверка подключения к серверу

Попробуйте с помощью инструмента проверки URL воспроизвести ошибку сервера, отмеченную в отчете об индексировании. Обратите внимание, что ошибки сервера могут носить временный характер, в результате чего проверка опубликованной страницы может пройти успешно, а ее сканирование прерваться из-за ошибки сервера.

Устранение ошибок подключения к серверу

  • Изучите данные о доступности хоста из статистики сканирования, чтобы узнать, насколько стабильно функционирует ваш сайт.
  • Сократите количество загрузок динамических страниц.
    На динамических сайтах одинаковый контент может размещаться на страницах с разными URL (например, www.example.com/shoes.php?color=red&size=7 и www.example.com/shoes.php?size=7&color=red). В некоторых случаях значительная задержка отклика динамических страниц приводит к превышению времени ожидания. Также сервер может вернуть статус "Перегрузка", чтобы робот Googlebot сканировал сайт медленнее. Советуем не использовать много параметров и делать это пореже.
  • Убедитесь, что сервер, на котором размещен ваш сайт, не отключен и не перегружен, а также проверьте его конфигурацию.
    Если не удалось устранить проблемы с подключением, временем ожидания или откликом, обратитесь к поставщику услуг хостинга и попробуйте увеличить пропускную способность сайта.
  • Проверьте, не блокируется ли доступ к сайту для роботов Google.
    У поискового робота Google могут быть проблемы с доступом к сайту из-за системной ошибки, например ошибки конфигурации DNS или некорректных настроек брандмауэра, защиты от DoS-атак и системы управления контентом. Любой хостинг-провайдер, оказывающий услуги высокого качества, использует систему защиты. Как правило, она автоматически блокирует запросы к серверу, если их количество существенно превышает обычный уровень. Поскольку робот Googlebot зачастую отправляет больше запросов, чем обычный пользователь, системы защиты могут расценить это как угрозу и заблокировать роботу доступ к сайту, не позволяя выполнить сканирование. Чтобы исправить эту ошибку, выясните, какой элемент инфраструктуры вашего сайта препятствует сканированию, и снимите блокировку. Если у вас нет доступа к настройкам брандмауэра, обратитесь к хостинг-провайдеру.
  • Управляйте сканированием и индексированием сайта разумно.
    Некоторые веб-мастера намеренно блокируют роботу Googlebot доступ к своим сайтам, например с помощью брандмауэра, как описано выше. Чаще всего это делается с целью предотвратить сканирование и индексирование отдельных веб-страниц, а не всего сайта. Если вы тоже так поступаете, обратите внимание на следующее:
Ошибка 404

Как правило, рекомендуется исправлять только те ошибки 404, которые относятся к страницам вашего сайта или отражены в файле Sitemap. Если страница была перенесена, то необходимо настроить перенаправление 3XX на новый URL. Подробнее о том, как выявлять и исправлять ошибки 404

Отсутствие страниц и сайтов в результатах поиска

Если страница не указана в отчете, это наверняка связано с одной из следующих причин:

  • У Google нет сведений о странице. Что нужно учитывать:
    • Если вы создали сайт или страницу недавно, Google обнаружит и просканирует их не сразу.
    • Чтобы мы узнали о вашей странице, необходимо отправить нам файл Sitemap или запрос на сканирование. Также вы можете просто подождать, пока робот Google не обнаружит ссылку на страницу самостоятельно.
    • Между моментом, когда URL станет нам известен, и полным или частичным сканированием вашего сайта обычно проходит некоторое время – до нескольких недель.
    • Индексация никогда не происходит сразу, даже если вы отправите прямой запрос.
    • Мы не можем гарантировать, что в индекс Google попадут абсолютно все страницы.
  • Роботы Google не могут обработать страницу, так как она требует авторизации или по иным причинам доступна не всем пользователям в интернете.
  • Роботы Google не могут проиндексировать страницу, так как на ней используется тег noindex.
  • Страница по какой-то причине исключена из индекса.

Как устранить проблему

Проанализируйте проблему на странице с помощью инструмента проверки URL. Если страница не представлена в отчете об индексировании, но отмечена как проиндексированная в отчете инструмента проверки URL, вероятно, она была обработана и в ближайшее время появится в отчете об индексировании. Если же по данным инструмента проверки URL страница не была проиндексирована, протестируйте опубликованную страницу. Это поможет вам определить, с чем связана неполадка. Устранить ее вам помогут сведения, полученные по результатам теста, а также специальная документация к тесту.

Часто задаваемые вопросы

Почему страница, которую я не хочу включать в поисковый индекс, попала в него?

Робот Google может найти страницу различными способами, в том числе среди ссылок на ваш сайт на других ресурсах, и проиндексировать любой найденный URL, если вы не добавили на страницу метатег с директивой noindex и не применили временную блокировку.

  • Чтобы предотвратить появление страницы в результатах поиска Google, закройте ее паролем или добавьте в ее код директиву noindex. Не рекомендуется использовать для этой цели правило robots.txt, поскольку в этом случае робот Google не увидит директиву noindex на странице.
  • Чтобы удалить из результатов поиска Google страницу, которая уже включена в них, выполните действия, описанные в другой статье нашего Справочного центра.

Почему мой сайт в последнее время не индексировался повторно?

Периодичность повторной индексации зависит от того, как часто на ваших страницах происходят изменения. Мы определяем это по ряду факторов. Если ваш контент меняется редко, нет необходимости постоянно обновлять сведения о нем в нашем индексе. Если с момента последнего сканирования содержимое страницы существенно изменилось, вы можете запросить повторное сканирование. Имейте в виду, что роботы Google выполнят повторное сканирование и автоматически, поэтому отправляйте такой запрос, только если изменение очень важное, а страница долго (неделю или больше) не появляется в индексе Google.

Как запросить повторное сканирование страницы или сайта?

Сообщите в Google о том, что ваш ресурс нужно обработать заново.

Почему на моем сайте столько непроиндексированных страниц?

Посмотрите причины в отчете об индексировании. Ниже приведены наиболее часто встречающиеся причины исключения большого числа URL на сайте во время индексирования:

  • У вас есть правило в файле robots.txt, которое запрещает Google сканировать крупные разделы вашего сайта. В отчете об индексировании такие страницы будут отмечены как "Заблокировано в файле robots.txt". Найдите соответствующее правило блокировки в вашем файле robots.txt и удалите его.
  • На сайте много дублирующихся страниц, в основном потому, что вы используете параметры для фильтрации или сортировки общих наборов элементов (например, type=dress, color=green или sort=price). В отчете такие страницы помечаются как повторяющиеся или альтернативные. Дубликаты страниц не добавляются в индекс Google.
  • URL выполняет переадресацию на другой URL. В таком случае в индекс включается только второй URL.

Почему у робота Google нет доступа к моему файлу Sitemap?

Убедитесь, что файл Sitemap не заблокирован в файле robots.txt и функционирует, а URL в robots.txt или отчете об отправке файлов Sitemap является корректным. Проверьте URL в Sitemap с помощью любого общедоступного инструмента.

Почему Google продолжает сканировать удаленную страницу?

Робот Google продолжает сканировать все известные URL, даже если при открытии некоторых страниц уже какое-то время возникают ошибки 4XX (но только при условии временных ошибок). URL не сканируется только в том случае, если он возвращает атрибут noindex.

Чтобы список ошибок 404 в отчете об индексировании не был слишком длинным, мы показываем только те URL, для которых ошибка была зарегистрирована за последний месяц.

Мне доступна моя страница. Почему робот Google ее не видит?

Чтобы узнать, может ли страница быть просканирована, воспользуйтесь инструментом проверки URL. Если эту операцию выполнить нельзя, то вы увидите информацию о причине. Если инструмент не выявляет никаких ошибок, вероятно, проблема с доступом была устранена с момента последнего сканирования. Протестируйте с помощью указанного инструмента текущую версию страницы и запросите индексирование.

Инструмент проверки URL не находит проблем, но в отчете об индексировании показывается ошибка. Почему?

Возможно, робот Google в последний раз обрабатывал страницу до того, как вы исправили связанную с ней ошибку. Посмотрите дату сканирования URL на странице сведений о нем в отчете об индексировании или в инструменте проверки URL (в данных об индексированной версии). Определите, вносили ли вы изменения на странице с момента ее сканирования.

Кроме того, инструмент проверки URL не способен выявить всех проблем, отображаемых в отчете об индексировании. Например, этот инструмент не может определить, является ли страница канонической или копией.

Как узнать статус сканирования конкретного URL?

Если вас интересует статус сканирования определенной веб-страницы, воспользуйтесь инструментом проверки URL. Отчет об индексировании не поддерживает поиск или фильтрацию по URL.

Причины ошибок индексирования

В отчете об индексировании могут быть указаны следующие причины, по которым страницы были проиндексированы с ошибками или не были проиндексированы вовсе:


Не проиндексировано

Страницы не были проиндексированы, и не обязательно в результате ошибки. Прочитайте описание причины, чтобы выяснить, есть ли ошибка.

Ошибка сервера (5xx)

В ответ на запрос страницы сервер возвратил ошибку 5xx. Изучите сведения о том, как исправить ошибки сервера.

Ошибка переадресации

При индексировании произошла одна из следующих ошибок:

  • Слишком длинная цепь переадресаций.
  • Бесконечная переадресация.
  • Длина URL переадресации превышает допустимую.
  • Недопустимый или пустой URL в цепи переадресаций.

Чтобы узнать причину ошибки, воспользуйтесь подходящим инструментом отладки, например Lighthouse.

Доступ к URL заблокирован в файле robots.txt

Страница заблокирована с помощью файла robots.txt. Чтобы узнать, так ли это, воспользуйтесь инструментом проверки файла robots.txt. Обратите внимание, что страница все равно может быть проиндексирована другими способами. Это может произойти, если Google в состоянии найти информацию о странице, не загружая ее (вероятность этого крайне мала). Чтобы страница не индексировалась, удалите блокировку в файле robots.txt и используйте директиву noindex.

Страница содержит директиву noindex

Робот Googlebot отказался от обработки страницы, обнаружив в ее коде директиву noindex. Если вы не хотите, чтобы эта страница индексировалась, то все в порядке. В противном случае необходимо удалить директиву noindex.

Определите, в чем заключается проблема:

  1. Нажмите на значок лупы рядом с URL в таблице.
  2. В разделе Покрытие > Индексирование > Индексирование разрешено? отчета должно быть указано, что индексирование блокируется директивой noindex. Выполните поиск слова noindex в исходном коде страницы или в заголовках ответов.
  3. Проверьте, удален ли тег noindex со страницы на сайте, выполнив следующие действия:
    1. Нажмите Проверить страницу на сайте.
    2. Откройте раздел Доступность > Индексирование > Индексирование разрешено? и проверьте, удалена ли директива noindex. Если да, вы можете нажать кнопку Запросить индексирование, чтобы повторить процедуру. Если директива по-прежнему на месте, удалите ее. В противном случае проиндексировать страницу не получится.
  4. Если вы хотите, чтобы страница была проиндексирована, необходимо удалить тег или HTTP-заголовок, содержащий эту директиву.

Ложная ошибка 404

В ответ на запрос страница возвращает ложную ошибку 404. Это означает, что пользователь видит сообщение "не найдено", а не код ответа HTTP 404. Рекомендуем использовать код 404 в тех случаях, когда имеет место настоящая ошибка этого типа, и добавлять на страницу дополнительную информацию, чтобы робот Google мог отличить настоящую ошибку от ложной. Чтобы узнать, как страница выглядит в результатах поиска Google, воспользуйтесь инструментом проверки URL, а затем нажмите Посмотреть проверенную страницу и получите скриншот того, как Google обрабатывает страницу. Как исправить ложную ошибку 404.

Страница не проиндексирована вследствие ошибки 401 (неавторизованный запрос)

Доступ робота Googlebot к странице заблокирован из-за необходимости авторизации (код ответа 401). Если вы хотите, чтобы робот мог проиндексировать страницу, отключите авторизацию или откройте ему доступ. Чтобы проверить, наблюдается ли эта ошибка по-прежнему, откройте страницу в режиме инкогнито.

Не найдено (404)

В ответ на запрос страницы получен код ошибки 404. URL был найден Google без специального запроса на сканирование и без помощи файла Sitemap. Возможно, робот Google обнаружил этот URL в ссылке на другой странице или соответствующая страница существовала раньше и была удалена. Робот, вероятно, продолжит попытки найти указанный URL. Хотя предотвратить это невозможно, такая процедура будет выполняться все реже и реже. Если страница была удалена без замещения, ответ 404 не является проблемой. Если ваша страница перенесена, используйте переадресацию 301. Подробнее об исправлении ошибок 404

Страница заблокирована из-за ошибки 403 (доступ запрещен)

Ответ HTTP 403 означает, что агент пользователя предоставил учетные данные, но не получил доступа. Учтите, что робот Googlebot никогда не предоставляет учетные данные, поэтому сведения об ошибке, которые возвращает сервер, некорректны. Страница не будет проиндексирована.

Если вы хотите, чтобы робот Googlebot проиндексировал страницу, отмените обязательную авторизацию или разрешите обработку запросов робота без аутентификации (для этого необходимо открыть ему доступ).

URL заблокирован из-за другой ошибки 4xx

Сервер столкнулся с ошибкой 4xx, которая не относится к описанным здесь типам ошибок. Воспользуйтесь инструментом проверки URL.

Индексирование страницы запрещено с помощью инструмента удаления URL

В настоящее время робот Googlebot не может обработать страницу, поскольку мы получили связанный с ней запрос на удаление URL от администратора ресурса в Search Console или от посетителя сайта, чей запрос был одобрен.

Вы можете узнать, кто отправил такой запрос, с помощью инструмента удаления URL. Обратите внимание, что срок действия подобных запросов составляет около 90 дней с даты удаления. По истечении этого срока робот Googlebot может вернуться на страницу и обработать ее, даже если вы не запрашивали индексирование. Если вы не хотите, чтобы страница была добавлена в индекс Google, удалите ее, внедрите на ней авторизацию или используйте директиву noindex.

Страница просканирована, но пока не проиндексирована

Это сообщение означает, что мы просканировали страницу, но пока не добавили ее в индекс Google. В дальнейшем она может быть проиндексирована, а может и остаться в текущем состоянии; вновь отправлять этот URL на сканирование не нужно.

Обнаружена, не проиндексирована

Это означает, что мы нашли страницу, но пока не добавили ее в индекс Google. Обычно это объясняется тем, что роботу Google не удалось просканировать сайт, поскольку это могло привести к чрезмерной загрузке ресурса, и сканирование было перенесено на более поздний срок. Именно поэтому в отчете не указывается дата последнего сканирования.

Вариант страницы с тегом canonical

Страница была помечена как альтернатива уже проиндексированной странице (AMP-страница с канонической версией для ПК, мобильная версия канонической страницы для ПК или наоборот) и верно указывает на нее. Вам не нужно ничего предпринимать. Версии одной и той же страницы на разных языках в Search Console не регистрируются.

Страница является копией. Канонический вариант не выбран пользователем

Страница дублирует другую, но не имеет соответствующей пометки. Робот Google считает канонической другую версию этой страницы, поэтому дубликат не появляется в результатах поиска. Узнать, какой ресурс робот Google считает исходным, можно при помощи инструмента проверки URL.

Если канонической выбрана верная страница, то делать ничего не нужно. Если же произошла ошибка, можно выполнить нормализацию. Чтобы страница не считалась копией той, которая занесена в индекс Google как каноническая, их содержимое должно существенно различаться.

Страница является копией. Канонические версии страницы, выбранные Google и пользователем, не совпадают

Этот URL помечен как канонический для набора страниц, но Google считает, что другой URL больше подходит в качестве канонического. Робот проиндексировал не эту страницу, а выбранную Google. Чтобы узнать, какой ресурс был выбран роботом Google в качестве канонического, проверьте этот URL. Чтобы страница не считалась копией той, которая занесена в индекс Google как каноническая, их содержимое должно существенно различаться.

Страница с переадресацией

URL выполняет переадресацию на другой URL, поэтому не включается в индекс. В индекс, а значит и в отчет, может быть добавлен конечный целевой URL. Если проверить этот URL c помощью отчета, тест проиндексированной страницы укажет на переадресацию. Если запустить проверку опубликованной страницы, то будет проверена целевая, куда выполняется перенаправление. Однако URL этой страницы не будет указан.


Предупреждения

Предупреждения перечислены в таблице Повысьте удобство сайта на сводной странице отчета об индексировании. Эти проблемы не мешают добавлять страницы в индекс, однако замедляют процесс анализа и индексирования.

Проиндексировано, несмотря на блокировку в файле robots.txt

Страница была проиндексирована, хотя доступ к ней заблокирован файлом robots.txt на вашем сайте. Google всегда следует инструкциям в этом файле, однако веб-страница может быть проиндексирована, если ссылки на нее есть на других сайтах. В этом случае роботы Google не будут открывать и сканировать такую страницу, но смогут проиндексировать ее, используя сведения с другой страницы, которая содержит ссылку на вашу. Из-за запрета, заданного в файле robots.txt, фрагмент вашего контента в результатах поиска Google может оказаться слишком коротким.

Что следует предпринять:

Страница проиндексирована без контента

Страница есть в индексе Google, но поисковый робот не смог обработать ее контент. Возможно, она замаскирована от Google или формат размещенных на ней материалов не позволяет ее проиндексировать. Такая ситуация не имеет отношения к блокировке доступа с помощью файла robots.txt. Проверьте страницу и ознакомьтесь с информацией в разделе Покрытие.


Проиндексировано

Число проиндексированных URL указано на диаграмме на сводной странице. Чтобы увидеть примеры страниц с дополнительной информацией, под диаграммой нажмите Посмотреть данные об индексированных страницах.

Эта страница проиндексирована

Эта страница успешно проиндексирована. Однако на ней могли быть зафиксированы другие проблемы, например ошибки в структурированных данных или недостаточное удобство для мобильных устройств. Все остальные ошибки описываются в соответствующем разделе инструмента проверки URL.

 

 

Эта информация оказалась полезной?
Как можно улучшить эту статью?
true
Не знакомы с Search Console?

Ещё не пользовались Search Console? Этот сервис пригодится вам, если вы специалист по поисковой оптимизации, разработчик сайтов или только начали изучать веб-технологии. Начните знакомство с Search Console отсюда.

Поиск
Удалить поисковый запрос
Закрыть поиск
Приложения Google
Главное меню
Поиск по Справочному центру
true
true
true
83844