Отчет об индексировании страниц

Узнайте, какие страницы на вашем сайте может найти и проиндексировать Google и как решать возможные проблемы, которые при этом возникают.

Открыть отчет об индексировании страниц

 

 

С чего начать

Структура отчета

В отчете об индексировании страниц показан статус индексирования всех URL, обнаруженных поисковыми роботами Google на вашем веб-ресурсе.

Страница сводных данных

На странице сводных данных отчета представлена диаграмма и указано число проиндексированных и непроиндексированных (но запрошенных) страниц. Там же имеются таблицы, в которых указаны причины, по которым URL не были проиндексированы, а также даны рекомендации по оптимизации.

  • В таблице Почему эти страницы не индексируются перечислены проблемы, которые мешают индексированию страниц вашего сайта. Чтобы перейти на страницу сведений, где содержится список URL с этой проблемой, а также история ее возникновения на вашем сайте, нажмите на строку в таблице.
  • В таблице Повысьте удобство сайта перечислены проблемы, которые не мешают индексированию, но которые рекомендуется устранить, чтобы Google было проще анализировать ваш сайт. Чтобы открыть страницу сведений, на которой перечислены все URL с той же проблемой, нажмите на нужную строку в таблице.
  • По ссылке Посмотреть данные об индексированных страницах представлена статистика индексирования страниц с указанием их количества, а также до 1000 проиндексированных URL в качестве примера.

На что следует обратить внимание

Обычно с появлением на сайте новых материалов постепенно увеличивается количество проиндексированных страниц. О причинах резкого изменения этого количества рассказывается в разделе Устранение неполадок.

Вам необходимо, чтобы в индекс попала каноническая версия каждой ключевой страницы. Следите за тем, чтобы копии или альтернативные страницы не индексировались. Если страница учтена как копия или альтернативная страница, значит каноническая страница обнаружена и включена в индекс, а проблем с ней нет. Чтобы выявить такие версии, воспользуйтесь инструментом проверки URL.

Подробнее о причинах отсутствия страниц в индексе…

На что не стоит обращать внимание

  • Индексирование всех страниц. В индекс должны попасть не все страницы сайта, а только канонические, как описано выше.
  • Мгновенная обработка. Если вы добавляете новый контент, индексирование может занять несколько дней. Чтобы ускорить эту процедуру, можно отправить нам запрос.

Статус

URL может иметь один из следующих статусов:

  • Не проиндексировано. URL не проиндексирован из-за ошибки индексирования или по объективной причине (например, индексирование запрещено в файле robots.txt или страница является копией). Причины, почему URL не были проиндексированы, указаны в таблице Почему эти страницы не индексируются. Изучите рекомендации по каждой причине, чтобы понять, следует ли ее устранять. Значение Источник подскажет, можно ли исправить такую проблему.
  • Проиндексировано. Робот Googlebot успешно проиндексировал эти страницы. Чтобы увидеть пример проиндексированных URL, под диаграммой на странице сводных данных отчета нажмите Посмотреть данные об индексированных страницах.

Причина

Причина, по которой URL не может быть проиндексирован. Сведения с описанием причин для каждой проблемы и способы ее устранения (если это нужно) представлены в разделе ниже.

Источник

В таблице значение Источник указывает на источник проблемы: Google или сайт. Как правило, вы можете самостоятельно устранить только те проблемы, где источником назван сайт.

Проверка

Указание, поступал ли от вас запрос на проверку внесенных исправлений. Если да, то будет также указан статус проверки. В первую очередь следует устранить проблемы со статусом "Ошибка" или "Не начато" и источником "Сайт".

Устранив проблему на всех страницах, где она была обнаружена, запросите повторную проверку сайта. Если проблема действительно решена во всех известных случаях, она будет помечена как устраненная и перемещена в конец списка.

Для чего это нужно

Советуем сообщить Google, что вы устранили все проблемы с определенным статусом. Это дает следующие преимущества:

  • Вы получите от Google письмо с подтверждением того, что ошибки для всех URL исправлены. Если где-то они остались, мы сообщим и об этом.
  • Вы сможете отслеживать ход проверки и просматривать список всех страниц в очереди, а также их статусов.

Исправлять ошибки и проверять страницы не всегда имеет смысл. Например, в некоторых случаях страницы могут быть намеренно заблокированы в файле robots.txt. Вы сами решаете, устранять ли каждую конкретную неполадку.

Вы также можете исправить проблемы и не запрашивать проверку. Google просканирует страницы, на которых обнаружены неполадки, даже если вы не отправите запрос.

Полезный совет: сообщите об исправлениях с помощью файла Sitemap
Чтобы запрос на проверку исправлений был обработан быстрее, предварительно создайте и отправьте файл Sitemap, содержащий только самые важные страницы вашего сайта, а затем выполните фильтрацию отчета по этому файлу. Проверить лишь часть затронутых URL вашего сайта можно быстрее, чем все подобные URL.

Как начать проверку

Чтобы сообщить Search Console об устранении проблемы, выполните следующие действия:

  1. Устраните проблему везде, где она выявлена на сайте. Если вы пропустите хотя бы одно исправление, процесс проверки будет остановлен, как только Google это обнаружит.
  2. Откройте страницу сведений об устраненной проблеме. Нажмите на нужную строку в таблице.
    • ⚠️ Если вы выполнили фильтрацию отчета с помощью определенного файла Sitemap, будут проверены только элементы, которые были включены в этот файл на момент подачи запроса. Есть вероятность, что проверены будут не те элементы, которые вас интересуют.
  3. Нажмите Проверить исправление. Не нажимайте "Проверить исполнение" ещё раз, пока проверка не закончится (успешно или с ошибкой). Подробнее о том, как система Google проверяет исправления…
  4. Вы можете следить за тем, как продвигается проверка. Проверка обычно занимает около двух недель, однако в некоторых случаях требуется больше времени. По окончании вы получите уведомление о результатах.
  5. Если проверка завершилась с ошибкой, вы можете посмотреть, на какой именно странице возникает эта ошибка. Для этого нажмите Подробности на странице сведений о проблемах. Устраните проблему на странице, подтвердите исправления для всех URL со статусом Не проверено и снова запустите проверку.

При каких условиях проблема считается решенной для определенного URL или раздела на сайте?

Для URL или раздела на сайте проблема расценивается как решенная при выполнении любого из следующих условий:

  • URL просканирован, и проблема на странице не обнаружена. Если нарушение было связано с тегом AMP, значит вы успешно внесли исправления или тег удален (если его не требуется использовать). При проверке будет показываться статус Нет ошибок.
  • Страница по какой-либо причине недоступна роботам Google (удалена, содержит метатег с директивой noindex, требует авторизации и т. д.). Для такого URL проблема тоже будет считаться решенной. При проверке статус изменится на Другое.

Как следить за ходом проверки

Чтобы увидеть ход текущей проверки или, если она завершена, историю последней проверки, выполните следующие действия:

  1. Откройте страницу сведений о проблеме. Для этого нажмите на строку проблемы на главной странице отчета.
  2. Чтобы открыть страницу сведений о проверке для вашего запроса, нажмите Подробности.
    • В таблице будет показан статус проверки для каждого URL в запросе.
    • Статус элемента применяется для конкретной проблемы, которую вы рассматриваете. На одной и той же странице одни проблемы могут иметь статус Подтверждено, а другие – Ошибка, Не проверено или Другое.
    • В отчетах о статусе AMP-страниц и индексировании страниц записи в истории проверок группируются по URL.
    • В отчете о расширенных результатах записи группируются по URL и элементам структурированных данных (согласно значению элемента name).

Фильтрация на основе файла Sitemap

В раскрывающемся меню над диаграммой есть фильтр, позволяющий систематизировать результаты индексирования по наличию или отсутствию URL в файле Sitemap. Доступны следующие варианты:

  • Все обработанные страницы (по умолчанию). Все URL, обнаруженные роботом Google, независимо от того, указаны они в файле Sitemap или нет.
  • Все отправленные страницы. Все URL, которые указаны в файле Sitemap или файле индекса Sitemap, отправленном нам с помощью отчета о файлах Sitemap или файла robots.txt на вашем сайте.
  • Только неотправленные страницы. Страницы, которых нет в файле Sitemap или файле индекса Sitemap, отправленном с помощью отчета о файлах Sitemap или файла robots.txt на вашем сайте.
  • URL из определенного файла Sitemap. URL, которые указаны в отдельном файле Sitemap, отправленном с помощью отчета о файлах Sitemap или файла robots.txt на вашем сайте.

URL считается отправленным с помощью файла Sitemap, даже если он также был обнаружен и иным способом (например, если робот Google перешел на страницу, просканировав другой ресурс).

Страница сведений

Чтобы посмотреть данные о URL сайта, которые имеют одинаковый статус или на которых выявлена одинаковая проблема, нажмите на строку на странице сводных данных и перейдите по ссылке Подробнее на открывшейся странице.

Диаграмма на этой странице содержит сведения об URL, с которыми в разное время были связаны ошибки сканирования.

В таблице "Примеры" показаны примеры страниц, где возникла соответствующая проблема. Таблица содержит не более 1000 URL с такой ошибкой, и этот список может быть неполным. Каждая строка поддерживает ряд функций:

  • Чтобы перейти к более подробной информации об URL, нажмите на строку.
  • Чтобы открыть страницу с этим URL в новой вкладке, нажмите на значок .
  • Чтобы открыть Проверку URL, нажмите на значок .
  • Чтобы скопировать URL, нажмите на значок .

Устранив все ошибки и предупреждения, нажмите Проверить исправление, чтобы сообщить нам об этом.

Вы устранили связанную с URL проблему, но пометка о ней осталась? Проверьте дату последнего сканирования этого URL. Возможно, оно было выполнено до того, как вы приняли меры. В таком случае убедитесь, что проблема действительно решена, и запросите повторное индексирование.

Как отправить сведения об ошибке другим пользователям

Чтобы предоставить кому-либо доступ к информации об ошибке, выявленной с помощью отчета об индексировании или об улучшениях, нажмите кнопку Отправить на странице со сведениями о конкретной проблеме. Адресат получит ссылку доступа только к этой странице и результатам проверок, но не к другим страницам. Пользователи, перешедшие по такой ссылке, не смогут выполнять действия с вашим ресурсом или аккаунтом. Вы можете в любое время отменить доступ к этой странице.

Как экспортировать данные

Данные из некоторых отчетов можно экспортировать, нажав кнопку скачивания . Экспортируются данные, которые представлены как на диаграммах, так и в таблицах. Значения, отмеченные в отчете символами "~" и "-" (недоступно/не является числом), в скачанном файле будут заменены на нули.

Устранение неполадок

Таблица отсортирована по степени критичности проблем. Чтобы получить подробные сведения о той или иной проблеме в таблице ошибок индексирования, выполните следующие действия:

  1. Нажмите на нужную строку в таблице Почему эти страницы не индексируются. Убедитесь, что проблема имеет отношение к вашей цели индексирования и для нее указана причина "Не проиндексировано". Определите источник по таблице и решите, можете ли вы исправить ошибки самостоятельно.
  2. Ознакомьтесь с информацией о проблеме.
  3. Изучите примеры страницы с той же проблемой:
    1. Нажмите на значок рядом с URL в таблице с примерами, чтобы открыть инструмент проверки.
    2. Ознакомьтесь с данными в разделах Охват > Сканирование и Охват > Индексирование.
    3. Чтобы протестировать текущую версию страницы, нажмите Проверить страницу на сайте.

Выявление наиболее распространенных ошибок индексирования и их исправление

Ниже описаны наиболее распространенные ошибки, которые могут встречаться в отчете.

Почему страницы не индексируются

В отчете об индексировании страниц могут быть указаны следующие причины, по которым страницы были проиндексированы с ошибками или не были проиндексированы вовсе:

Не проиндексировано

Страницы не были проиндексированы, и не обязательно в результате ошибки. Прочитайте описание причины, чтобы выяснить, есть ли ошибка.

Ошибка сервера (5xx)

В ответ на запрос страницы сервер возвратил ошибку 5xx. Изучите сведения о том, как исправить ошибки сервера.

Ошибка переадресации

При индексировании произошла одна из следующих ошибок:

  • Слишком длинная цепь переадресаций.
  • Бесконечная переадресация.
  • Длина URL переадресации превышает допустимую.
  • Недопустимый или пустой URL в цепи переадресаций.

Чтобы узнать причину ошибки, воспользуйтесь подходящим инструментом отладки, например Lighthouse.

Доступ к URL заблокирован в файле robots.txt

Страница заблокирована с помощью файла robots.txt. Чтобы узнать, так ли это, воспользуйтесь инструментом проверки файла robots.txt. Обратите внимание, что в этом случае страница может попасть в индекс другими способами. Это может произойти, если Google в состоянии найти информацию о странице, не загружая ее (вероятность этого крайне мала). Чтобы страница не была проиндексирована, удалите блокировку в файле robots.txt и используйте директиву noindex.

Страница содержит директиву noindex

Робот Googlebot прекратил сканирование страницы, обнаружив в ее коде директиву noindex, в результате чего страница не была проиндексирована. Если вы не хотите, чтобы эта страница индексировалась, то все в порядке. В противном случае необходимо удалить директиву noindex.

Определите, в чем заключается проблема:

  1. Нажмите на значок лупы рядом с URL в таблице.
  2. В разделе Покрытие > Индексирование > Индексирование разрешено? отчета должно быть указано, что индексирование запрещено директивой noindex. Выполните поиск слова noindex в исходном коде страницы или в заголовках ответов.
  3. Проверьте, удален ли тег noindex со страницы на сайте, выполнив следующие действия:
    1. Нажмите Проверить страницу на сайте.
    2. Откройте раздел Доступность > Индексирование > Индексирование разрешено? и проверьте, удалена ли директива noindex. Если да, вы можете нажать кнопку Запросить индексирование, чтобы повторить процедуру. Если на странице присутствует директива noindex, удалите ее. В противном случае проиндексировать страницу не получится.
  4. Если вы хотите, чтобы страница была проиндексирована, необходимо удалить тег или HTTP-заголовок, содержащий директиву noindex.

Ложная ошибка 404

В ответ на запрос страница возвращает ложную ошибку 404. Это означает, что пользователь видит сообщение "не найдено", а не код ответа HTTP 404. Рекомендуем использовать код ответа 404 ("не найдено") в тех случаях, когда действительно имеет место ошибка этого типа, а также снабжать страницу дополнительной информацией, чтобы робот Google мог отличить настоящую ошибку 404 от ложной. Чтобы узнать, как страница выглядит в результатах поиска Google, выполните проверку URL опубликованной страницы. Затем нажмите Посмотреть проверенную страницу, и вы увидите скриншот того, как Google отображает страницу. Узнайте, как исправить ложную ошибку 404.

Страница не проиндексирована вследствие ошибки 401 (неавторизованный запрос)

Доступ робота Googlebot к странице заблокирован из-за необходимости авторизации (код ответа 401). Если вы хотите, чтобы робот мог проиндексировать страницу, отключите авторизацию или откройте ему доступ. Чтобы проверить, наблюдается ли эта ошибка по-прежнему, откройте страницу в режиме инкогнито.

Не найдено (404)

В ответ на запрос страницы получен код ошибки 404. URL был найден Google без специального запроса на сканирование и без помощи файла Sitemap. Возможно, робот Google обнаружил этот URL в ссылке на другой странице или соответствующая страница существовала раньше и была удалена. Скорее всего, робот продолжит попытки найти указанный URL. Хотя предотвратить это невозможно, такая процедура будет выполняться все реже и реже. Если страница была удалена без замещения, ответ 404 не является проблемой. Если ваша страница перенесена, используйте переадресацию 301. Подробнее об исправлении ошибок 404…

Страница заблокирована из-за ошибки 403 (доступ запрещен)

Ответ HTTP 403 означает, что агент пользователя предоставил учетные данные, но не получил доступа. Учтите, что робот Googlebot никогда не предоставляет учетные данные, поэтому сведения об ошибке, которые возвращает сервер, некорректны. Страница не будет проиндексирована.

Если вы хотите, чтобы робот Googlebot проиндексировал страницу, отмените обязательную авторизацию или разрешите обработку запросов робота без аутентификации (для этого необходимо открыть ему доступ).

URL заблокирован из-за другой ошибки 4xx

Сервер столкнулся с ошибкой 4xx, которая не относится к описанным здесь типам ошибок. Воспользуйтесь инструментом проверки URL.

Страница просканирована, но пока не проиндексирована

Это сообщение означает, что мы просканировали страницу, но пока не добавили ее в индекс Google. В дальнейшем она может быть проиндексирована, а может и остаться в текущем состоянии; заново отправлять запрос на сканирование этого URL не нужно.

Обнаружена, не проиндексирована

Это означает, что мы нашли страницу, но пока не добавили ее в индекс Google. Обычно это объясняется тем, что роботу Google не удалось просканировать сайт, поскольку это могло привести к чрезмерной загрузке ресурса, и сканирование было перенесено на более поздний срок. В связи с этим в отчете дата последнего сканирования отсутствует.

Вариант страницы с тегом canonical

Страница была помечена как альтернатива уже проиндексированной странице (AMP-страница с канонической версией для ПК, мобильная версия канонической страницы для ПК или наоборот) и корректно указывает на каноническую страницу. Вам не нужно ничего предпринимать. Версии одной и той же страницы на разных языках в Search Console не регистрируются.

Страница является копией. Канонический вариант не выбран пользователем.

Эта страница дублирует другую, но не указана в качестве канонической. Робот Google считает канонической другую версию этой страницы, поэтому дубликат не появляется в результатах поиска. Узнать, какой ресурс робот Google считает каноническим, можно при помощи инструмента проверки URL.

Это не считается ошибкой, поскольку Google не показывает копии страниц. Если канонической выбрана неверная страница, отметьте правильную страницу как каноническую. Чтобы страница не считалась копией той, которая занесена в индекс Google как каноническая, их контент должен существенно различаться.

Страница является копией. Канонические версии страницы, выбранные Google и пользователем, не совпадают

Этот URL помечен как канонический для набора страниц, но Google считает, что другой URL больше подходит в качестве канонического. Робот проиндексировал не эту страницу, а выбранную Google.

  1. Чтобы узнать, какой ресурс был выбран роботом Google в качестве канонического, проверьте URL. Для этого выберите Индексирование страниц > Каноническая страница, выбранная Google.
  2. Найдите в этом разделе канонический URL, который вы выбрали.
  3. Откройте в браузере текущую страницу, каноническую страницу, выбранную пользователем, и каноническую страницу, выбранную Google.
  4. Эта ошибка означает, что тестируемая страница, по данным Google, не является дубликатом страницы, выбранной пользователем. Она повторяет каноническую страницу, выбранную Google.
    • Если выбранная Google каноническая страница совпадает с протестированной, то Google считает, что она не похожа ни на какие другие страницы.
    • Если заявленный пользователем канонический URL не похож на текущую страницу, Google никогда не выберет этот URL в качестве канонического. Дублирующая страница должна быть похожа на каноническую.

Страница с переадресацией

Это неканонический URL, который выполняет перенаправление на другую страницу. Такая страница, размещенная на этом URL, не будет проиндексирована. Целевой URL перенаправления может быть проиндексирован. Это зависит от того, как его определяет Google.

Канонический URL с перенаправлением может быть проиндексирован.

В отчете инструмента проверки URL проиндексированная информация применяется к тестируемому URL. Все перенаправления игнорируются. Чтобы увидеть статус канонического URL, связанного с URL, который представлен в индексе Google, нажмите кнопку Проверить в разделе Индексирование страниц > Индексирование.

При тестировании URL опубликованной страницы система выполняет все перенаправления и проверяет конечный URL. Однако в результатах проверки не указывается, что система выполняет перенаправления.

Предупреждения

Предупреждения перечислены в таблице Повысьте удобство сайта в сводке отчета об индексировании страниц. Эти проблемы не мешают добавлять страницы в индекс, однако замедляют процесс анализа и индексирования.

Проиндексировано, несмотря на блокировку в файле robots.txt

Страница была проиндексирована, хотя доступ к ней заблокирован файлом robots.txt на вашем сайте. Google всегда следует инструкциям в этом файле, однако веб-страница все равно может быть проиндексирована, если ссылки на нее есть на других сайтах. В этом случае роботы Google не будут сканировать такую страницу, однако смогут ее проиндексировать, используя сведения с другой страницы, которая содержит ссылку на вашу. Из-за правила в файле robots.txt любой фрагмент страницы в результатах поиска Google может оказаться слишком коротким.

Что следует предпринять:

Страница проиндексирована без контента

Страница есть в индексе Google, но поисковый робот не смог обработать ее контент. Возможно, она замаскирована от Google или формат размещенных на ней материалов не позволяет ее проиндексировать. Такая ситуация не имеет отношения к блокировке доступа с помощью файла robots.txt. Проверьте страницу и ознакомьтесь с информацией в разделе Покрытие.

Проиндексировано

Число проиндексированных URL указано на диаграмме на сводной странице. Чтобы увидеть примеры URL с дополнительной информацией, под диаграммой, нажмите Посмотреть данные об индексированных страницах.

Эта страница проиндексирована

Эта страница была успешно проиндексирована. Однако она может характеризоваться другими проблемами, например наличием ошибок в структурированных данных. Все остальные ошибки описываются в соответствующем разделе инструмента проверки URL.

 

 

Эта информация оказалась полезной?

Как можно улучшить эту статью?

Требуется помощь?

Попробуйте следующее:

Опубликовать на справочном форуме Получите ответы от участников сообщества
true
Не знакомы с Search Console?

Ещё не пользовались Search Console? Этот сервис пригодится вам, если вы специалист по поисковой оптимизации, разработчик сайтов или только начали изучать веб-технологии. Начните знакомство с Search Console отсюда.

4282026983766492479
true
Поиск по Справочному центру
true
true
true
true
true
83844
Поиск
Очистить поле поиска
Закрыть поиск
Главное меню
false
false
false