Узнайте, какие страницы на вашем сайте может найти и проиндексировать Google и как решать возможные проблемы, которые при этом возникают.
Открыть отчет об индексировании страниц
Учебный курс по Google Search Console: отчет об индексировании в Search Console
С чего начать
Инструкции для начинающих
Если вы лишь недавно начали заниматься вопросами индексирования и поисковой оптимизации или ваш сайт небольшой, изучите это руководство по началу работы.
- Определите, нужен ли вам этот отчет. Если на вашем сайте менее 500 страниц, скорее всего, этот отчет вам не потребуется. В этом случае вы можете выяснить, добавлены ли страницы вашего сайта в индекс Google, с помощью специальных поисковых запросов, представленных ниже. И только если по таким запросам не удается ничего найти и вы хотите узнать причину этого, воспользуйтесь отчетом об индексировании страниц (см. раздел, посвященный устранению неполадок).
- Найдите страницы сайта, о которых известно Google:
Синтаксис:site:<путь или корневой домен сайта>
Примеры:site:example.comилиsite:example.com/petstore - Выполните поиск по тематике вашего сайта (по словам, которые есть на основных страницах, в том числе на главной):
Синтаксис:site:<путь или корневой домен сайта> слово1 слово2
Пример:site:example.com/petstore iguanas zebras - Выполните поиск по точному URL с целью узнать, проиндексирована ли определенная страница сайта (используйте URL основных страниц сайта, в том числе главной):
Синтаксис:site:<точный URL>
Пример:site:http://example.com/petstore/gerbil
- Найдите страницы сайта, о которых известно Google:
- Чтобы получить общее представление об отчете, прочтите это краткое и простое руководство.
- Если вас интересует более подробная информация:
- Прочитайте статью о том, как работает Google Поиск. Если вы не знаете принцип работы индексирования, вам будет сложно разобраться в этом отчете.
- С помощью этого отчета нельзя определить статус индексирования конкретных страниц. Для этой цели воспользуйтесь инструментом проверки URL.
- На что обратить внимание в отчете
- Проиндексированы (отмечены зеленым цветом) все ваши ключевые URL? На большинстве сайтов некоторые страницы остаются непроиндексированными, однако все ключевые страницы должны быть обработаны. Также следите за тем, чтобы повторяющиеся URL не индексировались. Чтобы проверить статус индексирования вашей главной страницы и основных страниц сайта, используйте инструмент проверки URL. Обратите внимание, что список примеров в отчете не может содержать больше 1000 URL, и в нем могут быть представлены не все URL, имеющие выбранный статус, даже если их меньше 1000.
- URL, отмеченные серым цветом, не были проиндексированы по объективным причинам? Существует достаточное количество таких причин. Это может быть правило в файле robots.txt, размещенный на странице тег noindex, повторяющийся URL или ошибка 404 после того, как вы удалили страницу, но взамен не добавили новую.
- Если общее количество URL в этом отчете намного меньше количества страниц на вашем сайте, значит какие-то из них не были обнаружены. Ниже перечислены возможные причины этого.
- Отсутствующие страницы (или весь сайт) были созданы совсем недавно. Прежде чем Google просканирует и проиндексирует новый сайт или страницу, может пройти неделя. Поиск и сканирование новой страницы или сайта может занять у нас несколько дней. Если через неделю ничего не изменилось или вам нужно, чтобы роботы Google срочно обнаружили ваш контент, запросите сканирование приоритетных для вас страниц.
- Google не может найти отсутствующие страницы. Чтобы просканировать страницу, Google нужно ее сначала найти. Для этого на уже обработанной странице или в файле Sitemap должна присутствовать ссылка на новую страницу. Если ваш сайт создан недавно, запросите индексирование его главной страницы. Просканировав ее, Google найдет и остальные URL. Если какие-то страницы оказались пропущены, проверьте, есть ли на других страницах или ресурсах ссылки на них. Если вы используете сервис веб-хостинга, например Wix или Squarespace, он может автоматически уведомлять нас о появлении на вашем сайте новых страниц. Информацию о том, как публиковать страницы и делать их доступными для поисковых систем, вы найдете в документации сервиса.
- Изучите документацию по интересующей вас проблеме индексирования, чтобы понять, в чем она состоит и как ее устранить. Это в дальнейшем сэкономит вам много сил и времени.
- На что не стоит обращать внимание:
- Некоторые URL сайта могут не добавляться в индекс. URL копий страниц и страниц, не содержащих значимой информации, обычно пропускаются. Достаточно убедиться в том, что основные страницы сайта проиндексированы.
- Непроиндексированные страницы могут не содержать ошибок. Постарайтесь разобраться в том, почему страница была пропущена, и убедитесь, что добавлять ее в индекс необязательно.
- Приведенные суммарные цифры могут не совпадать с вашей оценкой количества страниц сайта. Общие показатели проиндексированных и непроиндексированных страниц над диаграммой являются точными и полными с точки зрения Google, хотя по разным причинам они могут незначительно отличаться от ваших.
- Добавление страницы в индекс не гарантирует, что она будет отображаться в ваших результатах поиска. Они подбираются для каждого конкретного пользователя с учетом его истории поиска, местоположения и многих других факторов. Поэтому даже проиндексированная страница не всегда появляется в результатах и может показываться в них на разных позициях. Если в Search Console URL отмечен как проиндексированный, но в результатах поиска страницы нет, то теоретически она может быть показана в результатах поиска.
Часто задаваемые вопросы
Какие данные представлены в этом отчете?
Отчет об индексировании страниц показывает, сколько URL вашего сайта было просканировано и добавлено в индекс Google. Если вы не уверены в значении этих терминов, ознакомьтесь с углубленным руководством по принципам работы Google Поиска. Google находит новые страницы в интернете разными способами и, как правило, старается просканировать их. Если URL отсутствует или недоступен, будут предприняты повторные попытки просканировать его.
Что такое индексирование?
Как добиться того, чтобы мой сайт или страницу проиндексировали?
Если вы используете сервис веб-хостинга, например Wix или Squarespace, он может автоматически отправлять нам информацию о том, что вы создали или изменили какие-то страницы на своем сайте. Поищите в документации этого сервиса сведения о том, как публиковать страницы и делать их доступными для поисковых систем.
Если вы создали сайт или страницу без помощи сервиса веб-хостинга, вы можете сообщить об этом Google с помощью файлов Sitemap или другими способами.
Мы настоятельно рекомендуем убедиться, что ваша главная страница добавлена в индекс. Тогда Google сможет проиндексировать остальные URL вашего сайта (если навигация по нему работает корректно и охватывает все страницы).
Нормально ли то, что страница не проиндексирована?
Руководство для специалистов по поисковой оптимизации, разработчиков и опытных владельцев сайтов
- Прочитайте статью о том, как работает Google Поиск. Если вы не знаете, как работает индексирование, вам будет сложно разобраться в этом отчете.
- Следуйте рекомендациям в разделах Структура отчета, На что обратить внимание в отчете и На что не стоит обращать внимание.
- Прочитайте раздел Устранение неполадок, чтобы узнать, как выявлять наиболее распространенные ошибки и исправлять их.
- Помните, что статус "Не проиндексировано" ещё не означает наличие ошибки. Определите причину, по которой тот или иной URL не был проиндексирован.
- Изучите рекомендации по интересующей вас проблеме, чтобы понять, в чем она состоит и как ее устранить.
Структура отчета
В отчете об индексировании страниц показан статус индексирования всех URL, обнаруженных поисковыми роботами Google на вашем веб-ресурсе.
Страница сводных данных
На странице сводных данных отчета представлена диаграмма и указано число проиндексированных и непроиндексированных (но запрошенных) страниц. Там же имеются таблицы, в которых указаны причины, по которым URL не были проиндексированы, а также даны рекомендации по оптимизации.
- В таблице Почему эти страницы не индексируются перечислены проблемы, которые мешают индексированию страниц вашего сайта. Чтобы перейти на страницу сведений, где содержится список URL с этой проблемой, а также история ее возникновения на вашем сайте, нажмите на строку в таблице.
- В таблице Повысьте удобство сайта перечислены проблемы, которые не мешают индексированию, но которые рекомендуется устранить, чтобы Google было проще анализировать ваш сайт. Чтобы открыть страницу сведений, на которой перечислены все URL с той же проблемой, нажмите на нужную строку в таблице.
- По ссылке Посмотреть данные об индексированных страницах представлена статистика индексирования страниц с указанием их количества, а также до 1000 проиндексированных URL в качестве примера.
На что следует обратить внимание
Обычно с появлением на сайте новых материалов постепенно увеличивается количество проиндексированных страниц. О причинах резкого изменения этого количества рассказывается в разделе Устранение неполадок.
Вам необходимо, чтобы в индекс попала каноническая версия каждой ключевой страницы. Следите за тем, чтобы копии или альтернативные страницы не индексировались. Если страница учтена как копия или альтернативная страница, значит каноническая страница обнаружена и включена в индекс, а проблем с ней нет. Чтобы выявить такие версии, воспользуйтесь инструментом проверки URL.
Подробнее о причинах отсутствия страниц в индексе…
На что не стоит обращать внимание
- Индексирование всех страниц. В индекс должны попасть не все страницы сайта, а только канонические, как описано выше.
- Мгновенная обработка. Если вы добавляете новый контент, индексирование может занять несколько дней. Чтобы ускорить эту процедуру, можно отправить нам запрос.
Статус
URL может иметь один из следующих статусов:
- Не проиндексировано. URL не проиндексирован из-за ошибки индексирования или по объективной причине (например, индексирование запрещено в файле robots.txt или страница является копией). Причины, почему URL не были проиндексированы, указаны в таблице Почему эти страницы не индексируются. Изучите рекомендации по каждой причине, чтобы понять, следует ли ее устранять. Значение Источник подскажет, можно ли исправить такую проблему.
- Проиндексировано. Робот Googlebot успешно проиндексировал эти страницы. Чтобы увидеть пример проиндексированных URL, под диаграммой на странице сводных данных отчета нажмите Посмотреть данные об индексированных страницах.
Причина
Причина, по которой URL не может быть проиндексирован. Сведения с описанием причин для каждой проблемы и способы ее устранения (если это нужно) представлены в разделе ниже.
Источник
В таблице значение Источник указывает на источник проблемы: Google или сайт. Как правило, вы можете самостоятельно устранить только те проблемы, где источником назван сайт.
Проверка
Указание, поступал ли от вас запрос на проверку внесенных исправлений. Если да, то будет также указан статус проверки. В первую очередь следует устранить проблемы со статусом "Ошибка" или "Не начато" и источником "Сайт".
Для чего это нужно
Советуем сообщить Google, что вы устранили все проблемы с определенным статусом. Это дает следующие преимущества:
- Вы получите от Google письмо с подтверждением того, что ошибки для всех URL исправлены. Если где-то они остались, мы сообщим и об этом.
- Вы сможете отслеживать ход проверки и просматривать список всех страниц в очереди, а также их статусов.
Исправлять ошибки и проверять страницы не всегда имеет смысл. Например, в некоторых случаях страницы могут быть намеренно заблокированы в файле robots.txt. Вы сами решаете, устранять ли каждую конкретную неполадку.
Вы также можете исправить проблемы и не запрашивать проверку. Google просканирует страницы, на которых обнаружены неполадки, даже если вы не отправите запрос.
Как начать проверку
Чтобы сообщить Search Console об устранении проблемы, выполните следующие действия:
- Устраните проблему везде, где она выявлена на сайте. Если вы пропустите хотя бы одно исправление, процесс проверки будет остановлен, как только Google это обнаружит.
- Откройте страницу сведений об устраненной проблеме. Нажмите на нужную строку в таблице.
- ⚠️ Если вы выполнили фильтрацию отчета с помощью определенного файла Sitemap, будут проверены только элементы, которые были включены в этот файл на момент подачи запроса. Есть вероятность, что проверены будут не те элементы, которые вас интересуют.
- Нажмите Проверить исправление. Не нажимайте "Проверить исполнение" ещё раз, пока проверка не закончится (успешно или с ошибкой). Подробнее о том, как система Google проверяет исправления…
- Вы можете следить за тем, как продвигается проверка. Проверка обычно занимает около двух недель, однако в некоторых случаях требуется больше времени. По окончании вы получите уведомление о результатах.
- Если проверка завершилась с ошибкой, вы можете посмотреть, на какой именно странице возникает эта ошибка. Для этого нажмите Подробности на странице сведений о проблемах. Устраните проблему на странице, подтвердите исправления для всех URL со статусом Не проверено и снова запустите проверку.
При каких условиях проблема считается решенной для определенного URL или раздела на сайте?
Для URL или раздела на сайте проблема расценивается как решенная при выполнении любого из следующих условий:
- URL просканирован, и проблема на странице не обнаружена. Если нарушение было связано с тегом AMP, значит вы успешно внесли исправления или тег удален (если его не требуется использовать). При проверке будет показываться статус Нет ошибок.
- Страница по какой-либо причине недоступна роботам Google (удалена, содержит метатег с директивой noindex, требует авторизации и т. д.). Для такого URL проблема тоже будет считаться решенной. При проверке статус изменится на Другое.
Срок актуальности проблем
Проблема считается актуальной с момента, когда она была впервые выявлена на вашем сайте, и вплоть до 90 дней после того, как последняя страница с нарушением была помечена как исправленная. Если в течение этого срока Search Console не обнаружит проблему снова, она будет удалена из таблицы.
Датой выявления проблемы считается момент, когда она первый раз была зарегистрирована в течение срока актуальности. Эта дата неизменна. Далее Search Console действует по следующему алгоритму:
- Если проблема была исправлена на всех страницах, однако, например, через 15 дней после этого она появилась вновь, мы будем по-прежнему считать ее актуальной, а дата выявления не изменится.
- Если же это произойдет по меньшей мере через 91 день, проблема уже будет удалена из истории. Мы зарегистрируем нарушение как новое и с другой датой выявления.
Ниже описано, как проходит процедура проверки после того, как вы нажмете Проверить исправление. Она может занять несколько дней, и вы будете получать по электронной почте уведомления о том, как она проходит.
- После того как вы нажмете Проверить исправление, Search Console сразу же обработает несколько страниц.
- Если хотя бы на одной из них будет обнаружено нарушение, о котором идет речь, проверка закончится, а ее статус останется неизменным.
- Если на выбранных страницах нарушение обнаружено не будет, процедура проверки продолжится, а ее статус изменится на Начато. При этом Search Console может выявить другие проблемы, не связанные с текущей, однако зарегистрирует их отдельно, а проверка продолжится.
- Search Console будет проверять список страниц, на которых была обнаружена проблема, а не весь сайт. Список обработанных URL хранится в истории проверок Search Console. Ее можно открыть на странице со сведениями о проблеме.
- При проверке URL происходит следующее:
- Если проблема не найдена, статус проверки страниц меняется на Нет нарушений. Если это первый URL в очереди на обработку, статус проверки сайта меняется на Ошибки исправлены.
- Если URL недоступен, статус проверки страниц на наличие ошибки приобретает значение Другое (это не статус ошибки).
- Если проблема по-прежнему присутствует, сайту назначается статус Найдены ошибки и проверка заканчивается. Если такое нарушение выявлено на новой странице, обнаруженной при обычном сканировании сайта, это расценивается как ещё один случай прежней проблемы.
- Когда система проверит все URL в очереди и убедится, что проблема устранена, статус изменится на Нет ошибок. Учтите, что при этом степень серьезности проблемы останется прежней (Ошибка или Предупреждение), однако количество затронутых элементов станет равным нулю.
Даже если вы не нажмете "Начать проверку", Google всё равно сможет обнаружить, что проблема на сайте исправлена. Если тот факт, что проблема исправлена на всех страницах, обнаружится при обычном сканировании, количество ее случаев в отчете будет равно нулю.
⚠️ Прежде чем запрашивать новую проверку, дождитесь окончания предыдущей, даже если во время нее вы устранили нарушение на каких-либо страницах.
Чтобы заново провести проверку, при которой была обнаружена ошибка, выполните следующие действия:
- Откройте историю проверки, которая завершилась с ошибкой, и нажмите Подробности.
- Нажмите Начать новую проверку.
- Система заново проверит все URL со статусом Не проверено или Ошибка, а также обнаружит другие аналогичные проблемы, если они появились с момента последней проверки. URL со статусом Нет ошибок или Другое повторно проверяться не будут.
- Проверка обычно занимает около двух недель, однако в некоторых случаях требуется больше времени.
Как следить за ходом проверки
Чтобы увидеть ход текущей проверки или, если она завершена, историю последней проверки, выполните следующие действия:
- Откройте страницу сведений о проблеме. Для этого нажмите на строку проблемы на главной странице отчета.
- Статус запроса на проверку отображается как на странице сведений о проблеме, так и в строке Проверка таблицы сведений.
- Чтобы открыть страницу сведений о проверке для вашего запроса, нажмите Подробности.
- В таблице будет показан статус проверки для каждого URL в запросе.
- Статус элемента применяется для конкретной проблемы, которую вы рассматриваете. На одной и той же странице одни проблемы могут иметь статус Подтверждено, а другие – Ошибка, Не проверено или Другое.
- В отчетах о статусе AMP-страниц и индексировании страниц записи в истории проверок группируются по URL.
- В отчете о расширенных результатах записи группируются по URL и элементам структурированных данных (согласно значению элемента name).
Выявленной проблеме может быть назначен один из перечисленных ниже статусов.
- Не начато. Один или несколько экземпляров проблемы ни разу не были включены в запрос проверки.
Дальнейшие действия- Нажмите на описание проблемы и ознакомьтесь с подробными сведениями о ней. Проанализируйте страницы, где она обнаружена.
- Нажмите Подробнее на странице со сведениями о проблеме, чтобы узнать, какое правило было нарушено.
- Выберите пример строки URL в таблице, чтобы получить подробную информацию о проблеме на соответствующей странице.
- Устраните нарушение на всех страницах и нажмите Проверить исправление, чтобы мы просканировали их заново. Проверка обычно занимает около двух недель, однако в некоторых случаях требуется больше времени.
- Начато. Вы начали проверку, и проблема не обнаружена на новых страницах.
Что следует предпринять. Следите за уведомлениями от Google, в которых вы найдете инструкции, если от вас будут требоваться какие-либо действия. - Ошибки исправлены. Вы начали проверку, и проблема исправлена на страницах, где она ранее была обнаружена.
Что следует предпринять. Следите за уведомлениями Google о ходе проверки, в которых могут содержаться новые инструкции для вас. - Нет ошибок. Проблема устранена на всех страницах, где она ранее была обнаружена (или прежние URL больше не доступны). Этот статус может появиться только в том случае, если вы ранее нажимали Проверить исправление. Если проблемы на страницах исчезают без запроса повторной проверки с вашей стороны, статус изменяется на "Отсутствует".
Что следует предпринять. От вас не требуется никаких действий. - Отсутствует. Мы обнаружили, что все страницы, где ранее наблюдалась проблема, исправлены, хотя вы ни разу не запрашивали проверку.
Что следует предпринять. От вас не требуется никаких действий. - Есть ошибки. Проблема до сих пор наблюдается на некоторых страницах. Этот статус может появиться в том случае, если ранее вы нажимали Проверить.
Что следует предпринять. Устраните нарушение и запросите повторную проверку.
После того как вы запросите проверку, Search Console присвоит каждому случаю возникновения проблемы один из перечисленных ниже статусов.
- Не проверено. Проблема находится в очереди на проверку. В ходе последней проверки выяснилось, что она не устранена.
- Нет ошибок (не во всех отчетах). Мы проверили страницу на наличие проблемы и выяснили, что нарушение больше не наблюдается. Такой статус может появиться, только если вы запрашивали обработку именно этой страницы, нажав кнопку Проверить.
- Есть ошибки. Мы проверили страницу на наличие проблемы и выяснили, что нарушение по-прежнему наблюдается. Такой статус может появиться, только если вы запрашивали обработку именно этой страницы, нажав кнопку Проверить.
- Другое (не во всех отчетах). У Google нет доступа к странице или элементу структурированных данных, где выявлена проблема. Этот вариант аналогичен статусу Нет ошибок.
Обратите внимание, что у одного и того же URL может быть разный статус применительно к разным нарушениям. К примеру, если на одной и той же странице встречается проблема А и проблема Б, то первой может быть назначен статус Нет ошибок, а второй – Не проверено.
Фильтрация на основе файла Sitemap
В раскрывающемся меню над диаграммой есть фильтр, позволяющий систематизировать результаты индексирования по наличию или отсутствию URL в файле Sitemap. Доступны следующие варианты:
- Все обработанные страницы (по умолчанию). Все URL, обнаруженные роботом Google, независимо от того, указаны они в файле Sitemap или нет.
- Все отправленные страницы. Все URL, которые указаны в файле Sitemap или файле индекса Sitemap, отправленном нам с помощью отчета о файлах Sitemap или файла robots.txt на вашем сайте.
- Только неотправленные страницы. Страницы, которых нет в файле Sitemap или файле индекса Sitemap, отправленном с помощью отчета о файлах Sitemap или файла robots.txt на вашем сайте.
- URL из определенного файла Sitemap. URL, которые указаны в отдельном файле Sitemap, отправленном с помощью отчета о файлах Sitemap или файла robots.txt на вашем сайте.
URL считается отправленным с помощью файла Sitemap, даже если он также был обнаружен и иным способом (например, если робот Google перешел на страницу, просканировав другой ресурс).
Страница сведений
Чтобы посмотреть данные о URL сайта, которые имеют одинаковый статус или на которых выявлена одинаковая проблема, нажмите на строку на странице сводных данных и перейдите по ссылке Подробнее на открывшейся странице.
Диаграмма на этой странице содержит сведения об URL, с которыми в разное время были связаны ошибки сканирования.
В таблице "Примеры" показаны примеры страниц, где возникла соответствующая проблема. Таблица содержит не более 1000 URL с такой ошибкой, и этот список может быть неполным. Каждая строка поддерживает ряд функций:
- Чтобы перейти к более подробной информации об URL, нажмите на строку.
- Чтобы открыть страницу с этим URL в новой вкладке, нажмите на значок
. - Чтобы открыть Проверку URL, нажмите на значок
. - Чтобы скопировать URL, нажмите на значок
.
.
.
.Устранив все ошибки и предупреждения, нажмите Проверить исправление, чтобы сообщить нам об этом.
Вы устранили связанную с URL проблему, но пометка о ней осталась? Проверьте дату последнего сканирования этого URL. Возможно, оно было выполнено до того, как вы приняли меры. В таком случае убедитесь, что проблема действительно решена, и запросите повторное индексирование.
Как отправить сведения об ошибке другим пользователям
Чтобы предоставить кому-либо доступ к информации об ошибке, выявленной с помощью отчета об индексировании или об улучшениях, нажмите кнопку Отправить 
на странице со сведениями о конкретной проблеме. Адресат получит ссылку доступа только к этой странице и результатам проверок, но не к другим страницам. Пользователи, перешедшие по такой ссылке, не смогут выполнять действия с вашим ресурсом или аккаунтом. Вы можете в любое время отменить доступ к этой странице.
Как экспортировать данные
Данные из некоторых отчетов можно экспортировать, нажав кнопку скачивания 
. Экспортируются данные, которые представлены как на диаграммах, так и в таблицах. Значения, отмеченные в отчете символами "~" и "-" (недоступно/не является числом), в скачанном файле будут заменены на нули.
Устранение неполадок
Таблица отсортирована по степени критичности проблем. Чтобы получить подробные сведения о той или иной проблеме в таблице ошибок индексирования, выполните следующие действия:
- Нажмите на нужную строку в таблице Почему эти страницы не индексируются. Убедитесь, что проблема имеет отношение к вашей цели индексирования и для нее указана причина "Не проиндексировано". Определите источник по таблице и решите, можете ли вы исправить ошибки самостоятельно.
- Ознакомьтесь с информацией о проблеме.
- Изучите примеры страницы с той же проблемой:
- Нажмите на значок рядом с URL в таблице с примерами, чтобы открыть инструмент проверки.
- Ознакомьтесь с данными в разделах Охват > Сканирование и Охват > Индексирование.
- Чтобы протестировать текущую версию страницы, нажмите Проверить страницу на сайте.
- Нажмите на значок
Выявление наиболее распространенных ошибок индексирования и их исправление
Ниже описаны наиболее распространенные ошибки, которые могут встречаться в отчете.
Резкое снижение общего числа проиндексированных страниц без указания ошибок
Число непроиндексированных страниц превышает число проиндексированных
Если непроиндексированных страниц больше, чем проиндексированных, то причина будет отмечена в отчете. Вот с чем это обычно связано:
- У вас есть правило в файле robots.txt, которое запрещает Google сканировать крупные разделы вашего сайта. Если доступ к определенным страницам закрыт по ошибке, откройте его.
- На сайте много копий страниц, в основном из-за того, что вы используете параметры для фильтрации или сортировки общих наборов элементов (например,
type=dress,color=greenилиsort=price). Возможно, эти страницы не должны индексироваться, если на них представлен один и тот же контент, который сортируется, фильтруется или обрабатывается разными способами.
Это может происходить по двум причинам. Первая – был изменен шаблон, вторая – был добавлен файл Sitemap с URL, сканирование которых заблокировано с помощью файла robots.txt, директивы noindex или запроса авторизации.
Если число ошибок резко увеличилось, выполните следующие действия:
- Чтобы определить, какая проблема влияет на общее число ошибок или проиндексированных страниц, попробуйте найти взаимосвязь между этими показателями и спарклайном
рядом со строкой конкретной ошибки в сводке. - Перейдите на страницу сведений об ошибке, чтобы узнать, чем она вызвана и как ее устранить.
- Нажмите на строку, чтобы открыть пример страницы с ошибкой, если это необходимо.
- Устраните ошибку и нажмите Проверить исправление на упомянутой странице сведений. Подробнее о процедуре проверки…
- Со сведениями о числе ошибок можно знакомиться как во время выполнения проверки, так и позже.
рядом со строкой конкретной ошибки в сводке.Проверка подключения к серверу
Устранение ошибок подключения к серверу
- Изучите данные о доступности хоста из статистики сканирования, чтобы узнать, насколько стабильно функционирует ваш сайт.
- Сократите количество загрузок для запросов динамических страниц.
На динамических сайтах одинаковый контент может размещаться на страницах с разными URL (например,www.example.com/shoes.php?color=red&size=7иwww.example.com/shoes.php?size=7&color=red). В некоторых случаях значительная задержка отклика динамических страниц приводит к превышению времени ожидания. Также сервер может вернуть статус "Перегрузка", чтобы робот Googlebot сканировал сайт медленнее. Мы рекомендуем использовать краткие списки параметров и не злоупотреблять ими. - Убедитесь, что сервер, на котором размещен ваш сайт, не отключен и не перегружен, а также проверьте его конфигурацию.
Если не удалось устранить проблемы с подключением, временем ожидания или откликом, обратитесь к поставщику услуг хостинга и попробуйте увеличить пропускную способность сайта. - Проверьте, не блокируется ли доступ к сайту для роботов Google.
У поискового робота Google могут быть проблемы с доступом к сайту из-за системной ошибки, например ошибки конфигурации DNS или некорректных настроек брандмауэра, защиты от DoS-атак и системы управления контентом. Любой хостинг-провайдер, оказывающий услуги высокого качества, использует систему защиты. Как правило, она автоматически блокирует запросы к серверу, если их количество существенно превышает обычный уровень. Поскольку робот Googlebot зачастую отправляет больше запросов, чем обычный пользователь, системы защиты могут расценить это как угрозу и заблокировать роботу доступ к сайту, не позволяя выполнить сканирование. Чтобы исправить эту ошибку, выясните, какой элемент инфраструктуры вашего сайта препятствует сканированию, и снимите блокировку. Если у вас нет доступа к настройкам брандмауэра, обратитесь к хостинг-провайдеру. - Управляйте сканированием и индексированием сайта разумно.
Некоторые веб-мастера намеренно блокируют роботу Googlebot доступ к своим сайтам, например с помощью брандмауэра, как описано выше. Чаще всего это делается с целью предотвратить сканирование и индексирование отдельных веб-страниц, а не всего сайта. Если вы тоже так поступаете, обратите внимание на следующее:- Указать роботу Googlebot, какой контент на вашем сайте можно или нельзя сканировать, можно с помощью файла robots.txt.
- Если вы обеспокоены тем, что под видом робота Google ваш сайт могут сканировать злоумышленники, проверьте, является ли робот, который обращается к вашему серверу, роботом Googlebot.
- Вы также можете запросить изменение частоты сканирования сайта роботом Googlebot. Хостинг-провайдеры могут получить такую возможность, подтвердив право собственности на IP-адреса.
Как правило, рекомендуется исправлять только те ошибки 404, которые относятся к страницам вашего сайта или отражены в файле Sitemap. Если страница была перенесена, то необходимо настроить перенаправление 3XX на новый URL. Подробнее о том, как выявлять и исправлять ошибки 404…
Если страница не указана в отчете, это наверняка связано с одной из следующих причин:
- У Google нет сведений о странице. Что нужно учитывать:
- Если вы создали сайт или страницу недавно, Google обнаружит и просканирует их не сразу.
- Чтобы мы узнали о существовании вашей страницы, необходимо отправить нам файл Sitemap или запрос на сканирование. Также вы можете просто подождать, пока робот Google не обнаружит ссылку на вашу страницу на каком-нибудь другом ресурсе.
- Между моментом, когда URL станет нам известен, и полным или частичным сканированием вашего сайта обычно проходит некоторое время – иногда до нескольких недель.
- Индексация никогда не происходит сразу, даже если вы отправите прямой запрос.
- Мы не можем гарантировать, что в индекс Google попадут абсолютно все страницы каждого сайта.
- У роботов Google нет доступа к странице, так как она требует авторизации или по иным причинам доступна не всем пользователям в интернете.
- Роботы Google не могут проиндексировать страницу, так как на ней используется тег noindex.
- Страница по какой-то причине исключена из индекса.
Как устранить проблему
Изучите проблему на странице с помощью инструмента проверки URL. Если страница отсутствует в отчете об индексировании страниц, но помечена как проиндексированная в отчете инструмента проверки URL, вероятно, она была обработана и в ближайшее время появится в отчете об индексировании страниц. Если же, по данным инструмента проверки URL, страница не была проиндексирована, протестируйте опубликованную страницу. Это поможет вам определить, с чем связана неполадка. Устранить ее вам помогут сведения, полученные по результатам теста, а также специальная документация к тесту.
Часто задаваемые вопросы
Почему страница, которую я не хочу включать в поисковый индекс, попала в него?
Робот Google может найти страницу различными способами, в том числе по ссылкам на ваш сайт на других ресурсах, и проиндексировать любой найденный URL, если вы не добавили на страницу метатег с директивой noindex и не применили временную блокировку.
- Чтобы запретить показ страницы в результатах поиска Google, воспользуйтесь системой авторизации или добавьте в код страницы директиву noindex. Не рекомендуется использовать для этой цели правило в файле robots.txt, поскольку в этом случае робот Google не увидит на странице директиву noindex.
- Чтобы удалить из результатов поиска Google страницу, которая уже включена в них, выполните действия, описанные в другой статье нашего Справочного центра.
Почему мой сайт в последнее время не индексировался повторно?
Периодичность повторной индексации зависит от того, как часто на ваших страницах происходят изменения. Мы определяем это по ряду факторов. Если ваш контент меняется редко, нет необходимости постоянно обновлять сведения о нем в нашем индексе. Если с момента последнего сканирования содержимое страницы существенно изменилось, вы можете запросить повторное сканирование. Имейте в виду, что роботы Google выполнят повторное сканирование автоматически, поэтому отправляйте такой запрос, только если изменение очень важное, а страница долго (неделю или больше) не появляется в индексе Google.
Как отправить запрос на повторное сканирование веб-страницы или сайта?
Следуйте инструкциям.
Почему у меня так много непроиндексированных страниц?
Откройте отчет об индексировании страниц. Ниже приведены самые распространенные причины пропуска большого числа URL на сайте во время индексирования:
- В файле robots.txt указано правило, которое запрещает Google сканировать крупные разделы вашего сайта. В отчете об индексировании страниц такие страницы будут помечены как заблокированные в файле robots.txt. Найдите в файле robots.txt это правило блокировки и удалите его.
- На сайте много копий страниц, в основном из-за того, что вы используете параметры для фильтрации или сортировки общих наборов элементов (например,
type=dress,color=greenилиsort=price). В отчете об индексировании такие страницы помечаются как копии или альтернативные. Копии страниц не добавляются в индекс Google. - URL выполняет переадресацию на другой URL. В таком случае в индекс включается только второй URL.
Почему у робота Google нет доступа к моему файлу Sitemap?
Убедитесь, что файл Sitemap не заблокирован в файле robots.txt и функционирует, а URL в robots.txt или отчете об отправке файлов Sitemap является корректным. Проверьте URL в Sitemap с помощью любого общедоступного инструмента.
Почему Google продолжает сканировать удаленную страницу?
Робот Google продолжает сканировать все известные URL, даже если при открытии некоторых страниц уже какое-то время возникают ошибки 4XX (но только при условии временных ошибок). URL не сканируется только в том случае, если он возвращает директиву noindex.
Чтобы список ошибок 404 в отчете об индексировании страниц не рос бесконечно, мы показываем URL с этой ошибкой только за последний месяц.
Я вижу свою страницу. Почему роботу Google она недоступна?
Чтобы узнать, может ли страница быть просканирована, воспользуйтесь инструментом проверки URL. Если эту операцию выполнить нельзя, то вы увидите информацию о причине. Если инструмент не выявляет никаких ошибок, вероятно, проблема с доступом была устранена с момента последнего сканирования. Протестируйте текущую версию страницы с помощью инструмента проверки URL и отправьте запрос на индексирование.
Инструмент проверки URL не находит проблем, но в отчете об индексировании страниц отображается ошибка. Почему?
Возможно, вы исправили ошибку уже после того, как робот Google просканировал страницу. Посмотрите дату сканирования URL на его странице сведений в отчете об индексировании страниц или в инструменте проверки URL (в данных об индексированной версии). Выясните, вносили ли вы изменения на странице после того, как она была просканирована.
Кроме того, проверка опубликованной страницы не позволяет проанализировать все проблемы, указанные в отчете об индексировании страниц. Например, в ходе этой проверки нельзя определить, является ли страница канонической или копией.
Как узнать статус сканирования конкретного URL?
Если вас интересует статус индексирования определенной веб-страницы, воспользуйтесь инструментом проверки URL. Отчет об индексировании страниц не поддерживает поиск и фильтрацию по URL.
Почему страницы не индексируются
В отчете об индексировании страниц могут быть указаны следующие причины, по которым страницы были проиндексированы с ошибками или не были проиндексированы вовсе:
Не проиндексировано
Страницы не были проиндексированы, и не обязательно в результате ошибки. Прочитайте описание причины, чтобы выяснить, есть ли ошибка.
Ошибка сервера (5xx)
В ответ на запрос страницы сервер возвратил ошибку 5xx. Изучите сведения о том, как исправить ошибки сервера.
Ошибка переадресации
При индексировании произошла одна из следующих ошибок:
- Слишком длинная цепь переадресаций.
- Бесконечная переадресация.
- Длина URL переадресации превышает допустимую.
- Недопустимый или пустой URL в цепи переадресаций.
Чтобы узнать причину ошибки, воспользуйтесь подходящим инструментом отладки, например Lighthouse.
Доступ к URL заблокирован в файле robots.txt
Страница заблокирована с помощью файла robots.txt. Чтобы узнать, так ли это, воспользуйтесь инструментом проверки файла robots.txt. Обратите внимание, что в этом случае страница может попасть в индекс другими способами. Это может произойти, если Google в состоянии найти информацию о странице, не загружая ее (вероятность этого крайне мала). Чтобы страница не была проиндексирована, удалите блокировку в файле robots.txt и используйте директиву noindex.
Страница содержит директиву noindex
Робот Googlebot прекратил сканирование страницы, обнаружив в ее коде директиву noindex, в результате чего страница не была проиндексирована. Если вы не хотите, чтобы эта страница индексировалась, то все в порядке. В противном случае необходимо удалить директиву noindex.
Определите, в чем заключается проблема:
- Нажмите на значок лупы рядом с URL в таблице.
- В разделе Покрытие > Индексирование > Индексирование разрешено? отчета должно быть указано, что индексирование запрещено директивой noindex. Выполните поиск слова noindex в исходном коде страницы или в заголовках ответов.
- Проверьте, удален ли тег noindex со страницы на сайте, выполнив следующие действия:
- Нажмите Проверить страницу на сайте.
- Откройте раздел Доступность > Индексирование > Индексирование разрешено? и проверьте, удалена ли директива noindex. Если да, вы можете нажать кнопку Запросить индексирование, чтобы повторить процедуру. Если на странице присутствует директива noindex, удалите ее. В противном случае проиндексировать страницу не получится.
- Если вы хотите, чтобы страница была проиндексирована, необходимо удалить тег или HTTP-заголовок, содержащий директиву noindex.
Ложная ошибка 404
В ответ на запрос страница возвращает ложную ошибку 404. Это означает, что пользователь видит сообщение "не найдено", а не код ответа HTTP 404. Рекомендуем использовать код ответа 404 ("не найдено") в тех случаях, когда действительно имеет место ошибка этого типа, а также снабжать страницу дополнительной информацией, чтобы робот Google мог отличить настоящую ошибку 404 от ложной. Чтобы узнать, как страница выглядит в результатах поиска Google, выполните проверку URL опубликованной страницы. Затем нажмите Посмотреть проверенную страницу, и вы увидите скриншот того, как Google отображает страницу. Узнайте, как исправить ложную ошибку 404.
Страница не проиндексирована вследствие ошибки 401 (неавторизованный запрос)
Доступ робота Googlebot к странице заблокирован из-за необходимости авторизации (код ответа 401). Если вы хотите, чтобы робот мог проиндексировать страницу, отключите авторизацию или откройте ему доступ. Чтобы проверить, наблюдается ли эта ошибка по-прежнему, откройте страницу в режиме инкогнито.
Не найдено (404)
В ответ на запрос страницы получен код ошибки 404. URL был найден Google без специального запроса на сканирование и без помощи файла Sitemap. Возможно, робот Google обнаружил этот URL в ссылке на другой странице или соответствующая страница существовала раньше и была удалена. Скорее всего, робот продолжит попытки найти указанный URL. Хотя предотвратить это невозможно, такая процедура будет выполняться все реже и реже. Если страница была удалена без замещения, ответ 404 не является проблемой. Если ваша страница перенесена, используйте переадресацию 301. Подробнее об исправлении ошибок 404…
Страница заблокирована из-за ошибки 403 (доступ запрещен)
Ответ HTTP 403 означает, что агент пользователя предоставил учетные данные, но не получил доступа. Учтите, что робот Googlebot никогда не предоставляет учетные данные, поэтому сведения об ошибке, которые возвращает сервер, некорректны. Страница не будет проиндексирована.
Если вы хотите, чтобы робот Googlebot проиндексировал страницу, отмените обязательную авторизацию или разрешите обработку запросов робота без аутентификации (для этого необходимо открыть ему доступ).
URL заблокирован из-за другой ошибки 4xx
Сервер столкнулся с ошибкой 4xx, которая не относится к описанным здесь типам ошибок. Воспользуйтесь инструментом проверки URL.
Страница просканирована, но пока не проиндексирована
Это сообщение означает, что мы просканировали страницу, но пока не добавили ее в индекс Google. В дальнейшем она может быть проиндексирована, а может и остаться в текущем состоянии; заново отправлять запрос на сканирование этого URL не нужно.
Обнаружена, не проиндексирована
Это означает, что мы нашли страницу, но пока не добавили ее в индекс Google. Обычно это объясняется тем, что роботу Google не удалось просканировать сайт, поскольку это могло привести к чрезмерной загрузке ресурса, и сканирование было перенесено на более поздний срок. В связи с этим в отчете дата последнего сканирования отсутствует.
Вариант страницы с тегом canonical
Страница была помечена как альтернатива уже проиндексированной странице (AMP-страница с канонической версией для ПК, мобильная версия канонической страницы для ПК или наоборот) и корректно указывает на каноническую страницу. Вам не нужно ничего предпринимать. Версии одной и той же страницы на разных языках в Search Console не регистрируются.
Страница является копией. Канонический вариант не выбран пользователем.
Эта страница дублирует другую, но не указана в качестве канонической. Робот Google считает канонической другую версию этой страницы, поэтому дубликат не появляется в результатах поиска. Узнать, какой ресурс робот Google считает каноническим, можно при помощи инструмента проверки URL.
Это не считается ошибкой, поскольку Google не показывает копии страниц. Если канонической выбрана неверная страница, отметьте правильную страницу как каноническую. Чтобы страница не считалась копией той, которая занесена в индекс Google как каноническая, их контент должен существенно различаться.
Страница является копией. Канонические версии страницы, выбранные Google и пользователем, не совпадают
Этот URL помечен как канонический для набора страниц, но Google считает, что другой URL больше подходит в качестве канонического. Робот проиндексировал не эту страницу, а выбранную Google.
- Чтобы узнать, какой ресурс был выбран роботом Google в качестве канонического, проверьте URL. Для этого выберите Индексирование страниц > Каноническая страница, выбранная Google.
- Найдите в этом разделе канонический URL, который вы выбрали.
- Откройте в браузере текущую страницу, каноническую страницу, выбранную пользователем, и каноническую страницу, выбранную Google.
- Эта ошибка означает, что тестируемая страница, по данным Google, не является дубликатом страницы, выбранной пользователем. Она повторяет каноническую страницу, выбранную Google.
- Если выбранная Google каноническая страница совпадает с протестированной, то Google считает, что она не похожа ни на какие другие страницы.
- Если заявленный пользователем канонический URL не похож на текущую страницу, Google никогда не выберет этот URL в качестве канонического. Дублирующая страница должна быть похожа на каноническую.
Страница с переадресацией
Это неканонический URL, который выполняет перенаправление на другую страницу. Такая страница, размещенная на этом URL, не будет проиндексирована. Целевой URL перенаправления может быть проиндексирован. Это зависит от того, как его определяет Google.
Канонический URL с перенаправлением может быть проиндексирован.
В отчете инструмента проверки URL проиндексированная информация применяется к тестируемому URL. Все перенаправления игнорируются. Чтобы увидеть статус канонического URL, связанного с URL, который представлен в индексе Google, нажмите кнопку Проверить в разделе Индексирование страниц > Индексирование.
При тестировании URL опубликованной страницы система выполняет все перенаправления и проверяет конечный URL. Однако в результатах проверки не указывается, что система выполняет перенаправления.
Предупреждения
Предупреждения перечислены в таблице Повысьте удобство сайта в сводке отчета об индексировании страниц. Эти проблемы не мешают добавлять страницы в индекс, однако замедляют процесс анализа и индексирования.
Проиндексировано, несмотря на блокировку в файле robots.txt
Страница была проиндексирована, хотя доступ к ней заблокирован файлом robots.txt на вашем сайте. Google всегда следует инструкциям в этом файле, однако веб-страница все равно может быть проиндексирована, если ссылки на нее есть на других сайтах. В этом случае роботы Google не будут сканировать такую страницу, однако смогут ее проиндексировать, используя сведения с другой страницы, которая содержит ссылку на вашу. Из-за правила в файле robots.txt любой фрагмент страницы в результатах поиска Google может оказаться слишком коротким.
Что следует предпринять:
- Если вы действительно хотите запретить индексирование страницы, не применяйте для этого файл robots.txt. Удалите из него правило, запрещающее сканирование, а на саму страницу добавьте директиву noindex.
- Если вы не хотите блокировать роботам Google доступ к этой странице, удалите из файла robots.txt правило, запрещающее сканирование. Найти нужное правило можно с помощью инструмента проверки файла robots.txt.
Страница проиндексирована без контента
Страница есть в индексе Google, но поисковый робот не смог обработать ее контент. Возможно, она замаскирована от Google или формат размещенных на ней материалов не позволяет ее проиндексировать. Такая ситуация не имеет отношения к блокировке доступа с помощью файла robots.txt. Проверьте страницу и ознакомьтесь с информацией в разделе Покрытие.
Проиндексировано
Число проиндексированных URL указано на диаграмме на сводной странице. Чтобы увидеть примеры URL с дополнительной информацией, под диаграммой, нажмите Посмотреть данные об индексированных страницах.
Эта страница проиндексирована
Эта страница была успешно проиндексирована. Однако она может характеризоваться другими проблемами, например наличием ошибок в структурированных данных. Все остальные ошибки описываются в соответствующем разделе инструмента проверки URL.
