Иногда в результатах поиска Google бывает указано, что нет информации о какой-либо странице:
Это означает, что роботу Google не удалось просканировать контент страницы и создать фрагмент. Подобное происходит, когда для сайта с помощью файла robots.txt
или иного средства установлено правило, которое запрещает роботам Google доступ к странице. При этом индексирование страницы возможно даже без доступа к ней. Если оно будет выполнено, страница сможет появляться в результатах поиска.
Как устранить проблему
Это не мой сайт
Это мой сайт
Сайт с заблокированной страницей принадлежит вам, причина может быть в том, что доступ к странице запрещен в файле robots.txt
. Информация о том, что можно предпринять, приведена ниже.
Что делать, если доступ к странице запрещен в файле robots.txt
Описание
В файле robots.txt* для вашего сайта есть правило, которое запрещает роботу Googlebot сканировать страницу. Чтобы создать фрагмент для результатов поиска, роботу Google необходимо просканировать страницу. Если такой возможности нет, страница будет показываться в результатах поиска без фрагмента.
1. Проверьте, есть ли проблема
Убедитесь, что страница блокируется файлом robots.txt вашего сайта.
2. Устраните проблему
Решить эту проблему можно одним из следующих способов:
Способ 1: позвольте Google просканировать вашу страницу.
Чтобы в результатах поиска показывался полноценный фрагмент, разрешите роботу Googlebot сканировать страницу в файле robots.txt.
Способ 2: полностью заблокируйте показ страницы в результатах поиска Google.
Вы можете запретить появление страницы в результатах поиска.
- Выполните одно из следующих действий:
- Удалите страницу со своего сайта.
- Внедрите авторизацию пользователей для доступа к странице.
- Используйте тег noindex.
-
В дополнение к любому из описанных выше шагов вам необходимо удалить из файла robots.txt правило, которое запрещает роботу Googlebot доступ к странице. Узнать, что страницу больше нельзя проиндексировать, робот может только при наличии такого доступа. Информация о файлах robots.txt приведена здесь.
- Сообщите в Google об изменении с помощью Инструмента удаления устаревшего контента. Это позволит быстро удалить все сохраненные версии страницы из результатов поиска. Для этого скопируйте URL из результатов поиска в инструмент. Учтите, что страницы будут удалены на время. Чтобы они не появлялись в результатах поиска никогда, следуйте инструкциям из шага 1 выше.
Как выполнить предпросмотр страниц в Google Поиске
Когда робот Google не может просканировать контент страницы (часто из-за того, что доступ к ней запрещен в файле robots.txt
), обычно появляется сообщение о том, что в результатах поиска нет информации о странице. Управлять допуском страницы к показу в результатах поиска Google можно и другими способами.
Ниже приведены три распространенные причины, по которым страницы могут выглядеть в результатах поиска некорректно или не появляться вовсе. В некоторых случаях, например при использовании директивы noindex
, страница не сможет показываться в результатах поиска. Иные неполадки, такие как проблемы со структурированными данными или качеством контента, могут сказаться на рейтинге страницы или внешнем виде фрагмента в результатах.
Правило disallow в файле robots.txt
запрещает роботу Google сканировать страницу. Если доступ к странице запрещен в файле robots.txt
, робот Google не может сканировать ее контент и любые другие инструкции на ней, такие как метатеги noindex
и nosnippet
.
- Что будет показано в Google Поиске. В результатах поиска может появиться URL вместе с сообщением об отсутствии информации о странице, поскольку у Google есть данные о существовании URL, но нет доступа к ее контенту.
Метатег noindex
запрещает Google показывать страницу в результатах поиска. Тег размещается непосредственно на странице и сообщает Google, что страницу не следует включать в индекс Google Поиска. Робот Google увидит это сообщение, только если ему разрешено просканировать страницу.
- Что будет показано в Google Поиске. Если робот Google просканирует страницу и обнаружит тег
noindex
, она будет полностью удалена из результатов поиска Google.
Метатег nosnippet
запрещает Google показывать фрагмент в результатах поиска. Этот тег также размещается прямо на странице и сообщает Google, что нужно проиндексировать страницу, но в результатах поиска не должно быть текстового фрагмента, предварительного просмотра видео и расширенных результатов.
- Что будет показано в Google Поиске. URL будет показан в результатах поиска без текстового описания или иных визуальных элементов.
robots.txt
, робот Google не обнаружит на ней метатег noindex
или nosnippet
. В результате инструкция из метатега noindex
или nosnippet
будет соблюдена только после снятия запрета в файле robots.txt
.