Поиск
Удалить поисковый запрос
Закрыть поиск
Приложения Google
Главное меню

Как использовать Сканер Google для сайтов

Этот инструмент воспроизводит процесс сканирования веб-страниц. С его помощью вы можете узнать, есть ли у робота Google доступ к вашему контенту (в т. ч. изображениям или скриптам) и как он его обрабатывает, а также исправить найденные проблемы сканирования.

Открыть Сканер Google для сайтов

Для проверки мобильных приложений используйте эту версию инструмента.

Инструкции

  1. Введите в поле URL страницы, которую нужно проверить. Пустое поле соответствует корневому каталогу сайта. А если вы проверяете ресурс http://example.com, то по запросу magaziny/moskovskaya_oblast/1234.html будет обработана страница http://example.com/magaziny/moskovskaya_oblast/1234.html.
    Ограничения:
    • Инструмент обрабатывает только URL, которые относятся к текущему сайту. Так, если это http://example.com, то страницы https://example.com и http://m.example.com не будут сканироваться.
    • Инструмент никуда не отправляет файлы cookie, учетные данные и иную информацию.
    • Инструмент не переходит по ссылкам переадресации. Если вы просматриваете страницу, на которой они есть, откройте их вручную (см. описание статуса "Перенаправлено" ниже).
  2. При желании можно выбрать тип робота Google, который должен обрабатывать сайт. От этого зависит выполнение запроса "Получить и отобразить". Ниже представлены доступные настройки.
    1. ПК (по умолчанию). Выберите этот вариант, если нужно обрабатывать следующие материалы:
      • веб-страницы на сайтах (используется робот Googlebot);
      • новости (используется робот Googlebot, не Googlebot News);
      • изображения (используется робот Googlebot Images);
      • видео (используется робот Googlebot Video);
      • страницы с кодом AdSense (используется робот Google AdSense);
      • целевые страницы объявлений (используется робот Google AdsBot).
    2. Мобильные устройства: смартфоны
      • Текущая версия. Используется текущая версия робота Google Smartphone, которая скоро будет заменена на новую.
      • Новая версия. Используется последняя версия робота Google Smartphone.
  3. Нажмите Сканировать или Получить и отобразить.
    • Сканировать. Инструмент запрашивает указанный URL на вашем сайте и отображает ответ HTTP. Он не обращается к ресурсам страницы, например изображениям или скриптам. Это достаточно быстрая операция, которую можно использовать для проверки или отладки сетевого подключения или устранения проблем безопасности.
    • Получить и отобразить. Инструмент запрашивает указанный URL на вашем сайте, отображает ответ HTTP, а также страницу в соответствии с заданной платформой (обычный компьютер или мобильное устройство). В рамках этой операции запрашиваются и обрабатываются все ресурсы на странице, в том числе изображения и скрипты. Это позволит выявить различия между тем, как вашу страницу видят робот и пользователь.
  4. Запрос попадет в таблицу истории сканирования с указанием, что он обрабатывается. Если запрос будет выполнен успешно, в строке появится информация о нем. Нажимая на строки с успешно просканированными ресурсами, изучите сведения о них, в том числе заголовки и данные HTTP-запроса, а при использовании команды "Получить и отобразить" – список заблокированных ресурсов и вид страницы.
  5. Если запрос был успешно выполнен не более четырех часов назад, вы можете заказать повторное сканирование и, по возможности, повторную индексацию страницы наряду с ресурсами, на которые она ссылается.

Сканирование можно выполнять не более 500 раз в неделю. Если вы скоро достигнете этого предела, то появится уведомление.

Статусы запросов сканирования

В таблице истории сканирования показаны последние 100 запросов. Чтобы просмотреть подробные данные по любому из них, нажмите на его строку. Вы увидите один из следующих статусов:

  • Выполнено. Наш робот успешно связался с вашим сайтом, просканировал страницу и получил все ресурсы, на которые она ссылается. Нажмите на строку таблицы, чтобы просмотреть подробные сведения.
  • Частично выполнено. Робот видит ваш сайт, но некоторые ресурсы страницы заблокированы посредством файлов robots.txt. Если вы выполняли только сканирование, нажмите "Получить и отобразить". Изучите страницу и выясните, не заблокированы ли какие-либо ресурсы, в связи с чем корректная обработка данных стала невозможной. Если это так, измените файлы robots.txt, которые вы можете редактировать. Если же дело в файлах robots.txt, к которым у вас нет доступа, попросите их владельцев разблокировать нужные ресурсы. Советуем изучить описания ошибок сканирования.
  • Перенаправлено. Это значит, что сервер перенаправил запрос. Сканер Google не выполняет такую операцию. В отличие от настоящего поискового робота Google, который при сканировании URL выполняет переадресацию, инструмент "Просмотреть как Googlebot" не в состоянии ее воспроизвести. Выполните ее вручную:
    • Если переадресация выполняется в рамках того же самого ресурса, вы увидите кнопку, позволяющую перейти по целевому адресу, добавив требуемый URL в поле.
    • Если URL ведет на другой принадлежащий вам ресурс, нажмите "Перейти" для автозаполнения адреса, скопируйте его, перейдите к новому сайту и вставьте URL в текстовое поле для сканирования.
    Проанализируйте ответ HTTP, просмотрев страницу подробных данных сканирования. Найдите код ошибки, а затем выполните эти инструкции. Переадресацию могут инициировать сервер, метатеги или код JavaScript на странице.
  • Тип ошибки. В столбце "Статус" может отображаться ошибка при запросе на сканирование любого ресурса, связанного со страницей, которую вы проверяете. Примеры: Не найдено или Недоступен.

Ошибки сканирования ресурсов

Нажмите на строку со статусом Частично выполнено, чтобы увидеть таблицу с обнаруженными ошибками. Обычно они связаны с заблокированными ресурсами на странице. Возможные варианты указаны в таблице.

Ошибки сканирования
Статус Объяснение Примечания и инструкции

Не найдено

Ресурс не удалось найти (код ответа HTTP 404 или 410).

Это означает, что при просмотре этой страницы в браузере может произойти ошибка 404.

Неавторизованный запрос

Googlebot не имеет доступа к странице (например, страница требует ввода пароля).

Это означает, что при просмотре этой страницы в браузере может произойти ошибка 403.

Запись DNS не найдена

Google не удалось найти домен сайта.

Убедитесь, что вы правильно ввели имя домена (например, www.example.com).

Заблокировано

Хост ресурса блокирует роботу Google доступ с помощью файла robots.txt.

Заблокированные ресурсы могут помешать сканированию страницы и снизить ее рейтинг. Уровень таких ресурсов определяет их важность при сканировании:

  • Низкий: заблокированный ресурс почти не влияет на сканирование.
  • Средний: ресурс оказывает некоторое влияние на сканирование. Сравните страницу после обработки роботом Googlebot с оригинальной и определите, насколько значительны расхождения.
  • Высокий: заблокированный ресурс оказывает значительное влияние на сканирование и, скорее всего, помешает ему.
  •  (тире): ошибка не связана с заблокированными ресурсами.

Чтобы устранить ее, обновите файл robots.txt. Если адрес вашего сайта находится в корневом домене (например, www.example.com, а не www.example.com/moy_sait/), используйте Инструмент проверки файла robots.txt, чтобы выяснить, почему URL недоступен для Google.

Файл robots.txt недоступен

Робот Google не имеет доступа к файлу robots.txt нужного хоста и не загружает с него никакие ресурсы.

Для решения этой проблемы ознакомьтесь со статьями Справочного центра по созданию и проверке файлов robots.txt.

Недоступно

Хост ресурса не ответил на запрос или задержал ответ.

Проверьте, работает ли сервер.

Временно недоступно

1) Инструмент "Просмотреть как Googlebot" не может в данный момент просканировать URL из-за слишком продолжительного ожидания отклика сервера.

ИЛИ

2) Инструмент "Просмотреть как Googlebot" отменил сканирование, так как за короткий промежуток времени на сервер было отправлено слишком много запросов разных URL.

Обратите внимание, что URL недоступен не всем сервисам Google, а только инструменту "Просмотреть как Googlebot".

Ошибка

Робот Google столкнулся с неизвестной ошибкой.

Если эта ситуация будет повторяться, оставьте сообщение на справочном форуме для веб-мастеров.
Была ли эта статья полезна?
Как можно улучшить эту статью?