Управление файлами Sitemap из отчета с данными о них

Инструкции

1. Вы сможете отправить файл Sitemap с помощью отчета, только если у вас есть права владельца ресурса. Если таких прав у вас нет, добавьте ссылку на файл Sitemap в файл robots.txt.
2. Опубликуйте файл Sitemap на своем сайте.
   • Файл должен быть создан в одном из подходящих форматов. Придерживайтесь рекомендаций относительно синтаксиса, расположения файла и т. д.
   • Советуем разместить файл Sitemap на корневом уровне вашего сайта. Если же вы используете сервис веб-хостинга (например, Blogger, Wix или GoDaddy), изучите справочные материалы этого сервиса, чтобы узнать, куда и как добавить файл и есть ли в нем необходимость.
   • Проверьте файл Sitemap на наличие синтаксических ошибок с помощью XML-генератора.
3. Проверьте, есть ли у Google доступ к файлу Sitemap. Убедитесь, что доступ робота Googlebot к файлу Sitemap не заблокирован и для него не требуется авторизация. Чтобы проверить, так ли это, воспользуйтесь инструментом проверки URL. В поле Получение страницы должно быть указано "Успешно".
4. Откройте отчет о файлах Sitemap, скопируйте URL, который проверяли на этапе 3, вставьте его в окно Добавьте файл Sitemap и нажмите Отправить.
5. Файл Sitemap сразу же будет получен, однако сканирование перечисленных в нем URL может занять некоторое время. Возможно, что из-за трафика, размера сайта и других факторов его не удастся обработать полностью.
6. Если статус файла Sitemap отличен от Успешно, нажмите на строку в отчете, чтобы посмотреть сведения о сбое. Также рекомендуем ознакомиться с информацией об ошибках ниже.

Время от времени проверяйте, может ли Google получать и обрабатывать ваши файлы Sitemap.

Если вы удалите файл Sitemap, он исчезнет из отчета, но Google запомнит его и все перечисленные в нем URL. Если вам нужно, чтобы роботы Google перестали посещать ваши веб-страницы, запретите им это с помощью правила в файле robots.txt.

Чтобы удалить файл Sitemap, выполните следующие действия:

1. В основной таблице отчета найдите файл, который нужно удалить, и нажмите на него.
2. На странице сведений о файле нажмите на значок в виде трех точек .
3. Выберите Удалить файл Sitemap.
4. Чтобы роботы Google больше не обращались к файлу Sitemap и перечисленным в нем страницам, воспользуйтесь любым из приведенных ниже способов.
   • Запретите доступ к файлу Sitemap и страницам с помощью правила в файле robots.txt.
   • Удалите файл Sitemap или страницу с сайта.
   • Добавьте правило noindex или заголовок ответа. Для файла Sitemap необходимо использовать заголовок ответа, для веб-страницы – метатег или заголовок ответа.

• Файл Sitemap заблокирован с помощью файла robots.txt. Google учитывает информацию из файла robots.txt. Удалите правило, которое препятствует получению файла Sitemap.
• В отношении вашего сайта действуют меры, принятые вручную. В этом случае файлы Sitemap не обрабатываются. Изучите отчет о мерах, принятых вручную. Устраните проблему и отправьте файл Sitemap ещё раз.
• Для файла Sitemap предоставлен неверный URL (ошибка HTTP 404: файл Sitemap не найден по указанному адресу). Попробуйте открыть URL в браузере, чтобы проверить, существует ли он.
• Другие общие ошибки. Иногда Google не удается получить файл Sitemap с вашего сайта из-за других ошибок, например недоступности сервера. Некоторые проблемы могут носить краткосрочный характер. Подождите немного и посмотрите, будет ли эта ошибка повторяться при следующих попытках сканирования.
• URL из вашего файла Sitemap сканируются редко. Причина может быть в низком качестве вашего контента. Как создавать высококачественный контент

Как анализировать ошибки с получением

1. Нажмите на файл Sitemap в списке, чтобы посмотреть сведения о последнем запросе на получение.
2. Нажмите на название ошибки, чтобы посмотреть сведения о ней.
3. Подтвердите ошибку в инструменте проверки URL.
   1. Скопируйте URL файла Sitemap со страницы сведений отчета о файлах Sitemap.
   2. Вставьте URL в инструмент проверки URL и нажмите Ввод.
   3. Нажмите Выполнить проверку.
   4. Разверните раздел Доступность страницы, чтобы узнать, почему Google не удалось получить файл Sitemap. Информацию обо всех полях можно найти на этой странице. Для вас важно, чтобы в поле Сканирование разрешено? было указано "Да", в поле Получение страницы – "Успешно".

Ниже перечислены ошибки, которые могут произойти при обработке полученных файлов Sitemap.

URL недоступны

Google не удалось просканировать адреса из файла Sitemap. Проверьте, доступны ли URL в нем нашему роботу, с помощью этого инструмента.

Переход по URL не выполнен

Google не удалось просканировать все URL, указанные в файле Sitemap. Возможные причины:

• При переходе по URL слишком много раз выполняется переадресация, и поисковые роботы Google останавливаются, не достигая цели. Рекомендуем заменить все URL переадресации на адреса непосредственно тех страниц, которые нужно просканировать.
  • Если вы все время применяете переадресацию с одной страницы на другую, используйте постоянную переадресацию.
  • Рекомендуем отказаться от переадресации с помощью JavaScript или метатега refresh.
• Роботам Google не удается просканировать относительные URL в вашем файле Sitemap. По возможности используйте абсолютные ссылки вместо относительных. Например, для перехода на другую страницу своего сайта указывайте URL https://www.example.com/mypage.html, а не просто mypage.html.

Нельзя использовать URL

Некоторые из перечисленных вами URL находятся в другом домене или на более высоком уровне по сравнению с файлом Sitemap.

Более высокий уровень. Если файл расположен по адресу http://www.example.com/mysite/sitemap.xml, то недействительны следующие URL:

• http://www.example.com/ – находится на более высоком уровне, чем файл Sitemap;
• http://www.example.com/yoursite/ – находится в соседнем каталоге (необходимо перейти на более высокий уровень, а затем на более низкий).

Другой домен. Убедитесь, что все URL начинаются с того же домена, в котором хранится ваш файл Sitemap. Например, если файл расположен по адресу http://www.example.com/sitemap.xml, то недействительны следующие URL:

• http://example.com/ – отсутствует www в начале.
• www.example.com/ – нет префикса протокола (http).
• https://www.example.com/ – указан префикс протокола https вместо http.

Ошибка сжатия

Произошла ошибка при попытке восстановить сжатый файл Sitemap. Выполните повторное сжатие файла (например, с помощью gzip), после чего загрузите его на сайт и повторно отправьте в Google.

Пустой Sitemap

В файле Sitemap отсутствуют URL. Исправьте это.

Превышен максимальный размер файла Sitemap

Размер файла Sitemap в несжатом виде превышает 50 МБ. Разбейте его на несколько файлов и укажите их в индексе Sitemap, а затем отправьте нам этот индекс.

Неверное значение атрибута

У атрибута в теге XML недопустимое значение. Проверьте файлы Sitemap и убедитесь, что в них есть все необходимые атрибуты с действительными значениями (согласно техническим требованиям к таким файлам), а также что отсутствуют опечатки.

Неправильно введена дата

Как минимум одна дата в файле Sitemap имеет неверный формат или значение. Даты должны быть в формате кодировки даты и времени W3C. Время можно не указывать. Введите все даты в одном из допустимых форматов W3C:

2005-02-21 
2005-02-21T18:00:15+00:00

Время задавать не требуется (по умолчанию устанавливается значение 00:00:00Z), однако, если вы все же делаете это, не забудьте указать часовой пояс.

Недопустимое значение тега

В файле Sitemap содержится один или несколько тегов с недопустимым значением. Проверьте спецификации для соответствующего типа файла Sitemap (индекс, стандартный, видео и т. п.).

Недопустимый URL

В файле Sitemap указан недействительный URL. Возможно, он содержит недопустимые символы (пробелы, кавычки и т. д.) или ошибки, например имеет префикс htp:// вместо http://.

Убедитесь, что URL в файле Sitemap указаны в правильной кодировке и должным образом экранированы. Проверьте, нет ли недопустимых символов, таких как пробелы и кавычки. Кроме того, можно вставить URL в браузер и посмотреть, будет ли загружена страница.

Неполные URL в файле индекса Sitemap

Для некоторых файлов Sitemap, перечисленных в файле индекса Sitemap, не указаны полные URL. Google выполняет поиск файлов Sitemap в том же каталоге, в котором находится индекс. Например, если индекс расположен по адресу http://www.example.com/folder1/sitemap_index.xml и указывает на файл sitemap.xml (без символа / впереди), то Google ищет этот файл Sitemap по адресу http://www.example.com/folder1/sitemap.xml. Если найти его не удается, показывается сообщение об ошибке.

Добавьте в индекс Sitemap полные URL всех нужных файлов Sitemap и отправьте его ещё раз.

Недопустимый XML: слишком много тегов

В файле Sitemap имеются повторяющиеся теги. Например, следующая запись станет причиной ошибки, поскольку тег <loc> повторяется в ней дважды:

<url>
  <loc>http://www.example.com/</loc>
  <loc>http://www.example.com/page1.html</loc>
  <lastmod>2005-01-01</lastmod>
  <changefreq>monthly</changefreq>
  <priority>0.8</priority>
</url>

В сообщении об ошибке указываются тег и номер строки, в которой он находится. Удалите повторяющийся тег и отправьте файл Sitemap ещё раз.

Отсутствует атрибут XML

В одном из тегов в файле Sitemap отсутствует обязательный атрибут. Просмотрите файлы Sitemap и убедитесь, что все обязательные атрибуты на месте. Исправьте найденные ошибки в значениях атрибутов и ещё раз отправьте файл Sitemap.

Отсутствует тег XML

В одной или нескольких записях в файле Sitemap отсутствует обязательный тег. В сообщении об ошибке указывается номер строки, с которой связана проблема. Сведения об обязательных тегах можно найти в этой статье.

Отсутствует URL значка видео

В некоторых записях о видео нет ссылки на значок. Убедитесь, что в тегах <video:thumbnail_loc> указаны URL всех значков видео.

Отсутствует название видео

В некоторых записях о видео отсутствует название. Убедитесь, что в тегах <video:title> указаны названия всех видео.

Вложенные файлы индекса Sitemap

В одной или нескольких записях файла индекса Sitemap указан его собственный URL или URL другого файла индекса Sitemap. Файл индекса Sitemap может содержать ссылки только на обычные файлы Sitemap, а не на индексы.

Удалите записи, указывающие на индексы Sitemap, и повторно отправьте файл.

Ошибка синтаксического анализа

Google не удалось выполнить синтаксический анализ XML-контента вашего файла Sitemap.

Зачастую это происходит из-за неэкранированных символов в URL. Во всех файлах XML в любых значениях данных (включая URL) необходимо экранировать символы &, ', ", <, > и некоторые другие. Проверьте, правильно ли выполнено экранирование в URL.

Временная ошибка

Файл Sitemap не удалось обработать из-за временной ошибки системы. Как правило, при этой ошибке отправлять файл заново нет необходимости. Робот Google попробует получить его позже. Если это сообщение об ошибке будет отображаться даже через несколько часов, отправьте файл Sitemap ещё раз.

Слишком много файлов Sitemap

В файле индекса упомянуто более 50 000 файлов Sitemap. Разделите его на несколько, в каждом из которых должно быть указано не более 50 000 файлов Sitemap.

Слишком много URL

В файле Sitemap упомянуто более 50 000 URL. Разделите его на несколько, в каждом из которых должно быть указано до 50 000 адресов. Для удобства можно создать файл индекса Sitemap.

Неподдерживаемый формат файла

Вы создали некорректный файл.

Чтобы избежать самых частых ошибок XML, проверьте следующее:

• В файлах Sitemap должны быть правильные заголовки. Например, если файл содержит информацию о видео, заголовок должен быть следующим:

  <?xml version="1.0" encoding="UTF-8"?>
  <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:video="http://www.google.com/schemas/sitemap-video/1.1">

• Пространство имен в заголовке должно иметь вид http://www.sitemaps.org/schemas/sitemap/0.9 (не .9).
• Все атрибуты XML нужно заключать в одинарные (') или двойные (") кавычки, которые должны быть только прямыми. Обратите внимание, что текстовые редакторы, например Microsoft Word, могут автоматически менять кавычки на фигурные.

Несоответствующий путь: отсутствует префикс www

В пути к файлу Sitemap нет префикса www (пример: http://example.com/sitemap.xml), однако этот префикс есть в URL, которые перечислены в файле (пример: http://www.example.com/myfile.html).

Удалите префикс www из всех URL внутри файла.

Несоответствующий путь: имеется префикс www

В пути к файлу Sitemap есть префикс www (пример: http://www.example.com/sitemap.xml), однако этого префикса нет в URL, которые перечислены в файле (пример: http://example.com/myfile.xml).

Добавьте префикс www во все URL внутри файла.

Неправильно указано пространство имен

В корневом элементе файла Sitemap неверно задано или отсутствует пространство имен, содержится орфографическая ошибка или неправильный URL.

Убедитесь, что пространство имен задано правильно с учетом типа файла. Ниже приведены примеры.

• Файл Sitemap: xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
• Файл Sitemap для видео: xmlns:video="http://www.google.com/schemas/sitemap-video/1.1"
• Файл индекса Sitemap: <sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
• Другие типы файлов Sitemap

Файл Sitemap начинается с пробела

Ваш файл Sitemap начинается с пробела, а не с объявления пространства имен. Файлы XML должны начинаться с декларации XML, в которой указана используемая версия XML.

Указанная проблема не помешает Google обработать ваш файл Sitemap, однако лучше удалить пробел, чтобы файл соответствовал стандарту XML и сообщение об этой ошибке больше не появлялось.

Ошибка HTTP [код ошибки]

При попытке скачать файл Sitemap произошла ошибка HTTP уровня 400. В сообщении о ней будет указан код статуса (например, 404). Убедитесь, что URL файла Sitemap записан верно и файл находится в указанном месте. Затем повторно отправьте его в Google.

Общая ошибка HTTP

Произошла ошибка HTTP, которую невозможно отнести ни к одной из приведенных в этом списке. Разверните сведения, чтобы узнать тип ошибки. Это также может быть вызвано ошибкой 404 (страница отсутствует), которая является ошибкой при выполнении запроса.

Слишком большой значок видео

Значок видео, указанный в файле Sitemap, слишком велик. Измените его размер до 160 x 120 пикселей. При необходимости обновите файл Sitemap и повторно отправьте его в Google. Подробнее о том, как добавить в файл Sitemap информацию о видео…

Слишком маленький значок видео

Значок видео, указанный в файле Sitemap, слишком мал. Измените его размер до 160 x 120 пикселей. При необходимости обновите файл Sitemap. Подробнее о том, как добавить в файл Sitemap информацию о видео…

Адреса видео и страницы воспроизведения совпадают

URL видео и страницы проигрывателя, указанные в файле Sitemap для видео, не должны совпадать. Если используются одновременно тег <video:player_loc> и тег <video:content_loc>, то URL в них должны различаться. Подробнее о том, как добавить в файл Sitemap информацию о видео…

URL видео указывает на страницу воспроизведения

URL в теге <video:content_loc> в файле Sitemap для видео указывает на страницу, где размещен проигрыватель. Подробнее о том, как добавить в файл Sitemap информацию о видео…

Слишком много URL новостей

Количество URL в файле Sitemap превышает максимально допустимое значение (1000). Подробнее о том, как добавить в файл Sitemap информацию о новостях…

Отсутствует тег <publication>

Для каждого URL в файле Sitemap для Google Новостей должен быть указан тег <publication>. Подробнее о том, как добавить в файл Sitemap информацию о новостях…

Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt

Роботу Google не удалось обработать файл Sitemap, поскольку доступ к нему или его содержанию запрещен в файле robots.txt. Воспользуйтесь инструментом проверки URL, чтобы выяснить, на какой именно файл влияет блокировка доступа, и измените директивы robots.txt.