Страницы с идентичным контентом

Идентичным контентом обычно называют большие блоки информации, которые одинаковы или очень похожи. Они могут быть размещены в одном или нескольких доменах. Как правило, такой контент публикуется без намерения обмануть пользователей. Примеры повторяющихся материалов, которые не относятся к категории вредоносных:

  • страницы форумов в обычных версиях сайтов и версиях для мобильных устройств;
  • товары в интернет-магазине, доступные по разным URL;
  • документы для печати, которые дублируют содержание веб-страниц.

Если на вашем сайте размещено несколько страниц с почти идентичным контентом, вы можете указать Google на предпочитаемый URL. Это можно сделать разными способами. Такая процедура называется "нормализацией". Подробнее…

В некоторых случаях злоумышленники намеренно дублируют контент в разных доменах, чтобы повлиять на рейтинг сайта в поисковой системе или привлечь больше трафика. Использование подобных обманных приемов может причинить неудобства пользователям, так как в результатах поиска они будут видеть практически один и тот же многократно повторяющийся контент.

Google делает все возможное, чтобы индексировать и показывать страницы с уникальной информацией. Например, если на вашем сайте имеются "стандартная" и "печатная" версии каждой статьи, не отмеченные метатегом noindex, в результатах поиска будет отображаться только одна из них. В тех редких случаях, когда Google считает, что повторяющийся контент показывается для того, чтобы манипулировать рейтингом или вводить пользователей в заблуждение, мы внесем изменения в индекс и рейтинг рассматриваемых сайтов. В связи с этим рейтинг сайта может понизиться или сайт может быть вообще удален из индекса Google и будет недоступен для поиска.

Приведенные ниже рекомендации позволят вам избежать проблем, связанных с повторяющимся контентом, и добиться того, чтобы посетителям сайта предлагались только интересующие их материалы.

  • Используйте переадресацию 301. Если вы изменили структуру своего сайта, настройте переадресацию 301 ("постоянную переадресацию") в файле .htaccess, чтобы перенаправлять пользователей, робота Googlebot и других "пауков" на нужные страницы. (Для Apache это можно сделать с помощью файла .htaccess. Для IIS – через консоль администратора.)
  • Обеспечивайте единообразие. Система ваших внутренних ссылок должна быть упорядоченной. Например, не добавляйте одновременно ссылки на http://www.example.com/page/, http://www.example.com/page и http://www.example.com/page/index.htm.
  • Используйте домены верхнего уровня. Чтобы мы могли показывать в результатах поиска самые подходящие версии веб-документов, по возможности используйте домены верхнего уровня для публикации материалов, относящихся к определенной стране. Например, контент, связанный с Россией, рекомендуется размещать на сайте http://www.example.ru, а не на сайте http://www.example.com/ru или http://ru.example.com.
  • Будьте осторожны при синдикации. Если вы предоставляете свой контент другим сайтам, то при каждом поисковом запросе Google всегда будет показывать ту версию, которую считает наиболее приемлемой для пользователей. Эта версия необязательно совпадает с той, которую выбрали бы вы. Однако стоит удостовериться, что на всех сайтах, на которых размещаются ваши материалы, имеется ссылка на исходную статью. Вы также можете попросить владельцев сайтов, использующих ваш контент, запретить его индексирование на принадлежащих им страницах при помощи метатега с директивой noindex.
  • Избегайте повторов шаблонных текстов. Например, не стоит размещать внизу каждой страницы пространное уведомление об авторских правах. Достаточно его краткой версии, которая будет включать ссылку на страницу с подробными сведениями. Кроме того, с помощью инструмента Параметры URL можно указать, как роботам Google следует обрабатывать такие параметры.
  • Не применяйте программные "заглушки". Пользователям неинтересны пустые страницы. Например, не публикуйте страницы, содержание которых ещё не готово. Если же без страниц-заполнителей не обойтись, заблокируйте их индексирование при помощи метатега с директивой noindex.
  • Изучите свою систему управления контентом. Ознакомьтесь с тем, каким образом содержание показывается на вашем сайте. В блогах, на форумах и в других подобных сервисах один и тот же контент часто представлен в нескольких форматах. Например, запись блога может появиться на главной странице блога, на странице с архивами, а также на странице с другими записями – и всегда под одним названием.
  • Стремитесь к разнообразию контента. Если у вас есть много похожих страниц, лучше дополнить каждую из них какими-либо уникальными материалами или свести их все в одну. Предположим, у вас туристический сайт с отдельными страницами о двух городах, но информация на них одинакова. Вы можете добавить на каждую страницу уникальный контент или объединить их в одну.

Google не рекомендует блокировать поисковым роботам доступ к повторяющемуся контенту с помощью файла robots.txt или иными способами. Если поисковые системы не имеют возможности сканировать страницы с таким содержанием, то они не смогут автоматически определять, что разные URL имеют одинаковый контент, и будут обращаться с ними как с уникальными страницами. Лучше всего разрешить сканирование этих URL, но при этом пометить их как точные копии с помощью ссылки rel="canonical", инструмента обработки параметров URL или переадресации 301. Если наличие многочисленных копий значительно замедляет сканирование страниц, настройте частоту сканирования в Search Console.

Мы не применяем меры к любым сайтам с дублирующимся контентом, если только не очевидно, что такие материалы публиковались с целью обмана пользователей и воздействия на результаты поиска. Если у вас возникают проблемы из-за повторяющегося содержания, но вы не последовали приведенным выше советам, то мы выберем версию контента для показа в результатах поиска по своему усмотрению.

Если же выяснилось, что вы использовали обманные приемы, и ваш сайт был удален из наших результатов поиска, внимательно проверьте свои страницы. Ознакомьтесь с нашим руководством для веб-мастеров и внесите необходимые изменения. Убедившись в том, что сайт соответствует требованиям, отправьте нам запрос на пересмотр принятых мер.

В редких случаях алгоритмы Google могут выбрать URL внешней страницы, на которой без разрешения размещены копии ваших материалов. Если ваше содержание было размешено на другом сайте с нарушением авторских прав, попросите его владельца удалить это содержание. Вы также можете отправить в Google запрос об удалении страницы, нарушающей авторские права, из результатов поиска. Для этого нужно отправить уведомление о нарушении Закона США "Об авторском праве в цифровую эпоху".

Эта информация оказалась полезной?
Как можно улучшить эту статью?