Как предотвратить сканирование одинаковых страниц, URL которых различаются параметрами

Общие сведения о параметрах URL и страницах с идентичным контентом

Сканирование вашего сайта роботами Google может быть неэффективным, если в URL есть параметры, связанные с незначительными изменениями в контенте на страницах (например, параметры color=red и color=green, указывающие на цвет товара) или при использовании которых не изменяется контент, хотя URL различаются (например, example.com/shirts?style=polo,long-sleeve и example.com/shirts?style=polo&style=long-sleeve).

Ниже приведены примеры URL, которые ведут на страницы с идентичным контентом. Различия между ними ограничиваются параметрами.

Если URL вашего сайта содержат много таких параметров, советуем воспользоваться инструментом "Параметры URL" и свести к минимуму сканирование одинаковых страниц.

Как заблокировать URL с определенными параметрами

Вы можете запретить Google сканировать URL, содержащие определенные параметры или значения параметров, чтобы предотвратить обработку одинаковых страниц.

Требования

Инструментом "Параметры URL" можно пользоваться, только если ваш сайт отвечает ВСЕМ перечисленным ниже условиям:

• Сайт содержит более 1000 страниц.
• В вашем журнале много записей о сканировании роботом Googlebot страниц с идентичным контентом, отличающихся друг от друга лишь параметрами URL (например, example.com?product=green_dress and example.com?type=dress&color=green).

Использование

Вы можете указывать роботам Google, что им следует предпринимать при обнаружении на сайте URL с определенными параметрами. Действие этих настроек сканирования распространяется на весь ресурс. Нельзя задать их для какого-то одного URL или раздела сайта.

Как использовать инструмент "Параметры URL"

1. Убедитесь, что ваш сайт отвечает перечисленным выше требованиям.
2. Откройте инструмент.
3. Выберите Изменить рядом с существующим параметром или создайте новый, нажав Добавление параметра. Обратите внимание, что инструмент чувствителен к регистру, поэтому вводить название параметра следует именно так, как оно выглядит в URL.
4. Укажите, влияет ли параметр на содержание страницы:
   • Нет, параметр не влияет на отображение контента на странице. Такой параметр может использоваться для отслеживания посещений и URL перехода, но содержание страницы от него не зависит. Примеры: sessionID, userName. Обнаружив много URL, отличающихся друг от друга только значением такого параметра, Google сканирует лишь один из этих URL. Если записи в вашем журнале говорят о том, что Google не в состоянии автоматически идентифицировать определенный статический параметр, вы можете указать его здесь самостоятельно.
   • Да, параметр изменяет, сортирует или фильтрует контент на странице. Такой параметр может менять содержание страницы. Примеры: brand, gender, country, sortorder. Выберите назначение параметра:
     • Сортирует (например, sort=price_ascending). Изменяется порядок, в котором показывается контент.
     • Ограничивает (например, t-shirt_size=XS). Материалы на странице фильтруются.
     • Указывает (например, store=women). Для показа отбирается контент, относящийся к определенной категории. Если параметр указывает на отдельный объект, к которому невозможно перейти другим способом, вам нужно будет выбрать вариант сканирования "Каждый URL".
     • Переводит (например, lang=fr). Демонстрируется переведенная версия страницы. Использование такого параметра обычно говорит о том, что вы хотите, чтобы роботы Google сканировали версии на разных языках, помеченные с помощью атрибутов hreflang. Блокировка в этом случае не нужна.
     • Разбивает на страницы (например, page=2). Показывается определенная страница из длинного списка или статьи.
        
     • Какие URL, содержащие этот параметр, должен сканировать робот Googlebot? Выберите один из вариантов поведения робота при обнаружении URL с обозначенным параметром:
       • На усмотрение робота Googlebot. Этот вариант установлен по умолчанию для известных параметров. Выберите его, если не знаете, как действует параметр, или если он работает по-разному в зависимости от раздела сайта. Робот Googlebot проанализирует ваши страницы и выберет оптимальный способ обработки параметра.
       • Каждый URL. Эта инструкция предписывает никогда не блокировать сканирование URL, если в нем есть определенный параметр. Предполагается, что URL с уникальными значениями этого параметра не ведут на страницы с идентичным контентом. Например, если применить этот вариант для URL с параметром productid, то URL http://www.example.com/dresses/real.htm?productid=1202938 и http://www.example.com/dresses/real.htm?productid=5853729 будут считаться разными, поскольку значения параметра productid у них отличаются.
       • Только URL со значением. В этом случае наши роботы будут сканировать только те URL, в которых для параметра задано определенное значение. URL с другими значениями будут пропущены. Используйте этот вариант, если значение параметра позволяет изменять порядок отображения контента вашего сайта. Например, страница http://www.example.com/dresses/real.htm?sort=price_high содержит тот же контент, что и http://www.example.com/dresses/real.htm?sort=price_low. С помощью этой настройки вы можете сообщить роботу Googlebot, что нужно обрабатывать только URL, в которых указано значение sort=price_low. Так вы избежите повторного сканирования одинакового контента.
       • Никакие URL. Эта инструкция запрещает сканирование URL с определенным параметром. Предположим, у вас есть URL с параметрами pricefrom и priceto, например http://www.examples.com/search?category=shoe&brand=nike&color=red&size=5&pricefrom=10&priceto=1000. Благодаря этой настройке можно предотвратить повторное сканирование контента по адресу http://www.examples.com/search?category=shoe&brand=nike&color=red&size=5.
5. Если в URL ваших страниц содержится больше одного параметра, ознакомьтесь с разделом Управление сканированием URL с несколькими параметрами.
6. Учтите, что заданные правила могут наследоваться другими ресурсами (см. раздел ниже).

Наследование правил обработки параметров

Если у вас есть отдельные сайты с протоколами http и https или отдельные родительские и дочерние ресурсы (например, example.com и example.com/fr/ или example.com и m.example.com), ваши настройки для параметров будут наследоваться по следующим правилам:

• http/https. Если правила обработки параметров заданы только для одного из двух ресурсов, эти правила используются и для второго. Если настройки для параметров определены для обоих ресурсов, в каждом случае применяются собственные правила.
• Родительский ресурс/дочерний ресурс. Если для родительского ресурса (example.com) заданы правила обработки параметров, дочерние ресурсы (например, example.com/fr/) наследуют их при отсутствии собственных настроек. Если для дочернего ресурса определены свои правила, он подчиняется им. Обратите внимание, что субдомены (m.example.com) считаются дочерними ресурсами по отношению к родительским доменам (example.com).

Управление сканированием URL с несколькими параметрами

В одном URL может содержаться несколько параметров, для каждого из которых можно задать свои настройки сканирования. Если вы это сделаете, роботы Google будут обрабатывать URL в соответствии со следующим правилом:

Приоритет имеют наиболее строгие настройки.

В качестве примера рассмотрим три параметра с выбранными для них вариантами сканирования.

Пример 1

http://www.example.com?shopping-category=shoes&sort-by=size&sort-order=asc

Несмотря на разрешенное значение параметра sort-order (asc), Google не будет сканировать эту страницу, потому что значение параметра sort-by отличается от production-year.

Пример 2

http://www.example.com?shopping-category=DVD-movies&sort-by=production-year&sort-order=asc

Google обработает этот URL, потому что значения параметров sort-by и sort-order совпадают с разрешенными.

Пример 3

http://www.example.com/shoes/33453

http://www.example.com?country=fr

Google сможет сканировать оба URL, потому что в них нет отмеченных параметров.