Crawlen von parametrierten duplizierten Inhalten blockieren

URL-Parameter und duplizierte Inhalte

Wenn auf Ihrer Website URL-Parameter für geringfügig abweichende Seitenvarianten verwendet werden (z. B. color=red und color=green) oder wenn Parameter verwendet werden, durch die identische Inhalte unter verschiedenen URLs erscheinen (z. B. example.com/hemden?style=polo,long-sleeve und example.com/hemden?style=polo&style=long-sleeve), kann es sein, dass Google Ihre Website nicht effizient crawlt.

Hier finden Sie einige Beispiele für URLs, die sich nur durch die Parameter unterscheiden und die den Nutzer im Grunde zu duplizierten Inhalten weiterleiten:

Falls auf Ihrer Website viele derartige URL-Parameter vorhanden sind, können Sie das URL-Parameter-Tool verwenden, um ein Crawling von duplizierten URLs zu vermeiden.

Crawlen von URLs blockieren, die bestimmte Parameter enthalten

Sie können verhindern, dass Google URLs mit bestimmten Parametern oder Parametern mit bestimmten Werten crawlt, um das Crawlen von duplizierten Seiten zu vermeiden.

Voraussetzungen

Verwenden Sie das URL-Parameter-Tool nur, wenn Ihre Website ALLE folgenden Voraussetzungen erfüllt:

• Ihre Website hat mehr als 1.000 Seiten UND
• In Ihren Protokollen erscheint eine erhebliche Anzahl duplizierter Seiten, die vom Googlebot indexiert werden, wobei alle duplizierten Seiten sich nur durch verschiedene URL-Parameter unterscheiden. Beispiel: example.com?product=green_dress und example.com?type=dress&color=green).

Verwendung

Sie können mit bestimmten Parametern festlegen, wie Google Ihre Website crawlt. Das Parameterverhalten wird auf die gesamte Property angewendet. Sie können das Crawling-Verhalten für einen bestimmten Parameter nicht auf eine bestimmte URL oder einen Teil Ihrer Website beschränken.

So verwenden Sie das URL-Parameter-Tool:

1. Überprüfen Sie, ob Ihre Website die zuvor aufgeführten Voraussetzungen erfüllt.
2. Öffnen Sie das URL-Parameter-Tool.
3. Sie können entweder einen vorhandenen Parameter bearbeiten oder auf Parameter hinzufügen klicken. Beachten Sie, dass bei diesem Tool zwischen Groß- und Kleinschreibung unterschieden wird. Geben Sie den Parameter also genau so ein, wie er in Ihrer URL erscheint.
4. Geben Sie an, ob sich der URL-Parameter auf Seiteninhalte auswirkt:
   • Nein: Hat keinen Einfluss auf den Seiteninhalt: Der Parameter hat keinen Einfluss darauf, wie Seiteninhalte dargestellt werden. Dieser Parametertyp kann verwendet werden, um Besuche und Verweise zu erfassen. Er hat jedoch keinen Einfluss auf den eigentlichen Inhalt der Seite. Beispiel: sessionID oder userName. Wenn viele URLs vorhanden sind, die sich nur in einem solchen Parameterwert unterscheiden, wird eine davon gecrawlt. Google versucht, diese Parametertypen zu erkennen. Wenn allerdings in Ihren Protokollen angezeigt wird, dass ein statischer Parameter nicht korrekt identifiziert wird, können Sie ihn hier angeben.
   • Ja: ändert oder sortiert den Seiteninhalt oder grenzt ihn ein: Der Parameter kann den Seiteninhalt ändern. Beispiele hierfür sind brand, gender, country oder sortorder. Wählen Sie den Zweck des Parameters aus:
     • Sortierung, z. B. sort=price_ascending: Die Reihenfolge, in der die Inhalte dargestellt werden, wird geändert.
     • Eingrenzung, z. B. t-shirt_size=XS: Die Inhalte der Seite werden gefiltert.
     • Präzisierung, z. B. store=women: Die auf der Seite angezeigte Gruppe von Inhalten wird bestimmt. Wenn hiermit ein exaktes Element bestimmt wird und nur so auf diese Inhalte zugegriffen werden kann, wählen Sie "Jede URL" aus.
     • Übersetzung, z. B. lang=de: Es wird eine übersetzte Version der Inhalte angezeigt. Wenn Sie einen Parameter verwenden, um verschiedene Sprachen anzuzeigen, möchten Sie wahrscheinlich, dass Google die übersetzten Versionen Ihrer Website trotzdem crawlt. Nutzen Sie in diesem Fall "hreflang", um die unterschiedlichen Sprachversionen Ihrer Website anzugeben, statt Inhalte mit diesem Tool zu blockieren.
     • Seitenauswahl, z. B. page=2: Es wird eine bestimmte Seite eines längeren Eintrags oder Artikels angezeigt.
        
     • Welche URLs mit diesem Parameter soll der Googlebot crawlen? Wählen Sie eine Option aus, um das Verhalten von Google bei URLs festzulegen, die diesen Parameter enthalten:
       • Entscheidung dem Googlebot überlassen: Diese Einstellung ist die Standardeinstellung für bereits bekannte Parameter. Wählen Sie sie aus, wenn Sie sich bezüglich des Verhaltens eines Parameters nicht sicher sind oder wenn das Verhalten des Parameters in verschiedenen Bereichen der Website unterschiedlich ist. Der Googlebot kann durch eine Analyse Ihrer Website die beste Vorgehensweise für den Parameter bestimmen.
       • Jede URL: Google blockiert URLs mit diesem Parameter nie. URLs mit eindeutigen Werten für diesen Parameter enthalten keine duplizierten Inhalte. Nachdem Sie diese Art von Einstellung beispielsweise für URLs mit dem Parameter productid implementiert haben, stuft Google die URL http://www.example.com/kleider/real.htm?productid=1202938 automatisch als vollkommen unterschiedlich von http://www.example.com/kleider/real.htm?productid=5853729 ein, da die Werte des Parameters productid in den beiden URLs voneinander abweichen.
       • Nur URLs mit dem Wert: Mit dieser Einstellung teilen Sie Google mit, dass nur URLs gecrawlt werden sollen, bei denen Ihr URL-Parameter einen bestimmten Wert aufweist. URLs mit einem anderen Parameterwert werden nicht gecrawlt. Dies ist besonders dann hilfreich, wenn auf Ihrer Website mit diesem Parameterwert die Reihenfolge geändert wird, in der die ansonsten identischen Inhalte angezeigt werden. So enthält http://www.ihrebeispielurl.de/kleider/real.htm?sort=price_high beispielsweise den gleichen Inhalt wie http://www.ihrebeispielurl.de/kleider/real.htm?sort=price_low. Mithilfe dieser Einstellung können Sie den Googlebot anweisen, nur URLs mit sort=price_low zu crawlen. So wird das Crawlen duplizierter Inhalte vermieden.
       • Keine URLs: Mit dieser Option teilen Sie Google mit, dass URLs mit einem bestimmten Parameter nicht gecrawlt werden sollen. Google crawlt dann keine URLs, die den von Ihnen eingegebenen Parameter enthalten. So können Sie Google im Beispiel http://www.ihrebeispielurl.de/search?category=shoe&brand=nike&color=red&size=5&pricefrom=10&priceto=1000 anweisen, keine URLs mit Parametern wie pricefrom und priceto zu crawlen. Auf diese Weise vermeiden Sie ein unnötiges Crawlen duplizierter Inhalte, die bereits unter http://www.ihrebeispielurl.de/search?category=shoe&brand=nike&color=red&size=5 verfügbar sind.
5. Wenn auf Ihrer Website mehrere Parameter in einer URL verwendet werden, lesen Sie URLs mit mehreren Parametern verwalten.
6. Beachten Sie, dass Ihre Regeln möglicherweise von anderen Eigenschaften übernommen werden (siehe Übernahme von Parameterregeln).

Übernahme von Parameterregeln

Wenn Sie getrennte Properties für http und https oder separate übergeordnete und untergeordnete Properties haben (z. B. example.com und example.com/fr/ oder example.com und m.example.com), können die Parametereinstellungen gemäß den folgenden Regeln zwischen den Properties übernommen werden:

• http/https: Wenn nur eine Ihrer HTTP- oder HTTPS-Properties Regeln aufweist, werden die Regeln auf beide angewendet. Wenn für Ihre HTTP- und HTTPS-Properties jeweils eigene Regeln definiert sind, werden nur die eigenen Regeln angewendet.
• Übergeordnet/untergeordnet: Wenn eine übergeordnete Property (example.com) Parameterregeln hat, werden diese für alle untergeordneten Properties (example.com/fr/) übernommen, die keine Parameterregeln haben. Untergeordnete Properties mit Parameterregeln wenden nur ihre eigenen Regeln an. Subdomains (m.example.com) werden als untergeordnete Properties der übergeordneten Domains (example.com) erachtet.

URLs mit mehreren Parametern verwalten

Eine einzelne URL kann viele Parameter enthalten. Sie können Crawling-Einstellungen für jede einzelne URL separat festlegen. Wenn eine einzelne URL mehrere verwaltete Parameter enthält, befolgt Google die folgende Regel bei der Entscheidung, ob die URL gecrawlt werden soll:

Restriktivere Parametereinstellungen haben Vorrang vor weniger restriktiven Parametereinstellungen

Hier sind Beispiele für drei URL-Parameter und die entsprechenden Crawling-Einstellungen von Google:

Beispiel 1

http://www.example.com?shopping-category=shoes&sort-by=size&sort-order=asc.

Google crawlt diese URL nicht, weil der sort-by-Parameter nicht mit production-year festgelegt ist, obwohl die URL einen gültigen sort-order-Wert enthält (asc).

Beispiel 2

http://www.example.com?shopping-category=DVD-movies&sort-by=production-year&sort-order=asc.

Google kann diese URL crawlen, da die Werte sort-by und sort-order den zulässigen Einstellungen entsprechen.

Beispiel 3:

http://www.example.com/shoes/33453

http://www.example.com?country=fr

Google kann beide URLs crawlen, da sie keine unerlaubten Parameter haben.