Der Googlebot hat auf Ihrer Website eine extrem hohe Anzahl von URLs entdeckt. Dies kann dazu führen, dass der Googlebot unnötigerweise zahlreiche verschiedene URLs crawlt, die auf identische oder ähnliche Inhalte verweisen, oder Teile Ihrer Website crawlt, die nicht dafür vorgesehen sind. Dadurch kann der Googlebot möglicherweise nicht alle Inhalte Ihrer Website indexieren oder verbraucht erheblich mehr Bandbreite als nötig.
Häufige Ursachen dieses Problems
- Problematische Parameter in der URL: Sitzungs-IDs oder Sortiermethoden können beispielsweise zu zahlreichen Duplikaten und einer größeren Anzahl von URLs führen. Ebenso könnte ein dynamisch erstellter Kalender Links zu Terminen in der Zukunft oder der Vergangenheit ohne Einschränkungen des Start- oder Enddatums generieren.
- Kombiniertes Filtern einer Gruppe von Elementen: Viele Websites bieten verschiedene Ansichten derselben Gruppe von Elementen oder Suchergebnissen. Das Kombinieren von Filtern (z. B. Anzeige von Hotels, die am Strand liegen, hundefreundlich sind UND einen Fitnessraum haben) kann zu einer enormen Anzahl an sich wiederholenden URLs führen.
- Dynamische Erstellung von Dokumenten als Ergebnis von Zählern, Zeitstempeln oder Werbeanzeigen.
- Fehlerhafte relative Links: Fehlerhafte relative Links haben oft unbegrenzte Bereiche zur Folge. Dieses Problem entsteht meist aufgrund wiederholter Pfadelemente. Beispiel:
http://www.example.com/index.shtml/discuss/category/school/061121/ html/interview/category/health/070223/html/category/business/070302 /html/category/community/070413/html/FAQ.htm
Schritte zur Lösung dieses Problems
Um potenzielle Probleme mit der URL-Struktur zu vermeiden, empfehlen wir Folgendes:
- Kürzen Sie URLs nach Möglichkeit, indem Sie nicht erforderliche Parameter weglassen. Geben Sie mithilfe des Tools „Parameterbehandlung“ an, welche URL-Parameter Google ignorieren kann. Achten Sie darauf, diese gekürzten URLs für alle internen Links zu verwenden. Ziehen Sie in Betracht, unnötig lange URLs an ihre kürzeren Versionen weiterzuleiten oder das Link-Element rel="canonical" zu verwenden, um die bevorzugte, kürzere kanonische URL anzugeben.
- Vermeiden Sie nach Möglichkeit Sitzungs-IDs in URLs. Verwenden Sie stattdessen Cookies. Weitere Informationen finden Sie in unseren URL-Richtlinien.
- Falls Sie in Ihre Website einen unendlichen Kalender eingebettet haben, fügen Sie ein nofollow-Attribut in Links zu dynamisch erstellten zukünftigen Kalenderseiten ein.
- Prüfen Sie Ihre Website auf fehlerhafte relative Links.
- Wenn keine der oben genannten Maßnahmen möglich ist, können Sie den Zugriff des Googlebots auf problematische URLs mithilfe einer robots.txt-Datei blockieren. Blockieren Sie dynamische URLs, z. B. URLs, die Suchergebnisse generieren, oder URLs, die unendliche Bereiche generieren, wie beispielsweise Kalender. Mithilfe von Platzhaltern in Ihrer robots.txt-Datei können Sie problemlos eine große Zahl von URLs blockieren.
