Wenn Ihre Website vollständig crawlbar ist, erzielen Sie voraussichtlich mehr Umsatz über Ihren Content. Daher sollten Sie beim Optimieren Ihrer Website folgende Faktoren berücksichtigen, die sich möglicherweise auf das Crawling auswirken.
Zugriff für die Google-Crawler in der Datei „robots.txt“ gewähren
Damit wir Ihre Websites crawlen können, geben Sie den Crawlern von Google Zugriff.
Wenn Sie die Datei robots.txt Ihrer Website so geändert haben, dass der Ad Manager-Crawler Ihre Seiten nicht mehr indexieren darf, können auf den entsprechenden Seiten keine Google Anzeigen ausgeliefert werden. Aktualisieren Sie die Datei robots.txt, um unserem Crawler Zugriff auf Ihre Seiten zu gewähren.
Entfernen Sie die folgenden beiden Textzeilen aus der Datei robots.txt:
User-agent: Mediapartners-Google
Disallow: /Durch diese Änderung kann unser Crawler den Content Ihrer Website indexieren, sodass die Auslieferung von Google Anzeigen möglich ist.
Änderungen an der Datei „robots.txt“ spiegeln sich erst dann in unserem Index wider, wenn unsere Crawler Ihre Website noch einmal besucht haben.
Zugriff auf Content, für den eine Anmeldung erforderlich ist
Wenn Nutzer sich anmelden müssen, um auf Ihren Content zuzugreifen, richten Sie einen Crawler-Log-in ein.
Wenn unseren Crawlern keine Anmeldedaten zur Verfügung stehen, werden sie möglicherweise auf eine Anmeldeseite weitergeleitet. Das kann zum Richtlinienverstoß „Keine Inhalt“ führen oder die Fehlermeldung „401 (Nicht autorisiert)“ oder „407 (Proxyauthentifizierung erforderlich)“ wird ausgegeben und der Content kann nicht gecrawlt werden.
Fehler vom Typ „Seite nicht gefunden“
Wenn die an Google gesendete URL auf eine Seite verweist, die auf der Website nicht (mehr) vorhanden ist, oder die Fehlermeldung „404 (Seite nicht gefunden)“ auslöst, können die Crawler von Google Ihren Content nicht erfassen.
URLs überschreiben
Wenn Sie die Seiten-URL in Anzeigen-Tags überschreiben, können die Crawler von Google den Content der Seite, für die eine Anzeige angefordert wird, möglicherweise nicht abrufen. Das gilt insbesondere dann, wenn die überschriebene Seiten-URL falsch formatiert ist.
Grundsätzlich sollte die Seiten-URL, die Sie mit der Anzeigenanfrage an Google senden, mit der tatsächlichen URL der Seite übereinstimmen, die Sie monetarisieren. So wird dafür gesorgt, dass Google die richtigen kontextbezogenen Informationen verarbeitet.
Nameserver-Probleme
Wenn die Nameserver für Ihre Domain oder Subdomain unsere Crawler nicht korrekt auf Ihren Content verweisen oder Einschränkungen hinsichtlich der Herkunft von Anfragen gelten, können unsere Crawler den Content möglicherweise nicht finden.
Fehlerhafte oder doppelte Weiterleitungen
Sind auf Ihrer Website Weiterleitungen vorhanden, können unsere Crawler ihnen unter Umständen nicht folgen. Falls beispielsweise viele Weiterleitungen vorliegen und Teilweiterleitungen fehlschlagen oder wichtige Parameter wie Cookies während der Weiterleitung ausgelassen werden, kann dadurch die Crawling-Qualität beeinträchtigt werden.
Sie sollten daher auf Websites mit Anzeigencode so wenig Weiterleitungen wie möglich verwenden und dafür sorgen, dass sie fehlerfrei funktionieren.
Probleme mit dem Webhost
Wenn die Crawler von Google versuchen, auf eine Website zuzugreifen, können die zugehörigen Server manchmal nicht rechtzeitig antworten. Das kann daran liegen, dass die Server heruntergefahren wurden, langsam reagieren oder durch Anfragen überlastet sind.
Deshalb sollten Sie dafür sorgen, dass Ihre Website auf einem zuverlässigen Server oder von einem zuverlässigen Dienstanbieter gehostet wird.
Geografische, Netzwerk- oder IP-Beschränkungen
Bei einigen Websites können Beschränkungen in Bezug auf geografische Regionen oder IP-Bereiche gelten, in denen auf Content zugegriffen werden kann. Websitecontent kann sich außerdem in Netzwerken oder IP-Bereichen mit eingeschränktem Zugriff befinden, z. B. 127.0.0.1.
Wenn dadurch verhindert wird, dass die Crawler von Google auf Ihre Seiten zugreifen, entfernen Sie die Einschränkungen oder machen Sie den Content öffentlich zugänglich, damit die URLs gecrawlt werden können.
Neuer Content
Wenn Sie eine neue Seite veröffentlichen, können Sie Anzeigenanfragen senden, bevor die Crawler von Google den Content erfassen konnten. Websites, auf denen viel neuer Content veröffentlicht wird, sind z. B. neue Websites, Websites mit von Nutzern erstellten Inhalten oder großen Produktinventaren oder Wetter-Websites.
Normalerweise wird der Content innerhalb weniger Minuten gecrawlt, nachdem die Anzeigenanfrage für eine neue URL gestellt wurde. In diesen ersten Minuten vor dem Crawling kann es jedoch zu einem geringen Anzeigenvolumen kommen.
Personalisierte Seiten mit URL-Parametern oder dynamisch generierten URL-Pfaden
Die URLs einiger Websites enthalten zusätzliche Parameter, die den angemeldeten Nutzer kennzeichnen (z. B. eine SessionID), oder andere Informationen, die für jeden Besuch unterschiedlich sein können. In solchen Fällen stufen die Crawler von Google die URL möglicherweise als neue Seite ein, selbst wenn der Content derselbe ist. Das kann zu einer Verzögerung von einigen Minuten zwischen der ersten Anzeigenanfrage auf der Seite und dem Crawling führen und eine erhöhte Crawler-Auslastung auf Ihren Servern hervorrufen.
Wenn sich der Content auf einer Seite nicht ändert, empfehlen wir, die Parameter aus der URL zu entfernen und die Informationen anderweitig an Ihren Webserver zu übergeben.
Eine einfachere URL-Struktur trägt dazu bei, dass Ihre Website leichter gecrawlt werden kann.
POST-Daten
Werden auf Ihrer Website neben URLs auch POST-Daten gesendet, z. B. beim Senden von Formulardaten über eine POST-Anfrage, wird die Anfrage auf Ihrer Website möglicherweise abgelehnt, wenn keine POST-Daten vorhanden sind. Da die Crawler von Google keine POST-Daten bereitstellen, kann Ihre Seite in diesem Fall nicht gecrawlt werden.
Falls sich die angezeigten Seiteninhalte nach den Daten richten, die der Nutzer in das Formular eingibt, verwenden Sie eine GET-Anfrage.
