Achten Sie darauf, dass Ihre ads.txt-Dateien gecrawlt werden können

Wenn Sie Ihre eigene ads.txt-Datei erstellen, haben Sie mehr Kontrolle darüber, wer Anzeigen auf Ihrer Website verkaufen darf. Außerdem lässt sich so verhindern, dass Werbetreibenden gefälschtes Inventar angeboten wird. Der Google-Crawler muss auf Ihre ads.txt-Datei zugreifen können.

Sobald Sie für Ihre Website eine ads.txt-Datei erstellt und die Datei auf Ihre Stammdomain hochgeladen haben, wird der Google-Crawler:

• versuchen, die Datei zu crawlen.
• den Inhalt der ads.txt-Datei parsen, um festzustellen, welche Verkäufer-IDs für die Monetarisierung Ihrer Website autorisiert sind.

Hinweis: Es kann einige Tage dauern, bis Änderungen an der ads.txt-Datei in AdSense Wirkung zeigen. Wenn Ihre Website nicht viele Anzeigenanfragen stellt, kann es auch bis zu einem Monat dauern.

In diesem Video erfahren Sie, wie Sie dafür sorgen, dass Ihre ads.txt-Dateien gecrawlt werden können.

Probleme mit ads.txt-Crawlern identifizieren

Bevor Sie beginnen, sollten Sie sich mit den HTTP-Statuscodes vertraut machen.

Führen Sie die folgenden Schritte zur Fehlerbehebung aus, damit Ihre ads.txt-Datei gecrawlt werden kann:

• Zeitpunkt des Uploads der ads.txt-Datei bestätigen.
• Prüfen, ob die ads.txt-Datei vorübergehend nicht verfügbar ist.
• Prüfen, ob die ads.txt-Datei von der Stammdomain aus erreichbar ist.
• Die Datei robots.txt darf das Crawling nicht verbieten.
• Die ads.txt-Datei muss den HTTP-Statuscode „200 OK“ haben.
• Die ads.txt-Datei darf keine Formatierungsfehler oder ungültigen Zeichen enthalten.
• Die ads.txt-Datei sollte über HTTP und HTTPS erreichbar sein.

Zeitplan für das Hochladen der ads.txt-Datei bestätigen.

Wenn Sie Ihre ads.txt-Datei in den letzten Tagen hochgeladen haben, ist es möglicherweise noch zu früh, um die Änderungen in AdSense zu sehen und zu prüfen. Wenn Ihre Website nicht viele Anzeigenanfragen stellt oder nur wenige Zugriffe erfolgen, kann die Überprüfung bis zu einem Monat dauern.

Entfernen Sie die ads.txt-Datei nicht, wenn sie korrekt eingerichtet ist. Alle Änderungen an Ihrer ads.txt-Datei wirken sich auf die Dauer der Überprüfung aus.

Prüfen, ob die ads.txt-Datei vorübergehend nicht verfügbar ist.

Wenn eine zuvor gecrawlte ads.txt-Datei bei einem erneuten Crawl nicht mehr verfügbar ist, hängt es von der Statuscode-Antwort ab, was mit den zuvor gecrawlten Einträgen geschieht.

Versuchen Sie, auf die Datei domain.com/ads.txt zuzugreifen:

• Wenn als Antwort der Status „HTTP 404“ zurückgegeben wird, ist die Datei nicht vorhanden. Die vorherigen Einträge werden dauerhaft gelöscht.
• Handelt es sich bei der Antwort um einen Soft HTTP 404-Statusfehler (eine echte Seite, die für eine URL zurückgegeben wird, die eigentlich nicht existiert; HTTP 200-Status) oder einen Serverfehler 500, werden die Einträge bis zu 5 Tage lang aufbewahrt.

Prüfen, ob die ads.txt-Datei von der Stammdomain aus erreichbar ist.

Prüfen Sie Ihre URL. Muss „www“ angegeben werden, um auf Ihre Website zuzugreifen (z. B. www. .domain.de)?

Das Crawling von ads.txt beginnt in der Stammdomain und diese muss wieder von der Datei ads.txt zurückverweisen oder auf diese weiterleiten.

• Eine ads.txt-Datei unter www.domain.com/ads.txt wird nur gecrawlt, wenn domain.com/ads.txt darauf weiterleitet.

Wenn Sie für den Zugriff auf Ihre Website „www“ verwenden, müssen Sie eine Weiterleitung von domain.de/ads.txt zu www.domain.de/ads.txt einrichten.

Wenden Sie sich an Ihren Dienstanbieter, um Hilfe bei der Einrichtung einer Weiterleitung zu erhalten.

Die Datei robots.txt darf das Crawling nicht verbieten.

Die ads.txt-Datei einer Domain wird von den Crawlern ignoriert, wenn laut der Datei robots.txt für die Domain Folgendes unzulässig ist:

• das Crawlen des URL-Pfads, in dem sich die Datei ads.txt befindet und
• Ein bestimmter Crawler (User-Agent).

Sie können die robots.txt-Datei ändern, damit Google-Crawler auf Ihre ads.txt-Datei zugreifen können.

Beispiel: Crawling ist für den Dateipfad von ads.txt nicht zulässig

Wenn die folgenden Zeilen in example1.com/robots.txt enthalten sind:

User-agent: *
Disallow: /ads

Das bedeutet, dass die ads.txt-Datei von Crawlern, die den robots.txt-Standard einhalten, ignoriert wird.

Es gibt mehrere Möglichkeiten, die robots.txt-Datei zu ändern, damit Ihre ads.txt-Datei gecrawlt werden kann:

• Option 1: Ändern Sie den unzulässigen Pfad.

  User-agent: *
Disallow: /ads/

• Option 2: Ändern, um ads.txt speziell zuzulassen.

  User-agent: *
Allow: /ads.txt
Disallow: /ads

Hinweis: Diese Optionen sind nur Beispiele. Es gibt andere Möglichkeiten, die robots.txt-Datei zu ändern.

Beispiel: Crawling nur für Google-Crawler nicht zugelassen

Wenn die folgenden Zeilen in beispiel2.de/robots.txt enthalten sind:

User-agent: Googlebot
Disallow: /

Das bedeutet, dass die ads.txt-Datei vom Google-Crawler ignoriert wird.

Sie haben folgende Möglichkeiten, Ihre robots.txt-Datei zu aktualisieren, damit der Google-Crawler auf Ihre ads.txt-Datei zugreifen kann:

• Option 1: Entfernen Sie „ / “ aus dem Feld „Disallow“.

  User-agent: Googlebot
Disallow:

• Option 2: Zugriff des Googlebots auf Ihre ads.txt-Datei zulassen.

  User-agent: Googlebot
Allow: /ads.txt

Hinweis: Änderungen an Ihrer robots.txt-Datei werden möglicherweise erst widergespiegelt, wenn die Crawler Ihre Website noch einmal besuchen.

Die ads.txt-Datei muss den HTTP-Statuscode „200 OK“ haben

Ein Request der ads.txt-Datei kann den Dateiinhalt im Antworttext zurückgeben. Wenn der Statuscode im Antwort-Header jedoch anzeigt, dass die Datei nicht gefunden wurde (z. B. Statuscode 404), dann:

• wird die Antwort ignoriert und
• wird die Datei als nicht vorhanden angesehen.

Im Antwortheader prüfen, ob die ads.txt-Datei den HTTP-Statuscode „200 OK“ hat. Der HTTP-Statuscode „200 OK“ gibt an, dass Sie die ads.txt-Datei richtig implementiert haben und die Anfrage erfolgreich war.

Die ads.txt-Datei darf keine Formatierungsfehler oder ungültigen Zeichen enthalten

Prüfen Sie die ads.txt-Datei unbedingt auf Tippfehler und überflüssige Leerzeichen oder Kommas.

Formatierungsfehler wie ungültige Leerzeichen sind unter Umständen schwer zu erkennen, können jedoch das Parsen einer ads.txt-Datei durch einen Crawler erschweren und die Datei wird möglicherweise ignoriert.

Vergleichen Sie Ihren Code in der ads.txt mit dem Code in Ihrem AdSense-Konto. Die ads.txt-Datei sollte ungefähr so aussehen:

google.com, pub-0000000000000000, DIRECT, f08c47fec0942fa0

Die Publisher-ID muss mit der ID in Ihrem AdSense-Konto übereinstimmen.

Vermeiden Sie das Kopieren und Einfügen von ads.txt-Einträgen aus Rich-Text-Editoren, da diese zusätzliche Metadaten oder Formatdaten enthalten können. Wir empfehlen, einen reinen Texteditor zu verwenden. Alternativ können Sie in Ihrer ads.txt-Datei auch mit einem HEX-Editor nach ungültigen UTF-8-Zeichen suchen.

Die ads.txt-Datei sollte über HTTP und HTTPS erreichbar sein

Der Google-Crawler versucht, ads.txt-Dateien sowohl unter HTTP als auch unter HTTPS zu crawlen. Prüfen Sie, ob auf Ihre ads.txt-Datei sowohl über HTTP als auch über HTTPS zugegriffen werden kann. Sollte dies nicht der Fall sein, müssen Sie möglicherweise eine Weiterleitung einrichten.

Wenn beispielsweise nur eine ads.txt-Datei für HTTP vorhanden ist, gibt eine über HTTPS gecrawlte ads.txt-Datei den HTTP-Statuscode 404 zurück. Der zuvor gecrawlte Eintrag wird dauerhaft gelöscht, auch wenn eine ads.txt-Datei über HTTP gecrawlt wird. In diesem Fall müssen Sie eine Weiterleitung einrichten.

Der nächste Schritt hängt von den folgenden Punkten ab:

• Nur für HTTP (z. B. http://domain.de/ads.txt): Sie müssen eine Weiterleitung einrichten, damit der Crawler bei der Suche nach https://domain.de/ads.txt auf http://domain.de/ads.txt weitergeleitet wird.
• Nur für HTTPS (z. B. https://domain.de/ads.txt): Sie müssen eine Weiterleitung einrichten, damit der Crawler bei der Suche nach http://domain.de/ads.txt auf https://domain.de/ads.txt weitergeleitet wird.
• Sowohl für HTTP- als auch für HTTPS-Protokolle: Bei der Anfrage von http://domain.de/ads.txt und https://domain.de/ads.txt sollte die Datei ads.txt angezeigt werden.

Wenden Sie sich an Ihren Dienstanbieter, wenn Sie Hilfe beim Einrichten einer Weiterleitung benötigen.

Hinweis: Weitere Informationen zur Fehlerbehebung bei ads.txt finden Sie in den zugehörigen Hilfeartikeln.