Gewährleisten, dass die ads.txt- oder app-ads.txt-Datei gecrawlt werden kann

Diese Funktion befindet sich in der Betaphase
Funktionen in der Betaphase sind in Ihrem Netzwerk möglicherweise nicht verfügbar. In den Versionshinweisen erfahren Sie, wann diese Funktion für alle Nutzer verfügbar wird.

Sobald für Ihre Domain eine ads.txt- oder app-ads.txt-Datei eingerichtet wurde, wird der Crawler von Google:

• alle 24 Stunden versuchen, sie zu crawlen, und
• den Inhalt der Datei analysieren, um Verkäufer-IDs zu finden, die berechtigt sind, Ihr Inventar zu monetarisieren.

Der ads.txt- oder app-ads.txt-Status einer Domain wird in Ad Manager unter ads.txt-Verwaltung angezeigt. In einigen Fällen wird in Ad Manager die Meldung „Keine ads.txt-Datei gefunden“ angezeigt, obwohl eine ads.txt- oder app-ads.txt-Datei für eine Domain eingefügt wurde.

Sollte die Datei vor mehr als 48 Stunden hochgeladen worden sein, bedeutet diese Meldung meist, dass Google die Datei nicht finden, crawlen oder parsen kann. In diesem Fall sollten Sie zusammen mit Ihrem Webmaster diese Schritte zur Fehlerbehebung unternehmen.

Die app-ads.txt-Dateien sind öffentlich verfügbar und können von Anzeigenplattformen, Supply-Side-Plattformen (SSP) sowie anderen Käufern und Drittanbietern gecrawlt werden.

Die Datei muss dauerhaft verfügbar sein

Wenn eine bereits bekannte ads.txt- oder app-ads.txt-Datei bei einem späteren Crawling nicht mehr verfügbar ist, werden die vorhandenen Einträge:

• gelöscht, sofern es sich bei der Antwort um einen nicht behebbaren 404-Fehler handelt (eine Seite, die tatsächlich nicht existiert; HTTP 404-Status),
• bis zu fünf Tage aufbewahrt, wenn es sich um einen behebbaren 404-Fehler (eine vorhandene Seite hat eine URL übergeben, die es nicht gibt; HTTP 200-Status) oder einen HTTP 500-Serverfehler handelt. In diesem Fall liegt die Zeit, die in Ad Manager unter „Zuletzt aufgerufen“ erscheint, wahrscheinlich länger als 24 Stunden zurück, also vor dem erwarteten Aktualisierungszeitraum.

Die Datei muss von der Stammdomain aus erreichbar sein

Weiterleitungen von domain.com/ads.txt auf www.domain.com/ads.txt sind recht weitverbreitet. Das Crawling von ads.txt beginnt in der Stammdomain und diese muss wieder von der Datei ads.txt zurückverweisen oder darauf weiterleiten.

• Eine ads.txt-Datei unter www.domain.com/ads.txt wird nur gecrawlt, wenn domain.com/ads.txt darauf weiterleitet.
• Es wird nur eine einzelne Weiterleitung befolgt, die sich außerhalb der ursprünglichen Stammdomain befindet (z. B. beispiel1.com/ads.txt → beispiel2.com/ads.txt). Wenn eine zweite Umleitung enthalten ist – auch wenn sie sich in derselben Domain befindet –, wird die Datei nicht gecrawlt.

robots.txt muss Crawling zulassen

Die Datei ads.txt oder app-ads.txt wird von den Crawlern ignoriert, wenn laut der robots.txt-Datei der Domain Folgendes unzulässig ist:

• das Crawlen des URL-Pfads, in dem sich die Datei ads.txt oder app-ads.txt befindet, und
• der User-Agent des Crawlers.

Beispiel: Crawling ist für den Dateipfad von ads.txt nicht zulässig

Für beispiel1.com:

1. Unter beispiel1.com/ads.txt wird eine ads.txt-Datei veröffentlicht.
2. Zur beispiel1.com/robots.txt werden folgende Zeilen hinzugefügt:
   User-Agent: *
Disallow: /ads
3. Crawler, die gemäß dem robots.txt-Standard arbeiten, ignorieren die ads.txt-Datei.
4. Sie können die robots.txt-Datei folgendermaßen ändern, um das Crawlen der Datei zu ermöglichen (andere Vorgehensweisen sind ebenfalls möglich):
   • Option 1: den unzulässigen Pfad ändern.
     User-Agent: *
Disallow: /ads/
   • Option 2: die Datei ads.txt explizit zulassen; hängt davon ab, ob der Crawler die robots.txt-Anweisung Allow unterstützt.
     User-Agent: *
Allow: /ads.txt
Disallow: /ads

Beispiel: Crawling ist für den User-Agent auf der gesamten Website nicht zulässig

Für beispiel2.com:

1. Unter beispiel2.com/ads.txt wird eine ads.txt-Datei veröffentlicht.
2. Der Datei beispiel2.com/robots.txt werden folgende Zeilen hinzugefügt:

   User-Agent: Googlebot
   Disallow: /

3. Die ads.txt-Datei wird vom Google-Crawler ignoriert.

Die Datei muss mit dem Statuscode "HTTP 200 OK" zurückgegeben werden

Als Antwort auf die Anforderung einer ads.txt- oder app-ads.txt-Datei kann der Textinhalt der Datei zurückgegeben werden. Wenn der Statuscode im Antwort-Header jedoch angibt, dass die Datei nicht gefunden wurde (z. B. Statuscode 404), dann:

• wird die Antwort ignoriert und
• die Datei als nicht vorhanden angesehen.

Achten Sie daher darauf, dass für die Datei der Statuscode "HTTP 200 OK" zurückgegeben wird.

Die Datei darf keine Formatierungsfehler oder ungültigen Zeichen enthalten

Formatierungsfehler, z. B. ungültige Leerzeichen, sind möglicherweise schwer zu erkennen, können jedoch die Analyse einer ads.txt- oder app-ads.txt-Datei durch einen Crawler erschweren und dazu führen, dass eine Datei ignoriert wird.

Verwenden Sie keinen Rich-Text-Editor zum Kopieren und Einfügen von ads.txt- und app-ads.txt-Einträgen. Wir empfehlen einen einfachen Texteditor. Alternativ können Sie in der ads.txt- oder app-ads.txt-Datei auch mit einem HEX-Editor nach ungültigen UTF-8-Zeichen suchen.

Die ads.txt- oder app-ads.txt-Datei muss über HTTP und HTTPS erreichbar sein

Es wird versucht, mit dem Google-Crawler alle ads.txt- und app-ads.txt-Dateien sowohl unter HTTP als auch unter HTTPS zu crawlen. Eine 404-Antwort (oder 40x) führt jedoch dazu, dass zuvor gecrawlte Einträge gelöscht werden. Wenn beim Crawlen über HTTPS also ein 404-Fehler (oder 40x) zurückgegeben wird:

• wird der zuvor gecrawlte Eintrag gelöscht und
• in Ad Manager der Status "Keine ads.txt-Datei bereitgestellt" angezeigt.

Sorgen Sie daher dafür, dass der Zugriff auf die ads.txt- oder app-ads.txt-Datei sowohl über HTTP als auch über HTTPS möglich ist.

Der Server oder das CDN darf keine ungültigen Antworten an den Google-Crawler zurückgeben

Bei einem Aufruf im Browser kann es so aussehen, als ob eine gültige ads.txt-Datei zurückgegeben wird. Wenn über den User-Agent der Googlebot als Crawler benannt ist, wird jedoch möglicherweise eine ungültige Antwort zurückgegeben, bei der es sich nicht um eine ads.txt-Datei handelt. In diesem Fall:

• erkennt Google die ads.txt-Datei nicht und
• in Ad Manager wird der Status "Keine ads.txt-Datei bereitgestellt" angezeigt.

Damit dieser Fehler behoben werden kann, sollten Sie Ihren Webmaster bitten, die folgenden Shell-Befehle auszuführen. Ersetzen Sie dabei jeweils mydomain.com durch Ihre Domain.

1. Wenn Sie bestätigen möchten, dass die ads.txt-Datei erreicht werden kann, verwenden Sie diesen Befehl:
   curl -iL http://mydomain.com/ads.txt
   
   Der Content der ads.txt-Datei sollte wie im Browser angezeigt zurückgegeben werden, wenn Sie mydomain.com/ads.txt aufrufen.
2. Wenn Sie bestätigen möchten, dass die ads.txt-Datei vom Google-Crawler erkannt werden kann, verwenden Sie diesen Befehl:
   curl -iL -A "'Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html).'"
http://mydomain.com/ads.txt
   
   Eine ungültige Antwort, bei der es sich nicht um eine ads.txt-Datei handelt, weist darauf hin, dass der Server oder das CDN eine fehlerhafte Antwort zurückgibt, wenn der Google-Crawler versucht, die ads.txt-Datei abzurufen.

Neben den oben beschriebenen Problemen in Zusammenhang mit dem User-Agent gibt es auch noch andere mögliche Ursachen dafür, dass der Server keine gültige Antwort an den Google-Crawler zurückgibt. Wenden Sie sich an Ihren Webmaster, um Serverprotokolle auf fehlgeschlagene Crawling-Versuche durch Google für mydomain.com/ads.txt oder mydomain.com/robots.txt zu überprüfen, damit diese Probleme untersucht und behoben werden können.

App-spezifische Tipps

Diese Vorschläge gelten nur für app-ads.txt-Dateien:

• Registrieren Sie Ihre App bei Google Play oder im App Store. 
• Geben Sie im Google Play Store eine Entwicklerwebsite und/oder im App Store-Eintrag eine Marketingwebsite ein.
• Die für diese App in Google Play aufgeführte Entwicklerwebsite bzw. im App Store enthaltene Marketingwebsite muss eine gültige URL haben. Achten Sie auf Tippfehler und fügen Sie die app-ads.txt-Datei nicht in eine Subdomain ein.