Ervoor zorgen dat uw ads.txt-bestanden crawlbaar zijn

Met een ads.txt-bestand heeft u meer controle over wie advertenties mag verkopen op uw site en voorkomt u dat namaakvoorraad wordt gepresenteerd aan adverteerders. Het is daarom belangrijk dat de Google-crawler toegang heeft tot uw ads.txt-bestand.

Nadat u een ads.txt-bestand heeft gemaakt voor uw site en het bestand heeft geüpload naar uw rootdomein, doet de Google-crawler het volgende:

• Probeert het bestand te crawlen.
• Parseert de content van het ads.txt-bestand om te bepalen welke verkoper-ID's zijn gemachtigd om inkomsten te genereren met uw site.

Opmerking: Het kan enkele dagen duren voordat wijzigingen in het ads.txt-bestand worden getoond in AdSense. Als uw site niet veel advertentieverzoeken indient, kan dit tot een maand duren.

In deze video wordt uitgelegd hoe u zorgt dat uw ads.txt-bestanden kunnen worden gecrawld.

Crawlproblemen met ads.txt vaststellen

Voordat u begint, is het belangrijk dat u de HTTP-statuscodes begrijpt.

Volg de volgende stappen voor probleemoplossing om te zorgen dat uw ads.txt-bestand crawlbaar is.

• De timing van de upload van het ads.txt-bestand bevestigen
• Checken of het ads.txt-bestand tijdelijk niet beschikbaar is
• Checken of het ads.txt-bestand kan worden bereikt via het rootdomein
• Checken of robots.txt crawlen toestaat
• Zorgen dat het ads.txt-bestand een HTTP 200 OK-statuscode heeft
• Zorgen dat het ads.txt-bestand geen opmaakfouten of ongeldige tekens bevat
• Een ads.txt-bestand bereikbaar maken via zowel HTTP als HTTPS

De timing van de upload van het ads.txt-bestand bevestigen

Als u het ads.txt-bestand in de afgelopen dagen heeft geüpload, is het misschien te vroeg om uw wijzigingen te tonen en te beoordelen in AdSense. Als uw site niet veel advertentieverzoeken indient of weinig verkeer krijgt, kan de beoordeling tot een maand duren.

Verwijder uw ads.txt-bestand niet als het correct is ingesteld. Wijzigingen in uw ads.txt-bestand hebben invloed op de beoordelingstijd.

Checken of het ads.txt-bestand tijdelijk niet beschikbaar is

Als een eerder gecrawld ads.txt-bestand niet beschikbaar is wanneer het opnieuw wordt gecrawld, hangt het af van de statuscodereactie wat er gebeurt met de eerder gecrawlde vermeldingen.

Probeer het domein.com/ads.txt-bestand te openen:

• Als de reactie een HTTP 404-statusfout aangeeft, betekent dit dat het bestand niet bestaat. De vorige vermeldingen worden definitief verwijderd.
• De vermeldingen worden maximaal 5 dagen bewaard als er een zachte HTTP 404-statusfout (een bestaande pagina wordt geretourneerd voor een URL die niet bestaat: HTTP 200-status) of een 500-serverfout wordt geretourneerd.

Checken of het ads.txt-bestand kan worden bereikt via het rootdomein

Check uw URL. Moet u www toevoegen om toegang te krijgen tot uw site (bijv. www.domein.com)?

Ads.txt crawlen begint bij het rootdomein en het rootdomein moet dit bestand retourneren of omleiden naar dit bestand.

• Een ads.txt-bestand op www.domein.com/ads.txt wordt alleen gecrawld als er een omleiding is vanuit domein.com/ads.txt.

Als u www voor toegang tot uw site wilt opnemen, stelt u een omleiding in vanaf domein.com/ads.txt tot www.domein.com/ads.txt.

Neem contact op met uw serviceprovider als u hulp nodig heeft om een omleiding in te stellen.

Checken of robots.txt crawlen toestaat

Het ads.txt-bestand voor een domein kan door crawlers worden genegeerd als het volgende niet wordt toegestaan door een robots.txt-bestand in een domein:

• Het URL-pad van het ads.txt-bestand crawlen
• Een specifieke crawler (user-agent)

U kunt het robots.txt-bestand wijzigen om Google-crawlers toegang te geven tot uw ads.txt-bestand.

Voorbeeld: crawlen is niet toegestaan op het ads.txt-bestandspad

De volgende regels zijn toegevoegd aan example1.com/robots.txt:

User-agent: *
Disallow: /ads

Dit betekent dat het ads.txt-bestand wordt genegeerd door crawlers die voldoen aan de robots.txt-standaard.

U kunt het robots.txt-bestand op verschillende manieren aanpassen zodat uw ads.txt-bestand kan worden gecrawld:

• Optie 1: Pas het niet-toegestane pad aan.

  User-agent: *
Disallow: /ads/

• Optie 2: Pas het robots.txt-bestand aan om ads.txt specifiek toe te staan.

  User-agent: *
Allow: /ads.txt
Disallow: /ads

Opmerking: Deze opties zijn voorbeelden. Er zijn andere manieren om het robots.txt-bestand aan te passen.

Voorbeeld: crawlen is alleen niet toegestaan voor de Google-crawler

De volgende regels zijn toegevoegd aan example2.com/robots.txt:

User-agent: Googlebot
Disallow: /

Dit betekent dat het ads.txt-bestand wordt genegeerd door de Google-crawler.

U kunt uw robots.txt-bestand op verschillende manieren updaten om de Google-crawler toegang te geven tot uw ads.txt-bestand:

• Optie 1: Verwijder ' / ' uit de code Disallow:

  User-agent: Googlebot
Disallow:

• Optie 2: Geef de Googlebot toegang tot uw ads.txt-bestand.

  User-agent: Googlebot
Allow: /ads.txt

Opmerking: Wijzigingen die u aanbrengt in uw robots.txt-bestand worden mogelijk pas getoond nadat de crawlers uw site opnieuw proberen te bezoeken.

Zorgen dat het ads.txt-bestand een HTTP 200 OK-statuscode heeft

Bij een verzoek om een ads.txt-bestand kan de content van het bestand in het hoofdgedeelte van de reactie worden geretourneerd. Maar als de statuscode in de reactieheader aangeeft dat het bestand niet is gevonden (bijv. statuscode 404), gebeurt er het volgende:

• De reactie wordt genegeerd.
• Het bestand wordt beschouwd als niet-bestaand.

Check in de reactieheader of het ads.txt-bestand de HTTP 200 OK-statuscode heeft. Deze statuscode geeft aan dat u het ads.txt-bestand correct heeft geïmplementeerd en dat het verzoek is afgerond.

Zorgen dat het ads.txt-bestand geen opmaakfouten of ongeldige tekens bevat

Het is belangrijk om het ads.txt-bestand te checken op fouten, zoals typfouten, onnodige spaties of extra komma's.

Opmaakfouten, zoals ongeldige witruimtetekens, zijn soms lastig te vinden, maar kunnen ertoe leiden dat het ads.txt-bestand moeilijk kan worden geparseerd door een crawler. Hierdoor kan het bestand worden genegeerd.

Vergelijk uw ad.txt-code met de code in uw AdSense-account. Uw ads.txt-bestand moet er ongeveer zo uitzien:

google.com, pub-0000000000000000, DIRECT, f08c47fec0942fa0

De uitgever-ID moet identiek zijn aan de ID in uw AdSense-account.

Gebruik geen editor voor tekst met opmaak om ads.txt--vermeldingen te kopiëren en te plakken, omdat deze aanvullende metadata of opmaakgegevens kunnen bevatten. We raden u aan een platte-teksteditor te gebruiken. U kunt met een hex-editor ook checken of er ongeldige UTF-8-tekens in uw ads.txt-bestand staan.

Een ads.txt-bestand bereikbaar maken via zowel HTTP als HTTPS

De Google-crawler probeert ads.txt-bestanden te crawlen via zowel HTTP als HTTPS. Check of uw ads.txt-bestand toegankelijk is via zowel HTTP als HTTPS. Zo niet, dan moet u misschien een omleiding instellen.

Als er bijvoorbeeld alleen een ads.txt-bestand voor HTTP is, retourneert een ads.txt-bestand dat wordt gecrawld via HTTPS, de HTTP-statuscode 404. De eerder gecrawlde vermelding wordt definitief verwijderd, ook al wordt een ads.txt-bestand gecrawld via HTTP. Als dit het geval is, stelt u een omleiding in.

De volgende stap is afhankelijk van dit:

• Alleen voor HTTP (bijv. http://domein.com/ads.txt): U moet een omleiding instellen zodat de crawler https://domein.com/ads.txt de site omleidt naar http://domein.com/ads.txt.
• Alleen voor HTTPS (bijv. https://domein.com/ads.txt): U moet een omleiding instellen zodat de crawler http://domein.com/ads.txt de site omleidt naar https://domein.com/ads.txt.
• Voor zowel HTTP- als HTTP-protocollen: Als u http://domein.com/ads.txt en https://domein.com/ads.txt aanvraagt, moet het ads.txt-bestand worden getoond.

Neem contact op met uw serviceprovider als u hulp nodig heeft om een omleiding in te stellen.

Opmerking: We hebben aanvullende bronnen als u meer wilt weten over probleemoplossing voor ads.txt.