Problemen met de AdSense-crawler oplossen

U kunt meer opbrengst genereren met uw content als u ervoor zorgt dat uw site volledig kan worden gecrawld. Als de AdSense-advertentiecrawler geen toegang heeft tot uw content, kunt u het probleem oplossen aan de hand van de volgende lijst van crawlerproblemen.

Ga naar: Problemen met de toegang | Siteproblemen | Hostingproblemen

Problemen met de toegang

Mogelijke reden	Wat u moet controleren	Oplossing
Er moet worden ingelogd voor toegang tot uw site. Mogelijk wordt de advertentiecrawler omgeleid naar een inlogpagina, wat betekent dat uw content niet kan worden gecrawld.	Hebben bezoekers inloggegevens nodig om toegang te krijgen tot uw content?	Stel een crawler-login in om advertenties weer te geven op pagina's die zijn beveiligd met een gebruikersnaam en wachtwoord.
Uw content bevindt zich in een netwerk of binnen een IP-bereik waarvoor de toegang is beperkt.	Heeft u beperkingen ingesteld waardoor de toegang tot uw content voor bepaalde regio's of IP-bereiken wordt beperkt?	Overweeg deze beperkingen te verwijderen of uw content openbaar toegankelijk te maken, zodat de advertentiecrawler uw URL's kan crawlen.
U heeft de advertentiecrawler geblokkeerd in uw robots.txt-bestand.	Is de advertentiecrawler niet toegestaan in uw robots.txt-bestand?	Verleen de advertentiecrawler toegang tot uw robots.txt-bestand.

Siteproblemen

Mogelijke reden	Wat u moet controleren	Oplossing
Uw site kan niet worden gevonden. Als de URL die naar Google wordt verzonden, naar een webpagina verwijst die niet (meer) bestaat of in een 404-fout ('Niet gevonden') resulteert, kan de advertentiecrawler uw content niet crawlen.	Is uw site actief en online? Kunnen bezoekers uw site openen via internet?	Controleer of uw site is gepubliceerd en live op internet staat.
Uw site bevat pas gepubliceerde content. Als u een nieuwe pagina publiceert, kan het zijn dat u advertentieverzoeken verzendt voordat de crawlers van Google de kans hebben gehad om uw content te crawlen. Voorbeelden van sites die veel nieuwe content posten, zijn sites met door gebruikers gegenereerde content, nieuwsartikelen en grote productvoorraden, en weersites.	Heeft u onlangs nieuwe content gepubliceerd?	Geef de advertentiecrawler meer tijd om uw nieuwe content te crawlen. Nadat het advertentieverzoek is verzonden via een nieuwe URL, wordt de content meestal binnen een paar minuten gecrawld. Tijdens deze eerste paar minuten kan het advertentievolume echter laag zijn omdat uw content nog niet is gecrawld.
Uw site maakt gebruik van meerdere omleidingen. Als uw site gebruikmaakt van omleidingen, bestaat het risico dat de advertentiecrawler deze niet goed kan volgen. De kwaliteit van het crawlen kan bijvoorbeeld verslechteren als u meerdere omleidingen gebruikt en tussentijdse omleidingen mislukken, of als belangrijke parameters zoals cookies worden verwijderd tijdens de omleiding.	Maakt uw site gebruik van een groot aantal omleidingen? Heeft u omleidingen ingesteld op pagina's waarop u advertenties weergeeft?	Probeer het gebruik van omleidingen op pagina's met advertentiecode tot een minimum te beperken. Zorg ervoor dat al uw omleidingen correct worden geïmplementeerd.
U maakt gebruik van gepersonaliseerde pagina-URL's. Sommige sites bevatten extra parameters in hun URL's die de gebruiker aangeven die is ingelogd (bijv. een sessie-ID) of andere informatie die uniek is voor elk bezoek. Als dit gebeurt, kan de advertentiecrawler de URL als een nieuwe pagina behandelen, zelfs als de content hetzelfde is. Dit kan resulteren in een vertraging van enkele minuten tussen het eerste advertentieverzoek op de pagina en het moment waarop de pagina wordt gecrawld. Daarnaast veroorzaakt dit mogelijk een grotere crawlerbelasting op uw servers.	Maakt uw site gebruik van URL's met extra parameters of dynamisch gegenereerde URL-paden?	Als de content van een pagina niet verandert, kunt u overwegen de parameters uit de URL te verwijderen en die informatie op een andere manier te behouden. Met een eenvoudigere URL-structuur kunt u ervoor zorgen dat uw site gemakkelijker kan worden gecrawld.
U maakt gebruik van POST-gegevens. Als uw site POST-gegevens samen met URL's verzendt (bijvoorbeeld door formuliergegevens door te geven via een POST-verzoek), weigert uw site mogelijk aanvragen die niet met POST-gegevens worden verzonden. Houd er rekening mee dat de advertentiecrawlers geen POST-gegevens leveren, waardoor een dergelijke configuratie voorkomt dat de crawler toegang krijgt tot uw pagina.	Verzendt uw site POST-gegevens samen met URL's?	Als de content van uw pagina wordt bepaald door de gegevens die de gebruiker invoert in een formulier, kunt u eventueel gebruikmaken van een GET-verzoek.

Hostingproblemen

Mogelijke reden	Wat u moet controleren	Oplossing
Er is een probleem met de naamserver van uw site.	Is uw naamserver correct ingesteld? Heeft u beperkingen voor waar verzoeken vandaan kunnen komen?	Zorg ervoor dat de naamserver voor uw domein of subdomein de advertentiecrawler op de juiste manier naar uw content leidt.
Er is een probleem met de server van uw site. Wanneer de advertentiecrawler toegang probeert te krijgen tot sitecontent, kan de server van de site soms niet op tijd reageren. Dit kan komen doordat de server inactief of traag is, of overbelast raakt door verzoeken.	Is de server van uw site actief?	We raden u aan om ervoor te zorgen dat uw site op een betrouwbare server of door een betrouwbare serviceprovider wordt gehost.