Als u een volledig crawlbare site heeft, kunt u meer opbrengst genereren met uw content. Daarom moet u bij de optimalisatie van uw website rekening houden met de volgende factoren die van invloed kunnen zijn op het crawlen.
De crawlers van Google toegang verlenen in robots.txt
Zorg ervoor dat u de crawlers van Google toegang heeft gegeven als u wilt dat ze uw sites kunnen crawlen.
Heeft u het bestand robots.txt aangepast om te voorkomen dat de Ad Manager-crawler uw pagina's indexeert? Dan kunnen we op de betreffende pagina's geen Google-advertenties weergeven. Update uw robots.txt-bestand om onze crawler toegang te geven tot uw pagina's.
Verwijder deze 2 regels tekst uit uw robots.txt-bestand:
User-agent: Mediapartners-Google
Disallow: /Zo kan onze crawler de content van uw site indexeren en kunnen er Google-advertenties worden weergegeven.
Wijzigingen die u in uw robots.txt-bestand doorvoert, worden misschien pas weergegeven in onze index wanneer onze crawlers uw website opnieuw proberen te bezoeken.
Toegang verlenen tot alle content waarvoor inloggen is vereist
Voor content die met een wachtwoord is beveiligd, moet u een crawler-login instellen.
Als u geen login instelt voor onze crawlers, worden deze misschien omgeleid naar een inlogpagina. Dit kan leiden dat de beleidsschending 'Geen content'. Het is ook mogelijk dat onze crawlers de foutmelding 401 (Niet geautoriseerd) of 407 (Verificatie van proxyserver vereist) krijgen en daardoor de content niet kunnen crawlen.
404-fouten (Pagina niet gevonden)
Als de URL die naar Google wordt gestuurd naar een niet-bestaande (of niet meer bestaande) pagina op een website verwijst of in een 404-fout resulteert (Niet gevonden), kunnen de crawlers van Google geen content crawlen.
URL's overschrijven
Als u de pagina-URL in advertentietags overschrijft, kunnen de crawlers van Google de content van de pagina die een advertentie opvraagt mogelijk niet ophalen, vooral niet als de URL van de overschreven pagina onjuist is.
In principe moet de pagina-URL die u in uw advertentieverzoek naar Google stuurt, overeenkomen met de daadwerkelijke URL van de pagina waarvoor u inkomsten genereert. Op deze manier zorgt u ervoor dat Google de juiste contextuele informatie verwerkt.
Problemen met nameservers
Als de nameservers voor uw domein of subdomein onze crawlers niet op de juiste manier naar uw content verwijzen, of als er beperkingen gelden voor waar verzoeken vandaan kunnen komen, kunnen onze crawlers uw content mogelijk niet vinden.
Niet-werkende of dubbele omleidingen
Als uw site omleidingen bevat, bestaat het risico dat onze crawler problemen ondervindt bij het gebruik hiervan. De kwaliteit van het crawlen kan verminderen als er bijvoorbeeld veel omleidingen zijn en tussentijdse omleidingen mislukken, of als belangrijke parameters zoals cookies worden verwijderd tijdens de omleiding.
Probeer het gebruik van omleidingen op pagina's met advertentiecode tot een minimum te beperken en te zorgen dat omleidingen correct zijn geïmplementeerd.
Problemen met webhosts
Als de crawlers van Google toegang proberen te krijgen tot sitecontent, kunnen de servers van de site soms niet op tijd reageren. Dit kan komen omdat de servers inactief of traag zijn, of overbelast raken door verzoeken.
We raden u aan ervoor te zorgen dat uw site wordt gehost op een betrouwbare server of door een betrouwbare serviceprovider.
Geografische, netwerk- of IP-beperkingen
Sommige sites beperken de regio's of IP-bereiken die toegang hebben tot hun content of houden hun content achter beperkte netwerken of IP-bereiken (bijvoorbeeld 127.0.0.1).
Als deze beperkingen voorkomen dat de crawlers van Google al uw pagina's bereiken, kunt u deze beperkingen verwijderen of uw content voor iedereen toegankelijk maken, zodat uw URL's kunnen worden gecrawld.
Net gepubliceerde content
Als u een nieuwe pagina publiceert, kunt u advertentieverzoeken sturen voordat de crawlers van Google de kans hebben gehad om de content te crawlen. Voorbeelden van sites die veel nieuwe content posten, zijn onder meer nieuwssites, sites met content van webgebruikers, sites met grote productvoorraden en sites met weersverwachtingen.
Nadat het advertentieverzoek is gestuurd via een nieuwe URL, wordt de content meestal binnen een paar minuten gecrawld. Tijdens deze minuten kan het advertentievolume echter laag zijn omdat uw content nog niet is gecrawld.
Gepersonaliseerde pagina's (met behulp van URL-parameters of dynamisch gegenereerde URL-paden)
Sommige websites bevatten extra parameters in hun URL's waarmee wordt aangegeven welke gebruiker is ingelogd (bijvoorbeeld met een SessionID) of andere informatie die uniek is voor elk bezoek. Als dit gebeurt, kunnen de crawlers van Google de URL als een nieuwe pagina behandelen, zelfs als de content hetzelfde is. Dit kan leiden tot een vertraging van enkele minuten tussen het eerste advertentieverzoek op de pagina en wanneer de pagina wordt gecrawld, en tot een grotere crawlerbelasting op uw servers.
Als de content van een pagina niet verandert, raden we u aan de parameters uit de URL te verwijderen en die informatie op een andere manier naar uw webserver te sturen.
Met een eenvoudigere URL-structuur kunt u ervoor zorgen dat uw site makkelijk kan worden gecrawld.
POST-gegevens
Als uw site POST-gegevens samen met URL's stuurt (bijvoorbeeld door formuliergegevens door te geven via een POST-verzoek), weigert uw site misschien aanvragen die niet met POST-gegevens worden gestuurd. Houd er rekening mee dat de crawlers van Google geen POST-gegevens leveren. Een dergelijke configuratie voorkomt namelijk dat de crawlers toegang krijgen tot uw pagina.
Als de paginacontent wordt bepaald door de gegevens die de gebruiker in het formulier opgeeft, kunt u eventueel gebruikmaken van een GET-verzoek.
