En webcrawler, der også kaldes en spider eller en bot, er den software, Google benytter til at behandle og indeksere indholdet af websider. AdSense-webcrawleren besøger dit website for at bestemme indholdet og vise relevante annoncer.
Her er et par nyttige oplysninger om AdSense-webcrawleren:
- Webcrawlerrapporten opdateres hver uge.
Gennemsøgningen gennemføres automatisk, og vi kan ikke efterkomme anmodninger om en mere hyppig gennemsøgning.
- AdSense-webcrawleren adskiller sig fra Googles webcrawler.
De to webcrawlere kører separat, men de deler en cache. Det gør vi for at forhindre, at webcrawlerne anmoder om de samme sider, og på den måde sørger vi for, at udgiverne kan bibeholde deres båndbredde. Webcrawleren i Search Console kører også separat.
- Løsning af problemer med AdSense-webcrawling medfører ikke løsning af problemer med Googles webcrawler.
En løsning af de problemer, der vises på siden Crawleradgang, vil ikke have nogen indflydelse på din placering i Googles søgeresultater. Du kan få flere oplysninger om dit websites rangering på Google ved at læse artiklen om, hvordan man kommer med i Googles søgeresultater.
- Webcrawleren indekserer efter webadresse.
Vores webcrawler besøger site.com og www.site.com hver for sig. Men vores crawler tæller ikke site.com og site.com/#anchor hver for sig.
- Webcrawleren vil ikke forsøge at få adgang til sider eller mapper, der er beskyttet af en robots.txt-fil.
Både Googles og AdSense Mediapartners webcrawlere respekterer din robots.txt-fil. Hvis din robot.txt-fil forbyder adgang til visse sider eller mapper, vil de ikke blive gennemsøgt.
Bemærk! Hvis du viser annoncer på sider, der er indstillet til at skulle indekseres med linjenUser-agent: *, gennemsøger AdSense-webcrawleren alligevel disse sider. Hvis du vil forhindre, at AdSense-webcrawleren får adgang til dine sider, skal du angiveUser-agent: Mediapartners-Googlei din robots.txt-fil. - Webcrawleren forsøger kun at få adgang til webadresser, hvor vores annoncetags er implementeret.
Det er kun sider, der viser Google-annoncer, som skal sende anmodninger til vores systemer om at blive gennemsøgt.
- Webcrawleren forsøger at få adgang til sider, der omdirigerer.
Hvis du har "oprindelige sider", der omdirigerer til andre sider, skal vores webcrawler besøge de oprindelige sider for at kunne fastslå, at der er tale om en omdirigering. Derfor vil vores webcrawlers besøg på de oprindelige sider blive vist i dine adgangslogfiler.
- Der er ingen kontrol med, hvor ofte crawleren indekserer dit websiteindhold.
På nuværende tidspunkt har vi ingen mulighed for at crawle websites igen. Gennemsøgningen foretages automatisk af vores bots. Når du foretager ændringer på en side, kan der gå op til 2 uger, før ændringerne afspejles i vores indeks.
