Om indholdscrawleren

En webcrawler, der også kaldes en spider eller en bot, er den software, Google benytter til at behandle og indeksere indholdet af websider. Indholdscrawleren besøger dit website for at bestemme indholdet og vise relevante annoncer.

Her er et par nyttige oplysninger om indholdscrawleren:

• Crawlerrapporten opdateres hver uge.
  Gennemsøgningen gennemføres automatisk, og vi kan ikke efterkomme anmodninger om en mere hyppig gennemsøgning.
• Indholdscrawleren adskiller sig fra Googles crawler.
  De to crawlere kører separat, men de deler en cache. Det gør vi for at forhindre, at begge crawlere skulle anmode om de samme sider, og på den måde sørger vi for, at udgiverne kan bibeholde deres båndbredde. Crawleren i Search Console kører også separat.
• Hvis du løser problemer med indholdscrawleren, løser det ikke problemer med Googles crawler.
  En løsning af de problemer, der vises på siden Crawleradgang, vil ikke have nogen indflydelse på din placering i Googles søgeresultater. Du kan få flere oplysninger om dit websites rangering på Google ved at læse artiklen om, hvordan man kommer med i Googles søgeresultater.
• Crawleren indekserer efter webadresse.
  Vores crawler besøger site.com og www.site.com hver for sig. Men vores crawler tæller ikke site.com og site.com/#anchor hver for sig.
• Crawleren vil ikke forsøge at få adgang til sider eller mapper, der er beskyttet af en robots.txt-fil.
  Både Googles og AdSense Mediapartners crawlere respekterer din robots.txt-fil. Hvis din robot.txt-fil forbyder adgang til visse sider eller mapper, vil de ikke blive gennemsøgt.
  Bemærk! Hvis du viser annoncer på sider, der er indstillet til ikke at skulle indekseres med linjen User-agent: *, gennemsøger indholdscrawleren alligevel disse sider. Hvis du vil forhindre, at indholdscrawleren får adgang til dine sider, skal du angive User-agent: Mediapartners-Google i din robots.txt-fil. Få flere oplysninger. 
• Crawleren forsøger kun at få adgang til webadresser, hvor vores annoncetags er implementeret.
  Det er kun sider, der viser Google-annoncer, som skal sende anmodninger til vores systemer om at blive gennemsøgt.
• Crawleren forsøger at få adgang til sider, der omdirigerer.
  Hvis du har "originale sider", der omdirigerer til andre sider, skal vores webcrawler besøge de oprindelige sider for at kunne fastslå, at der finder en omdirigering sted. Derfor vil vores crawlers besøg på de oprindelige sider blive vist i dine adgangslogfiler.
• Ny gennemsøgning af websites
  På nuværende tidspunkt kan vi ikke styre, hvor ofte vores webcrawlere indekserer indholdet på dit website. Gennemsøgningen foretages automatisk af vores bots. Når du foretager ændringer på en side, kan der gå op til to uger, før ændringerne afspejles i vores indeks.