En sökrobot, även kallad spindel, är det program Google använder för att bearbeta och indexera innehållet på webbsidor. Innehållssökroboten besöker din webbplats för att avgöra vilket innehåll den har, så att vi kan visa relevanta annonser.
Här kommer några viktiga fakta som är bra att känna till om innehållssökroboten:
- Sökrobotrapporten uppdateras varje vecka.
Sökningen sker automatiskt och vi kan inte tillgodose förfrågningar om att genomföra sökningar oftare. - Innehållssökroboten skiljer sig från Google-sökroboten.
Det är två separata sökrobotar, men de delar samma cacheminne. Detta gör vi för att undvika att båda sökrobotarna begär samma sidor. På så sätt hjälper vi utgivarna att spara bandbredd. På samma sätt är Search Console-sökroboten en separat sökrobot. - När du löser problem med innehållssökroboten löser du inte problem med Google-genomsökningen.
När du löser de problem som anges på sidan Tillgång till sökrobot påverkas inte din placering i Googles sökresultat. Mer information om hur din webbplats rankas på Google finns i AdSense-artikeln om hur du ser till att din webbplats inkluderas i Googles sökresultat. - Sökroboten indexerar efter webbadress.
Vår sökrobot besöker site.com och www.site.com separat. Däremot räknar den inte site.com och site.com/#anchor som separata platser. - Sökroboten får inte åtkomst till sidor eller kataloger som förbjuds av en robots.txt-fil.
Både Googles och AdMobs mediepartners sökrobotar tar hänsyn till din robots.txt-fil. Om filen robot.txt förbjuder åtkomst till vissa sidor eller kataloger, genomsöks de inte av sökroboten.Observera att om du visar annonser på sidor som har valts bort med raden User-agent: *, så kommer innehållssökroboten ändå att genomsöka dessa sidor. Om du vill förhindra att innehållssökroboten kommer åt dina sidor måste du angeUser-agent: Mediapartners-Googlei filen robots.txt. Läs mer. - Sökroboten försöker bara att öppna webbadresser där våra annonstaggar har införts.
Endast sidor där Google-annonser visas bör skicka begäranden till våra system och genomsökas. - Sökroboten försöker få åtkomst till sidor som omdirigerar.
Om du har ”ursprungliga sidor” som omdirigerar till andra sidor måste sökroboten besöka de ursprungliga sidorna för att kunna avgöra att det finns en omdirigering. Därför kan du se i åtkomstloggarna att sökroboten har besökt de ursprungliga sidorna. - Ny genomsökning av webbplatser
Vi kan för närvarande inte kontrollera hur ofta våra sökrobotar indexerar innehållet på din webbplats. Genomsökningen utförs automatiskt av våra robotar. Om du inför ändringar på en sida kan det ta en till två veckor innan ändringarna syns i vårt index.