Feedfetcher

Google gebruikt Feedfetcher om RSS- of Atom-feeds voor Google Play Kiosk en PubSubHubbub op te halen. Met Feedfetcher worden deze door gebruikers geactiveerde feeds verzameld en regelmatig vernieuwd. De feeds worden echter niet geïndexeerd in Google Zoeken in blogs of andere zoekservices van Google (feeds worden alleen in onze zoekresultaten weergegeven als ze door Googlebot zijn gecrawld). Hieronder vind je antwoorden op een aantal veelgestelde vragen over hoe deze door gebruikers geactiveerde feedophaler werkt.


Hoe kan ik aangeven dat Google bepaalde of alle feeds van mijn site niet moet ophalen?

Wanneer gebruikers een service of app toevoegen die Feedfetcher-gegevens gebruikt, probeert Feedfetcher van Google de content van de feed op te halen om deze weer te geven. Aangezien Feedfetcher-verzoeken worden geactiveerd door acties van gebruikers en niet door geautomatiseerde crawlers, volgt Feedfetcher de richtlijnen van robots.txt niet.

Als je feed voor iedereen beschikbaar is, kan Google niet voorkomen dat gebruikers toegang krijgen. Eén oplossing is je site configureren zodat er een 404-, 410- of ander foutstatusbericht wordt weergegeven aan de user-agent Feedfetcher-Google.

Als je feed wordt geleverd via een blog of hostingservice voor sites, werk je samen met die service om toegang tot je feed te beperken.

Hoe vaak haalt Feedfetcher mijn feeds op?

Feedfetcher haalt de feeds van de meeste sites ongeveer elk uur op, niet vaker. Feeds van sites die veel worden geüpdatet, worden wellicht sneller ververst. Wegens netwerkvertragingen lijkt het soms misschien of Feedfetcher je feeds vaker ophaalt.

Waarom probeert Feedfetcher onjuiste links te downloaden van mijn server of van een server die niet bestaat?

Met Feedfetcher worden feeds opgehaald op verzoek van services of apps die zijn geïnstalleerd door gebruikers. Het is mogelijk dat een gebruiker een URL-locatie van een feed heeft aangevraagd die niet bestaat.

Waarom downloadt Feedfetcher informatie van onze 'geheime' webserver?

Met Feedfetcher worden feeds opgehaald op verzoek van services of apps die zijn geïnstalleerd door gebruikers. Het verzoek is mogelijk afkomstig van een gebruiker die afweet van je 'geheime' server of een typefout heeft gemaakt.

Waarom negeert Feedfetcher de beperkingen die via mijn robots.txt-bestand zijn ingesteld?

Feedfetcher haalt alleen feeds op nadat gebruikers een service of app hebben gestart die gegevens uit de feed aanvraagt. Feedfetcher werkt als het ware in opdracht van de gebruiker en gedraagt zich niet als robot. Daarom worden beperkingen van robots.txt-bestanden genegeerd. Feedfetcher heeft één speciaal voordeel: aangezien Feedfetcher zich inzet voor meerdere gebruikers, wordt er bandbreedte bespaard doordat verzoeken voor feeds voor alle gebruikers eenmaal worden gedaan.

Je kunt voorkomen dat Feedfetcher je site crawlt door je server zo te configureren dat een 404- of 410-bericht of een ander foutstatusbericht wordt weergegeven voor user-agent Feedfetcher-Google.

Waarom zijn er resultaten van meerdere machines op Google, allemaal afkomstig van user-agent Feedfetcher?

Feedfetcher is ontworpen om op verschillende machines te worden gedistribueerd om de prestaties en schaal te verbeteren naarmate internet wordt uitgebreid. Om de hoeveelheid bandbreedte te verminderen, bevinden de gebruikte machines zich vaak in de buurt van de sites in het netwerk waarvan ze informatie ophalen.

Kunnen jullie me vertellen vanaf welke IP-adressen Feedfetcher verzoeken doet, zodat ik mijn logbestanden kan filteren?

De IP-adressen die door Feedfetcher worden gebruikt, worden soms gewijzigd. Je kunt Feedfetcher eenvoudig vinden via de user-agent: Feedfetcher-Google.

Waarom wordt dezelfde pagina op mijn site meerdere keren door Feedfetcher gedownload?

Over het algemeen downloadt Feedfetcher één exemplaar van elk bestand tijdens het ophalen van feeds. Soms worden de machines afgesloten en weer gestart, waardoor onlangs bezochte pagina's opnieuw worden opgehaald.

Welke soorten links worden door Feedfetcher gevolgd?

In tegenstelling tot normale webcrawlers worden links helemaal niet gevolgd door Feedfetcher. In plaats daarvan volgt Feedfetcher de verzoeken die worden ontvangen van gebruikers van een service of app die Feedfetcher gebruikt.

Mijn vraag over Feedfetcher wordt hier niet beantwoord. Waar kan ik meer hulp krijgen?

Als je nog steeds problemen ondervindt, kun je je vraag op het forum van Search Console posten.

Was dit nuttig?
Hoe kunnen we dit verbeteren?