Feedfetcher

Google erfasst mithilfe des Feedfetchers RSS- oder Atom-Feeds für Google Play Kiosk und PubSubHubbub. Der Feedfetcher erfasst diese nutzerseitig initiierten Feeds und aktualisiert sie regelmäßig, indiziert sie aber nicht in der Blogsuche oder anderen Suchdiensten von Google. Die Feeds erscheinen vielmehr nur dann in unseren Suchergebnissen, wenn sie vom Googlebot gecrawlt wurden. Im Folgenden erhalten Sie Antworten auf einige häufig gestellte Fragen zur Funktionsweise dieses nutzergesteuerten Feed-Abruf-Tools.


Wie beantrage ich, dass die Feeds auf meiner Website weder vollständig noch teilweise von Google abgerufen werden?

Wenn Nutzer einen Dienst oder eine App hinzufügen, die Feedfetcher-Informationen nutzt, versucht der Feedfetcher von Google, die Inhalte des Feeds abzurufen, damit diese angezeigt werden können. Da die Feedfetcher-Anfragen nicht von automatisierten Crawlern, sondern aus bewussten Handlungen menschlicher Nutzer stammen, berücksichtigt der Feedfetcher die Richtlinien von robots.txt nicht.

Wenn Ihr Feed öffentlich verfügbar ist, kann Google den Zugriff von Nutzern nicht verhindern. Eine Lösungsmöglichkeit ist, Ihre Website so zu konfigurieren, dass sie dem User-Agent Feedfetcher-Google eine Fehlermeldung mit dem Code 404, 410 oder einem anderen Code zurückgibt.

Wird Ihr Feed von einem Blog oder Hostanbieter für Websites bereitgestellt, wenden Sie sich bitte direkt an den jeweiligen Anbieter, um den Zugriff auf Ihren Feed zu verhindern.

Wie oft ruft der Feedfetcher meine Feeds ab?

Der Feedfetcher sollte von den meisten Websites durchschnittlich höchstens einmal pro Stunde Feeds abrufen. Manche häufig aktualisierten Websites werden unter Umständen öfter aktualisiert. Übrigens können Netzwerkverzögerungen vorübergehend den Eindruck erwecken, dass der Feedfetcher Ihre Feeds häufiger abruft.

Warum versucht der Feedfetcher, von meinem Server oder von einem nicht vorhandenen Server falsche Links herunterzuladen?

Der Feedfetcher ruft Feeds ab, wenn er durch die vom Nutzer installierten Dienste und Apps entsprechende Anforderungen erhält. Womöglich hat ein Nutzer eine nicht vorhandene Feed-URL angefordert.

Warum lädt der Feedfetcher Informationen von unserem "geheimen" Webserver herunter?

Der Feedfetcher ruft Feeds ab, wenn er durch die vom Nutzer installierten Dienste und Apps entsprechende Anforderungen erhält. Womöglich wurde die Anfrage von einem Nutzer gestellt, der von Ihrem "geheimen" Server weiß oder ihn versehentlich eingegeben hat.

Warum ignoriert der Feedfetcher meine robots.txt-Datei?

Der Feedfetcher ruft nur Feeds ab, nachdem Nutzer explizit Dienste oder Apps gestartet haben, die Daten aus dem Feed abrufen. Der Feedfetcher verhält sich nicht wie ein Roboter, sondern wie ein direkter Vertreter des menschlichen Nutzers und ignoriert daher robots.txt-Einträge. Der besondere Vorteil des Feedfetchers besteht darin, dass er sparsam mit der Bandbreite umgeht: Da er für mehrere Nutzer agiert, stellt er Anfragen nach verbreiteten Feeds nur jeweils einmal für alle Nutzer.

Sie können den Feedfetcher daran hindern, Ihre Website zu crawlen, indem Sie Ihren Server so konfigurieren, dass er dem User-Agent Feedfetcher-Google eine Fehlermeldung mit dem Code 404 oder 410 zurückgibt.

Warum gibt es bei Google.com Treffer verschiedener Computer, alle mit dem User-Agent "Feedfetcher"?

Der Feedfetcher wurde für den verteilten Betrieb auf mehreren Maschinen konzipiert, um so analog zum Wachstum des Webs seine Leistung und Abdeckung erhöhen zu können. Um nicht unnötig Bandbreite zu beanspruchen, sind die eingesetzten Maschinen oft in der Nähe derjenigen Websites zu finden, die von ihnen im Netzwerk abgefragt werden.

Können Sie mir die IP-Adressen mitteilen, von denen aus der Feedfetcher Anfragen stellt, sodass ich meine Protokolle entsprechend filtern kann?

Die vom Feedfetcher verwendeten IP-Adressen ändern sich von Zeit zu Zeit. Zugriffe vom Feedfetcher lassen sich am besten durch die Verwendung seines identifizierbaren User-Agents (Feedfetcher-Google) feststellen.

Warum lädt der Feedfetcher dieselbe Seite auf meiner Website mehrmals herunter?

Normalerweise sollte der Feedfetcher während eines bestimmten Feed-Abrufs nur eine Kopie jeder Datei von Ihrer Website herunterladen. In seltenen Fällen werden die Maschinen angehalten und neu gestartet. Dadurch werden kürzlich besuchte Seiten unter Umständen noch einmal abgefragt.

Welchen Arten von Links folgt der Feedfetcher?

Anders als normale Web-Crawler folgt der Feedfetcher nicht Links, sondern den Anfragen, die er vom Nutzer eines Dienstes oder einer App erhält, die den Feedfetcher verwendet.

Meine Frage zum Feedfetcher wird hier nicht beantwortet. Wo kann ich weitere Hilfe erhalten?

Falls Ihr Problem hier nicht gelöst werden konnte, stellen Sie Ihre Frage bitte im Search Console-Forum.

War das hilfreich?
Wie können wir die Seite verbessern?