Bei mindestens einem Ihrer Produkte wird mit dem Attribut „Link“ [link] eine Landingpage angegeben, die von Google nicht gecrawlt werden kann, weil die Datei „robots.txt“ das Herunterladen der Landingpage beim Crawlen mit einem User-Agent für Mobilgeräte verhindert. Deswegen kann Google keine automatisierten Prüfungen der Qualität und Einhaltung der Richtlinien Ihrer Produkt-Landingpages durchführen, um eine optimale Nutzererfahrung zu gewährleisten. Die betroffenen Produkte werden in Shopping-Anzeigen und kostenlosen Produkteinträgen auf Computern und Mobilgeräten nicht mehr angezeigt, bis wir die Landingpage crawlen können.
Um dieses Problem zu beheben, aktualisieren Sie die robots.txt-Datei auf Ihrem Webserver, damit der Google-Crawler die angegebenen Landingpages abrufen kann. In der Regel befindet sich die Datei „robots.txt“ im Stammverzeichnis des Webservers (z. B. http://ihrunternehmen.de/robots.txt). Damit wir auf Ihre gesamte Website zugreifen können, muss Ihre robots.txt-Datei sowohl dem User-Agent „Googlebot“ (für Landingpages) als auch dem User-Agent „Googlebot-image“ (für Bilder) das Crawling Ihrer Website ermöglichen. Fügen Sie die folgenden Zeilen in Ihre robots.txt-Datei ein:
User-agent: Googlebot
Disallow:
User-agent: Googlebot-image
Disallow:
Weitere Informationen zur Konfiguration von „robots.txt“ Sie können Ihre aktuelle Konfiguration mit dem URL-Prüftool testen. Wichtig: Wählen Sie als Abruftyp „Smartphone“ aus.
Wenn Sie diese Probleme beheben und Ihre Artikel über einen neuen Feedupload oder über die Content API aktualisieren, müssten die hier aufgeführten Fehler nach wenigen Tagen nicht mehr angezeigt werden. In diesem Zeitraum können wir prüfen, ob wir auf die bereitgestellten Landingpages zugreifen können. Anschließend erscheinen die Artikel wieder in Shopping-Anzeigen und kostenlosen Einträgen. Um diesen Vorgang zu beschleunigen, können Sie die Crawling-Frequenz von Google erhöhen.