Für einige Ihrer Produkte wird über das Attribut „Link“ [link] eine Landingpage angegeben, die von Google nicht gecrawlt werden kann, weil die Datei „robot.txt“ das Herunterladen der Landingpage durch den Google-Crawler verhindert. Diese Produkte werden abgelehnt und erscheinen erst wieder in Shopping-Anzeigen und kostenlosen Produkteinträgen, wenn wir die Landingpage crawlen können.
Aktualisieren Sie die Datei „robots.txt“ auf Ihrem Webserver, damit der Google-Crawler die angegebenen Landingpages abrufen kann. Die robots.txt-Datei befindet sich normalerweise im Stammverzeichnis des Webservers (Beispiel: http://ihrunternehmen.de/robots.txt).
Damit Google auf Ihre gesamte Website zugreifen kann, achten Sie darauf, dass Ihre Datei „robots.txt“ sowohl dem User-Agent „Googlebot“ (für Landingpages) als auch dem User-Agent „Googlebot-image“ (für Bilder) das vollständige Crawlen Ihrer Website erlaubt..
Die folgenden Änderungen der Datei „robots.txt“ erlauben dem Crawler, Ihre komplette Website zu untersuchen:
User-agent: Googlebot
Disallow:
User-agent: Googlebot-image
Disallow:
Weitere Informationen dazu, wie Sie „robots.txt“ konfigurieren können, finden Sie in der Dokumentation unter Einführung zu robots.txt-Dateien. Sie können Ihre aktuelle Konfiguration mit dem URL-Prüftool testen.
Wenn Sie diese Probleme behoben und Ihre Produkte über einen neuen Feedupload oder über die Content API aktualisiert haben, werden die Produkte nicht mehr abgelehnt – allerdings erst nach einigen Tagen. Diese Zeit brauchen wir, um zu prüfen, ob wir die bereitgestellten Landingpages jetzt crawlen können. Erst dann erscheinen die Produkte wieder in Shopping-Anzeigen und Einträgen. Um diesen Vorgang zu beschleunigen, können Sie die Crawling-Frequenz von Google erhöhen.