Voor een aantal van uw producten is een landingspagina opgegeven (via het kenmerk link [link]) die niet door Google kan worden gecrawld. Het bestand robots.txt staat namelijk niet toe dat de crawler van Google de landingspagina downloadt. Deze producten blijven afgekeurd en worden niet meer in uw Shopping-advertenties en gratis productvermeldingen getoond totdat we de landingspagina kunnen crawlen.
Werk het robots.txt-bestand op uw webserver bij, zodat de crawler van Google de opgegeven bestemmingspagina's kan ophalen. Het bestand robots.txt staat meestal in de root-map van de webserver (bijvoorbeeld http://www.example.com/robots.txt).
Aangezien we toegang tot uw hele site nodig hebben, moet u zorgen dat het bestand robots.txt zowel de user-agent 'Googlebot' (voor landingspagina's) als 'Googlebot-image' (voor afbeeldingen) toestaat om uw site te crawlen.
U kunt een volledige sitecrawl toestaan door het bestand robots.txt als volgt te wijzigen:
User-agent: Googlebot
Disallow:
User-agent: Googlebot-image
Disallow:
Klik hier voor meer informatie over hoe u robots.txt configureert. U kunt uw huidige configuratie testen met de URL-inspectietool.
Als u deze problemen heeft opgelost en uw producten heeft geüpdatet via een nieuwe feedupload of de Content API, moeten de fouten die u hier ziet binnen een paar dagen zijn verdwenen. Deze tijd gebruiken we om te controleren of we de bestemmingspagina's die u heeft opgegeven kunnen crawlen. Als dat het geval is, worden de producten weer in uw Shopping-advertenties en -vermeldingen weergegeven. Wilt u dit proces sneller laten uitvoeren, dan kunt u de crawlsnelheid van Google verhogen.