W przypadku niektórych produktów masz podaną stronę docelową (w atrybucie link [link]), do której nie możemy uzyskać dostępu, ponieważ plik robots.txt zabrania robotowi Google jej pobrania. Te produkty pozostaną odrzucone i nie będą wyświetlane w reklamach produktowych ani bezpłatnych informacjach o produktach, dopóki nie uda nam się zindeksować strony docelowej.
Zaktualizuj plik robots.txt na swoim serwerze WWW, by robot Google mógł pobierać podane strony docelowe. Plik robots.txt zwykle znajduje się w katalogu głównym serwera WWW (np. http://www.example.com/robots.txt).
Aby umożliwić nam dostęp do całej witryny, sprawdź, czy plik robots.txt zezwala obu klientom użytkownika – „Googlebot” (dla stron docelowych) i „Googlebot-image” (dla obrazów) – na indeksowanie całej witryny.
Aby zezwolić na indeksowanie całej witryny, edytuj plik robots.txt w ten sposób:
User-agent: Googlebot
Disallow:
User-agent: Googlebot-image
Disallow:
Więcej informacji o konfiguracji pliku robots.txt znajdziesz tutaj. Możesz przetestować bieżącą konfigurację za pomocą narzędzia do sprawdzania adresów URL.
Gdy rozwiążesz te problemy i zaktualizujesz produkty, przesyłając nowy plik danych lub za pomocą interfejsu Content API, widoczne tu błędy powinny zniknąć w ciągu kilku dni. W tym czasie sprawdzimy, czy indeksowanie podanych stron docelowych jest możliwe. Następnie produkty zaczną być ponownie wyświetlane w reklamach produktowych i informacjach. Jeśli chcesz przyspieszyć ten proces, zwiększ szybkość indeksowania przez Google.