Assicurarsi che Googlebot non sia bloccato

Il divieto di accesso a un sito a Googlebot può incidere direttamente sulla capacità di Googlebot di eseguire la scansione e l'indicizzazione dei contenuti del sito e potrebbe causare un peggioramento del posizionamento nei risultati di ricerca di Google. Purtroppo molti webmaster impediscono accidentalmente a Googlebot di accedere al loro sito e Googlebot potrebbe anche non essere a conoscenza del sito, perché deve poter accedere a un sito per poter recuperare e rispettare le indicazioni presenti nel relativo file robots.txt.

Quando Google rileva questo problema, possiamo utilizzare Search Console per comunicare ai proprietari dei siti verificati che Googlebot è bloccato.

Identificazione dei problemi relativi al blocco di Googlebot

Se sospetti che a Googlebot sia stato impedito di accedere al tuo sito o se ricevi un messaggio in cui ti viene comunicato che potrebbe succedere, verifica in Search Console quanto riportato di seguito:

  • Errori di scansione. In questa pagina vengono elencati gli errori rilevati di recente da Googlebot durante il tentativo di scansione del tuo sito web.
  • Visualizza come Google. Questa pagina consente di richiedere a Google di eseguire la scansione di una pagina specifica e di visualizzare rapidamente i risultati (compresi gli errori).

Per ricevere ulteriore assistenza in merito alla diagnosi e alla risoluzione di questi problemi, visita il Forum di assistenza per i webmaster.

Cause comuni

Di seguito vengono spiegati alcuni motivi comuni per cui a Googlebot potrebbe essere impedito l'accesso al tuo sito web.

Problemi con il sistema DNS

Non è stato possibile comunicare con il server DNS durante il tentativo di accesso al sito web. Questo problema potrebbe essere dovuto al fatto che il server DNS non è disponibile oppure esiste un problema di routing del DNS per il tuo dominio.

Per risolvere il problema, assicurati che il provider DNS non stia bloccando Googlebot, magari inavvertitamente.

Firewall

In alcuni casi, un sistema di protezione DoS (a volte il sistema di gestione dei contenuti del sito) o un firewall configurato in modo errato impedisce a Googlebot di eseguire la scansione del sito web. I sistemi di protezione sono un elemento importante di un valido hosting e sono spesso configurati in modo da bloccare automaticamente quantità insolitamente elevate di richieste del server. Tuttavia, Googlebot spesso fa più richieste rispetto a un utente, pertanto può causare l'attivazione di questi sistemi di protezione che bloccano Googlebot e gli impediscono di eseguire la scansione del tuo sito web.

Per risolvere questi problemi, identifica la parte dell'infrastruttura del tuo sito web che sta bloccando Googlebot e rimuovi il blocco. Il firewall potrebbe non essere sotto il tuo controllo, pertanto potresti dover contattare il tuo provider host.

Blocco intenzionale dei webmaster

Alcuni webmaster impediscono intenzionalmente a Googlebot di raggiungere i loro siti web, anche utilizzando un firewall come spiegato in precedenza. Generalmente in questi casi lo scopo non è bloccare completamente Googlebot, ma determinare la modalità di scansione e indicizzazione del sito. In questo caso, leggi quanto segue.

Ulteriore assistenza

Per ricevere ulteriore assistenza in merito alla diagnosi e alla risoluzione di questi problemi, visita il Forum di assistenza per i webmaster.

Hai trovato utile questo articolo?
Come possiamo migliorare l'articolo?