Modalità di scansione da parte di Google delle pagine adattabili alla lingua o località

Se il tuo sito presenta pagine adattabili alla lingua/località (vale a dire, se il tuo sito restituisce contenuti diversi in base al paese rilevato o alla lingua preferita del visitatore), Google potrebbe non sottoporre a scansione, indicizzare o posizionare tutti i tuoi contenuti per le diverse impostazioni internazionali. Questo perché gli indirizzi IP predefiniti del crawler Googlebot sembrano essere negli Stati Uniti. Inoltre, il crawler invia le richieste HTTP senza impostare Accept-Language nell'intestazione della richiesta.

Scansione con distribuzione geografica

Googlebot esegue la scansione con indirizzi IP al di fuori degli USA, oltre che con indirizzi IP degli Stati Uniti.

Come consigliamo sempre, quando Googlebot sembra provenire da un determinato paese dovresti considerarlo come qualsiasi altro utente della stessa località. Ciò significa che, se vieti l'accesso ai tuoi contenuti agli utenti degli Stati Uniti ma ne consenti la visualizzazione ai visitatori dell'Australia, il tuo server dovrebbe bloccare un Googlebot che sembra provenire dagli USA, ma consentire l'accesso a un Googlebot che sembra provenire dall'Australia.

Altre considerazioni