Il termine frequenza di scansione indica il numero di richieste al secondo che Googlebot invia al tuo sito durante la scansione, ad esempio cinque richieste al secondo.
Non puoi cambiare la frequenza con cui Google esegue la scansione del tuo sito. Se però vuoi che Google esegua la scansione dei contenuti nuovi o aggiornati del tuo sito, puoi richiedere una nuova scansione.
Utilizzo corretto
Google dispone di sofisticati algoritmi che consentono di determinare la velocità di scansione ottimale di un sito. Il nostro obiettivo è eseguire a ogni visita la scansione del maggior numero possibile di pagine del tuo sito senza sovraccaricare la larghezza di banda del server.
Se Google invia troppe richieste al secondo al tuo sito e rallenta così il server, puoi limitare la velocità di scansione del tuo sito da parte di Google.
Puoi limitare la frequenza di scansione per i siti a livello di directory principale, ad esempio www.example.com e http://subdomain.example.com. La frequenza di scansione impostata è la frequenza massima che Googlebot dovrebbe utilizzare per la scansione. Tieni presente che non è garantito che Googlebot raggiunga tale frequenza massima.
Sconsigliamo di limitare la frequenza di scansione, a meno che non riscontri problemi di carico sul server causati sicuramente dal sovraccarico del server da parte di Googlebot.
Non puoi cambiare la frequenza di scansione per i siti che non sono a livello della directory principale, ad esempio www.example.com/cartella.
Limitare la frequenza di scansione
- Apri la pagina Impostazioni della frequenza di scansione relativa alla tua proprietà.
- Se la frequenza di scansione è "ritenuta ottimale", l'unico modo per ridurla è inviare una richiesta speciale. Non puoi aumentare la frequenza di scansione.
- In caso contrario, seleziona l'opzione desiderata e limita la frequenza di scansione come preferisci. La nuova frequenza di scansione sarà valida per 90 giorni.
Limitare le scansioni per emergenze
Se il tuo sito viene sottoposto a una scansione tanto approfondita da presentare problemi di disponibilità, ecco come proteggerlo:
- Stabilisci quale crawler di Google sta eseguendo una scansione del tuo sito superiore al solito. Controlla i log del sito web o utilizza il rapporto Statistiche di scansione.
- Soluzione immediata:
- Una soluzione semplice è utilizzare il file robots.txt per bloccare la scansione dell'agente causa del sovraccarico (googlebot, adsbot e così via). Tuttavia, l'operazione può richiedere fino a un giorno per diventare effettiva. Non applicare questo blocco troppo a lungo, poiché potrebbero avere effetti a lungo termine sulla scansione.
- Se riesci a rilevare e rispondere all'aumento del carico in modo dinamico, restituisci HTTP 503/429 quando stai per raggiungere il limite di pubblicazione. Evita, tuttavia, di restituire 503 o 429 per più di due o tre giorni, poiché questo potrebbe segnalare a Google di eseguire la scansione del tuo sito con minore frequenza nel lungo termine.
- Modifica la frequenza di scansione utilizzando la pagina Impostazioni della frequenza di scansione, se disponibile.
- Due o tre giorni dopo, quando la frequenza di scansione di Google si è adattata, puoi rimuovere i blocchi del file robots.txt o interrompere la restituzione dei codici di errore 503 o 429.
- Se stai subendo un sovraccarico di scansioni di AdsBot, è probabile che tu abbia creato troppi target per gli Annunci dinamici della rete di ricerca sul tuo sito utilizzando
URL_Equalso feed di pagine. Se la capacità del tuo server non è sufficiente a gestire queste scansioni, devi limitare i target degli annunci, aggiungere URL in gruppi più piccoli o aumentare la capacità di pubblicazione. Tieni presente che AdsBot eseguirà la scansione delle tue pagine ogni due settimane, pertanto dovrai risolvere il problema o si ripeterà. - Tieni presente che, se hai limitato la frequenza di scansione utilizzando la pagina delle impostazioni di scansione, la frequenza di scansione riprenderà ad autoregolarsi dopo 90 giorni.
