Mengubah kecepatan crawling Googlebot

Istilah kecepatan crawling berarti jumlah permintaan per detik yang dilakukan Googlebot ke situs Anda saat meng-crawl situs tersebut: misalnya 5 permintaan per detik.

Anda tidak dapat mengubah frekuensi Google dalam meng-crawl situs Anda, tetapi jika Anda ingin Google meng-crawl konten baru atau yang diperbarui di situs, Anda dapat meminta crawling ulang.

Penggunaan yang tepat

Google memiliki algoritme canggih untuk menentukan kecepatan crawling yang optimal pada sebuah situs. Tujuan kami adalah meng-crawl sebanyak mungkin halaman situs Anda pada setiap kunjungan tanpa membuat bandwidth server Anda mengalami kelebihan beban.

Jika Google membuat terlalu banyak permintaan per detik ke situs Anda dan memperlambat server, Anda dapat membatasi kecepatan Google dalam meng-crawl situs Anda.

Anda dapat membatasi kecepatan crawling untuk situs level root, misalnya www.example.com dan http://subdomain.example.com. Kecepatan crawling yang Anda tetapkan adalah kecepatan crawling maksimum yang harus dilakukan Googlebot. Perlu diingat bahwa hal tersebut tidak menjamin Googlebot akan mencapai kecepatan maksimum ini.

Jangan membatasi kecepatan crawling kecuali Anda melihat masalah pemuatan server yang pasti disebabkan oleh Googlebot sehingga server bekerja terlalu berat.

Anda tidak dapat mengubah kecepatan crawling untuk situs yang tidak berada di level root, misalnya www.example.com/folder.

Membatasi kecepatan crawling

1. Buka halaman Setelan Kecepatan Crawling untuk properti Anda.
   • Jika kecepatan crawling Anda dideskripsikan sebagai "dihitung sebagai optimal", satu-satunya cara untuk mengurangi kecepatan crawling adalah dengan mengajukan permintaan khusus. Anda tidak dapat meningkatkan kecepatan crawling.
   • Atau, pilih opsi yang Anda inginkan, lalu batasi kecepatan crawling sesuai keinginan. Kecepatan crawling yang baru akan berlaku selama 90 hari.

Batasan crawl darurat

Jika situs Anda terlalu sering di-crawl hingga mengalami masalah ketersediaan, berikut cara menghindarinya:

1. Tentukan crawler Google mana yang terlalu sering meng-crawl situs Anda. Lihat log situs Anda atau gunakan laporan Statistik Crawling.
2. Solusi cepat:
   • Jika Anda menginginkan solusi sederhana, gunakan robots.txt untuk memblokir crawling dari agen dengan beban berlebih (googlebot, adsbot, dll.). Namun, pilihan ini dapat memerlukan waktu hingga satu hari untuk diterapkan. Namun, jangan memblokir terlalu lama karena hal ini dapat berdampak jangka panjang terhadap crawling Anda.
   • Jika Anda dapat mendeteksi dan merespons peningkatan beban secara dinamis, tampilkan HTTP 503/429 saat batas penayangan hampir tercapai. Pastikan untuk tidak menampilkan 503 atau 429 selama lebih dari dua atau tiga hari, atau Google dapat mendeteksinya sebagai sinyal agar lebih jarang meng-crawl situs Anda dalam jangka panjang.
3. Ubah kecepatan crawling menggunakan halaman Setelan Kecepatan Crawling, jika opsi ini tersedia.
4. Dua atau tiga hari kemudian, saat kecepatan crawling Google diadaptasi, Anda dapat menghapus pemblokiran robots.txt atau berhenti menampilkan kode error 503 atau 429.
5. Jika Anda kewalahan dengan melakukan crawling AdsBot, kemungkinan besar Anda telah membuat terlalu banyak target untuk Iklan Penelusuran Dinamis di situs Anda menggunakan URL_Equals atau feed halaman. Jika tidak memiliki kapasitas server untuk menangani crawl ini, Anda harus membatasi target iklan, menambahkan URL dalam batch yang lebih kecil, atau meningkatkan kapasitas penayangan. Ingat bahwa AdsBot akan meng-crawl halaman Anda setiap 2 minggu, sehingga Anda harus memperbaiki masalah tersebut atau masalah akan berulang.
6. Perlu diperhatikan bahwa, jika Anda membatasi kecepatan crawling menggunakan halaman setelan crawl, kecepatan crawling akan dikembalikan ke penyesuaian otomatis setelah 90 hari.