Mengubah kecepatan crawling Googlebot

Istilah kecepatan crawling berarti jumlah permintaan per detik yang dilakukan Googlebot ke situs Anda saat meng-crawl situs tersebut: misalnya 5 permintaan per detik.

Anda tidak dapat mengubah frekuensi Google dalam meng-crawl situs Anda, tetapi jika Anda ingin Google meng-crawl konten baru atau yang diperbarui di situs, Anda dapat meminta crawling ulang.

Penggunaan yang tepat

Google memiliki algoritme canggih untuk menentukan kecepatan crawling yang optimal pada sebuah situs. Tujuan kami adalah meng-crawl sebanyak mungkin halaman situs Anda pada setiap kunjungan tanpa membuat bandwidth server Anda mengalami kelebihan beban.

Jika Google membuat terlalu banyak permintaan per detik ke situs Anda dan memperlambat server, Anda dapat membatasi kecepatan Google dalam meng-crawl situs Anda.

Anda dapat membatasi kecepatan crawling untuk situs level root, misalnya www.example.com dan http://subdomain.example.com. Kecepatan crawling yang Anda tetapkan adalah kecepatan crawling maksimum yang harus dilakukan Googlebot. Perlu diingat bahwa hal tersebut tidak menjamin Googlebot akan mencapai kecepatan maksimum ini.

Jangan membatasi kecepatan crawling kecuali Anda melihat masalah pemuatan server yang pasti disebabkan oleh Googlebot yang menjadikan server Anda bekerja terlalu berat.

Anda tidak dapat mengubah kecepatan crawling untuk situs yang tidak berada di level root, misalnya www.example.com/folder.

Membatasi kecepatan crawling

  1. Buka halaman Setelan Kecepatan Crawling untuk properti Anda.
    • Jika kecepatan crawling Anda dideskripsikan sebagai "dihitung sebagai optimal", satu-satunya cara untuk mengurangi kecepatan crawling adalah dengan mengajukan permintaan khusus. Anda tidak dapat meningkatkan kecepatan crawling.
    • Atau, pilih opsi yang Anda inginkan, lalu batasi kecepatan crawling sesuai keinginan. Kecepatan crawling yang baru akan valid selama 90 hari.

 

Apakah ini membantu?
Bagaimana cara meningkatkannya?