Laporan Statistik Crawling

Laporan Statistik Crawling menunjukkan statistik tentang histori crawling Google di situs. Misalnya, jumlah permintaan yang dibuat dan waktunya, respons server, serta masalah ketersediaan yang ditemukan. Anda dapat menggunakan laporan ini untuk mendeteksi apakah Google menemukan masalah penayangan saat meng-crawl situs.

Laporan ini ditujukan untuk pengguna tingkat lanjut. Jika situs memiliki kurang dari seribu halaman, Anda tidak perlu menggunakan laporan ini atau mengkhawatirkan level detail crawling ini.

Laporan ini hanya tersedia untuk properti tingkat root. Artinya, properti harus berupa Properti domain (seperti example.com atau m.example.com) atau properti awalan URL di tingkat root (https://example.com, http://example.com, http://m.example.com).

Buka laporan Statistik Crawling

Crawl Budget and the Crawl Stats report - Google Search Console Training

Anda dapat menjangkau laporan Statistik Crawling di Search Console dengan mengklik Setelan (Setelan properti) > Statistik crawling.

Memulai

Anda harus memahami informasi berikut sebelum menggunakan laporan ini:

Tentang data

  • Semua URL yang ditampilkan dan dihitung adalah URL sebenarnya yang diminta oleh Google; data tidak ditetapkan ke URL kanonis seperti yang dilakukan di beberapa laporan lainnya.
  • Jika URL memiliki pengalihan, setiap permintaan di rantai pengalihan dihitung sebagai permintaan terpisah. Jadi, jika halaman1 mengalihkan ke halaman2, yang mengalihkan ke halaman3, jika Google meminta halaman1, Anda akan melihat permintaan yang terpisah untuk halaman1 (menampilkan 301/302), halaman2 (menampilkan 301/302), dan halaman3 (yang diharapkan untuk menampilkan 200). Ingat bahwa hanya halaman di domain saat ini yang ditampilkan.
  • Crawl yang dipertimbangkan tetapi tidak dilakukan karena robots.txt tidak tersedia akan dihitung dalam total crawl, tetapi detail laporan tentang upaya tersebut mungkin terbatas. Informasi selengkapnya
  • Resource dan cakupan:
    • Semua data dibatasi untuk domain yang saat ini dipilih. Permintaan ke domain lain tidak akan ditampilkan. Ini mencakup permintaan untuk setiap resource halaman (seperti gambar) yang dihosting di luar properti ini. Jadi, jika halaman example.com/mypage mencakup gambar google.com/img.png, permintaan untuk google.com/img.png tidak akan ditampilkan dalam laporan Statistik Crawling untuk properti example.com.
    • Demikian pula, permintaan ke domain selevel (en.example dan de.example) tidak akan ditampilkan. Jadi, jika Anda melihat laporan Statistik Crawling untuk en.example, permintaan gambar untuk de.example tidak akan ditampilkan.
    • Namun, permintaan antara subdomain dapat dilihat dari domain induk. Misalnya, jika Anda mengecek data untuk example.com, Anda dapat melihat semua permintaan ke example.com, en.example, de.example.com, dan domain turunan lainnya pada tingkat apa pun di bawah example.com.
    • Sebaliknya, jika resource properti digunakan oleh satu halaman di domain lain, Anda mungkin melihat permintaan crawl yang terkait dengan halaman host tersebut, tetapi tidak akan melihat konteks apa pun yang menunjukkan bahwa resource sedang di-crawl karena digunakan oleh halaman di domain lain (artinya, Anda tidak akan melihat bahwa gambar example.com/imageX.png di-crawl karena disertakan dalam halaman anotherexample.com/mypage.)
    • Data crawl mencakup protokol http dan https, meskipun untuk properti awalan URL. Ini berarti laporan Statistik Crawling untuk http://example.com mencakup permintaan ke http://example.com dan https://example.com. Namun, contoh URL untuk properti awalan URL terbatas pada protokol yang ditentukan untuk properti (http atau https).
Masalah umum: Laporan Statistik Crawling saat ini melaporkan sebagian besar permintaan crawl, tetapi beberapa permintaan mungkin tidak dihitung karena berbagai alasan. Kami memperkirakan cakupan kami akan meningkat seiring waktu untuk menjangkau sebagian besar, bahkan semua permintaan. Oleh karena itu, Anda mungkin menemukan sedikit perbedaan antara log permintaan situs dan jumlah yang dilaporkan di sini.

Melihat laporan

Klik entri tabel mana pun untuk mendapatkan tampilan mendetail item tersebut, termasuk daftar contoh URL. Klik URL untuk mendapatkan detail permintaan crawl khusus tersebut. Misalnya, pada tabel yang menampilkan respons yang dikelompokkan berdasarkan jenis, klik baris HTML untuk melihat informasi crawl gabungan semua halaman HTML yang di-crawl di situs, serta detail seperti waktu crawl, kode respons, ukuran respons, dan lainnya untuk pilihan contoh URL tersebut.

Host dan domain turunan

Jika properti Anda berada di tingkat domain (example.com, http://example.com, https://m.example.com), dan berisi dua domain turunan atau lebih (misalnya, fr.example.com dan de.example.com), Anda dapat melihat data untuk induk, yang mencakup semua turunan, atau dibatasi ke satu domain turunan.

Untuk melihat laporan yang dibatasi untuk turunan tertentu, klik turunan di daftar Host pada halaman landing domain induk. Hanya 20 domain turunan teratas yang menerima traffic dalam 90 hari terakhir yang ditampilkan.

Contoh URL

Anda dapat mengklik salah satu entri jenis data yang dikelompokkan (respons, jenis file, tujuan, jenis Googlebot) untuk melihat daftar contoh URL jenis tersebut.

Contoh URL tidak lengkap, melainkan hanya sebagai contoh representatif. Jika Anda tidak menemukan URL yang tercantum, bukan berarti kami tidak memintanya. Jumlah contoh dapat dihitung berdasarkan hari, dan Anda mungkin mendapati bahwa beberapa jenis permintaan mungkin memiliki lebih banyak contoh dibandingkan jenis lainnya. Ini akan lebih berimbang seiring waktu.

Total permintaan crawl

Jumlah total permintaan crawl yang dikeluarkan untuk URL di situs, baik berhasil atau tidak. Jumlah ini mencakup permintaan untuk resource yang digunakan oleh halaman jika resource ini ada di situs. Permintaan ke resource yang dihosting di luar situs tidak dihitung. Permintaan duplikat untuk URL yang sama akan dihitung secara terpisah. Jika file robots.txt tidak cukup tersedia, kemungkinan pengambilan akan dihitung.

Permintaan gagal yang dihitung adalah sebagai berikut:

Total ukuran download

Jumlah total byte yang didownload dari situs selama crawling, selama jangka waktu tertentu. Jika Google meng-cache resource halaman yang digunakan oleh beberapa halaman, resource hanya diminta untuk kali pertama (saat di-cache).

Waktu respons rata-rata

Waktu respons rata-rata untuk semua resource yang diambil dari situs selama jangka waktu tertentu. Setiap resource yang ditautkan oleh halaman dihitung sebagai respons terpisah.

Status host

Status host menjelaskan apakah Google menemukan masalah ketersediaan atau tidak saat mencoba meng-crawl situs. Status dapat berupa salah satu dari nilai berikut:

  • No significant availability issues icon
    Google tidak menemukan masalah ketersediaan crawl yang signifikan di situs dalam 90 hari terakhir--bagus! Dalam kondisi ini, tidak ada yang harus dilakukan.
  • Some availability issues, but not recently
    Google menemukan setidaknya satu masalah ketersediaan crawl signifikan dalam 90 hari terakhir di situs, tetapi masalah tersebut terjadi lebih dari satu minggu lalu. Error ini mungkin merupakan masalah sementara, atau masalah tersebut mungkin telah teratasi. Anda harus memeriksa tabel Respons untuk melihat apa masalahnya, dan memutuskan apakah perlu mengambil tindakan.
  • Recent availability issue
    Google menemukan setidaknya satu masalah ketersediaan crawl penting pada minggu lalu di situs Anda. Karena error tersebut terjadi baru-baru ini, Anda harus mencoba menentukan apakah ini merupakan masalah berulang. Periksa tabel Respons untuk memeriksa apa masalahnya, lalu tentukan apakah perlu mengambil suatu tindakan.
Yang perlu diperhatikan

Idealnya, status host harus Hijau. Jika status ketersediaan berwarna merah, klik untuk melihat detail ketersediaan untuk ketersediaan robots.txt, resolusi DNS, dan konektivitas host.

Detail status host

Status ketersediaan host dinilai dalam kategori berikut. Error penting dalam kategori apa pun dapat menyebabkan status ketersediaan yang lebih rendah. Klik kategori dalam laporan untuk melihat detail selengkapnya.

Untuk setiap kategori, Anda akan melihat diagram data crawl untuk jangka waktu tertentu. Diagram tersebut memiliki garis merah putus-putus; jika metrik berada di atas garis putus-putus untuk kategori ini (misalnya, jika resolusi DNS gagal untuk lebih dari 5% permintaan pada hari tertentu), maka hal ini dianggap sebagai masalah untuk kategori tersebut, dan statusnya akan mencerminkan keterkinian masalah terakhir.

  • Pengambilan robots.txt
    Grafik menunjukkan tingkat kegagalan untuk permintaan robots.txt selama crawl. Google meminta file ini secara rutin, dan jika permintaan tidak menunjukkan file yang valid (baik diisi ataupun kosong) atau respons 404 (file tidak ada), maka Google akan memperlambat atau menghentikan crawling situs hingga memperoleh respons robots.txt yang dapat diterima. (Lihat detailnya di bawah ini)
  • Resolusi DNS
    Grafik menunjukkan kapan server DNS tidak mengenali nama host atau tidak merespons selama crawling. Jika Anda melihat error, hubungi registrar untuk memastikan bahwa situs telah disiapkan dengan benar dan server sudah tersambung ke Internet.
  • Konektivitas server
    Grafik menunjukkan kapan server tidak merespons atau tidak memberikan respons lengkap untuk URL selama crawling. Lihat Error server untuk mempelajari cara mengatasi error ini.
Detail ketersediaan robots.txt selengkapnya

Berikut adalah deskripsi yang lebih detail tentang cara Google memeriksa (dan bergantung pada) file robots.txt saat meng-crawl situs.

Situs tidak wajib memiliki file robots.txt, tapi harus menunjukkan respons yang berhasil (sebagaimana didefinisikan di bawah ini) saat dimintai file ini; jika tidak, Google mungkin berhenti meng-crawl situs.

  • Respons robots.txt yang berhasil
  • Kondisi berikut dianggap sebagai respons yang berhasil:
    • HTTP 200 dan file robots.txt (file mungkin valid, tidak valid, atau kosong). Jika file memiliki error sintaksis di dalamnya, permintaan masih dianggap berhasil, meskipun Google mungkin mengabaikan aturan apa pun yang memiliki error sintaksis.
    • HTTP 403/404/410 (file tidak ada). Situs tidak diwajibkan memiliki file robots.txt.
  • Respons robots.txt yang gagal

Berikut adalah cara Google meminta dan menggunakan file robots.txt saat meng-crawl situs:

  1. Sebelum meng-crawl situs, pertama-tama Google akan memeriksa apakah ada permintaan robots.txt terbaru yang berhasil (kurang dari 24 jam terakhir).
  2. Jika Google memiliki  respons robots.txt terbaru yang berhasil, crawling akan dimulai, dengan mematuhi aturan robots.txt yang diambil.
  3. Jika Google tidak memiliki respons robots.txt terbaru yang berhasil, atau jika respons terakhir gagal, Google akan meminta file robots.txt:
    • Jika berhasil, crawl dapat dimulai.
    • Jika gagal, Google akan berhenti melakukan crawling, tetapi akan terus meminta file robots.txt selama sekitar 30 hari. Jika Google tetap gagal memperoleh respons robots.txt setelah 30 hari:
      • Jika sebagian besar URL lain di situs dapat diakses, Google menggunakan aturan robots.txt terakhir yang berhasil diambil dan akan melakukan crawling berdasarkan itu.
      • Jika situs pada umumnya tidak dapat diakses, Google akan menghentikan crawling situs secara perlahan.
Setiap crawl yang ditinggalkan karena file robots.txt tidak tersedia dihitung dalam total crawling. Namun, crawl ini sebenarnya tidak dilakukan, sehingga beberapa laporan pengelompokan (crawl berdasarkan tujuan, crawl berdasarkan respons, dan sebagainya) tidak akan mencantumkan crawl tersebut, atau mungkin informasinya terbatas.

Respons crawl

Tabel ini menunjukkan respons yang diterima Google saat meng-crawl situs, yang dikelompokkan berdasarkan jenis respons, sebagai persentase dari semua respons crawl. Data didasarkan pada jumlah total permintaan, bukan menurut URL, jadi jika Google meminta URL dua kali dan mendapatkan error Server (500) untuk pertama kalinya, dan OK (200) untuk kedua kalinya, responsnya akan menjadi 50% error Server dan 50% OK.

Yang perlu diperhatikan
Sebagian besar respons harus berupa 200 atau respons jenis "Baik" lainnya, kecuali jika Anda melakukan pengaturan ulang situs atau pemindahan situs. Lihat daftar di bawah untuk mempelajari cara menangani kode respons lainnya.

 

Berikut adalah beberapa kode respons umum serta cara menanganinya:

Kode respons yang baik

Halaman ini tidak bermasalah dan tidak menyebabkan masalah apa pun.

  • OK (200): Dalam keadaan normal, sebagian besar harus merupakan respons 200.
  • Dipindahkan secara permanen (301): Halaman menampilkan respons HTTP 301 (dipindahkan secara permanen), yang mungkin diinginkan.
  • Dipindahkan sementara (302): Halaman menampilkan respons HTTP 302 (dipindahkan sementara), yang mungkin diinginkan. Jika halaman ini dipindahkan secara permanen, ubah ke 301.
  • Dipindahkan (lainnya): Respons pengalihan 300 lainnya (bukan 301 atau 302).
  • Tidak diubah (304): Halaman belum berubah sejak permintaan crawl terakhir.

Kode respons yang kemungkinan baik

Respons ini mungkin tidak masalah, tetapi Anda dapat memeriksa untuk memastikan bahwa ini adalah yang diinginkan.

  • Diblokir oleh robots.txt: Ini biasanya berfungsi seperti yang diinginkan. Namun, Anda sebaiknya memastikan bahwa halaman atau resource apa pun yang Anda inginkan untuk di-crawl Google tidak terblokir. Pelajari file robots.txt lebih lanjut.
  • Error Tidak ditemukan (404) mungkin disebabkan oleh link rusak di dalam atau di luar situs. Mengatasi semua error 404 di situs tidak memungkinkan, sepadan, atau bahkan diinginkan, dan sering kali 404 adalah kode respons yang ditampilkan dengan benar (misalnya, jika halaman benar-benar hilang tanpa pengganti). Pelajari cara mengatasi error 404 atau apakah error tersebut harus diatasi.

Kode respons yang buruk

Anda harus memperbaiki halaman yang menampilkan error ini untuk meningkatkan crawling.

  • Robots.txt tidak tersedia: Jika file robots.txt tetap tidak tersedia selama satu hari, Google akan menghentikan crawling selama beberapa saat hingga memperoleh respons yang dapat diterima untuk permintaan robots.txt. Pastikan untuk tidak menyelubungkan file robots.txt ke Google atau membedakan halaman robots.txt berdasarkan agen pengguna.
    Respons ini tidak sama seperti menampilkan "Tidak ditemukan (404)" untuk file robots.txt, yang dianggap sebagai respons yang baik. Lihat detail robots.txt selengkapnya.
  • Tidak sah (401/407): Sebaiknya blokir halaman ini agar tidak di-crawl dengan robots.txt, atau putuskan apakah halaman tersebut harus dibatalkan pemblokirannya. Jika halaman ini tidak memiliki data aman dan Anda ingin halaman tersebut di-crawl, pertimbangkan untuk memindahkan informasi ke halaman yang tidak diamankan, atau mengizinkan entri ke Googlebot tanpa login (meskipun akan diperingatkan bahwa Googlebot dapat di-spoofing, sehingga mengizinkan entri untuk Googlebot akan efektif menghapus keamanan halaman).
  • Error server (5XX): Error ini menyebabkan peringatan ketersediaan dan harus diatasi jika memungkinkan. Diagram thumbnail menunjukkan perkiraan waktu error ini terjadi; klik untuk melihat detail selengkapnya dan waktunya secara tepat. Tentukan apakah ini adalah masalah sementara atau mewakili error ketersediaan yang lebih dalam di situs. Jika Google terlalu sering meng-crawl situs, Anda dapat meminta kecepatan crawling yang lebih rendah. Jika ini merupakan indikasi masalah ketersediaan yang serius, baca tentang lonjakan crawling. Lihat Error server untuk mempelajari cara mengatasi error ini.
  • Error klien lainnya (4XX): Error 4XX lainnya (sisi klien) yang tidak disebutkan di sini. Sebaiknya atasi masalah ini.
  • DNS tidak responsif: Server DNS tidak merespons permintaan untuk URL di situs.
  • Error DNS: Error DNS lain yang tidak disebutkan.
  • Error pengambilan: Halaman tidak dapat diambil karena buruknya nomor port, alamat IP, atau respons yang tak terurai.
  • Halaman tidak dapat dijangkau: Error apa pun lainnya dalam pengambilan halaman yang menyebabkan permintaan tidak pernah mencapai server. Karena tidak pernah mencapai server, permintaan ini tidak akan muncul dalam log.
  • Waktu tunggu halaman: Waktu tunggu halaman habis.
  • Error pengalihan: Error pengalihan permintaan, seperti terlalu banyak pengalihan, pengalihan kosong, atau pengalihan melingkar.
  • Error lain: Error lain yang tidak sesuai dengan kategori mana pun di atas.

Jenis file yang di-crawl

Jenis file yang ditampilkan oleh permintaan. Nilai persentase untuk setiap jenis adalah persentase respons jenis tersebut, bukan persentase byte yang diambil dari jenis tersebut.

Kemungkinan nilai:

  • HTML
  • Gambar
  • Video - Salah satu format video yang didukung.
  • JavaScript
  • CSS
  • PDF
  • XML lainnya - File XML yang tidak mencakup RSS, KML, atau format lain yang dibuat dengan XML.
  • JSON
  • Sindikasi - Feed RSS atau Atom
  • Audio
  • Data geografis - KML atau data geografis lainnya.
  • Jenis file lainnya - Jenis file lain yang tidak disebutkan di sini.
  • Tidak dikenal (Gagal) - Jika permintaan gagal, maka jenis file tidak dikenal.
Yang perlu diperhatikan
Jika Anda melihat masalah ketersediaan atau kecepatan respons yang lambat, periksa tabel ini untuk mengetahui jenis resource yang di-crawl Google dan alasan hal ini dapat memperlambat crawling. Apakah Google meminta banyak gambar kecil yang seharusnya diblokir? Apakah Google meminta resource yang dihosting di situs lain yang kurang responsif? Klik jenis file yang berbeda untuk melihat diagram waktu respons rata-rata serta jumlah permintaan berdasarkan tanggal, untuk melihat apakah lonjakan respons lambat dengan jenis tersebut sesuai dengan lonjakan kelambatan atau ketidaktersediaan umum.

Tujuan crawl

  • Penemuan: URL yang diminta tidak pernah di-crawl oleh Google sebelumnya.
  • Refresh: Crawling ulang halaman yang dikenal.

Jika Anda dengan cepat mengubah halaman yang jarang di-crawl ulang, pastikan halaman tersebut disertakan dalam peta situs. Untuk halaman yang diperbarui lebih lambar, Anda mungkin perlu meminta crawling ulang secara khusus. Jika baru-baru ini menambahkan banyak konten baru, atau mengirimkan peta situs, idealnya Anda akan melihat lonjakan crawl penemuan di situs.

Jenis Googlebot

Jenis agen pengguna yang digunakan untuk membuat permintaan crawl. Google memiliki sejumlah agen pengguna yang melakukan crawling karena berbagai alasan dan memiliki perilaku berbeda. Jenis berikut dilaporkan.

  • Smartphone: Smartphone Googlebot
  • Desktop: Dekstop Googlebot
  • Gambar: Gambar Googlebot. Jika gambar dimuat sebagai resource halaman, jenis Googlebot dihitung sebagai Pemuatan resource halaman, bukan sebagai Gambar.
  • Video: Video Googlebot. Jika video dimuat sebagai resource halaman, jenis Googlebot dihitung sebagai Pemuatan resource halaman, bukan sebagai Video.
  • Pemuatan resource halaman: Pengambilan sekunder untuk resource yang digunakan oleh halaman. Saat meng-crawl halaman, Google mengambil resource penting yang ditautkan seperti gambar atau file CSS, untuk merender halaman sebelum mencoba mengindeksnya. Ini adalah agen pengguna yang membuat permintaan resource ini.
  • AdsBot: Salah satu crawler AdsBot. Jika melihat lonjakan pada permintaan ini, mungkin baru-baru ini Anda membuat sejumlah target baru untuk Iklan Penelusuran Dinamis di situs. Lihat Mengapa kecepatan crawling melonjak. AdsBot meng-crawl URL setiap sekitar 2 minggu.
  • StoreBot: Crawler belanja produk.
  • Jenis agen lainnya: Crawler Google lain yang tidak disebutkan di sini.

Sebagian besar permintaan crawl harus berasal dari crawler utama. Jika Anda mengalami lonjakan crawling, periksa jenis agen pengguna. Jika lonjakan tampaknya disebabkan oleh crawler AdsBot, lihat Mengapa kecepatan crawling melonjak.

Pemecahan masalah

Kecepatan crawling terlalu tinggi

Googlebot memiliki algoritme untuk mencegah agar tidak membebani situs selama melakukan crawling. Namun, jika karena alasan tertentu Anda perlu membatasi kecepatan crawling, pelajari cara melakukannya di sini.

Beberapa tips untuk mengurangi kecepatan crawling:

  • Sempurnakan file robots.txt untuk memblokir halaman yang seharusnya tidak dipanggil.
  • Anda dapat menetapkan kecepatan crawling maksimum yang diinginkan di Search Console sebagai solusi jangka pendek. Kami tidak menyarankan penggunaan ini dalam jangka panjang, karena Anda tidak dapat memberi tahu kami secara spesifik halaman atau resource mana yang ingin dan tidak ingin di-crawl.
  • Pastikan Anda tidak mengizinkan crawling ke halaman dengan hasil "tak terbatas", seperti kalender atau hasil penelusuran tak terbatas. Blokir halaman tersebut dengan robots.txt atau tag nofollow.
  • Jika URL sudah tidak ada atau telah dipindahkan, pastikan untuk menampilkan kode respons yang benar: gunakan 404 atau 410 untuk URL yang sudah tidak ada atau yang tidak valid; gunakan pengalihan 301 untuk URL yang telah diganti secara permanen dengan URL lain (302 jika tidak permanen); gunakan 503 untuk periode nonaktif sementara dan direncanakan; pastikan server menampilkan error 500 bila mengalami masalah yang tidak dapat diatasi.
  • Jika situs kewalahan dan Anda memerlukan pengurangan darurat, lihat Mengapa kecepatan crawling melonjak? di bawah ini.

Mengapa kecepatan crawling melonjak?

Jika memiliki banyak informasi baru atau sejumlah informasi yang sangat berguna, situs mungkin di-crawl sedikit lebih banyak daripada yang diinginkan. Contohnya:

  • Anda membatalkan pemblokiran bagian besar di situs dari crawling
  • Anda menambahkan bagian baru yang besar di situs
  • Anda menambahkan banyak target baru untuk Iklan Penelusuran Dinamis dengan menambahkan feed halaman baru atau aturan URL_Equals

Jika situs Anda terlalu sering di-crawl hingga mengalami masalah ketersediaan, berikut cara menghindarinya:

  1. Tentukan crawler Google mana yang terlalu sering meng-crawl situs Anda. Lihat log situs Anda atau gunakan laporan Statistik Crawling.
  2. Solusi cepat:
    • Jika Anda ingin solusi sederhana, gunakan robots.txt untuk memblokir crawling dari agen dengan beban berlebih (googlebot, adsbot, dll.). Namun, pilihan ini dapat memerlukan waktu hingga satu hari untuk diterapkan.
    • Jika Anda dapat mendeteksi dan merespons peningkatan beban secara dinamis, tampilkan HTTP 5XX/429 saat batas penayangan hampir tercapai. Pastikan untuk tidak menampilkan 5XX atau 429 selama lebih dari dua atau tiga hari, atau Google dapat mendeteksinya sebagai sinyal agar lebih jarang meng-crawl situs Anda dalam jangka panjang.
  3. Ubah kecepatan crawling menggunakan halaman Setelan Kecepatan Crawling, jika opsi ini tersedia.
  4. Jika kecepatan crawling yang dilakukan Google sudah sesuai, Anda dapat menghapus pemblokiran robots.txt atau berhenti menampilkan kode error dari langkah 1 setelah dua atau tiga hari.
  5. Jika Anda kewalahan dengan melakukan crawling AdsBot, kemungkinan besar Anda telah membuat terlalu banyak target untuk Iklan Penelusuran Dinamis di situs Anda menggunakan URL_Equals atau feed halaman. Jika tidak memiliki kapasitas server untuk menangani crawl ini, Anda harus membatasi target iklan, menambahkan URL dalam batch yang lebih kecil, atau meningkatkan kapasitas penayangan. Ingat bahwa AdsBot akan meng-crawl halaman Anda setiap 2 minggu, sehingga Anda harus memperbaiki masalah tersebut atau masalah akan berulang.
  6. Perlu diperhatikan bahwa, jika Anda membatasi kecepatan crawling menggunakan halaman setelan crawl, kecepatan crawling akan dikembalikan ke penyesuaian otomatis setelah 90 hari.

Sepertinya kecepatan crawling terlalu rendah

Anda tidak dapat meminta Google untuk meningkatkan kecepatan crawling (kecuali jika telah menguranginya secara eksplisit untuk properti Anda). Namun, Anda dapat mempelajari lebih lanjut cara mengelola crawling untuk situs yang sangat besar atau sering diperbarui.

Untuk situs kecil atau menengah, jika Anda mendapati bahwa Google tidak meng-crawl semua situs, coba perbarui peta situs di situs, dan pastikan Anda tidak memblokir halaman apa pun.

Mengapa kecepatan crawling menurun?

Secara umum, kecepatan crawling Google seharusnya relatif stabil selama rentang waktu satu atau dua minggu; jika melihat penurunan mendadak, berikut beberapa kemungkinan alasannya:

  • Anda menambahkan aturan robots.txt baru (atau sangat luas). Pastikan Anda hanya memblokir resource yang perlu diblokir. Jika Google membutuhkan resource khusus seperti CSS atau JavaScript untuk memahami konten, pastikan Anda tidak memblokirnya dari Googlebot.
  • HTML rusak atau konten yang tidak didukung di halaman: Jika Googlebot tidak dapat mengurai konten halaman, mungkin karena halaman tersebut menggunakan jenis media yang tidak didukung atau hanya berisi gambar. Googlebot tidak akan dapat melakukan crawling. Gunakan Alat Inspeksi URL untuk mengetahui cara Googlebot melihat halaman.
  • Jika situs merespons permintaan secara lambat, Googlebot akan memperlambat permintaan agar server tidak kelebihan muatan. Periksa laporan Statistik Crawling untuk melihat apakah situs merespons dengan lebih lambat.
  • Jika rasio error server meningkat, Googlebot akan memperlambat permintaan agar server tidak kelebihan muatan.
  • Pastikan Anda belum mengurangi kecepatan crawling maksimum yang diinginkan.
  • Jika situs memiliki informasi yang lebih jarang berubah, atau kualitasnya tidak terlalu tinggi, mungkin kami tidak akan sering merayapinya. Lihatlah situs Anda secara objektif, dapatkan masukan netral dari orang yang tidak memiliki kaitan dengan situs, dan pikirkan bagaimana atau di bagian apa situs dapat ditingkatkan secara keseluruhan.

Total crawling laporan jauh lebih tinggi daripada total log server situs

Jika jumlah total crawl yang ditampilkan dalam laporan ini jauh lebih tinggi daripada permintaan crawling Google di log server Anda, hal ini dapat terjadi saat Google tidak dapat meng-crawl situs Anda karena file robots.txt sudah terlalu lama tidak tersedia. Saat ini terjadi, Google akan menghitung crawl yang mungkin telah dilakukan jika file robots.txt Anda tersedia, tetapi Google tidak benar-benar melakukan panggilan tersebut. Periksa status pengambilan robots.txt Anda untuk mengonfirmasi apakah ini masalahnya.

Apakah ini membantu?
Bagaimana cara meningkatkannya?
true
Baru mengenal Search Console?

Belum pernah menggunakan Search Console? Mulai di sini, baik Anda adalah pemula, pakar SEO, atau developer situs.

Telusuri
Hapus penelusuran
Tutup penelusuran
Aplikasi Google
Menu utama
Pusat Bantuan Penelusuran
true
83844
false