Laporan Statistik Crawling menunjukkan statistik tentang histori crawling Google di situs. Misalnya, jumlah permintaan yang dibuat dan waktunya, respons server, serta masalah ketersediaan yang ditemukan. Anda dapat menggunakan laporan ini untuk mendeteksi apakah Google menemukan masalah penayangan saat meng-crawl situs.
Laporan ini ditujukan untuk pengguna tingkat lanjut. Jika situs memiliki kurang dari seribu halaman, Anda tidak perlu menggunakan laporan ini atau mengkhawatirkan level detail crawling ini.
Buka laporan Statistik Crawling
C<span/>rawl Budget and the Crawl Stats report - Google Search Console Training
(Setelan properti) > Statistik crawling.Memulai
Anda harus memahami informasi berikut sebelum menggunakan laporan ini:
- Cara kerja Google Penelusuran
- Topik pengguna tingkat lanjut, terutama topik crawling dan pengindeksan, serta peta situs.
- Berbagai topik tentang mengelola akses ke situs, termasuk pemblokiran robots.txt.
- Jika Anda memiliki situs yang besar (ratusan ribu halaman), berikut adalah panduan untuk mengelola dan memecahkan masalah anggaran crawl.
Tentang data
- Semua URL yang ditampilkan dan dihitung adalah URL sebenarnya yang diminta oleh Google; data tidak ditetapkan ke URL kanonis seperti yang dilakukan di beberapa laporan lainnya.
- Jika URL memiliki pengalihan sisi server, setiap permintaan di rantai pengalihan dihitung sebagai permintaan terpisah. Jadi, jika halaman1 mengalihkan ke halaman2, yang mengalihkan ke halaman3, jika Google meminta halaman1, Anda akan melihat permintaan yang terpisah untuk halaman1 (menampilkan 301/302), halaman2 (menampilkan 301/302), dan halaman3 (yang diharapkan untuk menampilkan 200). Ingat bahwa hanya halaman di domain saat ini yang ditampilkan. Respons pengalihan menggunakan jenis file "Jenis file lainnya". Pengalihan sisi klien tidak dihitung.
- Crawl yang dipertimbangkan tetapi tidak dilakukan karena robots.txt tidak tersedia akan dihitung dalam total crawl, tetapi detail laporan tentang upaya tersebut mungkin terbatas. Informasi selengkapnya
- Resource dan cakupan:
- Semua data dibatasi untuk domain yang saat ini dipilih. Permintaan ke domain lain tidak akan ditampilkan. Ini mencakup permintaan untuk setiap resource halaman (seperti gambar) yang dihosting di luar properti ini. Jadi, jika halaman example.com/mypage mencakup gambar google.com/img.png, permintaan untuk google.com/img.png tidak akan ditampilkan dalam laporan Statistik Crawling untuk properti example.com.
- Demikian pula, permintaan ke domain selevel (en.example dan de.example) tidak akan ditampilkan. Jadi, jika Anda melihat laporan Statistik Crawling untuk en.example, permintaan gambar untuk de.example tidak akan ditampilkan.
- Namun, permintaan antara subdomain dapat dilihat dari domain induk. Misalnya, jika Anda mengecek data untuk example.com, Anda dapat melihat semua permintaan ke example.com, en.example, de.example.com, dan domain turunan lainnya pada tingkat apa pun di bawah example.com.
- Sebaliknya, jika resource properti digunakan oleh satu halaman di domain lain, Anda mungkin melihat permintaan crawl yang terkait dengan halaman host tersebut, tetapi tidak akan melihat konteks apa pun yang menunjukkan bahwa resource sedang di-crawl karena digunakan oleh halaman di domain lain (artinya, Anda tidak akan melihat bahwa gambar example.com/imageX.png di-crawl karena disertakan dalam halaman anotherexample.com/mypage.)
- Data crawl mencakup protokol http dan https, meskipun untuk properti awalan URL. Ini berarti laporan Statistik Crawling untuk http://example.com mencakup permintaan ke http://example.com dan https://example.com. Namun, contoh URL untuk properti awalan URL terbatas pada protokol yang ditentukan untuk properti (http atau https).
Melihat laporan
Laporan ini menunjukkan informasi crawl berikut tentang situs:
Klik entri tabel mana pun untuk mendapatkan tampilan mendetail item tersebut, termasuk daftar contoh URL. Klik URL untuk mendapatkan detail permintaan crawl khusus tersebut. Misalnya, pada tabel yang menampilkan respons yang dikelompokkan berdasarkan jenis, klik baris HTML untuk melihat informasi crawl gabungan semua halaman HTML yang di-crawl di situs, serta detail seperti waktu crawl, kode respons, ukuran respons, dan lainnya untuk pilihan contoh URL tersebut.
Host dan domain turunan
Jika properti Anda berada di tingkat domain (example.com, http://example.com, https://m.example.com), dan berisi dua domain turunan atau lebih (misalnya, fr.example.com dan de.example.com), Anda dapat melihat data untuk induk, yang mencakup semua turunan, atau dibatasi ke satu domain turunan.
Untuk melihat laporan yang dibatasi untuk turunan tertentu, klik turunan di daftar Host pada halaman landing domain induk. Hanya 20 domain turunan teratas yang menerima traffic dalam 90 hari terakhir yang ditampilkan.
Contoh URL
Anda dapat mengklik salah satu entri jenis data yang dikelompokkan (respons, jenis file, tujuan, jenis Googlebot) untuk melihat daftar contoh URL jenis tersebut.
Contoh URL tidak lengkap, melainkan hanya sebagai contoh representatif. Jika Anda tidak menemukan URL yang tercantum, bukan berarti kami tidak memintanya. Jumlah contoh dapat dihitung berdasarkan hari, dan Anda mungkin mendapati bahwa beberapa jenis permintaan mungkin memiliki lebih banyak contoh dibandingkan jenis lainnya. Ini akan lebih berimbang seiring waktu.
Total permintaan crawl
Jumlah total permintaan crawl yang dikeluarkan untuk URL di situs, baik berhasil atau tidak. Jumlah ini mencakup permintaan untuk resource yang digunakan oleh halaman jika resource ini ada di situs. Permintaan ke resource yang dihosting di luar situs tidak dihitung. Permintaan duplikat untuk URL yang sama akan dihitung secara terpisah. Jika file robots.txt tidak cukup tersedia, kemungkinan pengambilan akan dihitung.
Permintaan gagal yang dihitung adalah sebagai berikut:
- Pengambilan yang tidak pernah dibuat karena file robots.txt tidak cukup tersedia.
- Pengambilan yang gagal karena masalah resolusi DNS
- Pengambilan yang gagal karena masalah konektivitas server
- Pengambilan yang ditinggalkan karena pengalihan balik
Total ukuran download
Jumlah total byte yang didownload dari situs selama crawling, selama jangka waktu tertentu. Jika Google meng-cache resource halaman yang digunakan oleh beberapa halaman, resource hanya diminta untuk kali pertama (saat di-cache).
Waktu respons rata-rata
Waktu respons rata-rata untuk semua resource yang diambil dari situs selama jangka waktu tertentu. Setiap resource yang ditautkan oleh halaman dihitung sebagai respons terpisah.
Status host
Status host menjelaskan apakah Google menemukan masalah ketersediaan atau tidak saat mencoba meng-crawl situs. Status dapat berupa salah satu dari nilai berikut:
Google tidak menemukan masalah ketersediaan crawl yang signifikan di situs dalam 90 hari terakhir--bagus! Dalam kondisi ini, tidak ada yang harus dilakukan.
Google menemukan setidaknya satu masalah ketersediaan crawl signifikan dalam 90 hari terakhir di situs, tetapi masalah tersebut terjadi lebih dari satu minggu lalu. Error ini mungkin merupakan masalah sementara, atau masalah tersebut mungkin telah teratasi. Anda harus memeriksa tabel Respons untuk melihat apa masalahnya, dan memutuskan apakah perlu mengambil tindakan.
Google menemukan setidaknya satu masalah ketersediaan crawl penting pada minggu lalu di situs Anda. Karena error tersebut terjadi baru-baru ini, Anda harus mencoba menentukan apakah ini merupakan masalah berulang. Periksa tabel Respons untuk memeriksa apa masalahnya, lalu tentukan apakah perlu mengambil suatu tindakan.
Idealnya, status host harus Hijau. Jika status ketersediaan berwarna merah, klik untuk melihat detail ketersediaan untuk ketersediaan robots.txt, resolusi DNS, dan konektivitas host.
Detail status host
Status ketersediaan host dinilai dalam kategori berikut. Error penting dalam kategori apa pun dapat menyebabkan status ketersediaan yang lebih rendah. Klik kategori dalam laporan untuk melihat detail selengkapnya.
Untuk setiap kategori, Anda akan melihat diagram data crawl untuk jangka waktu tertentu. Diagram tersebut memiliki garis merah putus-putus; jika metrik berada di atas garis putus-putus untuk kategori ini (misalnya, jika resolusi DNS gagal untuk lebih dari 5% permintaan pada hari tertentu), maka hal ini dianggap sebagai masalah untuk kategori tersebut, dan statusnya akan mencerminkan keterkinian masalah terakhir.
- Pengambilan robots.txt
Grafik menunjukkan tingkat kegagalan untuk permintaan robots.txt selama crawl. Google meminta file ini secara rutin, dan jika permintaan tidak menunjukkan file yang valid (baik diisi ataupun kosong) atau respons 404 (file tidak ada), maka Google akan memperlambat atau menghentikan crawling situs hingga memperoleh respons robots.txt yang dapat diterima. (Lihat detailnya di bawah ini) - Resolusi DNS
Grafik menunjukkan kapan server DNS tidak mengenali nama host atau tidak merespons selama crawling. Jika Anda melihat error, hubungi registrar untuk memastikan bahwa situs telah disiapkan dengan benar dan server sudah tersambung ke Internet. - Konektivitas server
Grafik menunjukkan kapan server tidak merespons atau tidak memberikan respons lengkap untuk URL selama crawling. Lihat Error server untuk mempelajari cara mengatasi error ini.
Berikut adalah deskripsi yang lebih detail tentang cara Google memeriksa (dan bergantung pada) file robots.txt saat meng-crawl situs.
Situs tidak wajib memiliki file robots.txt, tapi harus menunjukkan respons yang berhasil (sebagaimana didefinisikan di bawah ini) saat dimintai file ini; jika tidak, Google mungkin berhenti meng-crawl situs.
- Respons robots.txt yang berhasil
- Kondisi berikut dianggap sebagai respons yang berhasil:
- HTTP 200 dan file robots.txt (file mungkin valid, tidak valid, atau kosong). Jika file memiliki error sintaksis di dalamnya, permintaan masih dianggap berhasil, meskipun Google mungkin mengabaikan aturan apa pun yang memiliki error sintaksis.
- HTTP 403/404/410 (file tidak ada). Situs tidak diwajibkan memiliki file robots.txt.
- Respons robots.txt yang gagal
- HTTP 429/5XX (masalah koneksi)
Berikut adalah cara Google meminta dan menggunakan file robots.txt saat meng-crawl situs:
- Sebelum meng-crawl situs, pertama-tama Google akan memeriksa apakah ada permintaan robots.txt terbaru yang berhasil (kurang dari 24 jam terakhir).
- Jika Google menerima respons robots.txt yang berhasil dalam waktu kurang dari 24 jam, Google akan menggunakan file robots.txt tersebut saat meng-crawl situs Anda. (Perlu diingat bahwa 404 Not Found adalah respons yang berhasil, artinya tidak ada file robots.txt, yang berarti Google dapat meng-crawl URL mana pun di situs.)
- Jika respons terakhir gagal atau diterima lebih dari 24 jam, Google akan meminta file robots.txt Anda:
- Jika berhasil, crawl dapat dimulai.
- Jika tidak berhasil:
- Selama 12 jam pertama, Google akan berhenti meng-crawl situs Anda, tetapi akan terus meminta file robots.txt.
- Dari 12 jam hingga 30 hari, Google akan menggunakan file robots.txt terakhir yang berhasil diambil, sembari tetap meminta file robots.txt Anda.
- Setelah 30 hari:
- Jika halaman beranda situs tersedia, Google akan bertindak seolah-olah tidak ada file robots.txt, dan meng-crawl tanpa batasan.
- Jika halaman beranda situs tidak tersedia, Google akan berhenti meng-crawl situs.
- Dalam kedua kasus tersebut, Google akan terus meminta file robots.txt secara berkala.
Respons crawl
Tabel ini menunjukkan respons yang diterima Google saat meng-crawl situs, yang dikelompokkan berdasarkan jenis respons, sebagai persentase dari semua respons crawl. Data didasarkan pada jumlah total permintaan, bukan menurut URL, jadi jika Google meminta URL dua kali dan mendapatkan error Server (500) untuk pertama kalinya, dan OK (200) untuk kedua kalinya, responsnya akan menjadi 50% error Server dan 50% OK.
Berikut adalah beberapa kode respons umum serta cara menanganinya:
Kode respons yang baik
Halaman ini tidak bermasalah dan tidak menyebabkan masalah apa pun.
- OK (200): Dalam keadaan normal, sebagian besar harus merupakan respons 200.
- Dipindahkan secara permanen (301): Halaman menampilkan respons HTTP 301 atau 308 (dipindahkan secara permanen), yang mungkin diinginkan.
- Dipindahkan sementara (302): Halaman menampilkan respons HTTP 302 atau 307 (dipindahkan sementara), yang mungkin diinginkan. Jika halaman ini dipindahkan secara permanen, ubah ke 301.
- Dipindahkan (lainnya): Refresh meta.
- Tidak diubah (304): Halaman belum berubah sejak permintaan crawl terakhir.
Kode respons yang kemungkinan baik
Respons ini mungkin tidak masalah, tetapi Anda dapat memeriksa untuk memastikan bahwa ini adalah yang diinginkan.
- Error Tidak ditemukan (404) mungkin disebabkan oleh link rusak di dalam atau di luar situs. Mengatasi semua error 404 di situs tidak memungkinkan, sepadan, atau bahkan diinginkan, dan sering kali 404 adalah kode respons yang ditampilkan dengan benar (misalnya, jika halaman benar-benar hilang tanpa pengganti). Pelajari cara mengatasi error 404 atau apakah error tersebut harus diatasi.
Kode respons yang buruk
Anda harus memperbaiki halaman yang menampilkan error ini untuk meningkatkan crawling.
- Robots.txt tidak tersedia: Jika file robots.txt tetap tidak tersedia selama satu hari, Google akan menghentikan crawling selama beberapa saat hingga memperoleh respons yang dapat diterima untuk permintaan robots.txt. Pastikan untuk tidak menyelubungkan file robots.txt ke Google atau membedakan halaman robots.txt berdasarkan agen pengguna.
Respons ini tidak sama seperti menampilkan "Tidak ditemukan (404)" untuk file robots.txt, yang dianggap sebagai respons yang baik. Lihat detail robots.txt selengkapnya. - Tidak sah (401/407): Sebaiknya blokir halaman ini agar tidak di-crawl dengan robots.txt, atau putuskan apakah halaman tersebut harus dibatalkan pemblokirannya. Jika halaman ini tidak memiliki data aman dan Anda ingin halaman tersebut di-crawl, pertimbangkan untuk memindahkan informasi ke halaman yang tidak diamankan, atau mengizinkan entri ke Googlebot tanpa login (meskipun akan diperingatkan bahwa Googlebot dapat di-spoofing, sehingga mengizinkan entri untuk Googlebot akan efektif menghapus keamanan halaman).
- Error server (5XX): Error ini menyebabkan peringatan ketersediaan dan harus diatasi jika memungkinkan. Diagram thumbnail menunjukkan perkiraan waktu error ini terjadi; klik untuk melihat detail selengkapnya dan waktunya secara tepat. Tentukan apakah ini adalah masalah sementara atau mewakili error ketersediaan yang lebih dalam di situs. Jika Google terlalu sering meng-crawl situs, Anda dapat meminta kecepatan crawling yang lebih rendah. Jika ini merupakan indikasi masalah ketersediaan yang serius, baca tentang lonjakan crawling. Lihat Error server untuk mempelajari cara mengatasi error ini.
- Error klien lainnya (4XX): Error 4XX lainnya (sisi klien) yang tidak disebutkan di sini. Sebaiknya atasi masalah ini.
- DNS tidak responsif: Server DNS tidak merespons permintaan untuk URL di situs.
- Error DNS: Error DNS lain yang tidak disebutkan.
- Error pengambilan: Halaman tidak dapat diambil karena buruknya nomor port, alamat IP, atau respons yang tak terurai.
- Halaman tidak dapat dijangkau: Error apa pun lainnya dalam pengambilan halaman yang menyebabkan permintaan tidak pernah mencapai server. Karena tidak pernah mencapai server, permintaan ini tidak akan muncul dalam log.
- Waktu tunggu halaman: Waktu tunggu halaman habis.
- Error pengalihan: Error pengalihan permintaan, seperti terlalu banyak pengalihan, pengalihan kosong, atau pengalihan melingkar.
- Error lain: Error lain yang tidak sesuai dengan kategori mana pun di atas.
Jenis file yang di-crawl
Jenis file yang ditampilkan oleh permintaan. Nilai persentase untuk setiap jenis adalah persentase respons jenis tersebut, bukan persentase byte yang diambil dari jenis tersebut.
Nilai jenis file yang mungkin:
- HTML
- Gambar
- Video - Salah satu format video yang didukung.
- JavaScript
- CSS
- XML lainnya - File XML yang tidak mencakup RSS, KML, atau format lain yang dibuat dengan XML.
- JSON
- Sindikasi - Feed RSS atau Atom
- Audio
- Data geografis - KML atau data geografis lainnya.
- Jenis file lainnya - Jenis file lain yang tidak disebutkan di sini. Pengalihan disertakan dalam pengelompokan ini.
- Tidak dikenal (Gagal) - Jika permintaan gagal, maka jenis file tidak dikenal.
Tujuan crawl
- Penemuan: URL yang diminta tidak pernah di-crawl oleh Google sebelumnya.
- Refresh: Crawling ulang halaman yang dikenal.
Jika Anda dengan cepat mengubah halaman yang jarang di-crawl ulang, pastikan halaman tersebut disertakan dalam peta situs. Untuk halaman yang diperbarui lebih lambar, Anda mungkin perlu meminta crawling ulang secara khusus. Jika baru-baru ini menambahkan banyak konten baru, atau mengirimkan peta situs, idealnya Anda akan melihat lonjakan crawl penemuan di situs.
Jenis Googlebot
Jenis agen pengguna yang digunakan untuk membuat permintaan crawl. Google memiliki sejumlah agen pengguna yang melakukan crawling karena berbagai alasan dan memiliki perilaku berbeda.
Nilai jenis Googlebot yang mungkin:
- Smartphone: Smartphone Googlebot
- Desktop: Dekstop Googlebot
- Gambar: Gambar Googlebot. Jika gambar dimuat sebagai resource halaman, jenis Googlebot dihitung sebagai Pemuatan resource halaman, bukan sebagai Gambar.
- Video: Video Googlebot. Jika video dimuat sebagai resource halaman, jenis Googlebot dihitung sebagai Pemuatan resource halaman, bukan sebagai Video.
- Pemuatan resource halaman: Pengambilan sekunder untuk resource yang digunakan oleh halaman. Saat meng-crawl halaman, Google mengambil resource penting yang ditautkan seperti gambar atau file CSS, untuk merender halaman sebelum mencoba mengindeksnya. Ini adalah agen pengguna yang membuat permintaan resource ini.
- AdsBot: Salah satu crawler AdsBot. Jika melihat lonjakan pada permintaan ini, mungkin baru-baru ini Anda membuat sejumlah target baru untuk Iklan Penelusuran Dinamis di situs. Lihat Mengapa kecepatan crawling melonjak. AdsBot meng-crawl URL setiap sekitar 2 minggu.
- StoreBot: Crawler belanja produk.
- Jenis agen lainnya: Crawler Google lain yang tidak disebutkan di sini.
Jika Anda mengalami lonjakan crawling, periksa jenis agen pengguna. Jika lonjakan tampaknya disebabkan oleh crawler AdsBot, lihat Mengapa frekuensi crawling melonjak.
Pemecahan masalah
Kecepatan crawling terlalu tinggi
Googlebot memiliki algoritme untuk mencegah agar tidak membebani situs selama melakukan crawling. Namun, jika karena alasan tertentu Anda perlu membatasi kecepatan crawling, pelajari cara melakukannya di sini.
Mengapa kecepatan crawling melonjak?
Jika memiliki banyak informasi baru atau sejumlah informasi yang sangat berguna, situs mungkin di-crawl sedikit lebih banyak daripada yang diinginkan. Contohnya:
- Anda membatalkan pemblokiran bagian besar di situs dari crawling
- Anda menambahkan bagian baru yang besar di situs
- Anda menambahkan banyak target baru untuk Iklan Penelusuran Dinamis dengan menambahkan feed halaman baru atau aturan URL_Equals
Jika situs Anda terlalu sering di-crawl hingga mengalami masalah ketersediaan, berikut cara menghindarinya:
- Tentukan crawler Google mana yang terlalu sering meng-crawl situs Anda. Lihat log situs Anda atau gunakan laporan Statistik Crawling.
- Solusi cepat:
- Jika Anda menginginkan solusi sederhana, gunakan robots.txt untuk memblokir crawling dari agen dengan beban berlebih (googlebot, adsbot, dll.). Namun, pilihan ini dapat memerlukan waktu hingga satu hari untuk diterapkan. Namun, jangan memblokir terlalu lama karena hal ini dapat berdampak jangka panjang terhadap crawling Anda.
- Jika Anda dapat mendeteksi dan merespons peningkatan beban secara dinamis, tampilkan HTTP 503/429 saat batas penayangan hampir tercapai. Pastikan untuk tidak menampilkan 503 atau 429 selama lebih dari dua atau tiga hari, atau Google dapat mendeteksinya sebagai sinyal agar lebih jarang meng-crawl situs Anda dalam jangka panjang.
- Dua atau tiga hari kemudian, saat kecepatan crawling Google diadaptasi, Anda dapat menghapus pemblokiran robots.txt atau berhenti menampilkan kode error 503 atau 429.
- Jika Anda kewalahan dengan melakukan crawling AdsBot, kemungkinan besar Anda telah membuat terlalu banyak target untuk Iklan Penelusuran Dinamis di situs Anda menggunakan
URL_Equalsatau feed halaman. Jika tidak memiliki kapasitas server untuk menangani crawl ini, Anda harus membatasi target iklan, menambahkan URL dalam batch yang lebih kecil, atau meningkatkan kapasitas penayangan. Ingat bahwa AdsBot akan meng-crawl halaman Anda setiap 2 minggu, sehingga Anda harus memperbaiki masalah tersebut atau masalah akan berulang.
Sepertinya kecepatan crawling terlalu rendah
Anda tidak dapat meminta Google untuk meningkatkan frekuensi crawling. Namun, Anda dapat mempelajari lebih lanjut cara mengelola crawling untuk situs yang sangat besar atau sering diperbarui.
Untuk situs kecil atau menengah, jika Anda mendapati bahwa Google tidak meng-crawl semua situs, coba perbarui peta situs di situs, dan pastikan Anda tidak memblokir halaman apa pun.
Mengapa kecepatan crawling menurun?
Secara umum, kecepatan crawling Google seharusnya relatif stabil selama rentang waktu satu atau dua minggu; jika melihat penurunan mendadak, berikut beberapa kemungkinan alasannya:
- Anda menambahkan aturan robots.txt baru (atau sangat luas). Pastikan Anda hanya memblokir resource yang perlu diblokir. Jika Google membutuhkan resource khusus seperti CSS atau JavaScript untuk memahami konten, pastikan Anda tidak memblokirnya dari Googlebot.
- Jika situs merespons permintaan secara lambat, Googlebot akan memperlambat permintaan agar server tidak kelebihan muatan. Periksa laporan Statistik Crawling untuk melihat apakah situs merespons dengan lebih lambat.
- Jika rasio error server meningkat, Googlebot akan memperlambat permintaan agar server tidak kelebihan muatan.
- Jika situs memiliki informasi yang lebih jarang berubah, atau kualitasnya tidak terlalu tinggi, mungkin kami tidak akan sering merayapinya. Lihatlah situs Anda secara objektif, dapatkan masukan netral dari orang yang tidak memiliki kaitan dengan situs, dan pikirkan bagaimana atau di bagian apa situs dapat ditingkatkan secara keseluruhan.
Total crawling laporan jauh lebih tinggi daripada total log server situs
Jika jumlah total crawl yang ditampilkan dalam laporan ini jauh lebih tinggi daripada permintaan crawling Google di log server Anda, hal ini dapat terjadi saat Google tidak dapat meng-crawl situs Anda karena file robots.txt sudah terlalu lama tidak tersedia. Saat ini terjadi, Google akan menghitung crawl yang mungkin telah dilakukan jika file robots.txt Anda tersedia, tetapi Google tidak benar-benar melakukan panggilan tersebut. Periksa status pengambilan robots.txt Anda untuk mengonfirmasi apakah ini masalahnya.