Telusuri
Hapus penelusuran
Tutup penelusuran
Aplikasi Google
Menu utama

Memblokir URL dengan robots.txt

Mempelajari tentang file robots.txt

File robots.txt adalah file pada akar situs Anda yang menunjukkan bagian dalam situs yang tidak Anda izinkan untuk diakses oleh perayap mesin telusur. File menggunakan Standar Pengecualian Robot, yang merupakan protokol dengan sekelompok kecil perintah yang dapat digunakan untuk menunjukkan akses ke situs berdasarkan bagian dan berdasarkan jenis perayap web tertentu (seperti perayap seluler vs perayap desktop).

Apa fungsi robots.txt?

File non-gambar

Untuk file non-gambar (yaitu, laman web), robots.txt sebaiknya hanya digunakan untuk mengontrol lalu lintas perayapan, khususnya karena Anda tidak ingin server kelebihan beban oleh perayap Google atau menyia-nyiakan anggaran perayapan dengan merayapi laman yang tidak penting atau mirip dalam situs. Sebaiknya jangan menggunakan robots.txt untuk menyembunyikan laman web dari hasil Google Penelusuran. Pasalnya, laman lain mungkin mengarah ke laman Anda dan laman Anda dapat diindeks dengan cara seperti ini, yang menghindari file robots.txt. Jika ingin memblokir laman dari hasil penelusuran, gunakan metode lain seperti perlindungan sandi atau tag noindex atau arahan.

File gambar

robots.txt memang mencegah file gambar muncul di hasil penelusuran Google. (Akan tetapi, robots.txt tidak mencegah laman atau pengguna lain menautkan ke gambar Anda.)

File sumber daya

Anda dapat menggunakan robots.txt untuk memblokir file sumber daya seperti gambar tidak penting, skrip, atau file gaya, jika Anda merasa bahwa laman yang dimuat tanpa sumber daya ini tidak akan terpengaruh secara signifikan dengan tidak tersedianya sumber daya tersebut. Namun, jika tidak tersedianya sumber daya itu membuat perayap Google lebih sulit memahami laman, sebaiknya jangan memblokirnya. Jika tidak, Google tidak akan bekerja dengan baik saat menganalisis laman yang bergantung pada sumber daya tersebut.

Memahami batasan robots.txt

Sebelum membuat robots.txt, Anda harus mengetahui risiko metode pemblokiran URL ini. Terkadang, Anda dapat mempertimbangkan mekanisme lain guna memastikan URL tidak dapat ditemukan di web.

  • Petunjuk robots.txt hanya arahan

    Petunjuk di file robots.txt tidak dapat melaksanakan perilaku perayap ke situs Anda; sebagai gantinya, petunjuk ini bertindak sebagai arahan untuk perayap yang mengakses situs Anda. Selagi Googlebot dan perayap web ternama lainnya mematuhi petunjuk dalam file robots.txt, perayap lainnya mungkin tidak. Oleh karena itu, jika Anda ingin menjaga informasi tetap aman dari perayap web, sebaiknya gunakan metode pemblokiran lainnya, seperti file pribadi yang dilindungi sandi pada server Anda.
  • Perayap lain menafsirkan sintaksis dengan cara yang berbeda

    Meskipun perayap web ternama mengikuti arahan dalam file robots.txt, tiap perayap mungkin menafsirkan arahan dengan cara yang berbeda. Anda perlu mengetahui sintaksis yang sesuai untuk menangani perayap web yang berbeda karena beberapa di antaranya mungkin tidak memahami perintah tertentu.
  • Arahan robots.txt tidak dapat mencegah referensi ke URL Anda dari situs lain

    Meskipun Google tidak akan merayapi atau mengindeks konten yang diblokir oleh robots.txt, kami mungkin masih menemukan dan mengindeks URL yang ditolak dari tempat lain di web. Akibatnya, alamat URL dan, kemungkinan, informasi lain yang tersedia secara publik seperti teks tautan dalam tautan ke situs masih dapat muncul di hasil penelusuran Google. Anda dapat menghentikan URL agar tidak muncul sepenuhnya di hasil Google Penelusuran dengan menggunakan metode pemblokiran URL yang lain, misalnya menggunakan perlindungan sandi untuk file di server maupun menggunakan tag meta noindex atau header tanggapan.
Catatan: Menggabungkan beberapa arahan perayapan dan pengindeksan dapat menyebabkan beberapa arahan berjalan berlawanan dengan arahan lainnya. Pelajari cara mengonfigurasi arahan ini dengan benar dengan membaca bagian Menggabungkan perayapan dengan arahan pengindeksan/penyajian dalam dokumentasi Pengembang Google.
Apakah artikel ini membantu?
Bagaimana cara meningkatkannya?