Artikel ini menjelaskan cara memblokir akses ke konten di situs Anda.
Beberapa konten yang Anda publikasikan mungkin tidak relevan untuk ditampilkan di Google Berita. Anda dapat membatasi akses Google ke konten tertentu dengan memblokir akses ke crawler robot Google, Googlebot, dan Googlebot-News.
Membuat file robots.txt
Gunakan file robots.txt untuk mendapatkan kontrol tingkat tinggi terhadap bagian situs yang muncul di Google Penelusuran dan Google Berita. Pelajari file robots.txt lebih lanjut.
Anda dapat memblokir akses dengan cara berikut:
-
Agar situs Anda tidak muncul di Google Berita, blokir akses ke Googlebot-News menggunakan file robots.txt.
-
Agar situs Anda tidak muncul di Google Berita dan Google Penelusuran, blokir akses ke Googlebot menggunakan file robots.txt.
Anda harus mengizinkan crawler kami mengakses file robots.txt, sehingga kami dapat melihat apakah Anda telah menentukan bagian tertentu di situs, yang tidak ingin di-crawl.
Membuat tag meta
Anda dapat menambahkan tag meta ke halaman HTML. Tag meta akan memberi tahu mesin telusur terkait batas mana yang berlaku saat menampilkan halaman di hasil penelusuran. Pelajari cara memblokir pengindeksan penelusuran dengan tag meta.
Berikut adalah beberapa tag meta umum yang dapat Anda tambahkan ke halaman HTML untuk:
-
Mencegah artikel tertentu di situs Anda agar tidak muncul di Google Berita, blokir akses ke Googlebot-News menggunakan tag meta berikut:
<meta name="Googlebot-News" content="noindex, nofollow">. -
Mencegah artikel tertentu di situs Anda agar tidak muncul di Google Berita dan Google Penelusuran, blokir akses ke Googlebot menggunakan tag meta berikut:
<meta name="googlebot" content="noindex, nofollow">. -
Mencegah artikel tertentu di situs Anda agar tidak diindeks oleh semua robot, gunakan tag meta berikut:
<meta name="robots" content="noindex, nofollow">. -
Mencegah robot agar tidak meng-crawl gambar pada artikel tertentu, gunakan tag meta berikut:
<meta name="robots" content="noimageindex">. -
Memberi tahu kami bahwa artikel harus dihapus dari indeks Google pada waktu tertentu, gunakan tag meta berikut:
<meta name="googlebot" content="unavailable_after: 25-Aug-2011 15:00:00 EST">. -
Menentukan waktu dan tanggal dalam format RFC 850. Tag meta ini dianggap sebagai permintaan penghapusan. Diperlukan waktu sekitar satu hari setelah tanggal penghapusan agar halaman hilang dari hasil penelusuran. Namun, agar berfungsi dengan benar, tag harus disertakan dengan artikel saat pertama kali di-crawl.
-
Ada opsi lain untuk membatasi konten yang ditampilkan dalam hasil penelusuran. Cari tahu lebih lanjut di dokumentasi developer.
Spesifikasi header HTTP
Anda juga dapat memberikan petunjuk ke robot dalam header respons HTTP. Untuk mempelajari lebih lanjut, baca artikel tentang spesifikasi header HTTP..
Penting: Google mengikuti interpretasi pilihan bot Anda yang paling ketat.