Memblokir crawling terhadap konten duplikat yang memiliki parameter

Waktu dan cara menggunakan fitur Parameter URL

Parameter URL dan konten duplikat

Jika situs Anda menggunakan parameter URL untuk variasi halaman yang tidak signifikan (misalnya, color=red dan color=green), atau jika situs Anda menggunakan parameter yang dapat menampilkan konten yang sama, namun dengan URL yang berbeda (misalnya, example.com/shirts?style=polo,long-sleeve dan example.com/shirts?style=polo&style=long-sleeve), Google mungkin akan melakukan crawling terhadap situs Anda secara tidak efisien.

Berikut ini contoh URL yang mengarahkan ke konten duplikat, yang hanya dibedakan dengan parameter lain:

URL Deskripsi
https://example.com/products/women/dresses/green.html Halaman statis yang tidak memiliki parameter
https://example.com/products/women?category=dresses&color=green URL menggunakan parameter category dan color untuk menampilkan konten yang sama dengan halaman yang tidak memiliki parameter.
https://example.com/products/women/dresses/green.html?limit=20&sessionid=123 URL berisi parameter untuk membatasi jumlah hasil, dan ID sesi bagi pengguna untuk menampilkan konten yang sama.

Jika Anda memiliki banyak parameter URL di situs, sebaiknya Anda menggunakan fitur Parameter URL untuk mengurangi crawling terhadap URL duplikat.

Penting: Jika situs Anda menyajikan konten duplikat ke URL yang berbeda tanpa menggunakan parameter, Anda harus menentukan halaman kanonis, bukan memblokir crawling, seperti yang telah dijelaskan di halaman ini.

Memblokir crawling terhadap URL yang berisi parameter tertentu

Anda dapat mencegah Google agar tidak melakukan crawling terhadap URL yang berisi parameter tertentu, atau parameter dengan nilai tertentu, untuk menghindari crawling halaman duplikat.

Persyaratan:

Anda sebaiknya menggunakan fitur Parameter URL hanya jika situs Anda memenuhi SEMUA persyaratan berikut.

  • Situs Anda memiliki lebih dari 1.000 halaman, DAN
  • Anda melihat banyak halaman duplikat yang sedang diindeks oleh Googlebot di log Anda, dan semua halaman duplikat tersebut hanya dibedakan berdasarkan parameter URL (misalnya: example.com?product=green_dress and example.com?type=dress&color=green).
Peringatan kesalahan penggunaan
 
Anda sebaiknya menggunakan fitur Parameter URL hanya jika situs memenuhi persyaratan di atas, dan Anda berpengalaman dalam SEO. Jika Anda menggunakan fitur Parameter URL dengan cara yang tidak tepat, Google mungkin akan mengabaikan halaman penting di situs Anda tanpa memberikan peringatan atau laporan tentang halaman yang diabaikan tersebut. Hal ini dapat terjadi karena banyak pengguna yang menyalahgunakan fitur tersebut, atau penggunaannya tidak tepat. Jangan gunakan fitur ini jika Anda merasa belum bisa menggunakannya dengan benar.

Penggunaan

Anda dapat menentukan perilaku Google saat melakukan crawling terhadap situs Anda dengan parameter tertentu. Perilaku parameter berlaku untuk seluruh properti, dan Anda tidak dapat membatasi perilaku crawling untuk parameter yang diberikan ke URL atau cabang tertentu dari situs Anda.

Untuk menggunakan fitur Parameter URL:

  1. Pastikan situs Anda memenuhi persyaratan yang telah dijelaskan di atas.
  2. Buka fitur Parameter URL.
  3. Edit parameter yang sudah ada, atau klik Tambahkan parameter untuk membuat parameter baru. Perhatikan bahwa fitur ini peka huruf besar-kecil, jadi tulis nama parameter Anda persis seperti yang muncul di URL.
  4. Tentukan apakah parameter URL Anda memengaruhi konten halaman:
    • Tidak: Tidak memengaruhi konten halaman: Parameter Anda tidak memengaruhi bagaimana konten halaman ditampilkan. Jenis parameter ini dapat digunakan untuk melacak kunjungan dan perujuk, tetapi tidak memengaruhi konten halaman yang sebenarnya. Misalnya, sessionID atau userName. Jika menemukan banyak URL yang hanya berbeda dalam nilai parameter ini, Google akan melakukan crawling terhadap salah satunya. Google mencoba mendeteksi jenis parameter ini, namun jika log Anda menunjukkan bahwa kami tidak mengidentifikasi parameter statis ini dengan benar, Anda dapat menentukannya di sini.
    • Ya: Mengubah, menyusun ulang, atau mempersempit konten halaman: Parameter Anda dapat mengubah konten halaman. Contohnya dapat berupa brand, gender, country, atau sortorder. Pilih tujuan parameternya:
      • Mengurutkan (misalnya, sort=price_ascending): Mengubah urutan penyajian konten.
      • Mempersempit (misalnya, t-shirt_size=XS): Memfilter konten pada halaman.
      • Menentukan (misalnya, store=women): Menentukan kelas umum konten yang ditampilkan pada halaman. Jika parameter ini menentukan item yang tepat, dan ini adalah satu-satunya cara untuk menjangkau konten, sebaiknya pilih "Setiap URL" untuk perilakunya.
      • Menerjemahkan (misalnya, lang=fr): Menampilkan versi terjemahan konten. Jika Anda menggunakan parameter untuk menampilkan bahasa yang berbeda, Anda mungkin perlu meminta Google untuk melakukan crawling terhadap versi terjemahan konten menggunakan hreflang untuk menunjukkan varian bahasa halaman Anda, bukan memblokir konten dengan fitur ini.
      • Memberi nomor halaman (misalnya, page=2): Menampilkan halaman tertentu pada listingan atau artikel yang panjang.
         
      • URL mana dengan parameter ini yang harus di-crawling Googlebot? Pilih salah satu opsi untuk menunjukkan perilaku Google saat menemukan URL yang berisi parameter ini:
        • Izinkan Googlebot menentukan: Setelan ini adalah parameter default yang sudah dikenal. Pilih jika Anda tidak yakin dengan perilaku parameter, atau jika perilaku berubah karena bagian situs lainnya. Googlebot dapat menganalisis situs Anda untuk menentukan cara terbaik dalam menangani parameter.
        • Setiap URL: Memberi tahu Google agar tidak memblokir URL dengan parameter ini. URL dengan nilai unik parameter ini tidak berisi konten duplikat. Misalnya, setelah Anda menerapkan jenis setelan ini untuk URL yang berisi parameter productid, Google secara otomatis menganggap URL http://ww.example.com/dresses/real.htm?productid=1202938 sepenuhnya berbeda dengan http://www.example.com/dresses/real.htm?productid=5853729 karena tiap URL memiliki nilai parameter productid yang berbeda.
        • Hanya URL dengan nilai: Memberi tahu Google agar melakukan crawling hanya terhadap URL tempat parameter URL Anda disetel ke nilai yang ditentukan. URL dengan nilai parameter yang berbeda tidak akan di-crawl. Hal ini berguna apabila situs Anda menggunakan nilai parameter untuk mengubah urutan tempat konten identik ditampilkan. Misalnya, http://www.example.com/dresses/real.htm?sort=price_high berisi konten yang sama dengan http://www.example.com/dresses/real.htm?sort=price_low. Anda dapat menggunakan setelan ini untuk memberi tahu Googlebot agar melakukan crawling hanya terhadap URL tersebut jika sort=price_low, agar tidak melakukan crawling terhadap konten duplikat.
        • Tidak ada URL: Memberi tahu Google agar tidak melakukan crawling terhadap URL apa pun dengan parameter tertentu. Google tidak akan melakukan crawling terhadap URL apa pun yang berisi parameter yang Anda masukkan. Misalnya, Anda dapat memberi tahu Google agar tidak melakukan crawling terhadap URL dengan parameter seperti pricefrom dan priceto (seperti http://www.examples.com/search?category=shoe&brand=nike&color=red&size=5&pricefrom=10&priceto=1000) untuk mencegah crawling konten duplikat yang tidak diperlukan dan sudah tersedia di http://www.examples.com/search?category=shoe&brand=nike&color=red&size=5.
  5. Jika situs Anda menggunakan beberapa parameter dalam satu URL, baca mengelola URL dengan beberapa parameter.
  6. Perhatikan bahwa aturan Anda mungkin diwarisi oleh properti lain (baca Warisan aturan parameter).

Warisan aturan parameter

Jika Anda memiliki properti terpisah untuk http dan https, atau properti induk dan turunan terpisah (misalnya, example.com dan example.com/fr/, atau example.com dan m.example.com), setelan parameter Anda mungkin diwariskan antara properti, sesuai dengan aturan berikut:

  • http/https: Jika hanya satu dari properti http atau https Anda yang memiliki aturan, aturan tersebut berlaku untuk keduanya. Jika properti http dan https Anda memiliki aturan sendiri yang ditentukan, hanya aturan tersebut yang diterapkan.
  • Induk/turunan: Jika properti induk (example.com) memiliki aturan parameter, properti turunan apa saja (example.com/fr/) tanpa aturan parameter mewarisi aturan tersebut; setiap properti turunan dengan aturan parameter hanya menggunakan aturannya sendiri. Perhatikan bahwa subdomain (m.example.com) dianggap sebagai turunan dari domain induk (example.com).

Mengelola URL dengan beberapa parameter

Satu URL dapat berisi banyak parameter; Anda dapat menentukan setelan crawling untuk masing-masing parameter secara terpisah. Jika satu URL berisi beberapa parameter yang dikelola, Google akan mengikuti aturan berikut saat memutuskan apakah akan melakukan crawling terhadap URL:

Setelan parameter yang lebih ketat menggantikan setelan parameter yang tidak ketat.

Misalnya, di bawah ini ada tiga parameter URL beserta setelan crawling Google untuk masing-masing parameter:

Parameter Setelan crawling parameter
shopping-category Melakukan crawling terhadap semua URL dengan parameter ini.
sort-by Hanya melakukan crawling terhadap URL dengan nilai = production-year.
sort-order Hanya melakukan crawling terhadap URL dengan nilai = asc.

 

Contoh 1

http://www.example.com?shopping-category=shoes&sort-by=size&sort-order=asc.

Google tidak akan melakukan crawling URL ini karena parameter sort-by tidak diatur ke tahun production-year meskipun URL berisi nilai sort-order yang valid (asc)

Contoh 2

http://www.example.com?shopping-category=DVD-movies&sort-by=production-year&sort-order=asc.

Google dapat melakukan crawling terhadap URL ini karena nilai sort-by dan sort-order cocok dengan setelan yang diizinkan.

Contoh 3

http://www.example.com/shoes/33453

http://www.example.com?country=fr

Google dapat melakukan crawling terhadap kedua URL karena tidak memiliki parameter yang ditandai.

Apakah ini membantu?
Bagaimana cara meningkatkannya?