Mengonsolidasikan URL duplikat

Menentukan halaman kanonis untuk halaman serupa atau duplikat

Ringkasan

Jika Anda memiliki satu halaman yang dapat diakses dengan beberapa URL, atau beberapa halaman dengan konten yang serupa (misalnya, halaman dengan versi seluler dan desktop), Google melihatnya sebagai versi duplikat dari halaman yang sama. Google akan memilih satu URL sebagai versi kanonis dan meng-crawl-nya, serta menganggap semua URL lainnya sebagai URL duplikat dan jarang meng-crawl-nya. 

Jika Anda tidak secara eksplisit menyebutkan URL mana yang kanonis, Google yang akan menentukan pilihan, atau mungkin keduanya dianggap valid, yang berisiko menimbulkan perilaku yang tidak diinginkan, seperti yang dijelaskan di bawah dalam Mengapa saya harus memilih URL kanonis?

Detail selengkapnya
Informasi tambahan tentang kanonikalisasi berikut ini mungkin tidak terlalu signifikan, Anda boleh melewatinya. Akan tetapi, kami akan tetap menyampaikannya jika Anda tertarik.
Saat mengindeks situs, Googlebot mencoba menentukan topik yang dicakup dalam setiap halaman. Jika Googlebot menemukan beberapa halaman yang serupa pada situs yang sama, Googlebot memilih halaman yang dianggap paling lengkap dan berguna, kemudian menandainya sebagai kanonis. Yang paling sering di-crawl adalah halaman kanonis, sedangkan duplikat tidak terlalu sering di-crawl untuk menghemat biaya crawling pada situs Anda. Jadi, jika Anda tidak memberi tahu Googlebot halaman mana yang kanonis, lalu menentukan halaman kanonis yang berbeda, Anda mungkin akan membuang-buang waktu mengupdate halaman yang tidak akan sering diindeks oleh Googlebot atau ditampilkan dalam hasil penelusuran.
Google menggunakan halaman kanonis pada situs Anda sebagai standar tertinggi konten situs dalam mengevaluasi konten dan kualitas, dan hasil Google Penelusuran biasanya mengarah ke halaman kanonis, kecuali jika salah satu duplikat secara eksplisit lebih cocok dengan kueri pengguna: contohnya, hasil penelusuran mungkin mengarah ke halaman seluler jika pengguna menggunakan perangkat seluler, meskipun halaman desktop ditandai sebagai kanonis.
Google memilih halaman kanonis berdasarkan sejumlah faktor (atau sinyal), seperti penayangan halaman melalui http atau https; domain pilihan  pengguna; kualitas halaman; keberadaan URL dalam peta situs; dan pemberian label "rel=canonical" apa pun. Anda tidak dapat memaksa Google untuk memilih halaman kanonis, tetapi Anda dapat memengaruhi pilihan tersebut dengan menggunakan satu atau beberapa teknik yang ditunjukkan di sini.

 

Mengapa saya memiliki halaman yang serupa/duplikat?

Ada alasan yang valid mengapa situs Anda mungkin memiliki URL yang berbeda namun mengarah ke halaman yang sama, atau memiliki halaman duplikat atau yang sangat mirip di URL yang berbeda. Berikut alasan yang paling umum:

  • Untuk mendukung berbagai jenis perangkat:
    https://example.com/news/koala-rampage
    https://m.example.com/news/koala-rampage
    https://amp.example.com/news/koala-rampage
    
  • Untuk mengaktifkan URL dinamis bagi beberapa hal seperti parameter penelusuran atau ID sesi:
    https://www.example.com/products?category=dresses&color=green
    https://example.com/dresses/cocktail?gclid=ABCD
    https://www.example.com/dresses/green/greendress.html
  • Jika sistem blog Anda otomatis menyimpan beberapa URL saat Anda menempatkan entri blog yang sama pada beberapa sesi.
    https://blog.example.com/dresses/green-dresses-are-awesome/
    https://blog.example.com/green-things/green-dresses-are-awesome/
  • Jika server dikonfigurasi untuk menayangkan konten yang sama untuk varian www/non-www http/https:
    http://example.com/green-dresses
    https://example.com/green-dresses
    http://www.example.com/green-dresses
    
  • Konten yang Anda tayangkan pada blog untuk distribusi offline ke situs lain direplikasi sebagian atau sepenuhnya di domain tersebut:
    https://news.example.com/green-dresses-for-every-day-155672.html (postingan yang dapat didistribusikan offline) https://blog.example.com/dresses/green-dresses-are-awesome/3245/ (postingan asli)

Mengapa saya harus memilih URL kanonis?

Ada sejumlah alasan mengapa Anda perlu memilih halaman kanonis secara eksplisit dalam kumpulan halaman duplikat/serupa:

  • Menentukan URL mana yang ingin dilihat orang dalam hasil penelusuran. Anda mungkin lebih suka orang membuka halaman produk gaun hijau melalui https://www.example.com/dresses/green/greendress.html, bukan melalui https://example.com/dresses/cocktail?gclid=ABCD.
  • Mengonsolidasikan sinyal link untuk halaman yang serupa atau duplikat. Tindakan ini membantu mesin telusur agar dapat mengonsolidasikan informasi yang dimiliki untuk URL individual (misalnya link ke URL individual tersebut) pada 1 URL pilihan. Artinya, link dari situs lain ke http://example.com/dresses/cocktail?gclid=ABCD dikonsolidasikan dengan link ke https://www.example.com/dresses/green/greendress.html.
  • Menyederhanakan pelacakan metrik untuk 1 produk/topik. Dengan berbagai variasi URL, akan lebih sulit untuk mendapatkan metrik hasil konsolidasi untuk bagian konten tertentu.
  • Mengelola konten bersindikasi. Jika menyindikasikan konten untuk dipublikasikan di domain lain, Anda perlu mengonsolidasikan peringkat halaman ke URL pilihan.
  • Menghindari crawling yang tidak diperlukan pada halaman duplikat. Jika ingin mendapatkan hasil maksimal dari situs Anda, sebaiknya minta Googlebot untuk melakukan crawling halaman baru (atau yang diupdate) pada situs Anda, daripada melakukan crawling halaman yang sama pada versi desktop dan seluler.

URL manakah yang dianggap Google sebagai kanonis (atau duplikat)?

Gunakan fitur Inspeksi URL untuk mempelajari halaman yang dianggap Google sebagai kanonis. Perhatikan bahwa meskipun Anda secara eksplisit menentukan halaman kanonis, Google mungkin memilih halaman lain sebagai kanonis karena berbagai alasan, seperti performa atau konten.

Menentukan halaman kanonis

Ada beberapa cara untuk menentukan halaman kanonis di antara kumpulan duplikat, bergantung pada penggunaan Anda:

Metode Deskripsi
Panduan umum Ikuti panduan ini untuk semua metode kanonikalisasi.
Menentukan domain pilihan

Gunakan Search Console untuk menentukan URL pada 1 domain sebagai kanonis dibandingkan dengan salinannya di domain lain. Misalnya, example.com daripada www.example.com. Gunakan ini hanya jika Anda memiliki 2 situs serupa yang berbeda subdomainnya saja. Jangan menggunakan Search Console untuk situs salinan http/https.

Kelebihan:

  • Sangat mudah diimplementasikan, dikelola, dan diubah
  • Gunakan jika Anda memiliki situs di domain yang berbeda.

Kekurangan:

  • Hanya berfungsi pada perincian domain, dan halaman harus memiliki jalur dan nama yang identik agar dianggap duplikat.
  • Hanya mengaktifkan pemetaan per halaman untuk halaman yang diberi nama jalur yang identik.
Tag rel=canonical <link>

Tambahkan tag <link> dalam kode untuk semua halaman duplikat, yang mengarah ke halaman kanonis.

Kelebihan:

  • Dapat memetakan halaman duplikat dalam jumlah yang tidak terbatas.

Kekurangan:

  • Dapat menambah ukuran halaman.
  • Pengelolaan pemetaan dapat menjadi kompleks pada situs yang besar atau situs dengan URL yang sering berubah.
  • Hanya berfungsi untuk halaman HTML, bukan untuk file seperti PDF. Untuk itu, Anda dapat menggunakan header HTTP rel=canonical.
Header HTTP rel=canonical

Kirimkan header rel=canonical di respons halaman Anda.

Kelebihan:

  • Tidak meningkatkan ukuran halaman.
  • Dapat memetakan halaman duplikat dalam jumlah yang tidak terbatas.

Kekurangan:

  • Pengelolaan pemetaan dapat menjadi kompleks pada situs yang besar atau situs dengan URL yang sering berubah.
Peta Situs

Tentukan halaman kanonis Anda di peta situs.

Kelebihan:

  • Mudah dilakukan dan dikelola, terutama di situs besar.

Kekurangan:

  • Googlebot masih harus menentukan duplikat terkait untuk setiap kanonis yang Anda nyatakan di peta situs.
  • Sinyal kurang kuat untuk Googlebot dibandingkan teknik pemetaan rel=canonical.
Pengalihan 301 Gunakan pengalihan 301 untuk memberi tahu Googlebot bahwa URL yang dialihkan adalah versi yang lebih baik daripada URL yang diberikan. Gunakan pengalihan ini hanya jika halaman duplikat tidak digunakan lagi.
Variasi AMP Jika salah satu variasi Anda adalah halaman AMP, Anda harus mengikuti panduan AMP untuk menunjukkan halaman kanonis dan variasi AMP.

 

Meskipun sebaiknya Anda menggunakan salah satu metode ini, tidak satu pun di antaranya yang bersifat wajib. Jika Anda tidak mengindikasikan URL kanonis, kami akan mengidentifikasi URL atau versi yang terbaik menurut kami.

Panduan umum

Untuk semua metode kanonikalisasi, ikuti panduan umum berikut.

Panduan umum
  • Jangan menggunakan file robots.txt untuk keperluan kanonikalisasi.
  • Jangan menggunakan fitur penghapusan URL untuk kanonikalisasi: fitur ini akan menghapus semua versi URL dari penelusuran.
  • Jangan menentukan URL lain sebagai kanonis untuk halaman yang sama menggunakan teknik kanonikalisasi yang sama atau berbeda (misalnya jangan menentukan satu URL di sebuah peta situs, tetapi URL lain untuk halaman yang sama tersebut menggunakan rel="canonical").
  • Jangan menggunakan noindex sebagai sarana untuk mencegah pemilihan halaman kanonis. Petunjuk ini dimaksudkan untuk mengecualikan halaman dari indeks, bukan untuk mengelola pilihan halaman kanonis. 
  • Lakukan penentuan halaman kanonis saat menggunakan tag hreflang. Tentukan halaman kanonis dalam bahasa yang sama, atau bahasa pengganti terbaik jika kanonis tidak tersedia untuk bahasa yang sama.

Memilih HTTPS , bukan HTTP, untuk URL kanonis

Google lebih memilih halaman HTTPS, bukan halaman HTTP yang setara, sebagai kanonis, kecuali jika ada masalah atau sinyal bentrok seperti berikut:

  • Halaman HTTPS memiliki sertifikat SSL yang tidak valid.
  • Halaman HTTPS memiliki dependensi yang tidak aman (selain gambar).
  • Halaman HTTPS mengalihkan pengguna ke atau melalui halaman HTTP.
  • Halaman HTTPS memiliki link rel="canonical" ke halaman HTTP.

Meskipun sistem kami secara default lebih memilih halaman HTTPS, bukan halaman HTTP, Anda dapat memastikan perilaku ini dengan melakukan salah satu tindakan berikut:

  • Menambahkan pengalihan dari halaman HTTP ke halaman HTTPS.
  • Menambahkan link rel="canonical" dari halaman HTTP ke halaman HTTPS.
  • Menerapkan HSTS.

Untuk mencegah Google agar tidak salah membuat halaman HTTP menjadi kanonis, sebaiknya hindari praktik-praktik berikut:

  • Sertifikat SSL dan pengalihan HTTPS-to-HTTP yang buruk menyebabkan kami benar-benar lebih memilih HTTP. Menerapkan HSTS tidak dapat menimpa preferensi yang kuat ini.
  • Memasukkan halaman HTTP ke dalam peta situs atau entri hreflang Anda, bukan versi HTTPS.
  • Menerapkan sertifikat SSL/TLS Anda untuk varian host yang salah: misalnya, example.com menyediakan sertifikat untuk www.example.com.  Sertifikat tersebut harus sesuai dengan URL situs lengkap Anda, atau menjadi sertifikat pengganti yang dapat digunakan untuk beberapa subdomain dalam suatu domain.

Memberi tahu Google agar mengabaikan parameter dinamis

Gunakan Penanganan Parameter untuk memberi tahu Googlebot tentang parameter apa pun yang perlu diabaikan saat crawling. Mengabaikan parameter tertentu dapat mengurangi konten duplikat di indeks Google dan membuat situs Anda lebih dapat di-crawl. Misalnya, jika Anda menentukan agar parameter sessionid harus diabaikan, Googlebot akan memperlakukan 2 URL berikut sebagai duplikat:

  • https://www.example.com/dresses/green.php?sessionid=273749
  • https://www.example.com/dresses/green.php

Mode spesifik

Pilih salah satu metode berikut untuk menentukan URL kanonis bagi URL duplikat atau halaman duplikat/serupa.

Pastikan Anda mengikuti panduan umum untuk semua metode.

Tetapkan domain pilihan

Gunakan Search Console untuk memberi tahu Google versi URL situs mana yang Anda pilih sebagai kanonis untuk domain:

  • https://www.example.com
  • https://example.com

Jika Anda menetapkan domain sebagai https://example.com, Google akan memperlakukan URL serupa atau halaman pada www.example.com sebagai duplikat halaman di example.com.

Baca Menyetel domain pilihan untuk melihat detailnya.

Gunakan tag link rel="canonical"

Anda dapat menggunakan tag <link> di header halaman untuk menunjukkan bahwa halaman adalah duplikat halaman lain.

Misalnya, Anda ingin https://example.com/dresses/green-dresses menjadi URL kanonis, walaupun berbagai URL dapat mengakses konten ini. Tunjukkan URL ini sebagai kanonis melalui langkah-langkah berikut:

  1. Tandai semua halaman duplikat dengan elemen link rel="canonical". Tambahkan elemen <link> dengan atribut rel="canonical" ke bagian <head> di halaman duplikat, yang mengarah ke halaman kanonis, seperti ini:
    <link rel="canonical" href="https://example.com/dresses/green-dresses" />

  2. Jika halaman kanonis memiliki versi seluler, tambahkan link rel="alternate" ke halaman tersebut, yang mengarah ke versi seluler halaman:
    <link rel="alternate" media="only screen and (max-width: 640px)"  href="http://m.example.com/dresses/green-dresses">

  3. Tambahkan hreflang atau pengalihan lainnya yang sesuai untuk halaman.

Gunakan jalur mutlak, bukan jalur relatif dengan elemen link rel="canonical".

Gunakan struktur ini: https://www.example.com/dresses/green/greendresss.html
Bukan struktur ini: /dresses/green/greendress.html
Gunakan header HTTP rel="canonical"

Jika dapat mengonfigurasi server, Anda dapat menggunakan header HTTP rel="canonical" (bukan tag HTML) guna menunjukkan URL kanonis untuk dokumen non-HTML seperti file PDF.

Misalnya, jika Anda mengekspos file PDF melalui beberapa URL, Anda dapat menggunakan header HTTP rel="canonical" seperti URL duplikat berikut untuk memberi tahu Googlebot tentang URL kanonis mana yang digunakan untuk file PDF:

Link: <http://www.example.com/downloads/white-paper.pdf>; rel="canonical"

Saat ini Google mendukung metode ini untuk hasil penelusuran web saja.

Gunakan jalur mutlak, bukan jalur relatif dengan elemen link rel="canonical". Yaitu:
Gunakan struktur ini:  http://www.example.com/downloads/white-paper.pdf
Bukan struktur ini: /downloads/white-paper.pdf
Gunakan peta situs

Pilih URL kanonis untuk setiap halaman dan kirimkan dalam peta situs. Semua halaman yang tercantum dalam peta situs sebaiknya berupa kanonis; Googlebot akan menentukan halaman mana (jika ada) yang duplikat, berdasarkan kemiripan kontennya.

Kami tidak menjamin bahwa kami akan menganggap URL peta situs sebagai kanonis, namun ini cara termudah guna menentukan kanonis untuk situs besar, dan peta situs adalah cara yang tepat untuk memberi tahu Google halaman mana yang dianggap paling penting di situs Anda.

Jangan menyertakan halaman non-kanonis dalam peta situs. Jika menggunakan peta situs, tentukan hanya URL kanonis dalam peta situs tersebut.

Gunakan pengalihan 301 untuk URL yang tidak aktif

Gunakan metode ini jika Anda ingin menghapus halaman duplikat yang ada, tetapi Anda perlu memastikan transisinya berjalan lancar sebelum menonaktifkan URL lama.

Misalnya, halaman Anda dapat dijangkau dengan beberapa cara:

  • https://example.com/home
  • https://home.example.com
  • https://www.example.com

Pilih salah satu URL tersebut sebagai URL kanonis, dan gunakan pengalihan 301 untuk mengirim traffic dari URL lain ke URL pilihan. Pengalihan 301 sisi server adalah cara terbaik untuk memastikan bahwa pengguna dan mesin telusur diarahkan ke halaman yang tepat. Kode status 301 berarti halaman telah dipindahkan secara permanen ke lokasi baru.

Jika Anda menggunakan layanan hosting situs, lakukan penelusuran untuk dokumentasinya tentang penyiapan pengalihan 301.

Apakah artikel ini membantu?
Bagaimana cara meningkatkannya?