Dubbele URL's consolideren

Een canonieke pagina definiëren voor vergelijkbare of dubbele pagina's

Als je één pagina hebt die toegankelijk is via meerdere URL's of verschillende pagina's met vergelijkbare content (bijvoorbeeld een pagina met zowel een mobiele als een desktopversie), ziet Google deze als dubbele versies van dezelfde pagina. Google kiest één URL als de canonieke versie en crawlt die URL. Alle andere URL's worden beschouwd als dubbele URL's en worden minder vaak gecrawld.

Als je Google niet expliciet laat weten welke URL canoniek is, maakt Google de keuze voor jou of wordt aan elk van de URL's evenveel gewicht toegekend, wat kan leiden tot ongewenst gedrag, zoals hieronder in Waarom moet ik een canonieke URL kiezen? wordt uitgelegd.

Wat is een canonieke URL?

Een canonieke URL is de URL van de pagina waarvan Google denkt dat deze het meest representatief is voor een reeks dubbele pagina's op je site. Als je bijvoorbeeld URL's voor dezelfde pagina hebt (bijvoorbeeld example.com?dress=1234 en example.com/dresses/1234), kiest Google een van de URL's als canonieke URL. Houd er rekening mee dat de pagina's niet helemaal identiek hoeven te zijn. Kleine wijzigingen in het sorteren of filteren van lijstpagina's maken de pagina niet uniek (bijvoorbeeld sorteren op prijs of filteren op artikelkleur).

De canonieke pagina kan zich op een ander domein bevinden dan een dubbele pagina.

Meer informatie

Wanneer Googlebot een site indexeert, probeert deze de primaire content van elke pagina te bepalen. Als Googlebot meerdere pagina's op dezelfde site vindt die ongeveer hetzelfde lijken te zijn, kiest Googlebot de pagina die volgens de bot het meest compleet en nuttig is en wordt deze gemarkeerd als canoniek. De canonieke pagina wordt het vaakst gecrawld. Duplicaten worden minder vaak gecrawld om de crawlbelasting van Google op je site te beperken.

Google kiest de canonieke pagina op basis van een aantal factoren (of signalen), zoals of de pagina wordt weergegeven via http of https; de paginakwaliteit; de aanwezigheid van de URL in een sitemap; en eventuele "rel=canonical"-labels. Je kunt je voorkeur aan Google doorgeven via deze technieken, maar Google kan om verschillende redenen een andere pagina als canonieke pagina kiezen dan jij.

Verschillende taalversies van één pagina worden alleen als duplicaten beschouwd als de hoofdcontent in dezelfde taal is geschreven (dus als alleen de koptekst, voettekst en andere niet-essentiële tekst zijn vertaald, maar het hoofdgedeelte gelijk is gebleven, worden de pagina's als duplicaten beschouwd).

Google gebruikt de canonieke pagina's als hoofdbronnen om content en kwaliteit te evalueren. Het Google-zoekresultaat verwijst meestal naar de canonieke pagina, tenzij een van de duplicaten expliciet beter geschikt is voor een gebruiker. Het zoekresultaat verwijst bijvoorbeeld waarschijnlijk naar de mobiele pagina als de gebruiker een mobiel apparaat gebruikt, zelfs als de desktoppagina is gemarkeerd als canoniek.

Waarom zou ik vergelijkbare/dubbele pagina's hebben?

Er zijn goede redenen waarom je site verschillende URL's kan hebben die naar dezelfde pagina verwijzen of waarom er dubbele of sterk gelijkende pagina's op verschillende URL's staan. Dit zijn de meest voorkomende:

Voor gebruik op meerdere apparaattypen:

https://example.com/news/koala-rampage
https://m.example.com/news/koala-rampage
https://amp.example.com/news/koala-rampage

Voor het gebruik van dynamische URL's voor zaken als zoekparameters of sessie-ID's:

https://www.example.com/products?category=dresses&color=green
https://example.com/dresses/cocktail?gclid=ABCD
https://www.example.com/dresses/green/greendress.html

Als je blogsysteem automatisch meerdere URL's opslaat wanneer je dezelfde post in meerdere secties plaatst.

https://blog.example.com/dresses/green-dresses-are-awesome/
https://blog.example.com/green-things/green-dresses-are-awesome/

Als je server zo is ingesteld dat dezelfde content wordt geleverd voor varianten van http/https met of zonder 'www':
```
http://example.com/green-dresses
https://example.com/green-dresses
http://www.example.com/green-dresses
```
Als content die je op een blog levert voor syndicatie aan andere sites, gedeeltelijk of volledig wordt gereproduceerd op die domeinen:
https://news.example.com/green-dresses-for-every-day-155672.html (syndicatiepost) https://blog.example.com/dresses/green-dresses-are-awesome/3245/ (oorspronkelijke post)

Waarom moet ik een canonieke URL kiezen?

Er zijn meerdere redenen waarom je expliciet een canonieke pagina in een reeks dubbele/vergelijkbare pagina's zou willen kiezen:

Als je wilt aangeven welke URL mensen te zien krijgen in de zoekresultaten. Je geeft er bijvoorbeeld de voorkeur aan dat mensen terechtkomen op je productpagina met groene jurken via https://www.example.com/dresses/green/greendress.html in plaats van https://example.com/dresses/cocktail?gclid=ABCD.
Als je linksignalen wilt consolideren voor vergelijkbare of dubbele pagina's. Hierdoor kunnen zoekmachines de informatie die ze voor de afzonderlijke URL's hebben (zoals links naar de URL's), consolideren tot één voorkeurs-URL. Dit betekent dat links van andere sites naar http://example.com/dresses/cocktail?gclid=ABCD worden geconsolideerd met links naar https://www.example.com/dresses/green/greendress.html.
Als je statistieken wilt bijhouden voor één product/onderwerp. Met verschillende URL's is het een grotere uitdaging om geconsolideerde statistieken voor bepaalde content te verkrijgen.
Als je syndicatiecontent wilt beheren. Als je je content via syndicatie publiceert op andere domeinen, wil je de paginarangschikking consolideren naar je voorkeurs-URL.
Als je wilt voorkomen dat crawltijd wordt besteed aan dubbele pagina's. Je wilt natuurlijk dat Googlebot het maximale uit je site haalt, dus is het beter als Googlebot tijd besteedt aan het crawlen van nieuwe (of geüpdatete) pagina's van je site in plaats van aan het crawlen van de desktopversies en mobiele versies van dezelfde pagina's.

Wat is volgens Google mijn canonieke URL?

Gebruik de URL-inspectietool om na te gaan welke pagina Google als canoniek beschouwt. Ook als je expliciet een canonieke pagina opgeeft, kan Google om diverse redenen, zoals prestaties of content, voor een andere canonieke pagina kiezen.

Problemen oplossen

Als een canonieke URL zich bevindt in een property die niet van jou is, kun je geen verkeer zien voor je dubbele pagina. Hier vind je enkele veelvoorkomende redenen waarom een canonieke URL zich kan bevinden in een afzonderlijke property:

Verkeerd gemarkeerde taalvarianten: Als je meerdere websites hebt die een gelokaliseerde versie van dezelfde content leveren aan verschillende gebruikers over de hele wereld, moet je ervoor zorgen dat je onze richtlijnen voor gelokaliseerde sites volgt.
Onjuiste canonieke tags: Sommige contentmanagementsystemen (CMS) of CMS-plug-ins kunnen onjuist gebruik maken van technieken voor canonieke URL's om te verwijzen naar URL's op externe websites. Controleer je content om te zien of dit het geval is. Als je site een onverwachte voorkeur voor een canonieke URL aangeeft, wellicht via onjuist gebruik van rel="canonical" of een 301-omleiding, moet je dat probleem onmiddellijk oplossen.
Verkeerd geconfigureerde servers: Sommige verkeerde hostingconfiguraties kunnen leiden tot onverwachte cross-domein URL-selectie. Voorbeeld:
- Een server kan onjuist zijn geconfigureerd, zodat content op 'a.com' wordt geretourneerd als antwoord op een verzoek voor een URL op 'b.com'.
- Twee niet-gerelateerde webservers kunnen identieke soft 404-pagina's retourneren die door Google niet als foutpagina's worden herkend.
Kwaadwillende hacking: Sommige aanvallen op websites zorgen voor code die een HTTP-301-omleiding retourneren of een cross-domein rel=”canonical”-linkelement invoegen in de html <head> of HTTP-header, die vaak verwijzen naar een URL waarop schadelijke content of spamcontent wordt gehost. In dergelijke gevallen kunnen onze algoritmen de schadelijke of spam-URL's selecteren in plaats van de URL op de gehackte website.
Een gehackte website: In zeldzame gevallen kan ons algoritme een URL selecteren van een externe site die je content zonder jouw toestemming host. Als je denkt dat een andere site je content kopieert en hiermee het auteursrecht schendt, kun je contact opnemen met de host van de site en verwijdering van de content aanvragen. Daarnaast kun je Google vragen een inbreukmakende pagina uit de zoekresultaten te verwijderen door een verzoek in te dienen volgens de procedure uit de Digital Millennium Copyright Act (DMCA).

Een canonieke pagina opgeven

Er zijn verschillende manieren om de canonieke pagina in een dubbele set op te geven, afhankelijk van je gebruik:

Methode	Beschrijving
Algemene richtlijnen	Volg deze richtlijnen voor alle methoden voor canonieke URL's.
De tag rel=canonical <link>	Voeg aan de code van alle dubbele pagina's een <link>-tag toe die verwijst naar de canonieke pagina. Voordelen: Er is geen limiet aan het aantal dubbele pagina's dat kan worden toegewezen. Nadelen: Kan ertoe leiden dat de pagina groter wordt. Het kan complex zijn om de toewijzing te beheren op grotere sites of sites waar de URL's vaak veranderen. Werkt alleen voor html-pagina's, niet voor bestanden zoals pdf. In dergelijke gevallen kun je de HTTP-header rel=canonical gebruiken.
De HTTP-header rel=canonical	Verzend een rel=canonical-header in de paginareactie. Voordelen: De pagina wordt niet groter. Er is geen limiet aan het aantal dubbele pagina's dat kan worden toegewezen. Nadelen: Het kan complex zijn om de toewijzing te beheren op grotere sites of sites waar de URL's vaak veranderen.
Sitemap	Geef je canonieke pagina's op in een sitemap. Voordelen: Eenvoudig te doen en te beheren, vooral op grote sites. Nadelen: Googlebot moet nog steeds het gekoppelde duplicaat bepalen voor canonieke URL's die je in de sitemap aangeeft. Minder krachtig signaal richting Googlebot dan de toewijzingstechniek rel=canonical.
301-omleiding	Gebruik 301-omleidingen om Googlebot te laten weten dat een omgeleide URL een betere versie betreft dan een bepaalde URL. Gebruik dit alleen als je een dubbele pagina beëindigt.
AMP-variant	Als een van je varianten een AMP-pagina is, moet je de AMP-richtlijnen volgen om de canonieke pagina en de AMP-variant aan te geven.

Hoewel we je aanraden een van deze methoden te gebruiken, is geen van de methoden vereist. Als je geen canonieke URL aangeeft, identificeren we de versie of URL die volgens ons het beste is.

Algemene richtlijnen

Volg voor alle methoden voor canonieke URL's de onderstaande algemene richtlijnen.

Algemene richtlijnen

Gebruik het robots.txt-bestand niet voor doeleinden met betrekking tot canonieke URL's.
Gebruik de tool voor het verwijderen van URL's niet voor canonieke URL's: de tool verwijdert alle versies van een URL uit Google Zoeken.
Geef geen verschillende URL's op als canonieke URL voor dezelfde pagina, ongeacht of je dezelfde of een andere techniek voor canonieke URL's gebruikt (geef bijvoorbeeld niet een bepaalde URL op in een sitemap en een andere URL voor dezelfde pagina via rel="canonical").
Gebruik noindex niet als middel om te voorkomen dat een canonieke pagina wordt geselecteerd. Deze instructie is bedoeld om de pagina van de index uit te sluiten, niet om de keuze voor een canonieke pagina te beheren.
Geef wel een canonieke pagina op wanneer je hreflang-tags gebruikt. Geef een canonieke pagina op in dezelfde taal (of in de best mogelijke vervangende taal als er voor dezelfde taal geen canonieke pagina bestaat).
Link wel naar de canonieke URL in plaats van naar een dubbele URL wanneer je linkt binnen je site. Als je consistent linkt naar de URL die volgens jou de canonieke URL is, begrijpt Google je voorkeur beter.

De voorkeur geven aan HTTPS boven HTTP voor canonieke URL's

Google geeft de voorkeur aan HTTPS-pagina's boven HTTP-pagina's als canonieke pagina's, behalve wanneer er conflicterende signalen zijn, zoals de volgende:

De HTTPS-pagina heeft een ongeldig SSL-certificaat.
De HTTPS-pagina bevat onveilige afhankelijkheden (behalve afbeeldingen).
De HTTPS-pagina leidt gebruikers om naar of via een HTTP-pagina.
De HTTPS-pagina bevat een rel="canonical"-link naar de HTTP-pagina.

Hoewel onze systemen standaard de voorkeur geven aan HTTPS-pagina's boven HTTP-pagina's, kun je een van de volgende acties uitvoeren om ervoor te zorgen dat dit gedrag wordt toegepast:

Voeg omleidingen toe vanaf de HTTP-pagina naar de HTTPS-pagina.
Voeg een rel="canonical"-link toe vanaf de HTTP-pagina naar de HTTPS-pagina.
HSTS implementeren.

Vermijd het volgende om te voorkomen dat Google de HTTP-pagina ten onrechte canoniek maakt:

Ongeldige SSL-certificaten en HTTPS-naar-HTTP-omleidingen zorgen ervoor dat onze voorkeur in hoge mate uitgaat naar HTTP. Deze sterke voorkeur wordt niet genegeerd als je HSTS implementeert.
De HTTP-pagina in plaats van de HTTPS-versie opnemen in je sitemap of hreflang-vermeldingen.
Je SSL/TLS-certificaat implementeren voor de verkeerde hostvariant (example.com levert bijvoorbeeld het certificaat voor www.example.com). Het certificaat moet overeenkomen met je volledige site-URL of moet een certificaat met jokertekens zijn dat kan worden gebruikt voor meerdere subdomeinen binnen een domein.

Alleen voor ervaren gebruikers: Laat Google dynamische parameters negeren

Gebruik de functie Parameterbehandeling om Googlebot te laten weten welke parameters moeten worden genegeerd tijdens het crawlen. Wanneer we bepaalde parameters negeren, wordt er minder dubbele content in de index van Google weergegeven en kan je site sneller worden gecrawld. Als je bijvoorbeeld opgeeft dat de parameter sessionid moet worden genegeerd, beschouwt Googlebot de volgende twee URL's als duplicaten:

https://www.example.com/dresses/green.php?sessionid=273749
https://www.example.com/dresses/green.php

Specifieke methoden

Kies een van de volgende methoden om een canonieke URL op te geven voor dubbele URL's of dubbele/vergelijkbare pagina's.

Zorg ervoor dat je voor alle methoden de bovenstaande algemene richtlijnen volgt.

De link-tag rel="canonical"

Je kunt een <link>-tag in de paginaheader gebruiken om aan te geven wanneer een pagina een duplicaat is van een andere pagina.

Stel dat je https://example.com/dresses/green-dresses als canonieke URL wilt, ook al hebben meerdere URL's toegang tot deze content. Volg dan de volgende stappen om deze URL als canoniek aan te duiden:

Markeer alle dubbele pagina's met een rel="canonical"-linkelement. Voeg aan het <head>-gedeelte van dubbele pagina's een <link>-element met het kenmerk rel="canonical" toe dat verwijst naar de canonieke pagina, bijvoorbeeld:
<link rel="canonical" href="https://example.com/dresses/green-dresses" />
Als de canonieke pagina een mobiele variant heeft, voeg je er een rel="alternate"-link aan toe die verwijst naar de mobiele versie van de pagina:
<link rel="alternate" media="only screen and (max-width: 640px)" href="http://m.example.com/dresses/green-dresses">
Voeg hreflang of andere omleidingen toe die geschikt zijn voor de pagina.

Gebruik absolute paden in plaats van relatieve paden met het linkelement rel="canonical".

Gebruik deze structuur: https://www.example.com/dresses/green/greendresss.html
Niet deze structuur: /dresses/green/greendress.html

Gebruik de HTTP-header rel="canonical"

Als je je server kunt configureren, kun je HTTP-headers van het type rel="canonical" gebruiken (in plaats van html-tags) om de canonieke URL aan te geven voor niet-html-documenten zoals pdf-bestanden.

Als je bijvoorbeeld een pdf-bestand via meerdere URL's bereikbaar maakt, kun je voor de dubbele URL's een HTTP-header rel="canonical" zoals het onderstaande voorbeeld retourneren om Googlebot te laten weten wat de canonieke URL voor het pdf-bestand is:

Link: <http://www.example.com/downloads/white-paper.pdf>; rel="canonical"

Google ondersteunt deze methode momenteel alleen voor online zoekopdrachten.

Gebruik absolute paden in plaats van relatieve paden met het linkelement rel="canonical". Dat wil zeggen:
Gebruik deze structuur: http://www.example.com/downloads/white-paper.pdf
Niet deze structuur: /downloads/white-paper.pdf

Gebruik een sitemap

Kies voor elke pagina een canonieke URL en neem deze op in een sitemap. Alle pagina's in een sitemap worden voorgesteld als canonieke pagina's; Googlebot bepaalt op basis van vergelijkbare content welke pagina's dubbel zijn (indien van toepassing).

We kunnen niet garanderen dat de sitemap-URL's als canoniek worden beschouwd, maar het is een eenvoudige manier om canonieke pagina's te definiëren voor een grote site. Sitemaps zijn een handige manier om Google te laten weten welke pagina's je het belangrijkst vindt op je site.

Neem geen niet-canonieke pagina's op in een sitemap. Als je een sitemap gebruikt, geef je alleen canonieke URL's op in de sitemap.

Gebruik 301-omleidingen voor URL's die niet meer worden gebruikt

Gebruik deze methode als je de bestaande dubbele pagina's wilt verwijderen, maar wilt zorgen voor een soepele overgang voordat je stopt met het gebruik van de oude URL's.

Stel dat je pagina op meerdere manieren kan worden bereikt:

https://example.com/home
https://home.example.com
https://www.example.com

Kies een van die URL's als je canonieke URL en gebruik 301-omleidingen om verkeer van andere URL's door te sturen naar je voorkeurs-URL. Een 301-omleiding aan de serverzijde is de beste manier om ervoor te zorgen dat gebruikers en zoekmachines naar de juiste pagina worden geleid. De statuscode 301 betekent dat een pagina permanent is verplaatst naar een nieuwe locatie.

Als je een service voor het hosten van websites gebruikt, zoek je in hun documentatie naar informatie over het instellen van 301-omleidingen.

Was dit nuttig?

Hoe kunnen we dit verbeteren?