Crawlen van geparametriseerde dubbele content blokkeren

Wanneer en hoe kun je de tool voor URL-parameters gebruiken

URL-parameters en dubbele content

Als je site URL-parameters gebruikt voor onbelangrijke paginavarianten (bijvoorbeeld color=red versus color=green), of als je site parameters gebruikt die in essentie dezelfde content kunnen weergeven met verschillende URL's (bijvoorbeeld example.com/shirts?style=polo,long-sleeve en example.com/shirts?style=polo&style=long-sleeve), crawlt Google je site mogelijk op een inefficiënte manier.

Hieronder vind je een voorbeeld van URL's die tot nagenoeg dubbele content leiden, die alleen te onderscheiden is door verschillende parameters:

URL Beschrijving
https://example.com/products/women/dresses/green.html Statische, niet-geparametriseerde pagina
https://example.com/products/women?category=dresses&color=green URL gebruikt parameters category en color om dezelfde content te leveren als de niet-geparametriseerde pagina.
https://example.com/products/women/dresses/green.html?limit=20&sessionid=123 URL bevat parameters om het aantal resultaten te beperken en een sessie-ID waarmee de gebruiker dezelfde content kan weergeven.

Als je veel van dergelijke URL-parameters op je site hebt, kun je wellicht voordeel halen uit de tool voor URL-parameters om het crawlen van dubbele URL's te beperken.

Belangrijk: Als je site dubbele content bevat voor verschillende URL's zonder parameters te gebruiken, moet je een canonieke pagina definiëren in plaats van het crawlen te blokkeren, zoals op deze pagina wordt beschreven.

Het crawlen blokkeren van URL's die specifieke parameters bevatten

Je kunt voorkomen dat Google URL's met specifieke parameters of parameters met specifieke waarden crawlt om te zorgen dat er geen dubbele pagina's worden gecrawld.

Vereisten

Je moet de tool voor URL-parameters alleen gebruiken als je site voldoet aan ALLE van de volgende vereisten.

  • Je site heeft meer dan duizend pagina's, EN
  • In je logboeken zie je een aanzienlijk aantal dubbele pagina's die door Googlebot worden geïndexeerd, waarbij alle dubbele pagina's alleen variëren op basis van URL-parameters (bijvoorbeeld example.com?product=green_dress en example.com?type=dress&color=green).
Waarschuwing voor onjuist gebruik
 
Je moet de tool voor URL-parameters alleen gebruiken als je site voldoet aan de bovenstaande vereisten en je een SEO-specialist bent. Als je de tool voor URL-parameters op een onjuiste manier gebruikt, kan Google belangrijke pagina's op je site negeren, zonder waarschuwing of rapportage over genegeerde pagina's. Deze waarschuwing klinkt misschien wat onheilspellend, maar we vermelden dit omdat veel mensen de tool verkeerd gebruiken of onnodig gebruiken. Als je niet zeker weet of je de tool correct gebruikt, kun je deze beter niet gebruiken.

Gebruik

Je kunt met specifieke parameters het gedrag van Google bij het crawlen van je site specificeren. Parametergedrag is van toepassing op de gehele property: je kunt het crawlgedrag van een bepaalde parameter niet beperken tot een specifieke URL of een specifiek gedeelte van je site.

De tool voor URL-parameters gebruiken:

  1. Controleer of je site aan de eerder genoemde vereisten voldoet.
  2. Open de tool voor URL-parameters.
  3. Bewerk een bestaande parameter of klik op Parameter toevoegen om een nieuwe te maken. Houd er rekening mee dat deze tool hoofdlettergevoelig is, dus neem de parameternaam precies over zoals deze wordt weergegeven in de URL.
  4. Geef aan of je URL-parameter van invloed is op de paginacontent:
    • Nee: heeft geen invloed op de paginacontent: Je parameter heeft geen invloed op hoe de paginacontent wordt gepresenteerd. Dit type parameter kan worden gebruikt om bezoeken en verwijzende URL's bij te houden, maar hebben geen invloed op de werkelijke content van de pagina. Voorbeelden zijn sessionID en userName. Als Google veel URL's vindt die alleen verschillen in deze parameterwaarde, wordt er één URL gecrawld. Google probeert dit soort parameters te detecteren, maar als je logboeken aangeven dat we deze statische parameter niet correct identificeren, kun je dat hier specificeren.
    • Ja: de paginacontent wordt gewijzigd, opnieuw ingedeeld of beperkt: Je parameter kan de paginacontent wijzigen. Voorbeelden zijn brandgender, country en sortorder. Kies het doel van de parameter:
      • Sorteren (bijvoorbeeld sort=price_ascending): Hiermee wordt de volgorde aangepast waarin de content wordt gepresenteerd.
      • Verfijnen (bijvoorbeeld t-shirt_size=XS): Hiermee wordt de content op de pagina gefilterd.
      • Specificeren (bijvoorbeeld store=women ): Hiermee wordt de algemene content bepaald die op een pagina wordt weergegeven. Als dit een exact item is en dit de enige manier is om deze content te bereiken, moet je 'Elke URL' selecteren voor het gedrag.
      • Vertalen (bijvoorbeeld lang=fr): Hiermee wordt een vertaalde versie van de content weergegeven. Als je een parameter gebruikt om verschillende talen weer te geven, wil je waarschijnlijk wel dat Google de vertaalde versies crawlt met hreflang om taalvarianten op je pagina aan te geven in plaats van deze content te blokkeren met deze tool.
      • Pagineren (bijvoorbeeld page=2): Hiermee wordt een specifieke pagina uit een langere vermelding of artikel weergegeven.
         
      • Welke URL's met deze parameter moet Googlebot crawlen? Kies een optie om het gedrag van Google aan te geven wanneer URL's worden aangetroffen die deze parameter bevatten:
        • Laat Googlebot beslissen: Dit is de standaardinstelling voor al bekende parameters. Selecteer dit als je niet zeker weet hoe een parameter zich gedraagt of als het gedrag van de parameter verandert voor verschillende gedeelten van de site. Googlebot kan je site analyseren om te bepalen hoe de parameter het beste kan worden verwerkt.
        • Elke URL: Met deze instelling blokkeert Google nooit URL's met deze parameter. URL's met unieke waarden van deze parameter bevatten geen dubbele content. Nadat je dit type instelling bijvoorbeeld hebt geïmplementeerd voor URL's met de parameter productid, beschouwt Google de URL http://www.example.com/dresses/real.htm?productid=1202938 automatisch als geheel anders dan http://www.example.com/dresses/real.htm?productid=5853729, omdat elke URL een andere waarde voor de parameter productid heeft.
        • Alleen URL's met waarde: Google crawlt alleen URL's waarvan de URL-parameter is ingesteld op een gespecificeerde waarde. URL's met een andere parameterwaarde worden niet gecrawld. Dit is met name handig als je site de parameterwaarde gebruikt om de volgorde te wijzigen waarin verder identieke content wordt weergegeven. http://www.example.com/dresses/real.htm?sort=price_high bevat bijvoorbeeld dezelfde content als http://www.example.com/dresses/real.htm?sort=price_low. Je kunt deze instelling gebruiken om Googlebot te laten weten dat alleen de URL's met sort=price_low moeten worden gecrawld, om te voorkomen dat de dubbele content wordt gecrawld.
        • Geen URL's: URL's met een specifieke parameter worden niet door Google gecrawld. Google crawlt geen URL's met de opgegeven parameter. Je kunt Google bijvoorbeeld laten weten dat URL's met parameters als pricefrom en priceto (zoals http://www.examples.com/search?category=shoe&brand=nike&color=red&size=5&pricefrom=10&priceto=1000) niet moeten worden gecrawld om te voorkomen dat content die al beschikbaar is op http://www.examples.com/search?category=shoe&brand=nike&color=red&size=5, onnodig wordt gecrawld.
  5. Als je site meerdere parameters in een URL gebruikt, ga je naar URL's met meerdere parameters beheren.
  6. Houd er rekening mee dat je regels kunnen worden overgenomen door andere property's (zie Parameterregels overnemen).

Parameterregels overnemen

Als je afzonderlijke property's voor http en https of afzonderlijke bovenliggende en onderliggende property's (bijvoorbeeld example.com en example.com/fr/, of example.com en m.example.com) hebt, kunnen je parameterinstellingen worden overgenomen tussen property's, volgens deze regels:

  • http/https: Als slechts één van je http- of https-property's regels heeft, worden de regels op beide toegepast. Als zowel je http- als je https-property eigen gedefinieerde regels heeft, worden alleen de eigen regels toegepast.
  • Bovenliggende/onderliggende property: Als een bovenliggende property (example.com) parameterregels heeft, neemt een onderliggende property (example.com/fr/) zonder parameterregels die regels over. Een onderliggende property met parameterregels gebruikt alleen de eigen regels. Houd er rekening mee dat subdomeinen (m.example.com) tellen als onderliggende domeinen van bovenliggende domeinen (example.com).

URL's met meerdere parameters beheren

Eén URL kan veel parameters bevatten. Je kunt per parameter de crawlinstellingen specificeren. Als één URL meerdere beheerde parameters bevat, volgt Google de volgende regel bij het bepalen of de URL moet worden gecrawld:

De meer beperkende parameterinstellingen overschrijven de minder beperkende parameterinstellingen.

Hieronder vind je bijvoorbeeld drie URL-parameters en de bijbehorende instellingen voor crawlen van Google:

Parameter Crawlinstellingen voor parameter
shopping-category Alle URL's met deze parameter crawlen
sort-by Alleen URL's met waarde = production-year crawlen
sort-order Alleen URL's met waarde = asc crawlen

 

Voorbeeld 1

http://www.example.com?shopping-category=shoes&sort-by=size&sort-order=asc.

Google crawlt deze URL niet omdat de parameter sort-by niet is ingesteld op production-year, ook al bevat de URL een geldige waarde (asc) voor sort-order.

Voorbeeld 2

http://www.example.com?shopping-category=DVD-movies&sort-by=production-year&sort-order=asc.

Google kan deze URL crawlen omdat de waarden voor sort-by en sort-order overeenkomen met de toegestane instellingen.

Voorbeeld 3

http://www.example.com/shoes/33453

http://www.example.com?country=fr

Google kan beide URL's crawlen omdat deze geen gemarkeerde parameters hebben.

Was dit artikel nuttig?
Hoe kunnen we dit verbeteren?