Zoekindexering blokkeren met 'noindex'

U kunt voorkomen dat een pagina wordt weergegeven op Google Zoeken door de metatag noindex aan de HTML-code van de pagina toete voegen, of door een 'noindex'-header terug te sturen in het HTTP-verzoek. Wanneer Googlebot de volgende keer de betreffende pagina crawlt en vervolgens de tag of header ziet, verwijdert Googlebot de betreffende pagina volledig uit de resultaten van Google Zoeken, ongeacht of andere sites een link naar deze pagina bevatten.

Belangrijk! De noindex-instructie is alleen effectief als de pagina niet wordt geblokkeerd door een robots.txt-bestand. Als de pagina wordt geblokkeerd door een robots.txt-bestand, ziet de crawler de noindex-instructie niet. De pagina kan dan nog steeds worden weergegeven in zoekresultaten, bijvoorbeeld als andere pagina's een link naar deze pagina bevatten.

Het is handig om noindex te gebruiken als u niet over roottoegang tot uw server beschikt, aangezien u hiermee per pagina de toegang tot uw site kunt bepalen.

Noindex implementeren

Er zijn twee manieren om noindex te implementeren: als metatag en als HTTP-reactieheader. De twee manieren hebben een vergelijkbaar effect. Welke manier het handigst voor u is, is afhankelijk van hoeveel controle u heeft over uw server en van uw specifieke publicatieproces.

<Meta>-tag

Als u wilt voorkomen dat de meeste webcrawlers van zoekmachines een pagina op uw site indexeren, plaatst u de volgende metatag in het gedeelte <head> van uw pagina:

<meta name="robots" content="noindex">

Alleen voorkomen dat Google-webcrawlers een pagina indexeren:

<meta name="googlebot" content="noindex">

U moet echter beseffen dat bepaalde webcrawlers de instructie noindex anders kunnen interpreteren. Het is dus mogelijk dat uw pagina nog wel wordt weergegeven in de zoekresultaten van andere zoekmachines.

Meer informatie over de noindex-metatag.

Help ons bij het vinden van uw metatags

We moeten uw pagina crawlen om uw metatags te zien. Als uw pagina nog steeds in de zoekresultaten wordt weergegeven, komt dit waarschijnlijk doordat we de pagina niet hebben gecrawld sinds u de tag heeft toegevoegd. U kunt met de tool Fetchen als Google een verzoek indienen om de pagina opnieuw te crawlen. Een andere mogelijke reden is dat uw robots.txt-bestand deze URL blokkeert en de webcrawlers van Google de tag dus niet kunnen zien. Als u de pagina wilt deblokkeren voor Google, moet u uw robots.txt-bestand bewerken. U kunt uw robots.txt-bestand bewerken en testen met de tool robots.txt-tester.

HTTP-reactieheader

In plaats van een metatag kunt u ook een X-Robots-Tag-header met de waarde noindex of none terugsturen in uw antwoord. Hier volgt een voorbeeld van een HTTP-reactie met een X-Robots-Tag die crawlers instrueert een pagina niet te indexeren:

HTTP/1.1 200 OK
(…)
X-Robots-Tag: noindex
(…)

Meer informatie over de noindex-reactieheader.

HIERNA: AFMELDEN VOOR WEERGAVE OP GOOGLE+ EN IN ANDERE GOOGLE-SERVICES

Was dit nuttig?
Hoe kunnen we dit verbeteren?