In dit artikel wordt uitgelegd hoe je de toegang tot content op je site blokkeert.
Bepaalde content die je publiceert, is mogelijk niet relevant voor weergave in Google Nieuws. Je kunt de toegang van Google tot bepaalde content beperken door de robotcrawlers Googlebot en Googlebot-News de toegang te ontzeggen.
Een robots.txt-bestand maken
Met een robots.txt-bestand kun je zelf voor een groot deel bepalen welke delen van je site in Google Zoeken en Google Nieuws kunnen worden weergegeven. Meer informatie over robots.txt-bestanden.
Je kunt de toegang op de volgende manieren blokkeren:
-
Als je niet wilt dat je site wordt weergegeven in Google Nieuws, kun je Googlebot-News de toegang ontzeggen met behulp van een robots.txt-bestand.
-
Als je niet wilt dat je site wordt weergegeven in Google Nieuws en ook niet in Google Zoeken, kun je Googlebot de toegang ontzeggen met behulp van een robots.txt-bestand.
Je moet onze crawler toegang verlenen tot je robots.txt-bestand, zodat we kunnen zien of je bepaalde delen van je site hebt opgegeven die niet moeten worden gecrawld.
Een metatag maken
Je kunt metatags toevoegen aan een html-pagina. De metatags vertellen zoekmachines welke limieten van toepassing zijn als pagina's in zoekresultaten worden weergegeven. Meer informatie over hoe je indexering van zoekopdrachten blokkeert met metatags.
Hier volgen enkele algemene metatags die je kunt toevoegen aan je HTML-pagina's:
-
Als je niet wilt dat bepaalde artikelen op je site worden weergegeven in Google Nieuws, kun je Googlebot-News de toegang ontzeggen met behulp van de volgende metatag:
<meta name="Googlebot-News" content="noindex, nofollow">. -
Als je niet wilt dat bepaalde artikelen op je site worden weergegeven in Google Nieuws en ook niet in Google Zoeken, kun je Googlebot de toegang ontzeggen met behulp van de volgende metatag:
<meta name="googlebot" content="noindex, nofollow">. -
Als je niet wilt dat bepaalde artikelen op je site worden gecrawld door welke robot dan ook, gebruik je de volgende metatag:
<meta name="robots" content="noindex, nofollow"> -
Als je niet wilt dat afbeeldingen in een bepaald artikel door robots worden gecrawld, gebruik je de volgende metatag:
<meta name="robots" content="noimageindex">. -
Als je ons wilt laten weten dat een artikel op een bepaald moment uit de Google-index moet worden verwijderd, gebruik je de volgende metatag:
<meta name="googlebot" content="unavailable_after: 25-Aug-2011 15:00:00 EST">. -
Gebruik de RFC 850-notatie om de datum en tijd op te geven. Deze metatag wordt behandeld als verwijderingsverzoek. Het duurt ongeveer een dag nadat de verwijderingsdatum is verstreken voordat de pagina uit de zoekresultaten verdwijnt. De tag functioneert echter alleen correct als deze is opgenomen in je artikel wanneer het artikel voor het eerst wordt gecrawld.
-
Er zijn andere opties voor het beperken van de content die wordt weergegeven in een zoekresultaat. Je vindt meer informatie in de ontwikkelaarsdocumentatie.
HTTP-headerspecificaties
Je kunt in de HTTP-reactieheader ook instructies voor robots opgeven. Je vindt meer informatie in de HTTP-headerspecificaties.
Belangrijk: Google volgt de meest beperkende interpretatie met betrekking tot je instructies voor bots.