Het rapport Indexdekking

Ontdek welke pagina's zijn geïndexeerd en welke problemen zijn gevonden tijdens de indexering van je site.

Heb ik dit rapport nodig?

Als je site minder dan vijfhonderd pagina's heeft, hoef je dit rapport waarschijnlijk niet te gebruiken. Je kunt in plaats daarvan makkelijker naar je site op Google zoeken door site:je_site in te voeren, waarbij je_site de URL van de homepage van je site is zonder het voorvoegsel http:// of https://. Voorbeeld: site:example.com of site:example.com/dierenwinkel. De zoekresultaten tonen pagina's op je site die bij Google bekend zijn. Je kunt zoektermen toevoegen om specifieke pagina's op je site te vinden, bijvoorbeeld site:example.com/dierenwinkel leguanen zebra's.

HET RAPPORT INDEXDEKKING

 

Indexdekkingsstatus in Search Console - Google Search Console-training

Het rapport interpreteren

Dit rapport is veel makkelijker te begrijpen en nuttiger als je eerst hebt gelezen hoe Google Zoeken werkt.

Het rapport Indexdekking toont de Google-indexstatus van alle URL's in je property.

  • Op de algemene overzichtspagina zie je de resultaten voor alle URL's in je property gegroepeerd op status (fout, waarschuwing of geldig) en de specifieke reden voor de betreffende status (zoals Ingediende URL niet gevonden (404)).
  • Klik op een tabelrij op de overzichtspagina om een detailpagina te zien met alle URL's met dezelfde status/reden.

Overzichtspagina

Op hoofdniveau geeft het rapport de indexstatus van alle pagina's weer die Google heeft geprobeerd te crawlen op je site, gegroepeerd op status en reden.

Primaire crawler

De waarde Primaire crawler op de overzichtspagina geeft het standaard type user-agent aan dat Google gebruikt om je site te crawlen: Smartphone of Desktop. Deze crawlers simuleren een bezoeker die respectievelijk een mobiel apparaat of desktop gebruikt.

Google crawlt alle pagina's op je site met dit type primaire crawler. Daarnaast kan Google een subset van je pagina's crawlen met een secundaire crawler (ook wel alternatieve crawler genoemd). De secundaire crawler is het andere type user-agent. Als de primaire crawler voor je site bijvoorbeeld Smartphone is, is de secundaire crawler Desktop. Is de primaire crawler Desktop, dan is de secundaire crawler Smartphone. Het doel van een secundaire crawl is om meer informatie te krijgen over hoe je site zich gedraagt als deze wordt bezocht door gebruikers op een ander apparaattype.

Waar je op moet letten

Als het goed is zie je een toenemend aantal geldige geïndexeerde pagina's naarmate je site groeit. Raadpleeg het gedeelte Probleemoplossing als je pieken of dalen ziet. De statustabel op de overzichtspagina is gegroepeerd en gesorteerd op status + reden.

Het doel is om de canonieke versie van elke belangrijke pagina te indexeren. Dubbele of alternatieve pagina's hebben als het goed is het label Uitgesloten in dit rapport. Dubbele of alternatieve pagina's bevatten in grote lijnen dezelfde content als de canonieke pagina. Het is goed als een pagina is gemarkeerd als dubbel of alternatief. Dit betekent namelijk dat we de canonieke pagina hebben gevonden en geïndexeerd. Gebruik de URL-inspectietool om de canonieke versie voor elke URL te achterhalen. Bekijk meer redenen waarom pagina's mogelijk ontbreken.

Waar je niet op moet letten

  • 100% dekking: Je moet niet verwachten dat alle URL's op je site worden geïndexeerd. Alleen de canonieke pagina's worden geïndexeerd, zoals hierboven beschreven.
  • Onmiddellijke indexering: Als je nieuwe content toevoegt, kan het een paar dagen duren voordat Google deze indexeert. Je kunt deze vertraging verkorten door indexering aan te vragen.

Status

Elke pagina kan een van de volgende statuswaarden hebben:

  • Fout: De pagina is niet geïndexeerd. Raadpleeg de beschrijving van het specifieke fouttype voor meer informatie en tips om de fout op te lossen. Je moet je eerst op deze problemen richten.
  • Waarschuwing: De pagina is geïndexeerd, maar er is een probleem waarvan je op de hoogte moet zijn.
  • Uitgesloten: De pagina is niet geïndexeerd, maar we denken dat dit je bedoeling was. (Je hebt de pagina bijvoorbeeld expres uitgesloten via een noindex-instructie of het gaat om een kopie van een canonieke pagina die we al hebben geïndexeerd op je site.)
  • Geldig: De pagina is geïndexeerd.

Reden

Elke status (fout, waarschuwing, geldig, uitgesloten) heeft een specifieke reden. Bekijk Beschrijvingen van statustypen hieronder voor een beschrijving van elk statustype en wat je kunt doen.

Validatie

De validatiestatus voor dit probleem. Je geeft het beste prioriteit aan problemen waarvoor de validatie is mislukt of niet is gestart.

Over validatie

Nadat je alle instanties van een specifiek probleem op je site hebt gecorrigeerd, kun je Google vragen je wijzigingen te valideren. Als alle bekende problemen zijn verdwenen, wordt het probleem in de statustabel gemarkeerd als opgelost en onderaan de tabel geplaatst. Search Console houdt de validatiestatus van het probleem als geheel bij, evenals de status van elke instantie van het probleem. Wanneer alle instanties van het probleem zijn verdwenen, wordt het probleem beschouwd als gecorrigeerd. (Zie Validatiestatus van een probleem en Validatiestatus van een instantie voor de actuele status van geregistreerde problemen.)

Meer informatie over de levensduur van een probleem...

De levensduur van een probleem begint zodra de eerste instantie van het probleem is gedetecteerd op je site. De levensduur eindigt 90 dagen nadat de laatste instantie op je site is gemarkeerd als opgelost. Wanneer het probleem de daaropvolgende negentig dagen niet terugkeert, wordt het probleem verwijderd uit de rapportgeschiedenis.

De eerste detectiedatum van het probleem is het moment waarop het probleem voor het eerst tijdens de levensduur van het probleem wordt gedetecteerd. De eerste detectiedatum kan niet worden gewijzigd. Dit houdt het volgende in:

  • Als alle instanties van een probleem zijn gecorrigeerd, maar het probleem zich vijftien dagen later opnieuw voordoet, dan wordt het probleem gemarkeerd als open en blijft de datum waarop het probleem voor het eerst werd gedetecteerd de oorspronkelijke datum.
  • Als hetzelfde probleem zich 91 dagen nadat de laatste instantie is gecorrigeerd, opnieuw voordoet, dan wordt het vorige probleem gesloten en wordt dit probleem geregistreerd als nieuw probleem. De datum voor de eerste detectie wordt ingesteld op vandaag.

Algemene validatiestroom

Hier volgt een overzicht van het validatieproces nadat je op Oplossing valideren hebt geklikt voor een probleem. Dit proces kan enkele dagen duren en je ontvangt voortgangsmeldingen via e-mail.

  1. Als je op Oplossing valideren klikt, controleert Search Console onmiddellijk enkele pagina's.
    • Als de huidige instantie op een van deze pagina's voorkomt, wordt de validatie beëindigd en blijft de validatiestatus ongewijzigd.
    • Als de voorbeeldpagina's niet de huidige fout bevatten, wordt de validatie voortgezet met de status Gestart. Als er tijdens de validatie andere, niet-gerelateerde problemen worden aangetroffen, worden deze problemen meegeteld voor het andere type probleem en wordt de validatie voortgezet.
  2. Search Console werkt de lijst met bekende URL's af waarop dit probleem van toepassing is. Alleen URL's met bekende instanties van dit probleem worden in de wachtrij voor opnieuw crawlen geplaatst, niet de hele site. Search Console houdt in de validatiegeschiedenis bij welke URL's zijn gecontroleerd. De validatiegeschiedenis kan worden bekeken via de pagina met probleemgegevens.
  3. Als een URL wordt gecontroleerd, kunnen de volgende situaties zich voordoen:
    1. Als het probleem niet wordt gevonden, wordt de validatiestatus voor het probleem gewijzigd in Geslaagd. Als dit de eerste instantie is die wordt gecontroleerd nadat de validatie is gestart, wordt de validatiestatus voor het probleem gewijzigd in Dat ziet er goed uit.
    2. Als de URL niet meer bereikbaar is, wordt de validatiestatus voor de instantie gewijzigd in Overig (dit is geen foutstatus).
    3. Als de instantie nog altijd wordt aangetroffen, wordt de probleemstatus gewijzigd in Mislukt en wordt de validatie beëindigd. Als dit een nieuwe pagina is die wordt ontdekt naar aanleiding van een normale crawlbewerking, wordt de fout beschouwd als nog een instantie van het bestaande probleem.
  4. Als alle URL's met fouten en waarschuwingen zijn gecontroleerd en het aantal problemen nul is, wordt de probleemstatus gewijzigd in Geslaagd. Belangrijk: Ook als het aantal betreffende pagina's nul is en de probleemstatus is gewijzigd in Geslaagd, wordt nog altijd het oorspronkelijke label met de ernst van de fout weergegeven (Fout of Waarschuwing).

Zelfs als je nooit op 'Validatie starten' klikt, kan Google gecorrigeerde instanties van een probleem detecteren. Als Google tijdens een reguliere crawlbewerking detecteert dat alle instanties van een probleem zijn gecorrigeerd, wordt de probleemstatus in het rapport in 'N.v.t.' gewijzigd.

Wanneer wordt een probleem met een URL of item beschouwd als gecorrigeerd?

Een probleem met een URL of item wordt gemarkeerd als Gecorrigeerd wanneer aan een van de volgende voorwaarden wordt voldaan:

  • Wanneer de URL wordt gecrawld, wordt het probleem niet meer op de pagina aangetroffen. In geval van een AMP-tagfout kan dit betekenen dat de tag is gecorrigeerd of dat de tag is verwijderd (als de tag niet is vereist). Tijdens een validatiepoging wordt de tag beschouwd als geslaagd.
  • Als de pagina om welke reden dan ook niet beschikbaar is voor Google (de pagina is verwijderd, de pagina is voorzien van een noindex-instructie, de pagina vereist verificatie, enzovoort), wordt het probleem voor die URL beschouwd als gecorrigeerd. Tijdens een validatiepoging wordt de pagina meegeteld voor de validatiestatus 'Overig'.

Opnieuw valideren

Wanneer je voor een mislukte validatie op Opnieuw valideren klikt, worden alle mislukte instanties opnieuw gevalideerd. Daarnaast worden alle nieuwe instanties gevalideerd die zijn gedetecteerd via een normale crawlbewerking.

Je moet wachten totdat een validatiecyclus is voltooid voordat je een andere cyclus aanvraagt, zelfs wanneer je tijdens de huidige cyclus enkele problemen hebt gecorrigeerd.

Wanneer je op 'Opnieuw valideren' klikt, worden instanties die zijn gevalideerd (gemarkeerd als Geslaagd) of niet meer bereikbaar zijn (gemarkeerd als Overig) niet opnieuw gecontroleerd en verwijderd uit de geschiedenis.

Validatiegeschiedenis

Je kunt de voortgang van een validatieverzoek bekijken door op de pagina met probleemgegevens op de link 'Validatiegegevens' te klikken.

Items in de validatiegeschiedenis zijn gegroepeerd op URL voor het AMP-rapport en het rapport 'Indexeringsstatus'. In de rapporten 'Mobiel gebruiksgemak' en 'Uitgebreid resultaat' worden items gegroepeerd op basis van de combinatie van URL + gestructureerd gegevensitem (zoals bepaald door de naamwaarde van het item). De validatiestatus is van toepassing op het specifieke probleem dat je aan het onderzoeken bent. Op een pagina kan één probleem met het label 'Geslaagd' worden weergegeven, terwijl andere problemen met het label 'Mislukt', 'In behandeling' of 'Overig' worden weergegeven.

Validatiestatus van een probleem

De volgende validatiestatussen kunnen van toepassing zijn op een bepaald probleem:

  • Niet gestart: Er zijn een of meer pagina's met een instantie van dit probleem waarvoor nog nooit een validatiepoging is gestart. Volgende stappen:
    1. Klik op het probleem om de details van de fout te achterhalen. Inspecteer met behulp van de AMP-test de afzonderlijke pagina's om voorbeelden van de fout op de live pagina te bekijken. (Als de fout op de pagina niet wordt weergegeven wanneer je de AMP-test uitvoert, heb je de fout op de live pagina al gecorrigeerd nadat Google de fout heeft aangetroffen en dit probleemrapport is gegenereerd.)
    2. Klik op 'Meer informatie' op de detailpagina om de details te bekijken van de regel die is geschonden.
    3. Klik in de tabel op een rij met voorbeeld-URL's om meer informatie over dat specifieke probleem weer te geven.
    4. Corrigeer je pagina's en klik vervolgens op Oplossing valideren om ervoor te zorgen dat je pagina's opnieuw door Google worden gecrawld. Google houdt je op de hoogte van de validatievoortgang. Het validatieproces kan een paar dagen tot ongeveer twee weken duren. Wacht dus geduldig af tot je een melding van ons ontvangt. 
  • Gestart: Er is een validatiepoging gestart en er zijn tot dusver geen instanties van het probleem gevonden. Volgende stap: Je ontvangt meldingen van Google over de voortgang van de validatie en, indien nodig, instructies voor wat je moet doen.
  • Dat ziet er goed uit: Er is een validatiepoging gestart en alle gecontroleerde instanties zijn gecorrigeerd. Volgende stap: Je hoeft verder niets te doen. Je ontvangt meldingen van Google over de voortgang van de validatie en instructies voor wat je moet doen.
  • Geslaagd: Alle bekende instanties van het probleem zijn verdwenen (of de betreffende URL is niet langer beschikbaar). Je moet op 'Oplossing valideren' hebben geklikt om deze status te bereiken (als er instanties zijn verdwenen zonder dat je om een validatie hebt gevraagd, wordt de status gewijzigd in 'N.v.t.'). Volgende stap: Je hoeft verder niets te doen.
  • N.v.t.: Google heeft vastgesteld dat het probleem voor alle URL's is gecorrigeerd, ondanks dat er nooit een validatiepoging is gestart. Volgende stap: Je hoeft verder niets te doen.
  • Mislukt: Nadat je op 'Valideren' hebt geklikt, doet het probleem zich nog altijd op een bepaald aantal pagina's voor. Volgende stappen: Verhelp het probleem en voer een nieuwe validatie uit.

Validatiestatus van een instantie

Nadat validatie is aangevraagd, wordt aan elke instantie van het probleem een van de volgende validatiestatussen toegewezen:

  • In afwachting van validatie: De instantie is in de wachtrij voor validatie geplaatst. Tijdens de laatste controle door Google bestond deze instantie van het probleem nog steeds.
  • Geslaagd: [Niet beschikbaar in alle rapporten] Na controle door Google blijkt dat de instantie van het probleem zich niet meer voordoet. Deze status kan alleen worden bereikt wanneer je voor deze instantie van het probleem expliciet op Valideren hebt geklikt.
  • Mislukt: Na controle door Google blijkt dat de instantie van het probleem zich nog steeds voordoet. Deze status kan alleen worden bereikt wanneer je voor deze instantie van het probleem expliciet op Valideren hebt geklikt.
  • Overig: [Niet beschikbaar in alle rapporten] Google kan de URL niet bereiken die als host voor de instantie fungeert of kan het item niet meer op de pagina vinden (voor gestructureerde gegevens). Wordt beschouwd als gelijk aan Geslaagd.

Houd er rekening mee dat dezelfde URL verschillende statussen voor verschillende problemen kan hebben. Als bijvoorbeeld zowel probleem X als probleem Y zich op een pagina voordoet, kan probleem X de validatiestatus Geslaagd hebben, terwijl probleem Y op dezelfde pagina de status In behandeling kan hebben.

Dropdownfilter voor URL-ontdekking

Met het dropdownfilter boven het diagram kun je indexresultaten filteren op basis van de manier waarop Google de URL heeft gevonden. Je kunt de volgende waarden gebruiken:

  • Alle bekende pagina's [standaard]: Geeft alle door Google ontdekte URL's weer, ongeacht de methode.
  • Alle ingediende pagina's: Geeft alleen pagina's weer die bij dit rapport zijn ingediend via een sitemap of een sitemap-ping.
  • Specifieke sitemap-URL: Geeft alleen URL's weer die zijn vermeld in een specifieke sitemap die is ingediend via dit rapport. Dit omvat alle URL's in geneste sitemaps.

Een URL wordt beschouwd als ingediend via een sitemap, zelfs als deze ook via een andere methode is ontdekt (bijvoorbeeld door organisch te crawlen vanaf een andere pagina).

Detailpagina

Klik op een rij op de overzichtspagina om een detailpagina te openen voor de betreffende combinatie van status en reden. Je kunt details van het gekozen probleem bekijken door bovenaan de pagina op Meer informatie te klikken.

Het diagram op deze pagina toont het aantal betrokken pagina's in de loop van de tijd.

De tabel bevat een voorbeeldlijst van pagina's waarop deze status en reden van toepassing zijn. Je kunt op de volgende rij-elementen klikken:

  • Klik op de rij om meer informatie over de betreffende URL te zien.
  • opent de URL in een nieuw tabblad.
  • opent de URL-inspectietool voor die URL.
  • kopieert de URL.

De waarde Bron op de detailpagina geeft aan welk type user-agent (Smartphone of Desktop) is gebruikt om de vermelde URL's te crawlen.

Zodra je alle instanties van een fout of waarschuwing hebt opgelost, klik je op Oplossing valideren om Google te laten weten dat je het probleem hebt opgelost.

Zie je een URL die is gemarkeerd met een probleem dat je al hebt opgelost? Misschien heb je het probleem verholpen na de laatste Google-crawl. Als je dus een URL met een probleem ziet dat je al hebt opgelost, moet je de crawldatum voor die URL controleren. Check en bevestig je oplossing en vraag vervolgens een herindexering aan.

Het rapport delen

Je kunt probleemgegevens delen in de dekkings- of optimalisatierapporten delen door op de knop Delen op de pagina te klikken. Via deze link krijgt iedereen die de link heeft, alleen toegang tot de huidige pagina met probleemgegevens en eventuele validatiegeschiedenispagina's voor dit probleem. De link geeft geen toegang tot andere pagina's voor je bron en geeft de gebruiker waarmee de link is gedeeld, niet de mogelijkheid om acties voor je property of account uit te voeren. Je kunt de link op elk gewenst moment intrekken door delen uit te schakelen voor deze pagina.

Rapportgegevens exporteren

Veel rapporten bevatten een exportknop om de rapportgegevens te exporteren. Zowel diagram- als tabelgegevens worden geëxporteerd.Waarden die worden weergegeven als ~ of - in het rapport (niet beschikbaar/geen cijfer), zijn nullen in de gedownloade gegevens.

Problemen oplossen

Je kunt de indexeringsstatus voor elke URL in dit rapport bevestigen door de URL te inspecteren:

  1. Bepaal of de indexstatus echt een probleem is op basis van het statustype, het indexeringsdoel en de specifieke fout.
  2. Lees de specifieke informatie over het probleem.
  3. Check de URL met de URL-inspectietool:
    1. Klik naast de URL in de tabel met voorbeelden op het vergrootglas  om de URL-inspectietool te openen voor die URL.
    2. Bekijk de crawl- en indexgegevens voor die URL in de gedeelten Dekking > Crawlen en Dekking > Indexering van de URL-inspectietool.
    3. Klik op Live URL testen om de live versie van de pagina te testen.

Algemene problemen

Hier volgen enkele gangbare indexeringsproblemen die je in dit rapport kunt tegenkomen:

Afname in het totale aantal geïndexeerde pagina's zonder bijbehorende fouten

Als je een afname ziet in het totale aantal geïndexeerde pagina's zonder een overeenkomende toename in het aantal fouten, is het mogelijk dat de toegang tot je bestaande pagina's is geblokkeerd door robots.txt, noindex of inlogvereisten. Zoek in de Uitgesloten URL's naar een piek die overeenkomt met de daling in het aantal Geldige pagina's. Als deze URL's zijn ingediend in een sitemap, worden ze gemarkeerd als fouten, niet uitgesloten.

Meer uitgesloten dan geldige pagina's

Als er meer uitgesloten dan geldige pagina's zijn, kijk je naar de redenen voor uitsluiting. Veelvoorkomende redenen voor uitsluiting zijn:

  • Je hebt een robots.txt-regel waardoor Google grote delen van je site niet kan crawlen. Als je de verkeerde pagina's blokkeert, kun je de blokkering opheffen.
  • Je site bevat een groot aantal dubbele pagina's, mogelijk omdat de site parameters gebruikt om een algemene collectie te filteren of te sorteren (bijvoorbeeld type=jurk, kleur=groen of sorteren=prijs). Deze pagina's moeten waarschijnlijk worden uitgesloten als deze dezelfde content bevatten die op verschillende manieren is gesorteerd, gefilterd of kan worden bereikt. Als je een ervaren gebruiker bent en van mening bent dat Google parameters op je site niet goed begrijpt, kun je de tool voor URL-parameters gebruiken om de verwerking van de parameters van je site aan te passen.
Foutpieken

Foutpieken kunnen worden veroorzaakt door een wijziging in een template waardoor een nieuwe fout wordt geïntroduceerd. Het kan ook zijn dat je een sitemap met URL's hebt ingediend die zijn geblokkeerd voor crawlen (door robots.txt, noindex of inlogvereisten).

Als je een foutpiek ziet:

  1. Kijk of je overeenkomsten kunt vinden tussen het totale aantal indexeringsfouten of het totale aantal geïndexeerde URL's en de sparkline  naast een specifieke foutrij op de overzichtspagina. Je kunt hieruit mogelijk afleiden wat het totale aantal fouten of totale aantal geïndexeerde pagina's veroorzaakt.
  2. Klik op de detailpagina's voor eventuele fouten die bijdragen aan de foutpiek. Lees de beschrijving over het specifieke fouttype voor de beste oplossing.
  3. Klik zo nodig op een probleem en inspecteer een voorbeeldpagina om te zien wat de fout is.
  4. Los alle instanties van de fout op en vraag een validatie aan door op Oplossing valideren op de detailpagina voor die reden te klikken. Meer informatie over validatie
  5. Je krijgt meldingen tijdens de voortgang van je validatie, maar je kunt ook na een paar dagen opnieuw checken of je aantal fouten omlaag is gegaan.
Serverfouten
Een serverfout betekent dat Googlebot geen toegang tot je URL kon krijgen, dat het verzoek resulteerde in een time-out of dat je site bezet was. Googlebot heeft het verzoek niet kunnen uitvoeren.
Bekijk het oordeel over de hoststatus voor je site in het rapport Crawlstatistieken om te zien of Google problemen met de sitebeschikbaarheid meldt die je kunt bevestigen en oplossen.

Serverconnectiviteit testen

Je kunt de URL-inspectietool gebruiken om te zien of je een serverfout kunt reproduceren die in het rapport Indexdekking wordt gemeld.

Problemen met serverconnectiviteit oplossen

  • Verminder overmatig laden voor dynamische paginaverzoeken.
    Een site levert dynamische content als deze dezelfde content voor meerdere URL's levert (www.example.com/shoes.php?color=red&size=7 geeft bijvoorbeeld dezelfde content weer als www.example.com/shoes.php?size=7&color=red). Dynamische pagina's reageren soms niet snel genoeg, waardoor er time-outproblemen kunnen optreden. Ook kan het gebeuren dat de server de status Overbelast retourneert om Googlebot te vragen de site langzamer te crawlen. We raden je aan lijsten met parameters kort te houden en ze zo min mogelijk te gebruiken. Als je zeker weet hoe parameters op je site werken, kun je Google vertellen hoe we met deze parameters moeten omgaan.
  • Controleer of de hostingserver van je site niet onbeschikbaar, overbelast of verkeerd geconfigureerd is.
    Neem contact op met je webhost als de verbindings-, time-out- of reactieproblemen aanhouden. Je zou ook je site kunnen aanpassen zodat deze meer verkeer kan verwerken.
  • Controleer of je Google niet onbedoeld blokkeert.
    Het kan zijn dat je Google blokkeert als gevolg van een probleem op systeemniveau, zoals een probleem met de DNS-configuratie, een verkeerd geconfigureerde firewall of een verkeerd geconfigureerd DoS-beveiligings- of contentmanagementsysteem. Beveiligingssystemen vormen een belangrijk onderdeel van goede hosting en zijn vaak geconfigureerd om automatisch ongewone pieken in het aantal serververzoeken te blokkeren. Omdat Googlebot echter vaak meer verzoeken doet dan een menselijke gebruiker, kan het zijn dat deze beveiligingssystemen worden ingeschakeld en voorkomen dat Googlebot je website crawlt. Als je dergelijke problemen wilt oplossen, ga je na door welk deel van de infrastructuur van je website Googlebot wordt geblokkeerd en verwijder je deze blokkering. Het kan zijn dat je de firewall niet zelf beheert. Als dit het geval is, kun je contact met je hostingprovider opnemen.
  • Ga verstandig om met sitecrawlen en indexeren door zoekmachines.
    Sommige webmasters zorgen er opzettelijk voor dat Googlebot hun website niet kan bereiken, mogelijk via een firewall, zoals hierboven is beschreven. In die gevallen is het meestal niet de bedoeling Googlebot volledig te blokkeren, maar om te bepalen hoe de site wordt gecrawld en geïndexeerd. Als dit voor jou het geval is, controleer je het volgende:
404-fouten

Over het algemeen raden we aan om alleen pagina's met een 404-fout te corrigeren, en geen uitgesloten 404-pagina's. Pagina's met 404-fouten zijn pagina's waarvoor je Google expliciet hebt gevraagd ze te indexeren, maar die niet zijn gevonden. Dit is duidelijk een bug. Uitgesloten 404-pagina's zijn pagina's die Google heeft ontdekt via een ander mechanisme, zoals een link vanaf een andere pagina. Als de pagina is verplaatst, moet je een 3XX-omleiding naar de nieuwe pagina retourneren.Meer informatie over hoe je 404-fouten evalueert en oplost

Ontbrekende pagina's of sites

Als je pagina helemaal niet in het rapport wordt vermeld, komt dit mogelijk door een van de volgende redenen:

  • Google is niet op de hoogte van de pagina. Enkele opmerkingen over de vindbaarheid van een pagina:
    • Als het om een nieuwe site of pagina gaat, kan het even duren voordat Google de site of pagina heeft gevonden en gecrawld.
    • Als je wilt dat Google een pagina vindt, moet je een sitemap of een crawlverzoek voor de pagina indienen, of Google moet ergens anders een link naar je pagina kunnen vinden.
    • Zodra een pagina-URL bekend is, kan het even duren (tot een aantal weken) voordat Google een deel van of je volledige site crawlt.
    • Indexering vindt nooit onmiddellijk plaats, ook niet als je een rechtstreeks crawlverzoek indient.
    • Google kan niet garanderen dat alle pagina's overal in de Google-index komen.
  • Google kan je pagina niet bereiken (er is een login vereist of de pagina is op een andere manier niet beschikbaar voor alle gebruikers op internet).
  • De pagina bevat een noindex-tag, waardoor Google deze niet kan indexeren.
  • De pagina is om een bepaalde reden uit de index verwijderd.

De oplossing:

Gebruik de URL-inspectietool om het probleem op je pagina te testen. Als de pagina niet is opgenomen in het rapport Indexdekking maar wel als geïndexeerd wordt vermeld in het URL-inspectierapport, is de pagina mogelijk recent geïndexeerd en wordt deze binnenkort weergegeven in het rapport Indexdekking. Als de pagina als niet-geïndexeerd wordt vermeld in de URL-inspectietool (wat je zou verwachten), test je de live pagina. De resultaten van de test van de live pagina zouden het probleem moeten aangeven. Gebruik de informatie van de test en de testdocumentatie om het probleem te verhelpen.

Fouten van het type Ingediend en uitsluitingen
Elke indexeringsreden met het woord Ingediend in de titel (bijvoorbeeld Ingediende URL heeft 403 geretourneerd) betekent dat de URL wordt vermeld in een sitemap waarnaar wordt verwezen door je robots.txt-bestand of die is ingediend via het rapport Sitemaps.
Zo los je een probleem met Ingediend op:
  • Los het probleem op waardoor de pagina niet wordt gecrawld.
    of
  • Verwijder de URL uit je sitemap en dien de sitemap opnieuw in via het rapport Sitemaps (voor de snelste service).
    of
  • Gebruik het rapport Sitemaps om sitemaps te verwijderen die de URL bevatten (en zorg ervoor dat deze URL niet is opgenomen in sitemaps die worden vermeld in je robots.txt-bestand).

Veelgestelde vragen

Waarom staat mijn pagina in de index? Ik wil niet dat mijn pagina wordt geïndexeerd.

Google kan elke gevonden URL indexeren, tenzij je een noindex-instructie aan de pagina hebt toegevoegd (of als de pagina tijdelijk is geblokkeerd). Google kan een pagina op veel verschillende manieren vinden, bijvoorbeeld als iemand op een andere site naar je pagina verwijst.

  • Als je je pagina wilt blokkeren voor Google-zoekresultaten, kun je een inlogactie voor de pagina vereisen of een noindex-instructie toevoegen aan de pagina.
  • Als je de pagina wilt verwijderen uit Google-zoekresultaten nadat de pagina al is gevonden, volg je deze stappen.

Waarom is mijn site de laatste tijd niet opnieuw geïndexeerd?

Google indexeert pagina's opnieuw aan de hand van een aantal criteria, waaronder hoe vaak de pagina volgens Google wordt gewijzigd. Als je site niet vaak wordt gewijzigd, heeft deze mogelijk een lagere vernieuwingssnelheid, wat helemaal prima is als je pagina's niet zijn gewijzigd. Als je van mening bent dat je site opnieuw moet worden geïndexeerd, kun je Google vragen de site opnieuw te crawlen.

Zouden jullie mijn pagina/site opnieuw willen crawlen?

Vraag Google je pagina of site opnieuw te crawlen.

Waarom zijn veel van mijn pagina's uitgesloten?

Bekijk de redenen voor uitsluiting die in het rapport Indexdekking worden aangegeven. De meeste uitsluitingen hebben een van de volgende oorzaken:

  • We worden door een robots.txt-regel geblokkeerd voor het crawlen van grote gedeelten van je site. Gebruik de URL-inspectietool om het probleem te bevestigen.
  • Je site bevat een groot aantal dubbele pagina's, mogelijk omdat de site parameters gebruikt om een algemene collectie te filteren of te sorteren (bijvoorbeeld type=dress, color=green of sort=price). Deze pagina's krijgen het label Duplicaat of Alternatief in het rapport Indexdekking.
  • De URL bevat een omleiding naar een andere URL. Omleidingen worden niet geïndexeerd, maar de target van de omleiding wel.

Google heeft geen toegang tot mijn sitemap

Zorg ervoor dat je sitemap niet wordt geblokkeerd door robots.txt, geldig is en dat je de juiste URL gebruikt in je robots.txt-vermelding of indiening van je sitemaprapport. Test je sitemap-URL via een openbaar beschikbare testtool voor sitemaps.

Waarom blijft Google een pagina crawlen die is verwijderd?

Google blijft alle bekende URL's crawlen, zelfs nadat ze een tijdje 4XX-fouten hebben geretourneerd, voor het geval het om een tijdelijke fout gaat. Het enige geval waarin een URL niet wordt gecrawld, is als deze een noindex-instructie retourneert.

Ter voorkoming van een oneindig groeiende lijst met 404-fouten toont het rapport Indexdekking alleen URL's die in de afgelopen maand 404-fouten hebben geretourneerd.

Ik kan mijn pagina zien, maar waarom kan Google dat niet?

Gebruik de URL-inspectietool om na te gaan of Google de live pagina kan zien. Als dit niet het geval is, zou er een reden moeten worden gegeven. Als de pagina wel zichtbaar is voor Google, wordt het probleem mogelijk veroorzaakt door een toegangsfout die sinds de laatste crawlpoging is verholpen. Voer een live crawlactie uit via de URL-inspectietool en vraag een indexering aan.

De URL-inspectietool geeft geen problemen aan, maar in het rapport Indexdekking wordt een fout weergegeven. Waarom?

Je hebt de fout misschien opgelost nadat de URL voor het laatst door Google is gecrawld. Controleer de crawldatum voor je URL (op de detailpagina van de URL in het rapport Indexdekking of in de geïndexeerde-versieweergave in de URL-inspectietool). Controleer of je problemen hebt verholpen sinds de pagina voor het laatst is gecrawld.

Hoe kan ik de indexstatus van een specifieke URL vinden?

Gebruik de URL-inspectietool voor meer informatie over de indexstatus van een specifieke URL. Je kunt niet zoeken naar of filteren op een URL in het rapport Indexdekking.

Statusredenen

In het rapport Indexdekking worden de volgende statustypen vermeld:

Fout

Pagina's met fouten zijn niet geïndexeerd

Serverfout (5xx): Je server heeft een fout van het type 500 geretourneerd toen de pagina werd aangevraagd. Zie Serverfouten verhelpen.

Fout met omleiding: Google heeft een van de volgende typen omleidingsfouten ondervonden: de URL bevatte een te lange omleidingsketen; de URL bevatte een omleidingslus; een omleiding overschreed uiteindelijk de maximale URL-lengte; de omleidingsketen bevatte een onjuiste of lege URL. Gebruik een foutopsporingstool op internet, zoals Lighthouse, voor meer informatie over de omleiding.

Ingediende URL geblokkeerd door robots.txt: Je hebt deze pagina ingediend voor indexering, maar de pagina wordt geblokkeerd door het robots.txt-bestand op je site.

  1. Klik op de pagina in de tabel Voorbeelden om het zijvenster met tools uit te vouwen.
  2. Klik op Blokkering van robots.txt testen om de robots.txt-tester uit te voeren voor die URL. De tool markeert de regel waardoor de betreffende URL wordt geblokkeerd.
  3. Update je robots.txt-bestand om de regel te verwijderen of te wijzigen, zoals van toepassing. Je kunt de locatie van dit bestand vinden door op Live robots.txt bekijken in de robots.txt-testtool te klikken. Als je een webhostingservice gebruikt en geen rechten hebt om dit bestand te wijzigen, zoek je in de documentatie van de service of neem je contact op met hun Helpcentrum om ze te informeren over het probleem.

Ingediende URL gemarkeerd als noindex: Je hebt deze pagina ingediend voor indexering, maar een metatag of HTTP-header van de pagina bevat een noindex-instructie. Als je wilt dat deze pagina wordt geïndexeerd, moet je de tag of HTTP-header verwijderen. Gebruik de URL-inspectietool om de fout te bevestigen:

  1. Klik naast de URL in de tabel op het inspectie-icoon .
  2. Onder Dekking > Indexering > Indexering toegestaan? moet het rapport laten zien dat noindex de indexering voorkomt.
  3. Bevestig dat de noindex-tag nog steeds bestaat in de live versie:
    1. Klik op Live URL testen.
    2. Kijk onder Beschikbaarheid > Indexering > Indexering toegestaan? of de noindex-instructie nog steeds wordt gedetecteerd. Als noindex niet meer aanwezig is, kun je op Indexering aanvragen klikken om Google te vragen opnieuw te proberen de pagina te indexeren. Als noindex nog steeds aanwezig is, moet je deze instructie verwijderen om de pagina te laten indexeren.

Ingediende URL is een soft 404: Je hebt deze pagina ingediend voor indexering, maar de server heeft een soft 404 geretourneerd. Meer informatie over hoe je dit kunt oplossen

Ingediende URL retourneert ongeautoriseerd verzoek (401): Je hebt deze pagina ingediend voor indexering, maar Google heeft een 401-reactie (niet geautoriseerd) ontvangen. Verwijder de autorisatievereisten voor deze pagina of geef Googlebot toegang tot je pagina's door de identiteit van Googlebot te verifiëren. Je kunt deze fout verifiëren door de pagina in de incognitomodus te bezoeken.

Ingediende URL niet gevonden (404): Je hebt een niet-bestaande URL ingediend voor indexering. Zie 404-fouten oplossen.

Ingediende URL heeft 403 geretourneerd:De ingediende URL vereist geautoriseerde toegang, maar Google heeft geen inloggegevens. Als deze pagina moet worden geïndexeerd, verleen je toegang aan anonieme bezoekers. Anders moet je deze pagina niet indienen voor indexering.

Ingediende URL geblokkeerd vanwege ander 4xx-probleem:De server heeft een 4xx-reactiecode voor de ingediende URL geretourneerd die niet valt onder een ander probleemtype dat hier wordt beschreven. Je moet deze fout oplossen of deze URL niet indienen voor indexering. Spoor fouten op je pagina op met behulp van de URL-inspectietool.

Waarschuwing

Pagina's met een waarschuwingsstatus kunnen je aandacht vereisen en wel of niet geïndexeerd zijn, afhankelijk van het specifieke resultaat.

Geïndexeerd, maar geblokkeerd door robots.txt: De pagina is geïndexeerd, ondanks het feit dat deze wordt geblokkeerd door het robots.txt-bestand van je website. (Google volgt altijd de instructies in robots.txt op, maar hierdoor wordt indexering niet altijd voorkomen als iemand anders links naar je pagina toevoegt). We weten niet zeker of je de pagina wilt blokkeren in zoekresultaten:

Geïndexeerd zonder content: Deze pagina wordt weergegeven in de Google-index, maar Google kan om een bepaalde reden de content niet lezen. Mogelijke redenen zijn dat de pagina is gecloakt voor Google of dat de pagina een indeling heeft die Google niet kan indexeren. Dit is geen geval van robots.txt-blokkering.

Geldig

Pagina's met een geldige status zijn geïndexeerd.

Ingediend en geïndexeerd: Je hebt de URL ingediend voor indexering en deze is geïndexeerd.

Geïndexeerd, niet ingediend in sitemap: De URL is gevonden door Google en geïndexeerd. We raden je aan alle belangrijke URL's in te dienen via een sitemap.

Uitgesloten

Deze pagina's zijn meestal niet geïndexeerd en we denken dat dat klopt. Deze pagina's zijn duplicaten van geïndexeerde pagina's, de indexering van pagina's wordt geblokkeerd door een mechanisme op je site of de pagina's zijn anderszins niet geïndexeerd om een reden die volgens ons geen fout is.

Uitgesloten door de tag 'noindex': Toen Google de pagina probeerde te indexeren, is er een 'noindex'-instructie aangetroffen, waardoor de pagina niet is geïndexeerd. Als je niet wilt dat deze pagina wordt geïndexeerd, heb je dit goed gedaan. Als de pagina echter wel moet worden geïndexeerd, moet je de 'noindex'-instructie verwijderen. Als je de aanwezigheid van deze tag of instructie wilt bevestigen, vraag je de pagina aan in een browser en zoek je in de hoofdtekst van de reactie en de reactieheaders naar 'noindex'. 

Geblokkeerd door tool voor paginaverwijdering: De pagina wordt momenteel geblokkeerd voor een URL-verwijderingsverzoek. Als je een geverifieerde site-eigenaar bent, kun je de tool voor URL-verwijdering gebruiken om te zien wie een URL-verwijderingsverzoek heeft ingediend. Verwijderingsverzoeken gelden slechts negentig dagen na de verwijderingsdatum. Na die periode kan Googlebot teruggaan en de pagina indexeren, ook als je geen nieuw indexeringsverzoek indient. Als je niet wilt dat de pagina wordt geïndexeerd, kun je 'noindex' gebruiken, autorisatie vereisen voor de pagina of de pagina verwijderen.

Geblokkeerd door robots.txt: Deze pagina wordt met een robots.txt-bestand geblokkeerd voor Googlebot. Je kunt dit verifiëren met de robots.txt-tester. Houd er rekening mee dat de pagina wel nog op een andere manier kan worden geïndexeerd. Als Google andere informatie over deze pagina kan vinden zonder deze te laden, kan de pagina alsnog worden geïndexeerd (hoewel dit minder vaak voorkomt). Je kunt voorkomen dat de pagina door Google wordt geïndexeerd, door het robots.txt-blok te verwijderen en een 'noindex'-instructie te gebruiken.

Geblokkeerd wegens ongeautoriseerd verzoek (401): De pagina is geblokkeerd voor Googlebot door een verzoek tot autorisatie (401-reactie). Als je wilt dat Googlebot deze pagina crawlt, verwijder je de autorisatievereisten of geef je Googlebot toegang tot je pagina.

Gecrawld - momenteel niet geïndexeerd: De pagina is wel door Google gecrawld, maar niet geïndexeerd. Het is mogelijk dat de pagina in de toekomst alsnog wordt geïndexeerd, maar dat is niet zeker. De URL hoeft niet opnieuw te worden ingediend om te worden gecrawld.

Gevonden - momenteel niet geïndexeerd: De pagina is gevonden door Google, maar nog niet gecrawld. Doorgaans wilde Google in dit geval de URL crawlen maar was de site overbelast waardoor Google het crawlen opnieuw moest plannen. Dit is de reden waarom de laatste crawldatum leeg is in het rapport.

Alternatieve pagina met correcte canonieke tag: Deze pagina is een duplicaat van een pagina die Google als canoniek herkent. Deze pagina bevat een correcte verwijzing naar de canonieke pagina. Je hoeft dus verder niets te doen.

Dubbele pagina zonder door de gebruiker geselecteerde canonieke versie: Er zijn duplicaten van de pagina. Geen van de duplicaten is echter gemarkeerd als canoniek. We denken dat deze pagina niet de canonieke pagina is. Je moet de canonieke pagina voor deze pagina expliciet markeren. Bij inspectie van deze URL zou de door Google geselecteerde canonieke URL moeten worden weergegeven.

Dubbele pagina, Google heeft een andere canonieke pagina gekozen dan de gebruiker: Deze pagina is gemarkeerd als canoniek voor een reeks pagina's, maar Google denkt dat een andere URL een betere canonieke pagina is. Google heeft de pagina die wij als canoniek beschouwen geïndexeerd, in plaats van deze pagina. We raden je aan deze pagina expliciet te markeren als een duplicaat van de canonieke URL. Deze pagina is ontdekt zonder expliciet crawlverzoek. Bij inspectie van deze URL zou de door Google geselecteerde canonieke URL moeten worden weergegeven.

Niet gevonden (404): De pagina retourneert een 404-fout als de pagina wordt aangevraagd. Google heeft deze URL ontdekt zonder expliciet verzoek of sitemap. Google heeft de URL mogelijk als een link van een andere site ontdekt, of mogelijk bestond de pagina al eerder en is deze verwijderd. Googlebot blijft deze URL waarschijnlijk gedurende een bepaalde periode proberen. Er is echter geen manier om aan te geven dat Googlebot een URL permanent moet vergeten. Wel is het zo dat de pagina steeds minder vaak wordt gecrawld. 404-reacties vormen geen probleem, indien ze als zodanig zijn bedoeld. Als je pagina is verplaatst, gebruik je een 301-omleiding naar de nieuwe locatie. Meer informatie is te vinden in 404-fouten oplossen

Pagina met omleiding: De URL is een omleiding en is daarom niet toegevoegd aan de index.

Soft 404: Het paginaverzoek retourneert een reactie die wij als soft 404-reactie beschouwen. Dit betekent dat er een gebruiksvriendelijk bericht met de tekst 'niet gevonden' wordt weergegeven zonder een 404-reactiecode. We raden je aan een 404-reactiecode te retourneren voor pagina's die niet zijn gevonden of meer informatie toe te voegen aan de pagina om ons te laten weten dat dit geen soft 404 is. Meer informatie

Dubbele pagina, ingediende URL niet geselecteerd als canoniek: De URL is een van de URL's uit een set dubbele URL's zonder een expliciet gemarkeerde canonieke pagina. Je hebt expliciet gevraagd om deze URL te indexeren, maar omdat de URL een duplicaat is en een andere URL volgens Google een betere kandidaat voor de canonieke pagina is, heeft Google deze URL niet geïndexeerd. In plaats daarvan is de door ons geselecteerde canonieke pagina geïndexeerd. (Google indexeert uitsluitend de canonieke URL in een reeks duplicaten.) Het verschil tussen deze status en 'Google heeft een andere canonieke pagina gekozen dan de gebruiker' is dat je in dit geval expliciet hebt verzocht de URL te indexeren. Bij inspectie van deze URL zou de door Google geselecteerde canonieke URL moeten worden weergegeven.

Geblokkeerd vanwege verboden toegang (403):De user-agent heeft inloggegevens verstrekt, maar heeft geen toegang gekregen. Googlebot verstrekt echter nooit inloggegevens, dus je server retourneert deze fout ten onrechte. Deze fout moet worden opgelost of de pagina moet worden geblokkeerd door robots.txt of noindex.

Geblokkeerd vanwege ander 4xx-probleem: De server heeft een 4xx-fout aangetroffen die niet valt onder een ander probleemtype dat hier wordt beschreven.

Was dit nuttig?
Hoe kunnen we dit verbeteren?