Over robots.txt

Uw geüpdatete robots.txt-bestand verzenden naar Google

Met de functie Verzenden in de tool robots.txt-tester kunt u sneller een nieuw robots.txt-bestand uploaden voor uw site en Google vragen dit bestand te crawlen en te indexeren. Volg de onderstaande stappen om uw robots.txt-bestand te updaten en Google op de hoogte te stellen van de wijzigingen.

1. Klik op Verzenden in de rechterbenedenhoek van de robots.txt-editor. Het dialoogvenster 'Verzenden' wordt weergegeven.

2. Download uw bewerkte robots.txt-code vanaf de pagina robots.txt-tester door op Downloaden in het dialoogvenster 'Verzenden' te klikken.

3. Upload uw nieuwe robots.txt-bestand als tekstbestand met de naam robots.txt naar de root van uw domein (de URL voor uw robots.txt-bestand moet /robots.txt zijn).

Als u geen rechten heeft om bestanden te uploaden naar de root van uw domein, moet u contact opnemen met uw domeinbeheerder om de wijzigingen aan te brengen.

Als de startpagina van uw site zich bijvoorbeeld bevindt op subdomain.example.com/site/example/, kunt u het robots-bestand subdomain.example.com/robots.txt niet updaten. In dit geval neemt u contact op met de eigenaar van example.com/ om de benodigde wijzigingen aan te brengen in het robots.txt-bestand.

4. Klik op Live versie verifiëren om te controleren of uw live robots.txt-bestand de versie is die u wilt laten crawlen door Google.

5. Klik op Live versie verzenden om Google te laten weten dat er wijzigingen zijn aangebracht in uw robots.txt-bestand en Google te vragen het bestand te crawlen.

6. Controleer of uw nieuwste versie is gecrawld door Google door de pagina in uw browser te vernieuwen om de editor van de tool te updaten en uw live robots.txt-code te bekijken. Nadat u de pagina heeft vernieuwd, kunt u ook op het dropdown-menu boven de teksteditor klikken om de tijdstempel te bekijken waarop Google de nieuwste versie van uw robots.txt-bestand voor het eerst heeft gezien.

HIERNA: URL'S BLOKKEREN DOOR DE DIRECTORY'S OP UW SERVER TE BEVEILIGEN MET EEN WACHTWOORD

Was dit nuttig?
Hoe kunnen we dit verbeteren?