A robots.txt fájlról

A robots.txt tesztelése a robots.txt tesztelő eszközzel

A robots.txt tesztelése eszköz megmutatja, hogy a robots.txt fájl letiltja-e a Google internetes robotjainak hozzáférését a webhelyén található adott URL-ekhez. Ezzel az eszközzel például ellenőrizheti, hogy a Googlebot-Image robot képes-e egy olyan kép URL-jének feltérképezésére, amelyet Ön szeretne letiltani a Google Képek szolgáltatás elől.

 

A robots.txt tesztelése eszköz megnyitása

 

A robots.txt tesztelése eszköznek meg lehet adni egy URL-t. Az eszköz Googlebotként működve megnézi a robots.txt fájlt, és ellenőrzi, hogy az URL megfelelően van-e letiltva.

A robots.txt fájl tesztelése

  1. Nyissa meg a tesztelőeszközt webhelyéhez, és nézze végig a robots.txt kódját, megkeresve a kiemelt szintaktikai figyelmeztetéseket és logikai hibákat. A szintaktikai figyelmeztetések és logikai hibák száma közvetlenül a szerkesztőablak alatt jelenik meg. 
  2. Írja be a webhelyén található egyik oldal URL-jét az oldal alján található szövegmezőbe.
  3. A szövegmezőtől jobbra lévő legördülő listából válassza ki a szimulálni kívánt user-agentet.
  4. Kattintson a TESZT gombra a hozzáférés teszteléséhez.
  5. Nézze meg, hogy a TESZT gombon az ELFOGADVA vagy a LETILTVA szöveg szerepel, így megtudhatja, hogy a megadott URL le van-e tiltva a Google webes robotjai elől.
  6. Módosítsa az oldalon szereplő fájlt, és szükség szerint futtasson új tesztelést. Szeretnénk felhívni a figyelmét, hogy az oldalon végrehajtott módosítások nem lesznek mentve webhelyén. Lásd a következő lépést!
  7. Másolja a módosításokat a webhelyén lévő robots.txt fájlba. Ez az eszköz nem módosítja a webhelyén található fájlt, kizárólag az eszközben tárolt másolat tartalma szerint hajthatja végre a tesztet.

A robots.txt tesztelése eszköz korlátozásai:

  • A eszköz szerkesztőjében végrehajtott módosítások nem lesznek automatikusan elmentve az Ön webszerverén. A szerkesztő tartalmát be kell másolnia a szerveren tárolt robots.txt fájlba.
  • A robots.txt tesztelése eszköz csak Google user-agentekkel vagy webes robotokkal (pl. Googlebot) teszteli a robots.txt fájlt. Arról nem tudunk előrejelzéssel szolgálni, hogy más robotok miként értelmezik a robots.txt fájlt.
Hasznosnak találta?
Hogyan fejleszthetnénk?