URL-ek letiltása a robots.txt fájllal

Információk a robots.txt fájlokról

A robots.txt fájl webhelye gyökerében található, és a webhely azon részeit sorolja fel, amelyekhez Ön nem szeretne hozzáférést biztosítani a keresőmotorok feltérképező robotjai számára. A fájl a Robotkizárási szabvány (Robots Exclusion Standard) protokollt használja, amelyben egy kis utasításkészlettel jelölheti a webhelye egyes részeihez való hozzáférést a webes robotok különböző típusai (például mobil vagy asztali feltérképezők) számára.

Csak akkor van szüksége robots.txt fájlra, ha a webhelyen olyan tartalom szerepel, amelyet nem szeretne feltérképeztetni a Google-lal vagy más keresőmotorokkal.

A robots.txt tesztelése eszközzel tesztelheti, hogy a Google mely URL-eket tudja, illetve nem tudja elérni a webhelyén.

A robots.txt korlátai

A robots.txt megszerkesztése előtt ismerje meg ezen URL-letiltó módszer kockázatait. Előfordulhat, hogy bizonyos alkalmakkor más módszert is érdemes fontolóra venni az URL-ek elrejtéséhez az interneten.

  • A robots.txt instrukciói csak irányelvek

    A robots.txt fájl nem kényszerítheti adott viselkedésre a feltérképező robotokat a webhelyen, a benne szereplő utasítások inkább irányelvekként szolgálnak a webhelyhez hozzáférő robotok számára. Bár a Googlebot és a többi megbízható webes robot betartja a robots.txt fájl utasításait, más feltérképező robotok figyelmen kívül hagyhatják azokat. Ezért ha biztonságba szeretné helyezni adatait a webes robotok elől, használjon jobb tiltási módszert, például óvja jelszóval privát fájljait a szerverén.
  • Az egyes feltérképező robotok másként értelmezik a szintaxist

    Bár a megbízható webes robotok betartják a robots.txt fájl utasításait, egyes feltérképező robotok másként értelmezhetik a direktívákat. Fontos, hogy ismerje a különböző webes robotok felé küldött üzenetek megfelelő szintaxisát, mivel nem mindegyik érti meg az összes parancsot.
  • A robots.txt utasításai nem akadályozzák meg, hogy más webhelyekről hivatkozzanak az Ön URL-jeire

    Bár a Google nem térképezi fel és indexeli a robots.txt által letiltott tartalmakat, az internet más részein megtalálhatunk és indexelhetünk tiltott URL-eket. Ennek eredményeképpen az URL és esetleg más nyilvánosan elérhető információk (például a webhelyre mutató linkek utalószövege) megjelenhetnek a Google keresési eredményeiben. Úgy érheti el, hogy az URL ne jelenjen meg többé a Google keresési találatai között, hogy a robots.txt fájlt más URL-tiltási módszerekkel – például a szerveren lévő fájlok jelszavas védelmével vagy indexelési utasításokat tartalmazó metacímkék HTML-be való elhelyezésével – együttesen használja.
Megjegyzés: Több feltérképezési és indexelési direktíva kombinálása esetén egyes utasítások ellentmondhatnak másoknak. A Google Developers dokumentációjának Feltérképezési és indexelési / megjelenítési direktívák kombinálása részében megtudhatja, hogyan konfigurálhatja ezeket az utasításokat megfelelően.

Mennyire hasznos ez a cikk:

Véleményét rögzítettük. Köszönjük!
  • Egyáltalán nem segített
  • Nem sokat segített
  • Valamennyire segített
  • Nagyon sokat segített
  • Rendkívül sokat segített