Keresés
Keresés törlése
Keresés bezárása
Google-alkalmazások
Főmenü

URL-ek letiltása a robots.txt fájllal

Információk a robots.txt fájlokról

A robots.txt fájl webhelye gyökerében található, és a webhely azon részeit sorolja fel, amelyekhez Ön nem szeretne hozzáférést biztosítani a keresőmotorok feltérképező robotjai számára. A fájl a Robotkizárási szabvány (Robots Exclusion Standard) protokollt használja, amelyben egy kis utasításkészlettel jelölheti a webhelye egyes részeihez való hozzáférést a webes robotok különböző típusai (például mobil vagy asztali feltérképezők) számára.

Mihez használható a robots.txt fájl?

Nem képfájlokhoz

A nem képfájlok (azaz a weboldalak) esetében a robots.txt fájlt csak a feltérképezési forgalom szabályozására érdemes használni, hogy szervert ne terhelje túl a Google feltérképező robotja, vagy hogy a feltérképezési keret ne a kevésbé fontos vagy az egymáshoz hasonló oldalakra legyen elpazarolva. A robots.txt fájlt nem érdemes arra használnia, hogy elrejtse weboldalait a Google Keresés találatai közül. Az adott oldalra más weboldalakról is mutathatnak a linkek, a Google pedig ezzel a módszerrel is képes az indexelésre, megkerülve a robots.txt fájlt. Ha szeretné letiltani oldalait a keresési eredményekből, használjon más módszert, például jelszavas védelmet, illetve noindex címkéket vagy utasításokat.

Képfájlokhoz

A robots.txt megakadályozza, hogy a képfájlok megjelenjenek a Google keresési eredményeiben. (Azt azonban nem akadályozza meg, hogy más oldalak vagy felhasználók hivatkozzanak a képre.)

Forrásfájlokhoz

A robots.txt segítségével letilthat forrásfájlokat (például nem fontos kép-, szkript- vagy stílusfájlokat), ha úgy gondolja, hogy a jelen források nélkül betöltött oldalakon nem lesz érezhető jelentős változás. Ha azonban jelen források hiánya megnehezíti az oldal megismerését a Google feltérképező robotja számára, akkor ne tiltsa le őket, máskülönben a Google nem tudja megfelelően elemezni a forrásokat használó oldalakat.

A robots.txt korlátai

A robots.txt megszerkesztése előtt ismerje meg ezen URL-letiltó módszer kockázatait. Előfordulhat, hogy bizonyos alkalmakkor más módszert is érdemes fontolóra venni az URL-ek elrejtéséhez az interneten.

  • A robots.txt instrukciói csak irányelvek

    A robots.txt fájl nem kényszerítheti adott viselkedésre a feltérképező robotokat a webhelyen, a benne szereplő utasítások inkább irányelvekként szolgálnak a webhelyhez hozzáférő robotok számára. Bár a Googlebot és a többi megbízható webes robot betartja a robots.txt fájl utasításait, más feltérképező robotok figyelmen kívül hagyhatják azokat. Ezért ha biztonságba szeretné helyezni adatait a webes robotok elől, használjon jobb tiltási módszert, például óvja jelszóval privát fájljait a szerverén.
  • Az egyes feltérképező robotok másként értelmezik a szintaxist

    Bár a megbízható webes robotok betartják a robots.txt fájl utasításait, egyes feltérképező robotok másként értelmezhetik a direktívákat. Fontos, hogy ismerje a különböző webes robotok felé küldött üzenetek megfelelő szintaxisát, mivel nem mindegyik érti meg az összes parancsot.
  • A robots.txt utasításai nem akadályozzák meg, hogy más webhelyekről hivatkozzanak az Ön URL-jeire

    Bár a Google nem térképezi fel és indexeli a robots.txt által letiltott tartalmakat, az internet más részein megtalálhatunk és indexelhetünk tiltott URL-eket. Ennek eredményeképpen az URL és esetleg más nyilvánosan rendelkezésre álló információk (például a webhelyre mutató linkek utalószövege) megjelenhetnek a Google keresési eredményeiben. Egyéb URL-letiltási módszerekkel akadályozhatja meg teljesen, hogy az URL megjelenjen Google Keresés találatai között. Ilyen módszer például a szerveren lévő fájlok jelszavas védelme, illetve a noindex metacímke vagy válaszfejléc használata.
Megjegyzés: Több feltérképezési és indexelési direktíva kombinálása esetén egyes utasítások ellentmondhatnak másoknak. A Google Developers dokumentációjának Feltérképezési és indexelési / megjelenítési direktívák kombinálása részében megtudhatja, hogyan konfigurálhatja ezeket az utasításokat megfelelően.
Hasznos volt ez a cikk?