A robots.txt jelentés megmutatja, hogy a Google milyen robots.txt fájlokat talált a webhely 20 vezető gazdagépéhez, mikor végezte el a legutóbbi feltérképezést, illetve milyen figyelmeztetéseket és hibákat észlelt. A jelentés emellett lehetővé teszi a robots.txt fájl újbóli feltérképezésének kérelmezését is vészhelyzet esetén.
Ez a jelentés csak a domainszintű tulajdonok esetén áll rendelkezésre. Ez a következőket jelentheti:
- Domaintulajdon (például example.com vagy m.example.com) vagy
- URL-előtaggal rendelkező tulajdon elérési út nélkül (pl. https://example.com/, de nem https://example.com/path/).
Robots.txt jelentés megnyitása
A robots.txt fájlok és a feltérképezési állapot megtekintése
Domaintulajdon esetében jelentés az adott tulajdon 20 vezető gazdagépének robots.txt fájljait tartalmazza.
A Search Console által ellenőrzött összes robots.txt fájllal kapcsolatban a következő információk láthatók:
- Fájl útvonala: A teljes URL, ahol a Google ellenőrizte, hogy jelen van-e a robots.txt fájl. Az URL-ek csak akkor jelennek meg a jelentésben, ha az elmúlt 30 nap során bármikor „Lekérve” vagy „Nem lett lekérve” volt az állapotuk. Lásd: A robots.txt fájlok helye.
- Lekérés állapota: A fájl legutóbbi lekérési kérelmének állapota. A következő értékek szerepelhetnek itt:
- Nem lett lekérve – Nem található (404): 404-es (a fájl nem létezik) hiba történt a fájl lekérésekor. Ha közzétett egy robots.txt fájlt a megadott URL-en, mégis ezt a hibát látja, ellenőrizze az URL-t, hogy van-e valamilyen rendelkezésre állási probléma. Ha egy fájl állapota 30 napig Nem található (404), akkor többé nem jelenik meg a jelentésben (bár a Google továbbra is ellenőrzi a háttérben). Ha nincs robots.txt-hiba, az jó, és azt jelenti, hogy a Google fel tudja térképezni a webhely összes URL-jét, de ha szeretné látni a teljes képet, tájékozódjon arról, hogy miként viselkedik a Google robots.txt-hiba esetén.
- Nem lett lekérve – Bármilyen más ok: Valamilyen más probléma történt a fájl lekérésekor. Lásd: Indexelési problémák listája.
- Lekérve: A legutóbbi feltérképezési kísérlet sikeresen visszaadott egy robots.txt fájlt. A fájl elemzése során talált problémák a Problémák oszlopban jelennek meg. A Google figyelmen kívül hagyja a problémákat tartalmazó sorokat, és azokat használja, amelyeket tud elemezni.
- Ellenőrzés időpontja: Mikor próbálta meg utoljára feltérképezni az URL-t a Google (helyi idő szerint).
- Méret: A lekért fájl mérete bájtban. Ha a legutóbbi lekérési kísérlet nem sikerült, ez a mező üres marad.
- Problémák: A táblázatban látható, hogy hány elemzési probléma merült fel a fájl tartalmában a legutóbbi lekéréskor. A hibák megakadályozzák a szabályok használatát. A figyelmeztetések nem akadályozzák meg a szabályok használatát. Tájékozódjon arról, hogy miként viselkedik a Google a robots.txt fájllal kapcsolatos hiba esetén. Az elemzési problémák megoldásához használjon robots.txt-érvényesítő eszközt.
A legutóbb lekért verzió megtekintése
A robots.txt fájl legutóbb lekért verzióját úgy tekintheti meg, hogy rákattint a jelentés fájllistájában. Ha a robots.txt fájlban hibák vagy figyelmeztetések vannak, ezek kiemelve jelennek meg a megjelenített fájltartalomban. A nyílbillentyűkkel lépkedhet a hibák és a figyelmeztetések között.
A korábban lekért verziók megtekintése
Ha szeretné megtekinteni az adott robots.txt fájl lekérési kérelmeit az elmúlt 30 napból, kattintson a fájlra a jelentés fájllistájában, majd kattintson a Verziók lehetőségre. Az adott verziójú fájl tartalmának megtekintéséhez kattintson a verzióra. Egy kérelem csak akkor szerepel az előzményekben, ha a lekért fájl vagy a lekérés eredménye eltér az előző fájllekérési kérelemhez képest.
Ha a Google lekérési hibát talált a legutóbbi lekérési kísérlet során, akkor az utolsó sikeresen lekért, hibát nem tartalmazó verziót használja legfeljebb 30 napig.
Újbóli feltérképezés kérése
Amikor kijavít egy hibát, vagy ha fontos módosítást hajt végre, kérheti a robots.txt fájl újbóli feltérképezését.
Mikor érdemes újrafeltérképezést kérni?
Általában nem szükséges a robots.txt fájl újbóli feltérképezését kérni, mert a Google gyakran feltérképezi a robots.txt fájlokat. A következő esetekben azonban érdemes lehet kérni a robots.txt fájl újrafeltérképezését:
- Módosította a robots.txt szabályait, hogy feloldja néhány fontos URL letiltását, és szeretné gyorsan értesíteni a Google-t (vegye figyelembe, hogy ez nem garantálja a feloldott URL-ek azonnali feltérképezését).
- Kijavított egy lekérési hibát vagy más kritikus hibát.
Újbóli feltérképezés kérése
Ha újrafeltérképezést szeretne kérni, a robots.txt fájlok listájában kattintson a fájl melletti További beállítások 
Webhelytároló szolgáltatásokban lévő webhelyek
Ha a webhelyét egy webhelytároló szolgáltatásban tárolja, akkor nem biztos, hogy egyszerűen tudja szerkeszteni a robots.txt fájlt. Ebben az esetben tekintse át a webhelyszolgáltató dokumentációját arról, hogyan tilthatja le adott oldalak Google általi feltérképezését vagy indexelését. (A legtöbb felhasználó nem azt akarja megakadályozni, hogy a Google feltérképezze a fájlokat, hanem azt, hogy megjelenjenek a Google Keresőben. Ha Önnek is ez a célja, nézzen utána a tárhelyszolgáltatónál annak, hogyan tilthatja le a weboldalakat a keresőmotorok elől.)
Mi történik, ha a Google nem tudja lekérni vagy olvasni a robots.txt fájlt?
Ha egy adott domainnél vagy aldomainnél nem található a robots.txt fájl, akkor a Google azt feltételezi, hogy a gazdagépen megtalálható összes URL-t fel tudja térképezni.
Ha a Google talál egy robots.txt fájlt, de nem tudja lekérni, akkor a következőket teszi:
- Az első 12 órában a Google leállítja a webhely feltérképezését, de továbbra is megpróbálja lekérni a robots.txt fájlt.
- Ha a Google nem tud lekérni új verziót, a következő 30 napban a Google a legutóbbi jó verziót használja, miközben továbbra is megpróbál lekérni új verziót. A legutóbbi jó verzió a verzióelőzményekben látható.
- Ha a hibák 30 nap elteltével sem kerülnek kijavításra:
- Ha a webhely általánosan hozzáférhető a Google számára, a Google úgy viselkedik, mintha nem lenne robots.txt fájl (de továbbra is keres új verziót).
- Ha a webhelynél általános rendelkezésre állási problémák merülnek fel, a Google leállítja a webhely feltérképezését, de továbbra is rendszeres megpróbálja lekérni a robots.txt fájlt.
Ha a Google talál egy robots.txt fájlt, és le is tudja kérni: Soronként beolvassa a fájlt. Ha valamelyik sor hibás, vagy nem elemezhető robots.txt-szabályként, kihagyja. Ha a fájlban nincsenek érvényes sorok, a Google üres robots.txt fájlként kezeli, ami azt jelenti, hogy a webhelyre vonatkozóan nincsenek deklarálva szabályok.
A robots.txt fájlok helye
Terminológia:
- Protokoll: (Más néven séma) lehet HTTP vagy HTTPS.
- Gazdagép: Az URL-ben a protokolltól (http:// vagy https://) az útvonalig terjedő teljes tartalom. Az m.de.example.com gazdagép például három lehetséges gazdagépet jelent: m.de.example.com, de.example.com és example.com, melyek mindegyikének saját robots.txt fájlja lehet.
- Eredet: A protokoll és a gazdagép együttesen. Tehát például: https://example.com/ vagy https://m.example.co.es/
Az RFC 9309 szabvány szerint a robots.txt fájlnak a webhely minden protokoll- és gazdagép-kombinációjának a gyökerében kell lennie.
- A Search Console a 20 vezető gazdagépet választja ki, és a feltérképezési gyakoriság szerint rendezi őket. A jelentés minden domain esetén legfeljebb két eredetet jelenít meg, ami azt jelenti, hogy a táblázat legfeljebb 40 sort tartalmazhat. Ha nem találja az egyik gazdagéphez tartozó robots.txt URL-t, hozzon létre egy domaintulajdont a hiányzó aldomain számára.
- A Search Console minden gazdagép esetében két URL-t ellenőriz:
- http://<gazdagép>/robots.txt
- https://<gazdagép>/robots.txt
- Ha a kért URL-en lévő robots.txt fájl 30 napig Nem található állapotú, akkor a Search Console nem jeleníti meg az URL-t ebben a jelentésben, de a Google továbbra is ellenőrizni fogja az URL-t a háttérben. Minden más eredmény esetén az ellenőrzött URL megjelenik a jelentésben.
URL-előtaggal rendelkező tulajdon esetében a gazdagép szintjén (pl. https://example.com/) a Search Console csak az adott tulajdon egyetlen eredetét ellenőrzi. Ez azt jelenti, hogy a https://example.com tulajdon esetében a Search Console csak a https://example.com/robots.txt oldalt ellenőrzi, a http://example.com/robots.txt vagy a https://m.example.com/robots.txt fájlt nem.
Gyakori feladatok
A robots.txt fájl megtekintése
A jelentésben szereplő valamelyik robots.txt fájl megnyitásához kattintson a fájlra a robots.txt fájlok listájában. A fájl böngészőben való megnyitásához kattintson az Élő robots.txt megnyitása lehetőségre.
Bármelyik robots.txt fájlt megnyithatja az interneten a böngészőjében. Alább megtudhatja, melyik URL-t érdemes felkeresni.
Hol lehetnek a robots.txt fájlok?
A robots.txt fájl a protokoll és a domain gyökerében található. Az URL meghatározásához egy fájl URL-jében töröljön mindent a gazdagép (és az opcionális port) után, és adja hozzá a „/robots.txt” szöveget. Nyissa meg a robots.txt fájlt a böngészőben, ha van. A robots.txt fájlokat nem öröklik az aldomainek és a fölérendelt domainek, és egy adott oldalra csak egyetlen robots.txt fájl lehet hatással. Néhány példa:
| Fájl URL-címe | Olyan robots.txt URL-címe, amely hatással lehet az adott fájlra |
|---|---|
| http://example.com/home | http://example.com/robots.txt |
| https://m.de.example.com/some/page/here/mypage | https://m.de.example.com/robots.txt |
| https://example.com?pageid=234#myanchor | https://example.com/robots.txt |
| https://images.example.com/flowers/daffodil.png | https://images.example.com/robots.txt |
Annak megtekintése, hogy melyik robots.txt fájl érvényes egy oldalra vagy képre
Egy oldalt vagy képet érintő robots.txt fájl URL-jének megkeresése:
- Keresse meg az oldal vagy kép pontos URL-címét. Kép esetén kattintson a képre a jobb egérgombbal a Google Chrome böngészőben, és válassza a Kép URL-jének másolása lehetőséget.
- Távolítsa el az URL-nek a legfelső szintű domain (pl. .com, .org, .co.il) utáni részét, és adja hozzá a /robots.txt karakterláncot a végéhez. Tehát a https://images.example.com/flowers/daffodil.png robots.txt fájlja a https://images.example.com/robots.txt.
- Nyissa meg az URL-t a böngészőben, hogy ellenőrizze, létezik-e a robots.txt fájl. Ha a böngésző nem tudja megnyitni a fájlt, akkor nem létezik.
Annak tesztelése, hogy a robots.txt letiltja-e a Google-t
- Ha tesztelni szeretné, hogy egy adott URL-t letilt-e egy robots.txt fájl, tesztelheti az URL rendelkezésre állását az URL-ellenőrző eszközzel.
- Ha egy adott robots.txt szabályt tesztelni szeretne egy olyan fájlon, amely még nem található meg az interneten, vagy ha új szabályt szeretne tesztelni, akkor használhat harmadik féltől származó robots.txt-tesztelő teszközt.
További információ
- Mi az a robots.txt fájl, és hogyan használható?
- A robots.txt fájl megvalósítása
