A robots.txt jelentés megmutatja, hogy a Google milyen robots.txt fájlokat talált a webhely 20 vezető gazdagépéhez, mikor végezte el a legutóbbi feltérképezést, illetve milyen figyelmeztetéseket és hibákat észlelt. A jelentés emellett lehetővé teszi a robots.txt fájl újbóli feltérképezésének kérelmezését is vészhelyzet esetén.
Ez a jelentés csak a domainszintű tulajdonok esetén áll rendelkezésre. Ez a következőket jelentheti:
- Domaintulajdon (például example.com vagy m.example.com) vagy
- URL-előtaggal rendelkező tulajdon elérési út nélkül (pl. https://example.com/, de nem https://example.com/path/).
Robots.txt jelentés megnyitása
A robots.txt fájlok és a feltérképezési állapot megtekintése
Domaintulajdon esetében jelentés az adott tulajdon 20 vezető gazdagépének robots.txt fájljait tartalmazza.
A Search Console által ellenőrzött összes robots.txt fájllal kapcsolatban a következő információk láthatók:
- Fájl útvonala: A teljes URL, ahol a Google ellenőrizte, hogy jelen van-e a robots.txt fájl. Az URL-ek csak akkor jelennek meg a jelentésben, ha az elmúlt 30 nap során bármikor „Lekérve” vagy „Nem lett lekérve” volt az állapotuk. Lásd: A robots.txt fájlok helye.
- Lekérés állapota: A fájl legutóbbi lekérési kérelmének állapota. A következő értékek szerepelhetnek itt:
- Nem lett lekérve – Nem található (404): 404-es (a fájl nem létezik) hiba történt a fájl lekérésekor. Ha közzétett egy robots.txt fájlt a megadott URL-en, mégis ezt a hibát látja, ellenőrizze az URL-t, hogy van-e valamilyen rendelkezésre állási probléma. Ha egy fájl állapota 30 napig Nem található (404), akkor többé nem jelenik meg a jelentésben (bár a Google továbbra is ellenőrzi a háttérben). Ha nincs robots.txt fájl, az jó, és azt jelenti, hogy a Google fel tudja térképezni a webhely összes URL-jét, de ha szeretné látni a teljes képet, tájékozódjon arról, hogy miként viselkedik a Google robots.txt-hiba esetén.
- Nem lett lekérve – Bármilyen más ok: Valamilyen más probléma történt a fájl lekérésekor. Lásd: Indexelési problémák listája.
- Lekérve: A legutóbbi feltérképezési kísérlet sikeresen visszaadott egy robots.txt fájlt. A fájl elemzése során talált problémák a Problémák oszlopban jelennek meg. A Google figyelmen kívül hagyja a problémákat tartalmazó sorokat, és azokat használja, amelyeket tud elemezni.
- Ellenőrzés időpontja: Mikor próbálta meg utoljára feltérképezni az URL-t a Google (helyi idő szerint).
- Méret: A lekért fájl mérete bájtban. Ha a legutóbbi lekérési kísérlet nem sikerült, ez a mező üres marad.
- Problémák: A táblázatban látható, hogy hány elemzési probléma merült fel a fájl tartalmában a legutóbbi lekéréskor. A hibák megakadályozzák a szabályok használatát. A figyelmeztetések nem akadályozzák meg a szabályok használatát. Tájékozódjon arról, hogy miként viselkedik a Google a robots.txt fájllal kapcsolatos hiba esetén. Az elemzési problémák megoldásához használjon robots.txt-érvényesítő eszközt.
A legutóbb lekért verzió megtekintése
A robots.txt fájl legutóbb lekért verzióját úgy tekintheti meg, hogy rákattint a jelentés fájllistájában. Ha a robots.txt fájlban hibák vagy figyelmeztetések vannak, ezek kiemelve jelennek meg a megjelenített fájltartalomban. A nyílbillentyűkkel lépkedhet a hibák és a figyelmeztetések között.
A korábban lekért verziók megtekintése
Ha szeretné megtekinteni az adott robots.txt fájl lekérési kérelmeit az elmúlt 30 napból, kattintson a fájlra a jelentés fájllistájában, majd kattintson a Verziók lehetőségre. Az adott verziójú fájl tartalmának megtekintéséhez kattintson a verzióra. Egy kérelem csak akkor szerepel az előzményekben, ha a lekért fájl vagy a lekérés eredménye eltér az előző fájllekérési kérelemhez képest.
Újbóli feltérképezés kérése
Amikor kijavít egy hibát, vagy ha fontos módosítást hajt végre, kérheti a robots.txt fájl újbóli feltérképezését.
Mikor érdemes újrafeltérképezést kérni?
Általában nem szükséges a robots.txt fájl újbóli feltérképezését kérni, mert a Google gyakran feltérképezi a robots.txt fájlokat. A következő esetekben azonban érdemes lehet kérni a robots.txt fájl újrafeltérképezését:
- Módosította a robots.txt szabályait, hogy feloldja néhány fontos URL letiltását, és szeretné gyorsan értesíteni a Google-t (vegye figyelembe, hogy ez nem garantálja a feloldott URL-ek azonnali feltérképezését).
- Kijavított egy lekérési hibát vagy más kritikus hibát.
Újbóli feltérképezés kérése
Ha újrafeltérképezést szeretne kérni, a robots.txt fájlok listájában kattintson a fájl melletti További beállítások 
Webhelytároló szolgáltatásokban lévő webhelyek
Ha a webhelyét egy webhelytároló szolgáltatásban tárolja, akkor nem biztos, hogy egyszerűen tudja szerkeszteni a robots.txt fájlt. Ebben az esetben tekintse át a webhelyszolgáltató dokumentációját arról, hogyan tilthatja le adott oldalak Google általi feltérképezését vagy indexelését.
A robots.txt fájlok helye
Terminológia:
- Protokoll: (Más néven séma) lehet HTTP vagy HTTPS.
- Gazdagép: Az URL-ben a protokolltól (http:// vagy https://) az útvonalig terjedő teljes tartalom. Az m.de.example.com gazdagép például három lehetséges gazdagépet jelent: m.de.example.com, de.example.com és example.com, melyek mindegyikének saját robots.txt fájlja lehet.
- Eredet: A protokoll és a gazdagép együttesen. Tehát például: https://example.com/ vagy https://m.example.co.es/
Az RFC 9309 szabvány szerint a robots.txt fájlnak a webhely minden protokoll- és gazdagép-kombinációjának a gyökerében kell lennie.
- A Search Console a 20 vezető gazdagépet választja ki, és a feltérképezési gyakoriság szerint rendezi őket. A jelentés minden domain esetén legfeljebb két eredetet jelenít meg, ami azt jelenti, hogy a táblázat legfeljebb 40 sort tartalmazhat. Ha nem találja az egyik gazdagéphez tartozó robots.txt URL-t, hozzon létre egy domaintulajdont a hiányzó aldomain számára.
- A Search Console minden gazdagép esetében két URL-t ellenőriz:
- http://<host>/robots.txt
- https://<host>/robots.txt
- Ha a kért URL-en lévő robots.txt fájl 30 napig Nem található állapotú, akkor a Search Console nem jeleníti meg az URL-t ebben a jelentésben, de a Google továbbra is ellenőrizni fogja az URL-t a háttérben. Minden más eredmény esetén az ellenőrzött URL megjelenik a jelentésben.
URL-előtaggal rendelkező tulajdon esetében a gazdagép szintjén (pl. https://example.com/) a Search Console csak az adott tulajdon egyetlen eredetét ellenőrzi. Ez azt jelenti, hogy a https://example.com tulajdon esetében a Search Console csak a https://example.com/robots.txt oldalt ellenőrzi, a http://example.com/robots.txt vagy a https://m.example.com/robots.txt fájlt nem.
Általános feladatok
A robots.txt fájl megtekintése
A jelentésben szereplő valamelyik robots.txt fájl megnyitásához kattintson a fájlra a robots.txt fájlok listájában. A fájl böngészőben való megnyitásához kattintson az Élő robots.txt megnyitása lehetőségre.
Bármelyik robots.txt fájlt megnyithatja az interneten a böngészőjében. Alább megtudhatja, melyik URL-t érdemes felkeresni.
Hol lehetnek a robots.txt fájlok?
A robots.txt fájl a protokoll és a domain gyökerében található. Az URL meghatározásához egy fájl URL-jében töröljön mindent a gazdagép (és az opcionális port) után, és adja hozzá a „/robots.txt” szöveget. Nyissa meg a robots.txt fájlt a böngészőben, ha van. A robots.txt fájlokat nem öröklik az aldomainek és a fölérendelt domainek, és egy adott oldalra csak egyetlen robots.txt fájl lehet hatással. Néhány példa:
| Fájl URL-címe | Olyan robots.txt URL-címe, amely hatással lehet az adott fájlra |
|---|---|
| http://example.com/home | http://example.com/robots.txt |
| https://m.de.example.com/some/page/here/mypage | https://m.de.example.com/robots.txt |
| https://example.com?pageid=234#myanchor | https://example.com/robots.txt |
| https://images.example.com/flowers/daffodil.png | https://images.example.com/robots.txt |
Annak megtekintése, hogy melyik robots.txt fájl érvényes egy oldalra vagy képre
Egy oldalt vagy képet érintő robots.txt fájl URL-jének megkeresése:
- Keresse meg az oldal vagy kép pontos URL-címét. Kép esetén kattintson a képre a jobb egérgombbal a Google Chrome böngészőben, és válassza a Kép URL-jének másolása lehetőséget.
- Távolítsa el az URL-nek a legfelső szintű domain (pl. .com, .org, .co.il) utáni részét, és adja hozzá a /robots.txt karakterláncot a végéhez. Tehát a https://images.example.com/flowers/daffodil.png robots.txt fájlja a https://images.example.com/robots.txt.
- Nyissa meg az URL-t a böngészőben, hogy ellenőrizze, létezik-e a robots.txt fájl. Ha a böngésző nem tudja megnyitni a fájlt, akkor nem létezik.
Annak tesztelése, hogy a robots.txt letiltja-e a Google-t
- Ha tesztelni szeretné, hogy egy adott URL-t letilt-e egy robots.txt fájl, tesztelheti az URL rendelkezésre állását az URL-ellenőrző eszközzel.
- Ha Ön fejlesztő, tekintse meg és építse be a Google nyílt forráskódú robots.txt könyvtárát, amelyet a Google Kereső is használ. Ezzel az eszközzel a robots.txt fájlokat helyben tesztelheti a számítógépén.
További információ
- Mi az a robots.txt fájl, és hogyan használható?
- A robots.txt fájl megvalósítása
