A Feltérképezési statisztikák jelentés a Google által az Ön webhelyén végzett feltérképezések előzményeiről jelenít meg statisztikákat. Például hány kérelem érkezett és mikor, mi volt a rájuk adott szerverválasz, és hogy előfordultak-e rendelkezésre állási problémák. A jelentés alapján megállapíthatja, hogy a Google észlel-e megjelenítési hibákat a webhelye feltérképezése során.
Ez a jelentés haladó felhasználóknak szól. Ha webhelye ezer oldalnál kevesebbel rendelkezik, akkor valószínűleg nem lesz szüksége erre a jelentésre, illetve nem kell aggódnia az ilyen részletességű feltérképezés miatt.
A Feltérképezési statisztikák jelentés megnyitása
C<span/>rawl Budget and the Crawl Stats report - Google Search Console Training
Kezdő lépések
A jelentés használata előtt tanulmányozza a következőket:
- A Google Keresés működése
- Témakörök a gyakorlott felhasználók számára, különösen a feltérképezéssel és indexeléssel, valamint a webhelytérképekkel kapcsolatban.
- Különféle, a webhelyhez való hozzáférés kezelésével (például a robots.txt letiltásával) kapcsolatos témakörök.
- Ha nagy (több százezer oldalból álló) webhellyel rendelkezik, itt találja a feltérképezési költségkeret kezeléséről és a költségkerettel kapcsolatos problémák megoldásáról szóló útmutatónkat.
Az adatokról
- Valamennyi megjelenített és megszámlált URL a Google által ténylegesen kérelmezett URL; az adatok nincsenek hozzárendelve gyűjtő-URL-ekhez, mint néhány másik jelentésnél.
- Ha az URL szerveroldali átirányítást tartalmaz, akkor az átirányítási láncban szereplő minden kérelem külön kérelemnek számít. Vagyis ha oldal1 átirányít oldal2-re, amely átirányít oldal3-ra, és a Google az oldal1-et kéri le, akkor Ön külön kérelmeket láthat majd az oldal1-re (301/302-es állapotot eredményez), az oldal2-re (301/302-es állapotot eredményez) és az oldal3-ra (remélhetőleg 200-as állapotot eredményez) vonatkozóan. Ne feledje, hogy csak az aktuális domainen lévő oldalak jelennek meg. Az átirányítási válasz fájltípusa „Egyéb fájltípus”. Az ügyféloldali átirányításokat nem számolja a rendszer.
- Azokat a feltérképezéseket, amelyek be voltak tervezve, de nem lettek elvégezve, mert nem lehetett hozzáférni a robots.txt-hez, beleszámítja a rendszer az összes feltérképezés számába, de előfordulhat, hogy a jelentésben korlátozott adatok szerepelnek ezekről a kísérletekről. További információ.
- Források és hatókör:
- Minden adat az aktuálisan kiválasztott domainre van korlátozva. A más domainekre vonatkozó kérelmek nem jelennek meg. Ez vonatkozik az oldalak ezen tulajdonon kívül tárolt valamennyi forrására (pl. képek) vonatkozó kérelmekre is. Tehát ha az example.com/mypage a google.com/img.png képet tartalmazza, akkor a google.com/img.png képre vonatkozó kérelem nem jelenik meg az example.com tulajdonra vonatkozó Feltérképezési statisztikák jelentésben.
- Hasonlóképpen az azonos szinten lévő domainekre (en.example vagy de.example) vonatkozó kérelmek sem jelennek meg. Tehát ha Ön az en.example domainre vonatkozó Feltérképezési statisztikák jelentést nézi, akkor a de.example domainen található képre vonatkozó kérelmek nem jelennek meg.
- Az aldomainek közötti kérelmek azonban láthatók a fölérendelt domainről. Tehát például ha Ön az example.com domainre vonatkozó adatokat nézi, akkor láthatja az összes kérelmet az example.com, en.example, de.example.com, illetve az example.com szintje alatt található összes többi alárendelt domain vonatkozásában.
- Ugyanakkor ha a tulajdon forrásait egy másik domainen található oldal használja, akkor előfordulhat, hogy láthat a tároló oldallal kapcsolatos feltérképezési kérelmeket, de nem láthat olyan jelzést, amely szerint a forrás éppen feltérképezésre kerül, mivel egy másik domainen található oldal használja (vagyis nem láthatja, hogy az example.com/imageX.png képet feltérképezte a rendszer, mert az anotherexample.com/mypage oldalon található).
- A feltérképezési adatok http és https protokollt is tartalmaznak, még URL-előtaggal rendelkező tulajdonok esetén is. Ez azt jelenti, hogy a http://example.com domainre vonatkozó Feltérképezési statisztikák jelentés mind a http://example.com, mind a https://example.com domainra vonatkozó kérelmeket tartalmazza. Az URL-előtaggal rendelkező tulajdonokra vonatkozó példa-URL-ek azonban a tulajdonhoz meghatározott protokollra vannak korlátozva (http vagy https).
Navigáció a jelentésben
A jelentés a következő feltérképezési adatokat jeleníti meg webhelyéről:
A táblázat egyes rovataira kattintva részletes nézet jelenik meg az adott elemre vonatkozóan, benne a példa-URL-ek felsorolásával. Az egyes URL-ekre kattintva részletes adatok jelennek meg az adott feltérképezési kérelemre vonatkozóan. Például a válaszokat típus szerint csoportosítva tartalmazó táblázatban a HTML sorra kattintva a webhelyén feltérképezett valamennyi HTML-oldalra vonatkozó összesített feltérképezési adatokat tekintheti meg, továbbá láthatja a részletes adatokat, például a feltérképezési időt, a válaszkódot, a válasz méretét és még sok mást a mintaszerűen kiválasztott URL-ekre vonatkozóan.
Gazdagépek és alárendelt domainek
Ha az Ön tulajdona domainszintű (example.com, http://example.com, https://m.example.com), és kettő vagy több alárendelt domaint tartalmaz (például fr.example.com és de.example.com), akkor megtekintheti az adatokat a fölérendelt domainre vonatkozóan (amelyek az összes alárendelt domaint is tartalmazzák) vagy egyetlen alárendelt domainre leszűkítve is.
Ha valamelyik konkrét alárendelt domainre szűkített jelentést szeretné megtekinteni, akkor kattintson az adott alárendelt domainre a Gazdagépek listában a fölérendelt domain céloldalán. Csak az elmúlt 90 napban a 20 legtöbb forgalmat fogadó alárendelt domain jelenik meg.
Példa-URL-ek
Ha belekattint bármelyik csoportosított adattípus-bejegyzésbe (válasz, fájltípus, cél, Googlebot-típus), akkor megtekintheti az adott típus példa-URL-jeit.
A példa-URL-ek nem kimerítő, csupán reprezentatív példákat nyújtanak. Ha a listában nem találja valamelyik URL-t, az nem jelenti azt, hogy nem is küldtünk kérelmet vele kapcsolatban. A példák száma napok szerint súlyozható, így előfordulhat, hogy bizonyos típusú kérésekhez több példa tartozik, mint másokhoz. Ennek idővel ki kell egyenlítődnie.
Összes feltérképezési kérelem
A webhelyén lévő URL-ekre vonatkozóan kiadott (akár sikeres, akár sikertelen) feltérképezési kérelmek száma. Tartalmazza az oldal által használt forrásokkal kapcsolatos kéréseket, ha ezek a források az Ön webhelyén találhatók; a webhelyen kívül tárolt forrásokra irányuló kérelmek nem szerepelnek benne. Az ugyanahhoz az URL-hez tartozó, ismétlődő kérelmeket egyenként számolja a rendszer. Ha a robots.txt fájl rendelkezésre állása nem megfelelő, akkor a rendszer számolja a potenciális lekéréseket.
A számolt sikertelen kérések közé tartoznak a következők:
- olyan lekérések, amelyekre soha nem került sor, mert a robots.txt fájl rendelkezésre állása nem volt megfelelő;
- DNS-feloldási problémák miatt sikertelen lekérések;
- szerverkapcsolati problémák miatt sikertelen lekérések;
- átirányítási körök miatt megszakított lekérések.
Teljes letöltési méret
A webhelyéről a feltérképezés során letöltött bájtok teljes száma az adott időszakban. Ha a Google olyan oldalforrást gyorsítótárazott, amelyet több oldal is használ, akkor a forrást csak első alkalommal kéri le (amikor gyorsítótárazza).
Átlagos válaszidő
Átlagos válaszidő a webhelyéről (a megadott időtartam alatt) lekért valamennyi forrás esetében. Az egyes oldalak által hivatkozott mindegyik forrás külön válasznak számít.
A gazdagép állapota
A gazdagép állapota azt írja le, hogy tapasztalt-e a Google rendelkezésre állással kapcsolatos problémákat, amikor megpróbálta feltérképezni a webhelyet. Az állapot a következő értékek egyike lehet:
A Google nem tapasztalt jelentős rendelkezésre állási problémát a feltérképezés során az Ön webhelyén az elmúlt 90 napban. Szép munkát végzett! Nincs semmi tennivalója.
A Google legalább egy jelentős feltérképezési problémát észlelt az elmúlt 90 napban az Ön webhelyén, de a probléma több mint egy hete fordult elő. Előfordulhat, hogy a hiba átmeneti jellegű volt, vagy megoldódott a probléma. A Válasz táblázatban ellenőrizheti, hogy milyen problémák fordultak elő, és eldöntheti, hogy szükség van-e valamilyen beavatkozásra.
A Google legalább egy jelentős feltérképezési problémát észlelt az elmúlt héten az Ön webhelyén. Mivel a hiba a közelmúltban történt, célszerű megállapítani, hogy ismétlődő problémáról van-e szó. Vizsgálja meg a Válasz táblázatot, amelyben láthatja, hogy milyen problémák fordultak elő, és amely alapján eldöntheti, kell-e tennie valamit.
Ideális esetben a gazdagép állapota Zöld. Ha a rendelkezésre állási állapot piros, rákattintva megtekintheti a robots.txt fájl rendelkezésre állására, a DNS feloldására és a gazdagép-kapcsolatra vonatkozó adatokat.
A gazdagép állapotára vonatkozó adatok
A gazdagép rendelkezésre állásának állapotát a következő kategóriákban méri fel a rendszer. Ha bármelyik kategóriában jelentős hiba fordul elő, az alacsonyabb rendelkezésre állási állapothoz vezethet. A jelentésben szereplő egyes kategóriákra kattintva további részleteket láthat.
Minden kategória esetében megjelenik a feltérképezési adatoknak az adott időszakra vonatkozó diagramja. A diagramon piros pontozott vonal húzódik végig; ha a mutató az adott kategóriában a piros pontozott vonal fölé ment (például ha a DNS-feloldás az adott nap kérelmeinek több mint 5%-ánál nem működött), az problémának számít a kategória esetében, és az állapot a legutolsó probléma újkeletűségét tükrözi majd.
- A robots.txt lekérése
A diagram a robots.txt-kérelmeknek a feltérképezés során mutatkozó hibaarányát ábrázolja. A Google gyakran kéri ezt a fájlt, és ha a kérelem nem jelenít meg érvényes (akár kitöltött, akár üres) fájlt vagy 404-es választ (a fájl nem létezik), akkor a Google lelassítja vagy leállítja a webhely feltérképezését, amíg elfogadható robots.txt-választ nem kap. (Erről az alábbiakban olvashat részletesen) - DNS-feloldás
Ez a diagram akkor látható, ha a DNS-szerver a feltérképezés során nem ismerte fel a gazdagépnevet, vagy pedig nem válaszolt. Ha hibát észlel, forduljon regisztrátorához, és győződjenek meg arról, hogy a webhelye megfelelően van beállítva, szervere pedig kapcsolódik az internethez. - Szerverkapcsolat
A diagram azt mutatja meg, hogy a szerver nem válaszolt, vagy nem teljes választ adott valamelyik URL-re a feltérképezés során. Az ilyen hibák kijavításáról a Szerverhibák szakaszban olvashat.
Itt részletes leírást olvashat arról, hogy a Google miként ellenőrzi a robots.txt fájlokat (és miként függ tőlük) a webhely feltérképezése során.
Webhelyének nem kell robots.txt fájllal rendelkeznie, de ha a Google ezt a fájlt kéri tőle, sikeres választ kell adnia (az alább leírtaknak megfelelően), máskülönben a Google leállíthatja a webhely feltérképezését.
- Sikeres robots.txt-válaszok
- A következők bármelyike sikeres válasznak minősül:
- HTTP 200 és robots.txt fájl (a fájl lehet érvényes, érvénytelen vagy üres). Amennyiben a fájl szintaktikai hibákat tartalmaz, a kérelem továbbra is sikeresnek minősül, ám a Google figyelmen kívül hagyhatja a szintaktikai hibát tartalmazó szabályokat.
- HTTP 403/404/410 (a fájl nem létezik). Webhelyének nem kell robots.txt fájllal rendelkeznie.
- Sikertelen robots.txt-válaszok
- HTTP 429/5XX (csatlakozási probléma)
A Google a következőképpen kéri le és használja a robots.txt fájlokat a webhelyek feltérképezése során:
- Mielőtt a Google feltérképezné az Ön webhelyét, először ellenőrzi, hogy előfordult-e újkeletű (azaz 24 órán belüli) sikeres robots.txt-lekérés.
- Ha a Google rendelkezik 24 óránál nem régebbi sikeres robots.txt-válasszal, akkor a Google ezt a robots.txt fájlt használja a webhely feltérképezése során. (Ne feledje, hogy a 404-es [nem található] válasz sikeres, és azt jelenti, hogy nincs robots.txt fájl, azaz a Google fel tudja térképezni a webhelyen található összes URL-t.)
- Ha az utolsó válasz sikertelen vagy 24 óránál régebbi, a Google kéri Öntől a robots.txt fájlt:
- Ha a kérelem sikeres, elindul a feltérképezés.
- Ha a kérelem sikertelen:
- Az első 12 órában a Google nem folytatja a webhely feltérképezését, hanem megpróbálja lekérni a robots.txt fájlt.
- 12 órától 30 napig a Google a legutolsó sikeresen lekért robots.txt fájlt használja, miközben továbbra is kéri a robots.txt fájlt.
- 30 nap után:
- Ha a webhely kezdőlapja rendelkezésre áll, a Google úgy működik, mintha nem lenne robots.txt fájl, és korlátozások nélkül végzi el a feltérképezést.
- Ha a webhely kezdőlapja nem áll rendelkezésre, a Google leállítja a webhely feltérképezését.
- A Google mindkét esetben továbbra is rendszeres időközönként kérelmezi a robots.txt fájlt.
Feltérképezési válaszok
Ez a táblázat a Google által a webhely feltérképezése során kapott válaszokat jeleníti meg; a válaszok típus szerint csoportosítva szerepelnek, az összes feltérképezési válasz százalékos arányában. Az adatok az összes kérelemre vonatkoznak, nem URL-szerintiek, így ha a Google kétszer kérte le az adott URL-t, és az első alkalommal szerverhibát jelző (500), a második alkalommal pedig OK (200) választ kapott, akkor a válasz 50%-ban Szerverhiba, 50%-ban pedig OK lesz.
Az alábbiakban bemutatunk néhány gyakori válaszkódot, valamint a kezelésük módját:
Jó válaszkódok
Ezek az oldalak rendben vannak, és nem okoznak problémát.
- OK (200): Normál körülmények között a válaszok túlnyomó részének 200-as válasznak kell lennie.
- Véglegesen áthelyezve (301): Az oldal 301-es vagy 308-as (véglegesen áthelyezve) HTTP-választ küld, ami valószínűleg az a válasz, amire Ön is várt.
- Ideiglenesen áthelyezve (302): Az oldal 302-es vagy 307-es (ideiglenesen áthelyezve) HTTP-választ küld vissza, ami valószínűleg az a válasz, amire Ön is várt. Ha az oldal áthelyezése végleges, módosítsa 301-es válaszra.
- Áthelyezve (egyéb): Metafrissítés.
- Nincs módosítva (304): Az oldal nem módosult a legutóbbi feltérképezési kérelem óta.
Lehetséges jó válaszkódok
Előfordulhat, hogy ezekkel a válaszokkal kapcsolatban nincs probléma, de célszerű ellenőriznie, hogy valóban a szándékainak megfelelők-e.
- Nem található (404): Az ilyen típusú hibákat a webhelyén belüli, vagy éppen a webhelyén kívül előforduló hibás linkek okozhatják. A webhelyén előforduló összes 404-es hiba kijavítása nem lehetséges, nem kívánatos, vagy éppen nem éri meg a kijavításuk, és gyakran tényleg a 404-es hiba a megfelelő válasz (például ha eltávolítása után nem gondoskodik az oldal pótlásáról). További információ a 404-es hibák elhárításáról.
Rossz válaszkódok
A feltérképezés minőségének javítása érdekében javítsa ki az ilyen hibákat megjelenítő oldalakat.
- Nem áll rendelkezésre a robots.txt: Ha a robots.txt fájl egy napig nem áll rendelkezésre, a Google felhagy a feltérképezésével mindaddig, amíg elfogadható választ nem kap a robots.txt fájl lekérésére. Ügyeljen arra, hogy a robots.txt fájlt ne álcázza a Google előtt, és ne változtasson felhasználói ügynök által a robots.txt oldalon.
Ez a válasz nem ugyanaz, mint a robots.txt fájl lekérésére adott Nem található (404) válasz, amely jó válasznak minősül. További részletek a robots.txt fájlról. - Jogosulatlan (401/407): Vagy tiltsa le ezen oldalak feltérképezését a robots.txt fájlban, vagy döntse el, hogy szeretné-e feloldani a rájuk vonatkozó tiltást. Ha ezek az oldalak nem rendelkeznek védett adatokkal, és szeretné feltérképeztetni őket, érdemes lehet áthelyeznie az adatokat nem védett oldalakra, illetve bejelentkezés nélküli belépést engedélyezni a Googlebot számára (azt azonban vegye figyelembe, hogy a Googlebot hamisítható, így ha engedélyezi a belépést a Googlebot számára, azzal gyakorlatilag megszünteti az oldal védettségét).
- Szerverhiba (5XX): Ezek a hibák a rendelkezésre állásra vonatkozó figyelmeztetések megjelenítését eredményezik, és célszerű elhárítani őket, ha lehetséges. Az indexkép-diagram hozzávetőlegesen jeleníti meg a hibák előfordulásának időpontját; rájuk kattintva további részleteket és pontos időpontokat láthat. Döntse el, hogy ezek átmeneti hibák voltak-e, vagy pedig webhelyének súlyosabb rendelkezésre állási hibáira utalnak. Ha a Google túlterheli a webhelyét a feltérképezéssel, kérheti a feltérképezési sebesség csökkentését. Ha a hiba a rendelkezésre állással kapcsolatos súlyos problémát jelez, itt olvashat a feltérképezési sebesség jelentős emelkedéséről. Az ilyen hibák kijavításáról a Szerverhibák szakaszban olvashat.
- Egyéb ügyfélhiba (4XX): Egyéb, itt nem meghatározott 4XX-es (ügyféloldali) hiba. A legjobb, ha kijavítja ezeket a hibákat.
- Nem reagáló DNS: A DNS-szerver nem válaszolt a webhelyén szereplő URL-ekre vonatkozó kérésekre.
- DNS-hiba: Egyéb, nem meghatározott DNS-hiba.
- Lekérési hiba: Az oldal lekérése nem sikerült hibás portszám, IP-cím vagy elemezhetetlen válasz miatt.
- Az oldal nem tölthető be: Az oldal lekérésével kapcsolatos bármilyen más olyan hiba, amely esetében a kérés soha nem ért el a szerverhez. Mivel ezek a kérelmek soha nem jutottak el a szerverhez, az Ön naplóiban sem szerepelnek majd.
- Oldal időkorlátja: Az oldalkérés túllépte az időkorlátot.
- Átirányítási hiba: A kérelem átirányításával kapcsolatos hiba (például túl sok átirányítás, üres átirányítás vagy körkörös átirányítás).
- Egyéb hiba: Olyan más hiba, amely nem illik a fenti kategóriák egyikébe sem.
Feltérképezett fájltípusok
A kérelemre visszaküldött fájltípus. Az egyes típusokhoz tartozó százalékos érték az adott típusú válaszokhoz tartozó százalékos értéket, nem pedig az adott típusból kapott bájtok százalékát jelenti.
Lehetséges fájltípusértékek:
- HTML
- Kép
- Videó – A támogatott videoformátumok egyike.
- JavaScript
- CSS
- Egyéb XML – XML-fájl (az RSS-től, a KML-től és az XML-re alapuló más formátumoktól eltérő fájl).
- JSON
- Syndication – RSS- vagy Atom hírcsatorna
- Hang
- Földrajzi adatok – KML vagy más földrajzi adatok.
- Egyéb fájltípus – Más, itt nem szereplő fájltípus. Az átirányítások ebbe a csoportba tartoznak.
- Ismeretlen (Sikertelen) – Ha a kérelem sikertelen, akkor a fájltípus ismeretlen.
A feltérképezés célja
- Felfedezés: A kért URL-t korábban még nem térképezte fel a Google.
- Frissítés: Egy ismert oldal újbóli feltérképezése.
Ha gyorsan változó oldalai vannak, amelyeket nem térképez fel elég gyakran újból a Google, gondoskodjon arról, hogy ezek az oldalak rákerüljenek a webhelytérképre. A kevésbé gyorsan frissülő oldalak esetében előfordulhat, hogy külön kell kérnie az újbóli feltérképezést. Ha a közelmúltban sok új tartalommal bővítette webhelyét, vagy ha webhelytérképet küldött be, akkor ideális esetben jelentős emelkedés látható a webhelyén tett felfedező feltérképezések értékeiben.
Googlebot-típus
A feltérképezési kérés létrehozásához használt felhasználói ügynök típusa. A Google számos felhasználói ügynökkel rendelkezik, amelyek különböző okokból végzik a feltérképezést, és eltérő módon viselkednek.
Lehetséges Googlebot-típusértékek:
- Okostelefon: Googlebot okostelefonos oldalakhoz.
- Asztal: Googlebot asztali számítógépes oldalakhoz.
- Kép: Googlebot képekhez. Ha a kép oldalforrásként töltődik be, a Googlebot típusát oldal erőforrás-terheléseként számolja a rendszer, nem pedig képként.
- Videó: Googlebot videóhoz. Ha a videó oldalforrásként töltődik be, a Googlebot típusát oldal erőforrás-terheléseként számolja a rendszer, nem pedig videóként.
- Oldal erőforrás-terhelése: Az oldal által használt források másodlagos lekérése. Amikor a Google feltérképezi az oldalt, lekéri a fontos hivatkozott forrásokat (például a képeket és a CSS-fájlokat), hogy megjelenítse az oldalt, mielőtt indexelni próbálná. Ez az a felhasználói ügynök, amely ezeket a forráskéréseket küldi.
- AdsBot: Az egyik AdsBot feltérképező robot. Ha jelentős emelkedést tapasztal e kérések esetében, akkor valószínűleg nemrég több új célzást hozott létre webhelyén dinamikus keresési hirdetések számára. Lásd a Miért emelkedett jelentősen webhelyem feltérképezési sebessége? szakaszt. Az AdsBot nagyjából kéthetente térképezi fel az URL-eket.
- StoreBot: A termékvásárlási feltérképező robot.
- Egyéb ügynöktípus: Egyéb, itt nem meghatározott Google feltérképező robot.
Ha a feltérképezés gyakoriságának jelentős emelkedését észleli, ellenőrizze a felhasználói ügynök típusát. Ha úgy tűnik, hogy a jelentős emelkedést az AdsBot feltérképező robot okozza, olvassa el a Miért emelkedett jelentősen webhelyem feltérképezési sebessége? című szakaszt.
Problémamegoldás
Túl nagy feltérképezési sebesség
A Googlebot algoritmusai segítenek megakadályozni, hogy a Google a feltérképezés során túlterhelje a webhelyét. Ha valamilyen okból azonban korlátozni kell a feltérképezési sebességet, itt megtudhatja, miként teheti ezt meg.
Miért emelkedett jelentősen webhelyem feltérképezési gyakorisága?
Ha számos új adatot vagy néhány igazán hasznos információt töltött fel webhelyére, akkor valamivel többször térképezhették fel, mint szerette volna. Például:
- Webhelye jelentős részén szüntette meg a feltérképezés tiltását.
- Webhelyét egy nagyobb új szakasszal bővítette.
- Sok új célzást adott hozzá a dinamikus keresési hirdetésekhez új oldalfeedek vagy URL_Equals szabályok felvételével.
A következőket teheti, ha a feltérképezés miatt webhelye időnként nem férhető hozzá:
- Állapítsa meg, hogy a Google melyik feltérképező robotja terheli túl a webhelyét. Nézze meg a webhely naplóit, vagy használja a Feltérképezési statisztikák jelentést.
- Azonnali megoldás:
- Ha egyszerű megoldást keres, tiltsa le a túlbuzgó robotot (googlebot, adsbot stb.) a robots.txt fájlban. Egy napra is szükség lehet azonban ahhoz, hogy a letiltás érvénybe lépjen. Azonban ne tiltsa le túl sokáig, mivel ez hosszú távon is befolyásolhatja a feltérképezést.
- Ha dinamikusan tudja észlelni a megnövekedő terhelést és reagálni rá, küldjön 503/429 kódú HTTP-választ, amikor közel a megjelenítési kapacitás határa. Fontos, hogy legfeljebb csak két-három napon át küldjön 503 vagy 429 kódú választ, különben mindez azt jelezheti a Google-nak, hogy hosszabb távon is ritkább feltérképezést kérne.
- Két-három nappal később, miután a Google feltérképezési sebessége igazodott, eltávolíthatja a tiltást a robots.txt fájlból, vagy megszüntetheti az 503-as vagy 429-es hibakód visszaküldését.
- Ha az AdsBot feltérképezései túlterhelik a webhelyét, akkor valószínűleg az a probléma, hogy túl sok célzást hozott létre dinamikus keresési hirdetéseknek a webhelyén az
URL_Equals
vagy oldalfeedek segítségével. Ha a szerver kapacitása nem elegendő ezekhez a feltérképezésekhez, akkor korlátozza a hirdetéscélzások számát, kisebb adagokban adjon hozzá URL-eket, vagy növelje megjelenítési kapacitását. Ne feledje, hogy az AdsBot kéthetente feltérképezi az oldalait, ezért javítsa ki a hibát, különben újra jelentkezni fog.
A feltérképezési sebesség túl alacsonynak tűnik
Nem utasíthatja a Google-t a feltérképezési sebesség növelésére. Ugyanakkor további információt találhat arról, miként kezelhető a feltérképezés a nagyon nagy vagy gyakran frissített webhelyek esetében.
Ha kicsi vagy közepes méretű webhelyek esetén úgy találja, hogy a Google nem térképezi fel a teljes webhelyet, próbálkozzon awebhelye webhelytérképeinek frissítésével, és ügyeljen rá, hogy ne tiltsa le egyik oldalt sem.
Miért zuhant webhelyem feltérképezési gyakorisága?
A Google általi feltérképezés gyakorisága egy-két héten belül általában viszonylag stabil, ha váratlan zuhanást tapasztal, alább olvashatja annak néhány lehetséges okát:
- Új (vagy nagyon széles körű) robots.txt-szabályt adott hozzá. Ellenőrizze, hogy csak azokat a forrásokat blokkolja-e, amelyeket szükséges. Ha a tartalom megértéséhez Google-nak szüksége van bizonyos forrásokra, amilyen például a CSS vagy a JavaScript, akkor ügyeljen rá, hogy ezeket ne tiltsa le a Googlebot elől.
- Ha webhelye lassan válaszol a kérésekre, a Googlebot késlelteti kéréseit, hogy ne terhelje túl az Ön szerverét. A „Feltérképezési statisztikák” jelentést megtekintve ellenőrizheti, hogy webhelye lassabban válaszol-e.
- Ha szerverének hibaaránya növekszik, a Googlebot késlelteti kéréseit, hogy ne terhelje túl a szervert.
- Ha egy adott webhely olyan adatokat hordoz, amelyek ritkábban változnak, vagy nem túl jó minőségűek, akkor előfordulhat, hogy ritkábban térképezzük fel. Tekintsen elfogulatlanul webhelyére, kérjen semleges visszajelzést olyan személyektől, akik nem állnak kapcsolatban webhelyével, és gondolja végig, általánosságban hogyan vagy hol javíthatna webhelyén.
A jelentésekben szereplő feltérképezések teljes száma sokkal magasabb, mint a webhely szervernaplóinak teljes száma
Ha a jelentésben szereplő feltérképezések teljes száma sokkal magasabb, mint a Google szervernaplókban szereplő feltérképezési kéréseinek a száma, annak az lehet az oka, hogy a Google nem tudta feltérképezni az Ön webhelyét, mert a robots.txt fájl túl sokáig nem volt hozzáférhető. Ebben az esetben a Google azokat a feltérképezéseket számolja, amelyekre sor került volna, ha rendelkezésre áll a robots.txt fájl, a hívásokat viszont végül nem hajtja végre. Ellenőrizze a robots.txt lekérési állapotát, hogy kiderüljön, ez volt-e a probléma.