Rāpuļprogramma (tiek dēvēta arī par zirnekli vai robotu) ir programmatūra, ko Google izmanto, lai apstrādātu tīmekļa lapu saturu un to indeksētu. Satura rāpuļprogramma apmeklē jūsu vietni, lai noteiktu tās saturu un lai tiktu rādītas atbilstošas reklāmas.
Tālāk ir minēti daži būtiski fakti, kas jāzina par satura rāpuļprogrammu.
- Rāpuļprogrammas pārskats tiek atjaunināts reizi nedēļā.
Pārmeklēšana notiek automātiski, un mēs nevaram izpildīt pieprasījumus veikt to biežāk. - Satura rāpuļprogramma atšķiras no Google rāpuļprogrammas.
Tās ir divas dažādas rāpuļprogrammas, bet abām ir kopīga kešatmiņa. Tas ir tādēļ, lai abas rāpuļprogrammas nepieprasītu vienas un tās pašas lapas — šādā veidā izdevējiem tiek taupīts joslas platums. Līdzīgi ir nodalīta arī Search Console rāpuļprogramma. - Satura rāpuļprogrammas problēmu atrisināšana nenovērsīs Google rāpuļprogrammas problēmas.
Atrisinot problēmas, kas norādītas lapā “Rāpuļprogrammas piekļuve”, nekādi netiks ietekmēts jūsu izvietojums Google meklēšanas rezultātos. Lai iegūtu plašāku informāciju par savas vietnes rangu Google tīklā, pārskatiet AdSense rakstu par vietnes iekļaušanu Google meklēšanas rezultātos. - Rāpuļprogramma indeksē saturu pēc vietrāža URL.
Mūsu rāpuļprogramma adresēm vietne.lv un www.vietne.lv piekļūst atsevišķi. Tomēr vietrāžus URL vietne.lv un vietne.lv/#anchor tā neuzskata par atsevišķām adresēm. - Rāpuļprogramma nepiekļūst lapām vai direktorijiem, kurus bloķē fails robots.txt.
Gan Google, gan AdMob Mediapartners rāpuļprogramma ievēro jūsu faila robots.txt kārtulas. Ja ar jūsu failu robot.txt ir liegta piekļuve noteiktām lapām vai direktorijiem, tie netiks pārmeklēti.Ņemiet vērā: ja rādāt reklāmas lapās, kuras tiek bloķētas, izmantojot rindiņu User-agent: *, satura rāpuļprogramma tomēr var pārmeklēt šīs lapas. Lai satura rāpuļprogrammai neļautu piekļūt attiecīgajām lapām, failā robots.txt ir jāiekļauj rindiņaUser-agent: Mediapartners-Google. Uzziniet vairāk. - Rāpuļprogramma centīsies piekļūt tikai tiem vietrāžiem URL, kuros ir ieviesti reklāmas tagi.
Pieprasījumi mūsu sistēmām tiek sūtīti tikai no lapām, kurās tiek rādītas Google reklāmas, un tikai šīs lapas tiek pārmeklētas. - Rāpuļprogramma centīsies piekļūt lapām, kurās tiek veikta novirzīšana.
Ja jums ir sākotnējās lapas, kurās lietotāji tiek novirzīti uz citām lapām, rāpuļprogrammai ir jāpiekļūst šīm sākotnējām lapām, lai noteiktu novirzīšanas esamību. Tādēļ jūsu piekļuves žurnālos tiks parādīts rāpuļprogrammas sākotnējo lapu apmeklējums. - Atkārtota vietņu pārmeklēšana.
Pašlaik nav iespējams kontrolēt, cik bieži rāpuļprogrammas indeksē jūsu vietnes saturu. Pārmeklēšanu automātiski veic mūsu roboti. Ja lapā veicat izmaiņas, tās mūsu rādītājā var tikt atspoguļotas 1–2 nedēļu laikā.