Örümcek veya bot olarak da bilinen tarayıcı, Google'ın web sayfalarının içeriğini işlemek ve dizine eklemek üzere kullandığı yazılımdır. İçerik tarayıcısı, sitenizin içeriğini belirleyip alakalı reklamlar sunmak için sitenizi ziyaret eder.
İçerik tarayıcısı hakkında bilmeniz gereken bazı önemli noktalar şunlardır:
- Tarayıcı raporu haftalık olarak güncellenir.
Tarama otomatik olarak gerçekleştirilir. Daha sık tarama yapılmasına yönelik istekleri kabul edemiyoruz. - İçerik tarayıcısı, Google tarayıcısından farklıdır.
Bu iki tarayıcı birbirinden ayrıdır ancak bir önbelleği paylaşır. Bunun nedeni, her iki tarayıcının aynı sayfaları istemesini önleyerek yayıncıların bant genişliklerini korumalarına yardımcı olmaktır. Benzer şekilde, Search Console tarayıcısı da ayrıdır. - İçerik tarayıcısıyla ilgili sorunlarının giderilmesi, Google taramasıyla ilgili sorunları ortadan kaldırmaz.
Tarayıcı erişimi sayfasında listelenen sorunları gidermek, Google arama sonuçlarındaki yerleşiminizi etkilemez. Sitenizin Google'daki sıralamasıyla ilgili daha fazla bilgi edinmek için Sitenizi Google'ın arama sonuçlarına dahil etme başlıklı AdSense makalesini inceleyin. - Tarayıcı, içeriği URL'ye göre dizine ekler.
Tarayıcımız, site.com ve www.site.com adreslerine ayrı ayrı erişir. Ancak, tarayıcımız site.com ve site.com/#anchor adreslerini, ayrı adresler olarak kabul etmez. - Tarayıcı, bir robots.txt dosyası tarafından yasaklanan sayfalara veya dizinlere erişmez.
Hem Google hem AdMob Mediapartners tarayıcıları, robots.txt dosyanızı dikkate alır. robots.txt dosyanız belirli sayfalara veya dizinlere erişimi yasaklıyorsa söz konusu sayfa ve dizinler taranmaz.User-agent: * satırıyla robot dışında bırakılan sayfalarda reklam yayınlıyorsanız içerik tarayıcısının bu sayfaları taramaya devam edeceğini unutmayın. İçerik tarayıcısının sayfalarınıza erişmesini engellemek için robots.txt dosyanızdaUser-agent: Mediapartners-Googlesatırının bulunması gerekir. Daha fazla bilgi - Tarayıcı, yalnızca reklam etiketlerimizin uygulandığı URL'lere erişmeye çalışır.
Yalnızca Google reklamlarının gösterildiği sayfalar sistemlerimize istek göndermeli ve taranmalıdır. - Tarayıcı, yönlendirme yapan sayfalara erişmeye çalışır.
Başka sayfalara yönlendiren "orijinal sayfalarınız" bulunduğunda tarayıcımız, yeniden yönlendirmenin geçerli olup olmadığını saptamak için orijinal sayfalara erişmelidir. Bu nedenle, tarayıcımızın orijinal sayfalara yaptığı ziyaret, erişim günlüklerinizde görüntülenir. - Siteleri yeniden tarama
Şimdilik tarayıcılarımızın sitenizdeki içerikleri ne sıklıkta dizine eklediğini denetleyemiyoruz. Tarama işlemi, botlarımız tarafından otomatik olarak yapılır. Bir sayfada değişiklik yaparsanız değişikliklerin dizinimize yansıtılması 1 veya 2 hafta sürebilir.