Googlebot

Googlebot, Google web tarayıcısının genel adıdır. Googlebot, iki farklı tarayıcı türünün genel adıdır: masaüstü cihaz kullanan kullanıcıyı simüle eden masaüstü tarayıcı ve mobil cihaz kullanan bir kullanıcıyı simüle eden mobil tarayıcı.

Web siteniz muhtemelen hem Googlebot Masaüstü hem de Googlebot Akıllı Telefon tarafından taranır. İstekteki kullanıcı aracısı dizesine bakarak Googlebot'un alt türünü tanımlayabilirsiniz. Ancak, her iki tarayıcı türü de robots.txt dosyasında aynı ürün jetonuna (kullanıcı aracısı jetonu) uyar. Bu nedenle, robots.txt dosyası üzerinden Googlebot mobil veya Googlebot masaüstünü seçerek hedefleyemezsiniz.

Siteniz Google’da mobil öncelikli hale getirildiyse Googlebot tarama isteklerinin çoğunluğu mobil tarayıcı ve küçük bir kısmı da masaüstü tarayıcı kullanılarak yapılır. Henüz dönüştürülmeyen siteler için taramaların çoğu masaüstü tarayıcı kullanılarak yapılır. Her iki durumda da, az tarama yapan tarayıcı yalnızca çok tarama yapan tarayıcının önceden taradığı URL’lerde tarama yapar.

 

Googlebot sitenize nasıl erişir?

Çoğu site için, Googlebot'un, sitenize ortalama olarak her birkaç saniyede birden fazla erişmemesi gerekir. Ancak, gecikmeler yüzünden, kısa dönemlerde bu hızın biraz daha yüksek olduğunu görebilirsiniz.

Googlebot, daha yüksek performans sağlaması ve web'in büyümesiyle birlikte çalışma kapasitesini geliştirebilmesi için binlerce makine üzerinden eşzamanlı olarak çalışacak şekilde tasarlanmıştır. Ayrıca, bant genişliğini daha az kullanmak için çok sayıda tarayıcıyı, tarayabilecekleri sitelere yakın yerlerde bulunan makinelerde çalıştırırız. Dolayısıyla, günlüklerinizde google.com'daki birkaç makineden, tümü de Googlebot kullanıcı aracısına sahip ziyaretler görebilirsiniz. Amacımız, sunucunuzun bant genişliğinde aşırı yoğunluğa yol açmadan her ziyaretimizde sitenizden mümkün olduğunca çok sayfayı taramaktır. Siteniz Google’ın tarama isteklerini yerine getirme konusunda sorun yaşıyorsa tarama hızında değişiklik yapılmasını talep edebilirsiniz.

Googlebot’un sitenizi ziyaret etmesini engelleme

Bağlantılarını yayınlamayarak bir web sunucusunu gizli tutmak neredeyse imkansızdır. Örneğin, bir kullanıcı "gizli" sunucunuzdaki bir bağlantıyı izleyerek başka bir web sunucusuna gittiği anda "gizli" URL'niz yönlendiren etiketinde görülebilir ve diğer web sunucusu tarafından yönlendiren günlüğüne kaydedilip herkesin erişebileceği şekilde yayınlanabilir. Benzer bir şekilde, İnternet'te çok sayıda eski ve bozuk bağlantı bulunmaktadır. Biri sitenize hatalı bir bağlantı yayınladığında veya mevcut bağlantıları sunucunuzdaki değişiklikleri yansıtacak şekilde güncellemediğinde, Googlebot sitenizden hatalı bir bağlantı taramayı dener.

Googlebot’un sitenizdeki içeriği taramasını önlemek istiyorsanız bunun için çeşitli seçenekleriniz vardır. Googlebot’un bir sayfayı taramasını, Googlebot’un bir sayfayı dizine eklemesini ve bir sayfanın hem tarayıcılar hem de kullanıcılar için erişilebilir olmasını önlemek arasındaki farka dikkat edin.

Googlebot'u doğrulama

Googlebot’u engellemeye karar vermeden önce, Googlebot’un kullandığı kullanıcı aracısı dizesinin çoğu zaman diğer tarayıcılar tarafından adres sahteciliği için kullanıldığını unutmayın. Sorunlu bir isteğin gerçekten Google’dan geldiğini doğrulamak önemlidir. Bunu yapmanın en iyi yolu, isteğin kaynak IP'sinde ters DNS araması kullanmaktır.

Googlebot ve diğer güvenilir arama motoru botları robots.txt dosyasındaki yönergelere uyar, ancak bazı kötü amaçlı kişiler ve spam gönderenler bunlara uymaz. Google, spam yapanlarla mücadele etmektedir; Google Arama sonuçlarında spam sayfalarını veya sitelerini fark ederseniz, spam’i Google’a bildirebilirsiniz.

 

Bu size yardımcı oldu mu?
Bunu nasıl iyileştirebiliriz?