Bu makalede, sitenizdeki içeriğe erişimin nasıl engelleneceği açıklanmaktadır.
Yayınladığınız içeriğin bir kısmı Google Haberler'de görünmek için alakalı olmayabilir. Google’ın robot tarayıcısı Googlebot ve Googlebot-News'un erişimini engelleyerek Google'ın bazı içeriklere erişimini kısıtlayabilirsiniz.
Robots.txt dosyası oluşturma
Sitenizin hangi bölümlerinin Google Arama'da ve Google Haberler'de görünebileceğini ayrıntılı bir şekilde denetlemek için robots.txt dosyası kullanın. robots.txt dosyaları hakkında daha fazla bilgi edinin.
Erişimi aşağıdaki şekillerde engelleyebilirsiniz:
-
Sitenizin Google Haberler'de görünmesini önlemek için, bir robots.txt dosyası kullanarak Googlebot-News'un erişimini engelleyin.
-
Sitenizin Google Haberler'de ve Goole Arama'da görünmesini önlemek için bir robots.txt dosyası kullanarak Googlebot'un erişimini engelleyin.
Tarayıcımız için robots.txt dosyanıza erişim izni vermeniz gerekir. Bu sayede, sitenizin taranmasını istemediğiniz bazı bölümlerini belirleyip belirlemediğinizi görebiliriz.
Meta etiket oluşturma
HTML sayfalarına meta etiketler ekleyebilirsiniz. Meta etiketler, arama sonuçlarında sayfaları gösterirken hangi sınırların geçerli olduğunu arama motorlarına bildirir. Meta etiketlerle arama dizinine ekleme işlemini nasıl engelleyeceğiniz hakkında daha fazla bilgi edinin.
HTML sayfalarınıza ekleyebileceğiniz bazı ortak meta etiketler aşağıda belirtilmiştir:
-
Sitenizdeki belirli makalelerin Google Haberler'de görünmemesi için şu meta etiketi kullanarak Googlebot-News'a erişimi engelleyin:
<meta name="Googlebot-News" content="noindex, nofollow">. -
Sitenizdeki belirli makalelerin Google Haberler'de ve Google Arama'da görünmemesi için şu meta etiketi kullanarak Googlebot'a erişimi engelleyin:
<meta name="googlebot" content="noindex, nofollow">. -
Belirli makalelerin tüm robotlar tarafından dizine eklenmesini önlemek için şu meta etiketi kullanın:
<meta name="robots" content="noindex, nofollow">. -
Robotların belirli bir makaledeki resimleri taramasını engellemek için şu meta etiketi kullanın:
<meta name="robots" content="noimageindex">. -
Bir makalenin belirli bir zamanda Google dizininden kaldırılması gerektiğini bize bildirmek için şu meta etiketi kullanın:
<meta name="googlebot" content="unavailable_after: 25-Aug-2011 15:00:00 EST">. -
Tarihi ve saati, RFC 850 biçiminde belirtin. Bu meta etiket bir kaldırma isteği olarak işleme konur. Söz konusu sayfanın artık arama sonuçlarında görünmemesi için kaldırma tarihinin ardından yaklaşık bir gün geçmesi gerekebilir. Bununla birlikte, etiketin doğru çalışması için makaleniz ilk tarandığında etiketin eklenmiş olması gerekmektedir.
-
Arama sonuçlarında gösterilen içeriği sınırlamak için başka seçenekler de vardır. Daha fazla bilgi için geliştirici dokümanlarına göz atın.
HTTP üst bilgisi spesifikasyonları
Robotlara talimatları HTTP yanıt üst bilgisinde de sağlayabilirsiniz. Daha fazla bilgi için HTTP üst bilgisi spesifikasyonları konusunu okuyun.
Önemli: Google, botunuzun seçimindeki en kısıtlayıcı yaklaşıma uygun davranır.