/webmasters/community?hl=tr
/webmasters/community?hl=tr
27.03.2018
Mesajı İlk Yayınlayan
willem hendriks

Google crawling and crawl budget

Hi everyone,

i have a question about Google crawling, redirects an robots.txt. For a longer time now i have noticed that it takes a long time before Google shows my articles in Google search. i had to directly put in the link in Search Google. But now even that won't work. I looked a lot of things up and this is what i found so far. 
-My average crawl budget is 2038 but my indexed pages on Google are more than 7000, this means Google doesn't crawl all my pages on a daily basis.
-The crawlmistakes Google search console shows which have a 404 are very high. It's 1015 links but only several of them are actual url's; 95 % of the url's shown are normal url's of articles on my website but they all have undefined at the end. I don't know what this means or how i can even change this. 
For example: nieuwsflits/moordaanslag-naoufal-f-verijdeld/undefined
If i remove the undefined the url works normal. What does this undefined mean and how did it even get there?
-I have two sitemaps, would it help if i made a robots.txt file only allowing search engines to crawl my sitemaps? Or will this even make me more invisible on Google search? Or can i put in something on the robots.txt to stop Google from crawling all the links with undefined in it?

Thanks for your help.

Topluluk içeriği doğrulanmış veya güncel olmayabilir. Daha fazla bilgi
Tüm Yanıtlar (1)
barryhunter
27.03.2018
barryhunter
 
If i remove the undefined the url works normal. What does this undefined mean and how did it even get there?

Try looking at the report in the console, i may well be give clue where the link was found - in englishg its he 'Linked From' but will have a didferent name if not using english console. 

 
-I have two sitemaps, would it help if i made a robots.txt file only allowing search engines to crawl my sitemaps?

That's not really recommended. 

1) Google should be able to crawl the actual pages (as well as the sitemaps) - if it can't crawl the pages, it has incomplete details and such urls dont index well. 

2) it might be possible to block some common patterns (like using "DIsallow: /*/undefined$" for example, but that means Google might well still index it with incomplete data, and so cause confusion (ie they will end up polluting actual search results, rather than just poluting your 'Crawl Error' report. 
(trading one problem for another) 


(robots.txt only blocks crawling, not indexing) 



If pages not indexing well, perhaps consider making a nice RSS sitemap (of updated and new content) as well as your complete XML sitemap. 

... appear to be using wordpress, so allready have the automatic feeds. 



Bu yanıt yardımcı oldu mu?
Bunu nasıl iyileştirebiliriz?
 
Bu soru kilitlenmiş ve yanıt verme seçeneği devre dışı bırakılmıştır. Hâlâ sorularınız mı var? Yardım Topluluğu'nda sorun.

Rozetler

Bazı topluluk üyelerinin, kimliklerini veya bir topluluktaki katılım düzeylerini belirten rozetleri olabilir.

 
Uzman - Google Çalışanı — Google çalışanı olan rehberler ve topluluk yöneticileri
 
Uzman - Google Uzmanı — Uzmanlıklarını paylaşan Google iş ortakları
 
Uzman - Altın - Bilgili ve aktif olarak katkıda bulunan güvenilir üyeler
 
Uzman - Platin - Mentorluk, içerik oluşturma ve diğer eylemlerle yardım sağlamanın ötesinde katkıda bulunan deneyimli üyeler
 
Uzman - Mezunlar - Artık aktif olmayan, ancak yardımları için daha önce tanınmış olan geçmişteki üyeler
 
Uzman - Gümüş - Ürün bilgilerini geliştirmekte olan yeni üyeler
Topluluk içeriği doğrulanmış veya güncel olmayabilir. Daha fazla bilgi

Seviyeler

Üye seviyeleri kullanıcıların forumdaki katkı düzeylerini gösterir. Daha fazla katılım daha yüksek seviye sağlar. Herkes 1. seviyeden başlar ve 10. seviyeye yükselebilir. Aşağıdaki etkinlikler forumdaki seviyenizi artırabilir:

  • Yanıt yayınlama.
  • Yanıtınızın en iyi yanıt olarak seçilmesi.
  • Yayınınızın yararlı olarak değerlendirilmesi.
  • Bir yayına oy verme.
  • Bir konuyu veya yayını kötüye kullanım olarak doğru bir şekilde işaretleme.

Kötüye kullanım olarak işaretlenip kaldırılmış bir yayına sahip olmak, kullanıcının üst seviyelere geçmesini yavaşlatır.

Profil, forumda gösterilsin mi?

Bu üyenin profilini görüntülemek için geçerli Yardım sayfasından çıkmanız gerekir.

Forumda kötüye kullanım bildiriminde bulunmak mı istiyorsunuz?

Bu yorum Google Ürün Forumu'ndan gelmektedir. Kötüye kullanım bildiriminde bulunmak için geçerli Yardım sayfasından ayrılmanız gerekir.

Forum'da yanıt vermek mi veriyorsunuz?

Bu yorum Google Ürün Forum'undan gelmektedir. Yanıt vermek için geçerli Yardım sayfasından ayrılmanız gerekir.