Всичко за робота за съдържанието

Роботът, известен още като паяк или бот, е софтуер, който Google използва за обработване и индексиране на съдържанието на уеб страниците. Роботът за съдържанието посещава сайта Ви, за да определи съдържанието му, така че да Ви осигуряваме уместни реклами.

Следват някои важни факти, които трябва да знаете за робота за съдържанието:

• Отчетът на робота се актуализира всяка седмица.
  Обхождането се извършва автоматично и не можем да изпълняваме искания за по-често обхождане.
• Роботът за съдържанието се различава от робота на Google.
  Двата робота са отделни, но споделят обща кеш памет. Това е направено, за да избегнем едновременни заявки на двата робота към едни и същи страници, като така помагаме на издателите да запазят пропускателната си способност. Аналогично роботът на Search Console е отделен.
• Отстраняването на проблеми с робота за съдържанието няма да реши такива с обхождането на Google.
  Решаването на проблемите, посочени в страницата Ви „Достъп за робота“, няма да окаже въздействие върху разположението Ви в резултатите от търсенето с Google. За повече информация относно класирането на сайта Ви в Google прегледайте статията в AdSense относно включването в резултатите от търсенето с Google.
• Роботът индексира по URL адрес.
  Той ще влезе поотделно в site.com и www.site.com. Роботът ни обаче няма да отчете поотделно site.com и site.com/#anchor.
• Той няма да влезе в страници или директории, забранени от файла robots.txt.
  Роботите на медийните партньори на Google и AdMob се съобразяват с файла Ви robots.txt. Ако той забранява достъпа до определени страници или директории, те няма да бъдат обходени.
  Обърнете внимание, че ако показвате реклами на страници, които са блокирани от robots.txt с реда User-agent: *, роботът за съдържанието все пак ще обходи тези страници. За да предотвратите достъпа му до страниците си, трябва да посочите User-agent: Mediapartners-Google във файла си robots.txt. Научете повече. 
• Роботът ще се опита да влезе само в URL адреси, в които са внедрени нашите рекламни маркери.
  Само страници, които показват реклами от Google, би трябвало да изпращат заявки до системите ни и да бъдат обходени.
• Роботът ще се опита да влезе в страници, които пренасочват.
  Роботът ни трябва да влезе в оригиналните Ви страници, които пренасочват към други страници, ако имате такива, за да открие, че има поставено пренасочване. Ето защо посещението на робота ни на оригиналните страници ще се включи в регистрационните Ви файлове за достъп.
• Повторно обхождане на сайтове
  Понастоящем не можем да контролираме колко често нашите роботи индексират съдържанието на сайта Ви. Те извършват обхождането автоматично. Ако обаче промените дадена страница, може да изминат до една или две седмици, преди това да се отрази в нашия индекс.