Роботът, известен още като паяк или бот, е софтуер, който Google използва за обработване и индексиране на съдържанието на уеб страниците. Роботът на AdSense посещава сайта Ви, за да определи съдържанието му с цел да покаже подходящи реклами на него.
Следват някои важни факти, които трябва да знаете за робота на AdSense:
- Отчетът на робота се актуализира всяка седмица.
Обхождането се извършва автоматично и не можем да изпълняваме искания за по-често обхождане.
- Роботът на AdSense се различава от робота на Google.
Двата робота са отделни, но споделят обща буферна памет. Това е направено, за да избегнем едновременни заявки на двата робота към едни и същи страници, като така помагаме на издателите да запазят пропускателната си способност. Аналогично роботът на Search Console е отделен.
- Отстраняването на проблеми с робота на AdSense няма да реши такива с обхождането на Google.
Решаването на проблемите, посочени в страницата Ви Достъп за робот, няма да окаже въздействие върху разположението Ви в резултатите от търсенето с Google. За повече информация относно класирането на сайта Ви в Google прегледайте статията ни относно включването в резултатите от търсенето с Google.
- Роботът индексира по URL адрес.
Той ще влезе поотделно в site.com и www.site.com. Роботът ни обаче няма да отчете поотделно site.com и site.com/#anchor.
- Той няма да влезе в страници или директории, забранени от файла robots.txt.
Роботите на медийните партньори на Google и AdSense се съобразяват с файла Ви robots.txt. Ако той забранява достъпа до определени страници или директории, те няма да бъдат обходени.
Бележка: Ако показвате реклами на страници, които са блокирани от robots.txt с редаUser-agent: *
, роботът за съдържанието все пак ще обходи тези страници. За да предотвратите достъпа му до страниците си, трябва да посочитеUser-agent: Mediapartners-Google
във файла си robots.txt. - Роботът ще се опита да влезе само в URL адреси, в които са внедрени нашите рекламни маркери.
Само страници, които показват реклами от Google, би трябвало да изпращат заявки до системите ни и да бъдат обходени.
- Роботът ще се опита да влезе в страници, които пренасочват.
Роботът ни трябва да влезе в оригиналните Ви страници, които пренасочват към други страници, ако имате такива, за да открие, че има поставено пренасочване. Ето защо посещението на робота ни на оригиналните страници ще се включи в регистрационните Ви файлове за достъп.
- Не може да се управлява колко често роботът ще индексира съдържанието на сайта Ви.
Понастоящем нямаме контрол върху повторното обхождане на сайтовете. Роботите извършват обхождането автоматично. Ако обаче промените дадена страница, може да изминат до една или две седмици, преди това да се отрази в нашия индекс.