Роботът, известен още като паяк или бот, е софтуер, който Google използва за обработване и индексиране на съдържанието на уеб страниците. Роботът на AdSense, наречен Mediapartners-Google, посещава сайта Ви, за да определи съдържанието му с цел да покаже уместни реклами на него.
Следват някои важни факти, които трябва да знаете за робота на AdSense:
- Отчетът на робота се актуализира всяка седмица.
Обхождането се извършва автоматично и не можем да изпълняваме искания за по-често обхождане.
- Роботът на AdSense се различава от робота на Google.
Двата робота са отделни, но споделят обща буферна памет. Това е направено, за да избегнем едновременни заявки на двата робота към едни и същи страници, като така помагаме на издателите да запазят пропускателната си способност. Аналогично роботът на Search Console е отделен.
Забележка: AdSense използва и робот, наречен Google-Display-Ads-Bot, за да потвърди сайта Ви, когато го добавите към AdSense. - Отстраняването на проблеми с робота на AdSense няма да реши такива с обхождането на Google.
Решаването на проблемите, посочени в страницата Ви Достъп за робот, не оказва въздействие върху разположението Ви в резултатите от търсенето с Google. За повече информация относно класирането на сайта Ви в Google прегледайте статията ни относно включването в резултатите от търсенето с Google.
- Роботът индексира по URL адрес.
Той ще влезе поотделно в site.com и www.site.com. Роботът ни обаче няма да отчете поотделно site.com и site.com/#anchor.
- Той няма да влезе в страници или директории, забранени от файла robots.txt.
Роботите на Google, AdSense Mediapartners-Google и Google-Display-Ads-Bot, се съобразяват с файла Ви robots.txt. Ако той забранява достъпа до определени страници или директории, те няма да бъдат обходени.
Бележка: Ако показвате реклами на страници, които са блокирани от robots.txt с редаUser-agent: *
, роботът на AdSense за съдържанието все пак ще обходи тези страници. За да предотвратите достъпа му до страниците си, трябва да включите следното във файла си robots.txt:User-agent: Mediapartners-Google
User-agent: Google-Display-Ads-Bot
- Роботът се опитва да влезе само в URL адреси, в които са внедрени нашите рекламни маркери.
Само страници, които показват реклами от Google, би трябвало да изпращат заявки до системите ни и да бъдат обходени.
- Роботът се опитва да влезе в страници, които пренасочват.
Роботът ни трябва да влезе в оригиналните Ви страници, които пренасочват към други страници, ако имате такива, за да открие, че има поставено пренасочване. Ето защо посещението на робота ни на оригиналните страници се включва в регистрационните Ви файлове за достъп.
- Не може да се управлява колко често роботът ще индексира съдържанието на сайта Ви.
Понастоящем нямаме контрол върху повторното обхождане на сайтовете. Роботите ни извършват обхождането автоматично. Ако обаче промените дадена страница, може да изминат до една или две седмици, преди това да се отрази в нашия индекс.