Веб-сканер, також відомий як павук або робот, – це програмне забезпечення, яке використовується системою Google для обробки й індексування контенту на веб-сторінках. Веб-сканер контенту відвідує ваш сайт, щоб визначити його вміст для надання релевантних оголошень.
Нижче наведено основні відомості про веб-сканер контенту.
- Дані звіту веб-сканера оновлюються щотижня.
Сканування здійснюється автоматично; ми не задовольняємо запити на частіше сканування. - Веб-сканер контенту відрізняється від веб-сканера Google.
Ці два веб-сканери працюють окремо, але використовують спільний кеш. Так різні веб-сканери не запитують ті самі сторінки, що допомагає видавцям зберегти пропускну спроможність. Веб-сканер Search Console також працює окремо. - Вирішення проблем із веб-сканером контенту не вирішить відповідних проблем із веб-сканером Google.
Вирішення проблем, перелічених на сторінці "Доступ для веб-сканера", не вплине на позицію вашої сторінки в результатах пошуку Google. Докладнішу інформацію про рейтинг сайту в системі Google можна переглянути в статті Довідкового центру AdSense про включення сайту в результати пошуку Google. - Веб-сканер індексує за URL-адресою.
Доступ веб-сканера до адрес site.com і www.site.com здійснюється окремо. Однак веб-сканер не розглядає URL-адреси site.com і site.com/#anchor як окремі сайти. - Веб-сканер не отримає доступу до сторінок і каталогів, заборонених файлом robots.txt.
Веб-сканери Google і AdMob Mediapartners враховують дані у файлі robots.txt. Якщо в ньому заборонено доступ до певних сторінок і каталогів, вони не скануватимуться.Зверніть увагу, що у випадку розміщення оголошень на сторінках, які виключено за допомогою рядка User-agent: *, веб-сканер контенту все одно їх просканує. Щоб заборонити веб-сканеру контенту доступ до сторінок, потрібно у файлі robots.txt вказати рядокUser-agent: Mediapartners-Google. Докладніше. - Веб-сканер спробує отримати доступ лише до URL-адрес, у яких є наші теги оголошень.
Лише ті сторінки, на яких відображаються оголошення Google, надсилатимуть запити до нашої системи та скануватимуться. - Веб-сканер спробує отримати доступ до сторінок, з яких здійснюється переспрямування.
Якщо з ваших "початкових сторінок" здійснюється переспрямування на інші сторінки, наш веб-сканер має отримати доступ до початкових сторінок, щоб перевірити наявність переспрямування. Тому в журналах доступу реєструються відвідування веб-сканером початкових сторінок. - Повторне сканування веб-сайтів.
Наразі ми не можемо контролювати частоту індексування контенту на сайті нашими веб-сканерами. Наші боти автоматично виконують сканування. Якщо на сторінці внесено зміни, вони відобразяться в нашому індексі протягом 1–2 тижнів.