Про веб-сканер в AdSense

Веб-сканер, також відомий як павук або робот, – це програмне забезпечення, яке використовує система Google для обробки й індексування контенту веб-сторінок. Веб-сканер AdSense відвідує ваш сайт і аналізує його, щоб дібрати релевантні оголошення.

Що варто знати про цей веб-сканер.

• Дані звіту веб-сканера оновлюються щотижня.

  Сканування здійснюється автоматично. Ми не можемо збільшити його частоту.

• Веб-сканер AdSense відрізняється від веб-сканера Google.

  Ці два веб-сканери працюють окремо, але використовують спільний кеш. Завдяки цьому видавці зберігають пропускну спроможність, адже веб-сканери не запитують ті самі сторінки. Веб-сканер Search Console також діє ізольовано.

• Вирішення проблем із веб-сканером AdSense не усуває проблеми з веб-сканером Google.

  Усунення проблем, указаних на сторінці Доступ для веб-сканера, не вплине на позицію вашого сайту в результатах пошуку Google. Щоб дізнатися більше про рейтинги в системі Google, перегляньте статтю Включення сайту в результати пошуку Google.

• Веб-сканер виконує індексування за URL-адресою.

  Адреси site.com і www.site.com веб-сканер оброблятиме як два різні сайти, а site.com і site.com/#anchor розцінюватимуться як той самий сайт.

• Сторінки й каталоги, заборонені файлом robots.txt, не аналізуватимуться.

  Веб-сканери Google і AdSense Mediapartners дотримуються обмежень, визначених файлом robots.txt. Якщо він забороняє обробляти певні сторінки й каталоги, вони не скануватимуться.

  Зверніть увагу: якщо ви розміщуєте оголошення на сторінках, виключених за допомогою рядка User-agent: *, веб-сканер AdSense усе одно просканує ці сторінки. Щоб заборонити сканування таких сторінок, слід указати у файлі robots.txt рядок User-agent: Mediapartners-Google.
• Веб-сканер спробує отримати доступ лише до URL-адрес, у яких наявні наші теги оголошень.

  Лише ті сторінки, на яких відображаються оголошення Google, мають надсилати запити до нашої системи на сканування.

• Веб-сканер спробує отримати доступ до сторінок, з яких здійснюється переспрямування.

  Щоб перевірити наявність переспрямування на інші сторінки, наш веб-сканер має отримати доступ до ваших початкових сторінок. Такі переходи на початкові сторінки реєструються в журналах доступу.

• Частота індексування вмісту сайту веб-сканером не регулюється.

  Ми не керуємо повторним скануванням сайтів. Сканування здійснюється роботами автоматично. Якщо на сторінці внесено зміни, вони відобразяться в нашому індексі протягом 1–2 тижнів.