Про вебсканер у AdSense

Вебсканер, також відомий як павук або робот, – це програмне забезпечення, яке система Google використовує для обробки й індексування контенту вебсторінок. Вебсканер AdSense під назвою Mediapartners-Google відвідує ваш сайт і аналізує його, щоб дібрати релевантні оголошення.

Що варто знати про цей вебсканер.

• Дані звіту вебсканера оновлюються щотижня.

  Сканування здійснюється автоматично. Ми не можемо збільшити його частоту.

• Вебсканер AdSense відрізняється від вебсканера Google.

  Ці два вебсканери працюють окремо, але використовують спільний кеш. Завдяки цьому видавці зберігають пропускну спроможність, адже вебсканери не запитують ті самі сторінки. Вебсканер Search Console також діє ізольовано.

  Примітка. Ми також використовуємо вебсканер під назвою Google-Display-Ads-Bot для перевірки вашого сайту, коли ви додаєте його в AdSense.
• Вирішення проблем із вебсканером AdSense не впливає на роботу вебсканера Google.

  Усунення проблем, указаних на сторінці Доступ для вебсканера, не впливає на позицію вашого сайту в результатах пошуку Google. Щоб дізнатися більше про рейтинги в системі Google, перегляньте статтю Включення сайту в результати пошуку Google.

• Вебсканер виконує індексування за URL-адресою.

  Адреси site.com і www.site.com вебсканер оброблятиме як два різні сайти, а site.com і site.com/#anchor розпізнаватимуться як той самий сайт.

• Сторінки й каталоги, заборонені файлом robots.txt, не аналізуватимуться.

  Вебсканери Google, AdSense Mediapartners-Google і Google-Display-Ads-Bot дотримуються обмежень, визначених файлом robots.txt. Якщо він забороняє обробляти певні сторінки й каталоги, вони не скануватимуться.

  Примітка. Якщо ви розміщуєте оголошення на сторінках, виключених за допомогою рядка User-agent: *, вебсканер AdSense усе одно просканує ці сторінки. Щоб заборонити сканування таких сторінок, слід указати у файлі robots.txt file наведені нижче рядки.

  User-agent: Mediapartners-Google

  User-agent: Google-Display-Ads-Bot

• Вебсканер спробує отримати доступ лише до URL-адрес, у яких наявні наші теги оголошень.

  Лише ті сторінки, на яких відображаються оголошення Google, мають надсилати запити до нашої системи на сканування.

• Вебсканер спробує отримати доступ до сторінок, з яких здійснюється переспрямування.

  Щоб перевірити наявність переспрямування на інші сторінки, наш вебсканер має отримати доступ до ваших початкових сторінок. Такі переходи на початкові сторінки реєструються в журналах доступу.

• Частота індексування контенту сайту вебсканером не регулюється.

  Ми не керуємо повторним скануванням сайтів. Сканування здійснюється роботами автоматично. Якщо на сторінці внесено зміни, вони відобразяться в нашому індексі протягом 1–2 тижнів.