Про веб-сканер в AdSense

Вебсканер, також відомий як павук або робот, – це програмне забезпечення, яке система Google використовує для обробки й індексування контенту вебсторінок. Вебсканер AdSense під назвою Mediapartners-Google відвідує ваш сайт і аналізує його, щоб дібрати релевантні оголошення.

Що варто знати про цей вебсканер.

• Дані звіту веб-сканера оновлюються щотижня.

  Сканування здійснюється автоматично. Ми не можемо збільшити його частоту.

• Веб-сканер AdSense відрізняється від веб-сканера Google.

  Ці два веб-сканери працюють окремо, але використовують спільний кеш. Завдяки цьому видавці зберігають пропускну спроможність, адже веб-сканери не запитують ті самі сторінки. Вебсканер Search Console також діє ізольовано.

  Примітка. AdSense також використовує вебсканер під назвою Google-Display-Ads-Bot для перевірки вашого сайту, коли ви додаєте його в AdSense.
• Вирішення проблем із вебсканером AdSense не усуває проблеми з вебсканером Google.

  Усунення проблем, указаних на сторінці Доступ для веб-сканера, не вплине на позицію вашого сайту в результатах пошуку Google. Щоб дізнатися більше про рейтинги в системі Google, перегляньте статтю Включення сайту в результати пошуку Google.

• Веб-сканер виконує індексування за URL-адресою.

  Адреси site.com і www.site.com веб-сканер оброблятиме як два різні сайти, а site.com і site.com/#anchor розцінюватимуться як той самий сайт.

• Сторінки й каталоги, заборонені файлом robots.txt, не аналізуватимуться.

  Вебсканери Google, AdSense Mediapartners-Google і Google-Display-Ads-Bot дотримуються обмежень, визначених файлом robots.txt. Якщо він забороняє обробляти певні сторінки й каталоги, вони не скануватимуться.

  Примітка. Якщо ви розміщуєте оголошення на сторінках, виключених за допомогою рядка User-agent: *, вебсканер AdSense усе одно просканує ці сторінки. Щоб заборонити сканування таких сторінок, слід указати у файлі robots.txt file наведені нижче рядки.

  User-agent: Mediapartners-Google

  User-agent: Google-Display-Ads-Bot

• Вебсканер спробує отримати доступ лише до URL-адрес, у яких наявні наші теги оголошень.

  Лише ті сторінки, на яких відображаються оголошення Google, мають надсилати запити до нашої системи на сканування.

• Веб-сканер спробує отримати доступ до сторінок, з яких здійснюється переспрямування.

  Щоб перевірити наявність переспрямування на інші сторінки, наш вебсканер має отримати доступ до ваших початкових сторінок. Такі переходи на початкові сторінки реєструються в журналах доступу.

• Частота індексування вмісту сайту веб-сканером не регулюється.

  Ми не керуємо повторним скануванням сайтів. Сканування здійснюється роботами автоматично. Якщо на сторінці внесено зміни, вони відобразяться в нашому індексі протягом 1–2 тижнів.