Керування веб-сайтами

Веб-сканер AdSense

Веб-сканер, також відомий як павук або робот, – це програмне забезпечення, яке використовується системою Google для обробки й індексування вмісту веб-сторінок. Веб-сканер AdSense відвідує ваш сайт, щоб визначити його вміст і дібрати релевантні оголошення.

Нижче наведено основні відомості про веб-сканер AdSense.

  • Дані звіту веб-сканера оновлюються щотижня.

    Сканування здійснюється автоматично. Ми не можемо збільшити його частоту.

  • Веб-сканер AdSense відрізняється від веб-сканера Google.

    Ці два веб-сканери працюють окремо, але використовують спільний кеш. Це здійснюється для того, щоб уникнути сканування одних і тих самих сторінок різними веб-сканерами, що допоможе видавцям зберегти пропускну спроможність. Також працює окремо й веб-сканер Search Console.

  • Вирішення проблем із веб-сканером AdSense не вирішить відповідних проблем із веб-сканером Google.

    Усунення проблем, наведених на сторінці Доступ для веб-сканера, не вплине на позицію вашого сайту в результатах пошуку Google. Докладнішу інформацію про рейтинг сайту в системі Google можна переглянути в статті про включення сайту в результати пошуку Google.

  • Веб-сканер виконує індексування за URL-адресою.

    Доступ веб-сканера до адрес site.com і www.site.com здійснюється окремо. Однак веб-сканер не розглядає сайти site.com і site.com/#anchor як дві окремі сторінки.

  • Веб-сканер не отримає доступ до сторінок і каталогів, заборонених файлом robots.txt.

    Веб-сканери Google і AdSense Mediapartners враховують дані у файлі robots.txt. Якщо в ньому заборонено доступ до певних сторінок і каталогів, вони не скануватимуться.

    Зверніть увагу, що у випадку розміщення оголошень на сторінках, які виключені за допомогою рядка User-agent: *, веб-сканер AdSense усе одно їх просканує. Щоб заборонити веб-сканеру AdSense доступ до сторінок, необхідно у файлі robots.txt вказати рядок User-agent: Mediapartners-Google. Докладніше
  • Веб-сканер спробує отримати доступ лише до URL-адрес, у яких наявні наші теги оголошень.

    Лише ті сторінки, на яких відображаються оголошення Google, мають надсилати запити до нашої системи на сканування.

  • Веб-сканер спробує отримати доступ до сторінок, з яких здійснюється переспрямування.

    Якщо з ваших "початкових сторінок" здійснюється переспрямування на інші сторінки, наш веб-сканер має отримати доступ до початкових сторінок, щоб перевірити наявність переспрямування. Тому в журналах доступу реєструються відвідування веб-сканером початкових сторінок.

  • Повторне сканування веб-сайтів

    Наразі ми не можемо контролювати частоту індексування вмісту сайту нашими веб-сканерами. Наші роботи автоматично виконують сканування. Якщо на сторінці внесено зміни, вони відобразяться в нашому індексі протягом 1–2 тижнів.

Чи корисна ця інформація?
Як можна її покращити?

Потрібна додаткова допомога?

Увійдіть в обліковий запис, щоб отримати додаткову допомогу та швидко вирішити проблему