Керування веб-сайтами

Надання веб-сканеру доступу у файлі robots.txt

Якщо ви змінили файл robots.txt на своєму сайті, щоб блокувати індексування сторінок веб-сканером AdSense, ми не зможемо показувати на цих сторінках оголошення Google.

Щоб оновити файл robots.txt для надання веб-сканеру доступу до ваших сторінок, видаліть із файлу robots.txt наведені далі два рядки тексту:

User-agent: Mediapartners-Google
Disallow: /

Завдяки цій зміні наші веб-сканери зможуть індексувати вміст вашого сайту й відображати оголошення Google. Зверніть увагу: будь-які зміни, які ви вносите до файлу robots.txt, можуть не відобразитися в нашому індексі, доки сканери не спробують знову отримати доступ до вашого сайту.

Чи корисна ця інформація?
Як можна її покращити?