Memastikan file ads.txt dapat di-crawl

File ads.txt memberi Anda lebih banyak kontrol terhadap siapa yang diizinkan untuk menjual iklan di situs Anda dan membantu mencegah inventaris palsu ditampilkan kepada pengiklan. Crawler Google harus dapat mengakses file ads.txt Anda.

Setelah membuat file ads.txt untuk situs Anda dan menguploadnya di domain root, crawler Google akan:

• Mencoba meng-crawl file tersebut.
• Menguraikan konten file ads.txt untuk menentukan ID penjual mana yang diizinkan untuk memonetisasi situs Anda.

Catatan: Mungkin perlu waktu beberapa hari agar perubahan ads.txt ditampilkan di AdSense. Jika situs Anda tidak membuat banyak permintaan iklan, prosesnya dapat memakan waktu hingga satu bulan.

Dalam video ini, Anda akan mempelajari cara memastikan file ads.txt dapat di-crawl.

Mengidentifikasi masalah crawler ads.txt

Sebelum memulai, sebaiknya pahami kode status HTTP.

Untuk memastikan file ads.txt Anda dapat di-crawl, sebaiknya lakukan langkah-langkah pemecahan masalah berikut:

• Konfirmasi waktu upload file ads.txt
• Konfirmasi bahwa file ads.txt selalu tersedia
• Konfirmasi bahwa file ads.txt dapat dijangkau dari domain root
• Pastikan crawling tidak dilarang oleh robots.txt
• Pastikan file ads.txt memiliki kode status HTTP 200 OK
• Pastikan tidak ada kesalahan format atau karakter yang tidak valid di file ads.txt
• Buat file ads.txt dapat dijangkau melalui HTTP dan HTTPS

Konfirmasi waktu upload file ads.txt

Jika Anda mengupload file ads.txt dalam beberapa hari terakhir, mungkin perlu waktu hingga perubahannya diterapkan dan menjalani peninjauan di AdSense. Jika situs Anda tidak membuat banyak permintaan iklan atau memiliki traffic rendah, peninjauan tersebut mungkin memerlukan waktu hingga satu bulan.

Jangan hapus ads.txt Anda jika sudah disiapkan dengan benar. Perubahan yang dilakukan pada file ads.txt Anda akan memengaruhi waktu peninjauan.

Konfirmasi bahwa file ads.txt selalu tersedia

Jika file ads.txt yang di-crawl sebelumnya tidak tersedia pada crawling ulang berikutnya, proses yang terjadi pada entri yang di-crawl sebelumnya akan bergantung pada respons kode status.

Coba akses file domain.com/ads.txt:

• Jika responsnya adalah error status HTTP 404, berarti file tersebut tidak ada. Entri sebelumnya akan dihapus permanen.
• Jika responsnya berupa error status soft HTTP 404 (sebuah halaman ditampilkan untuk URL yang sebenarnya tidak ada; status HTTP 200) atau error server 500, entri tersebut akan dipertahankan selama maksimal 5 hari.

Konfirmasi bahwa file ads.txt dapat dijangkau dari domain root

Periksa URL Anda. Apakah Anda perlu menyertakan "www" untuk mengakses situs Anda (misalnya, www.domain.com)?

Crawling ads.txt akan dimulai di root domain, dan root domain harus ditampilkan dari, atau dialihkan ke, file ads.txt tersebut.

• File ads.txt di www.domain.com/ads.txt hanya akan di-crawl jika domain.com/ads.txt dialihkan ke file ads.txt.

Jika situs Anda hanya dapat diakses dengan menyertakan “www”, Anda harus menyiapkan pengalihan dari domain.com/ads.txt ke www.domain.com/ads.txt.

Hubungi penyedia layanan Anda untuk membantu menyiapkan pengalihan.

Pastikan crawling tidak dilarang oleh robots.txt

Crawler mungkin akan mengabaikan file ads.txt untuk domain jika file robots.txt di domain melarang salah satu hal berikut:

• Crawling jalur URL tempat dipostingnya file ads.txt.
• Crawler (agen pengguna) spesifik.

Anda dapat mengubah file robots.txt untuk mengizinkan crawler Google mengakses file ads.txt.

Contoh: Crawling dilarang di jalur file ads.txt

Baris berikut disertakan dalam example1.com/robots.txt:

User-agent: *
Disallow: /ads

Artinya, file ads.txt akan diabaikan oleh crawler yang mematuhi standar robots.txt.

Ada beberapa cara untuk mengubah file robots.txt agar file ads.txt dapat di-crawl:

• Opsi 1: Ubah jalur yang dilarang.

  User-agent: *
Disallow: /ads/

• Opsi 2: Ubah file robots.txt untuk mengizinkan ads.txt secara spesifik.

  User-agent: *
Allow: /ads.txt
Disallow: /ads

Catatan: Opsi ini hanyalah contoh, ada cara lain untuk mengubah robots.txt.

Contoh: Crawling dilarang untuk crawler Google saja

Baris berikut disertakan dalam example2.com/robots.txt:

User-agent: Googlebot
Disallow: /

Artinya, file ads.txt akan diabaikan oleh crawler Google.

Ada beberapa cara untuk mengubah file robots.txt agar crawler Google dapat mengakses file ads.txt:

• Opsi 1: Hapus " / " dari bagian Disallow.

  User-agent: Googlebot
Disallow:

• Opsi 2: Izinkan Googlebot mengakses ads.txt Anda.

  User-agent: Googlebot
Allow: /ads.txt

Catatan: Perubahan apa pun yang Anda lakukan pada file robots.txt mungkin tidak diterapkan hingga crawler mencoba mengunjungi situs Anda lagi.

Pastikan file ads.txt memiliki kode status HTTP 200 OK

Meskipun permintaan untuk file ads.txt mungkin akan menampilkan konten file dalam isi respons, jika kode status di header respons menunjukkan bahwa file tidak ditemukan (misalnya, kode status 404), maka:

• Respons akan diabaikan.
• File tersebut akan dianggap tidak ada.

Periksa header respons untuk memastikan file ads.txt memiliki kode status HTTP 200 OK. Kode status HTTP 200 OK menunjukkan bahwa Anda telah menerapkan file ads.txt dengan benar dan permintaannya berhasil.

Pastikan tidak ada kesalahan format atau karakter yang tidak valid di file ads.txt

Penting untuk memeriksa apakah ada kesalahan dalam ads.txt, seperti salah ketik, spasi yang tidak perlu, atau koma tambahan.

Kesalahan format, seperti karakter spasi kosong yang tidak valid, mungkin sulit dideteksi. Dengan demikian, file ads.txt dapat sulit diuraikan oleh crawler, sehingga mungkin akan diabaikan.

Bandingkan kode ads.txt Anda dengan kode di akun AdSense Anda. File ads.txt Anda seharusnya akan terlihat seperti ini:

google.com, pub-0000000000000000, DIRECT, f08c47fec0942fa0

ID penayang harus sama dengan ID yang ditampilkan di akun AdSense Anda.

Jangan menyalin dan menempelkan entri ads.txt dari editor rich text karena entri tersebut dapat berisi metadata atau data format tambahan. Sebaiknya gunakan editor teks biasa. Anda juga dapat memeriksa karakter UTF-8 yang tidak valid di file ads.txt Anda menggunakan editor HEX.

Buat file ads.txt dapat dijangkau melalui HTTP dan HTTPS

Crawler Google mencoba meng-crawl file ads.txt di HTTP dan HTTPS. Pastikan ads.txt Anda dapat diakses di HTTP dan HTTPS. Jika tidak, Anda mungkin perlu menyiapkan pengalihan.

Misalnya, jika hanya ada file ads.txt untuk HTTP, file ads.txt yang di-crawl melalui HTTPS akan menampilkan kode status HTTP 404. Entri yang di-crawl sebelumnya akan dihapus permanen meskipun jika file ads.txt di-crawl melalui HTTP. Jika demikian, Anda perlu menyiapkan pengalihan.

Langkah berikutnya yang perlu Anda lakukan akan bergantung pada hal berikut:

• Untuk HTTP saja (misalnya, http://domain.com/ads.txt): Anda perlu menyiapkan pengalihan agar saat crawler menelusuri https://domain.com/ads.txt, situs akan melakukan pengalihan ke http://domain.com/ads.txt.
• Untuk HTTPS saja (misalnya, https://domain.com/ads.txt): Anda perlu menyiapkan pengalihan agar saat crawler menelusuri http://domain.com/ads.txt, situs akan melakukan pengalihan ke https://domain.com/ads.txt.
• Untuk protokol HTTP dan HTTP: Permintaan http://domain.com/ads.txt dan https://domain.com/ads.txt harus menampilkan file ads.txt.

Hubungi penyedia layanan Anda jika memerlukan bantuan untuk menyiapkan pengalihan.

Catatan: Kami memiliki referensi tambahan jika Anda ingin mempelajari lebih lanjut pemecahan masalah ads.txt.