ক্রলার সফ্টওয়্যার স্পাইডার বা বট হিসেবেও পরিচিত এবং Google এর সাহায্যে ওয়েবপেজের কন্টেন্ট প্রসেস ও ইন্ডেক্স করে। প্রাসঙ্গিক বিজ্ঞাপন দেখানোর জন্য সাইটে কী ধরনের কন্টেন্ট আছে তা নির্ধারণ করতে AdSense ক্রলার আপনার সাইট ভিজিট করে।
AdSense ক্রলার সম্পর্কে জেনে রাখার মতো কিছু গুরুত্বপূর্ণ তথ্য:
- ক্রলার রিপোর্ট প্রতি সপ্তাহে আপডেট করা হয়।
ক্রল করার প্রসেসটি অটোমেটিক এবং আরও ঘন ঘন ক্রলিং করার অনুরোধ গ্রহণ করা আমাদের পক্ষে সম্ভব নয়।
- AdSense ক্রলার ও Google ক্রলার দুটি আলাদা সফ্টওয়্যার।
ক্রলার দুটি আলাদা, তবে এরা একটি ক্যাশে শেয়ার করে। উভয় ক্রলার যাতে একই পৃষ্ঠার অনুরোধ না করে সেই জন্য আমরা এটি করি এবং এর ফলে প্রকাশকদের ব্যান্ডউইথ খরচ কম হয়। একইভাবে, Search Console ক্রলারও আলাদা।
- AdSense ক্রল সংক্রান্ত সমস্যার সমাধান করলে Google ক্রল সম্পর্কিত সমস্যার সমাধান হয় না।
আপনার ক্রলার অ্যাক্সেস পৃষ্ঠায় তালিকাভুক্ত সমস্যার সমাধান করলে Google সার্চ ফলাফলে আপনার প্লেসমেন্টের উপর কোনও প্রভাব পড়ে না। Google-এ আপনার সাইটের র্যাঙ্কিংয়ের ব্যাপারে আরও জানতে, Google সার্চ ফলাফলে অন্তর্ভুক্ত হওয়া প্রসঙ্গে আমাদের এন্ট্রি পর্যালোচনা করুন।
- URL অনুসারে ক্রলার ইন্ডেক্স।
আমাদের ক্রলার site.com এবং www.site.com আলাদাভাবে অ্যাক্সেস করবে। তবে, আমাদের ক্রলার site.com এবং site.com/#anchor দুটি আলাদাভাবে গণনা করবে না।
- robots.txt ফাইলের মাধ্যমে নিষিদ্ধ করা পৃষ্ঠা বা ডিরেক্টরি আমাদের ক্রলার অ্যাক্সেস করে না।
Google এবং AdSense Mediapartners ক্রলার উভয়েই আপনার robots.txt ফাইলের কমান্ড মেনে চলে। আপনার robot.txt ফাইল নির্দিষ্ট কোনও পৃষ্ঠা বা ডিরেক্টরির অ্যাক্সেস নিষিদ্ধ করলে, সেগুলি ক্রল করা হবে না।
মনে রাখবেন: আপনি যদি এমন পৃষ্ঠায় বিজ্ঞাপন পরিবেশন করেন যেখানেUser-agent: *লাইনের মাধ্যমে রোবটের অ্যাক্সেস নিষিদ্ধ করা হয়েছে, AdSense ক্রলার তারপরেও সেইসব পৃষ্ঠা ক্রল করবে। আপনার পৃষ্ঠায় AdSense ক্রলারের অ্যাক্সেস বন্ধ করতে, আপনাকে robots.txt ফাইলেUser-agent: Mediapartners-Googleনির্দিষ্ট করে দিতে হবে। - আমাদের ক্রলার শুধু সেইসব URL অ্যাক্সেস করার চেষ্টা করবে যেখানে আমাদের বিজ্ঞাপন ট্যাগ প্রয়োগ করা হয়েছে।
শুধু এমন পৃষ্ঠাই আমাদের সিস্টেমে অনুরোধ জানাতে ও ক্রল করাতে পারবে যেখানে Google বিজ্ঞাপন দেখানো হচ্ছে।
- আমাদের ক্রলার শুধু সেইসব পৃষ্ঠা অ্যাক্সেস করার চেষ্টা করবে যা রিডাইরেক্ট করে।
আপনার যদি "আসল পৃষ্ঠা" থাকে যা অন্যান্য পৃষ্ঠায় রিডাইরেক্ট করে, সেক্ষেত্রে রিডাইরেক্ট হচ্ছে কিনা নির্ধারণ করার জন্য আমাদের ক্রলারকে সেই আসল পৃষ্ঠা অ্যাক্সেস করতে হবে। এর ফলে, আপনার অ্যাক্সেস লগে দেখতে পাবেন যে আমাদের ক্রলার 'আসল পৃষ্ঠা' ভিজিট করেছে।
- ক্রলার কত ঘনঘন আপনার সাইটের কন্টেন্ট ইন্ডেক্স করবে তার উপর আমাদের কোনও নিয়ন্ত্রণ নেই।
এই সময়ে, সাইট আবার ক্রল করার উপর আমাদের কোনও নিয়ন্ত্রণ নেই। ক্রলিং প্রসেস আমাদের বটের মাধ্যমে অটোমেটিক পরিচালিত হয়। আপনি কোনও পৃষ্ঠায় কিছু পরিবর্তন করলে, সেই পরিবর্তন আমাদের ইন্ডেক্সে প্রতিফলিত হতে ১ বা ২ সপ্তাহ পর্যন্ত লেগে যেতে পারে।
