حظر الدخول إلى ملفاتك

إذا كانت لديك صفحات أو محتوى آخر لا تريد عرضه ضمن نتائج بحث Google، فأمامك بعض الخيارات.

  • إذا كنت بحاجة إلى الاحتفاظ بمحتوى سري على الخادم، فاحفظه في دليل محمي بكلمة مرور. سيتعذر على Googlebot والعناكب الأخرى الدخول إلى هذا المحتوى. وهذه هي الطريقة الأبسط والأكثر فعالية لمنع Googlebot والعناكب الأخرى من الزحف إلى المحتوى المتاح على الموقع وفهرسته. وفي حالة استخدام خادم الويب Apache، يمكن تعديل ملف htaccess. لحماية الدليل على الخادم بكلمة مرور. وهناك العديد من الأدوات على الويب والتي تتيح لك إجراء ذلك بسهولة.

  • يمكنك استخدام ملف robots.txt للتحكم في الدخول إلى الملفات والأدلة على الخادم. ويشبه ملف robots.txt إشارة إلكترونية تفيد بعدم الدخول غير المشروع. ويحدد هذا الملف لبرنامج Googlebot وبرامج الزحف الأخرى، الملفات والأدلة على الخادم، والتي يجب عدم الزحف إليها.

    لاستخدام ملف robots.txt، يلزم توفر حق الوصول إلى جذر المضيف (وإذا لم تكن متأكدا من ذلك، فراجع مضيف الويب). إذا لم يكن لديك حق دخول إلى جذر النطاق، فبإمكانك تقييد إمكانية الدخول باستخدام علامة meta الخاصة ببرامج الروبوت في صفحات فردية.

    من المهم ملاحظة أنه حتى في حالة استخدام ملف robots.txt لمنع العناكب من الزحف إلى محتوى موقعك، قد يكتشف محرك بحث Google هذا المحتوى بطرق أخرى ويضيفه إلى الفهرس. على سبيل المثال، قد تظل مواقع أخرى مرتبطة به. ونتيجة لذلك، قد يظهر عنوان URL للصفحة وربما المعلومات الأخرى المتاحة بشكل عام مثل نصوص الروابط إلى الموقع, أو العنوان من مشروع الدليل المفتوح ضمن نتائج بحث Google. وعلى الرغم من أن جميع برامج الروبوت حسنة السمعة تحترم الأوامر المضمنة في ملف robots.txt، إلا أن بعضها قد يفسر تلك الأوامر على نحو مختلف. ومع ذلك، ليس ملف robots.txt ملزمًا، وقد يتجاهله بعض مرسلي المحتوى المزعج ومثيري المتاعب الآخرين. ولهذا السبب، فإننا ننصح بحماية المعلومات السرية بكلمة مرور (راجع ما ورد أعلاه).

    يمكنك اختبار ملف robots.txt في علامة تبويب عناوين URL المحظورة (robots.txt) في صفحة دخول الزاحف.

    حول استخدام ملفات robots.txt‎ للتحكم في الدخول إلى الموقع


  • استخدم العلامة الوصفية noindex لمنع ظهور المحتوى في نتائج البحث. عندما نرى علامة noindex الوصفية في صفحة، سيتجاهل محرك بحث Google إدراج الصفحة في نتائج البحث تمامًا، حتى إذا كانت هناك صفحات أخرى بها روابط إلى هذه الصفحة. وإذا كان المحتوى متوفر في فهرسنا حاليًا، فسنزيله في المرة التالية التي نزحف فيها إليه ونعيد معالجته. (ولتعجيل عملية الإزالة، استخدم أداة إزالة عناوين URL الموجودة ضمن أدوات مشرفي المواقع من Google). غير أن محركات البحث الأخرى قد تفسر هذا الأمر على نحو مختلف. ونتيجة لذلك، قد يستمر أحد الروابط المؤدية إلى الصفحة في الظهور ضمن نتائج بحث هذه المحركات.

    ونظرًا لضرورة أن نزحف إلى صفحتك بحثًا عن علامة noindex، فهناك احتمال ضعيف ألا يرى Googlebot‏ العلامة الوصفية noindex وألا يلتزم بها (على سبيل المثال: في حالة عدم الزحف إلى الصفحة منذ أن أضفت العلامة).

    حول استخدام العلامات الوصفية للتحكم في الدخول إلى موقعك