บทความนี้จะอธิบายวิธีบล็อกการเข้าถึงเนื้อหาในเว็บไซต์ของคุณ
เนื้อหาบางส่วนที่คุณเผยแพร่อาจไม่มีความเกี่ยวข้องที่จะปรากฏใน Google News คุณจำกัดสิทธิ์ของ Google ในการเข้าถึงเนื้อหาบางอย่างได้โดยบล็อกการเข้าถึงของ Crawler แบบโรบ็อตของ Google อย่าง Googlebot และ Googlebot-News
สร้างไฟล์ robots.txt
ใช้ไฟล์ robots.txt เพื่อควบคุมในระดับสูงว่าส่วนใดของเว็บไซต์จะปรากฏใน Google Search และ Google News ได้ ดูข้อมูลเพิ่มเติมเกี่ยวกับไฟล์ robots.txt
คุณบล็อกการเข้าถึงได้ด้วยวิธีต่อไปนี้
-
หากไม่ต้องการให้เว็บไซต์ปรากฏใน Google News ให้บล็อกการเข้าถึงของ Googlebot-News โดยใช้ไฟล์ robots.txt
-
หากไม่ต้องการให้เว็บไซต์ปรากฏใน Google News และ Google Search ให้บล็อกการเข้าถึงของ Googlebot โดยใช้ไฟล์ robots.txt
อย่าลืมให้สิทธิ์ Crawler เข้าถึงไฟล์ robots.txt เพื่อให้เราดูได้ว่าส่วนใดของเว็บไซต์ที่คุณไม่ต้องการให้รวบรวมข้อมูล
สร้างเมตาแท็ก
คุณเพิ่มเมตาแท็กลงในหน้า HTML ได้ เมตาแท็กจะแจ้งให้เครื่องมือค้นหาทราบว่ามีการใช้ข้อจำกัดใดบ้างเมื่อแสดงหน้าในผลการค้นหา ดูวิธีบล็อกการจัดทำดัชนีการค้นหาด้วยเมตาแท็ก
ต่อไปนี้คือเมตาแท็กที่พบบ่อยและเพิ่มไปที่หน้า HTML เพื่อดำเนินการดังนี้ได้
-
ป้องกันไม่ให้บางบทความในเว็บไซต์ปรากฏใน Google News วิธีการคือบล็อกการเข้าถึงของ Googlebot-News โดยใช้เมตาแท็ก
<meta name="Googlebot-News" content="noindex, nofollow"> -
ป้องกันไม่ให้บางบทความในเว็บไซต์ปรากฏใน Google News และ Google Search วิธีการคือบล็อกการเข้าถึงของ Googlebot โดยใช้เมตาแท็ก
<meta name="googlebot" content="noindex, nofollow"> -
ป้องกันไม่ให้โรบ็อตทั้งหมดจัดทำดัชนีบางบทความในเว็บไซต์ วิธีการคือใช้เมตาแท็ก
<meta name="robots" content="noindex, nofollow"> -
ป้องกันไม่ให้โรบ็อตรวบรวมข้อมูลรูปภาพในบางบทความ วิธีการคือใช้เมตาแท็ก
<meta name="robots" content="noimageindex"> -
แจ้งให้เราทราบว่าควรนำบทความออกจากดัชนีของ Google ณ เวลาที่เจาะจง วิธีการคือใช้เมตาแท็ก
<meta name="googlebot" content="unavailable_after: 25-Aug-2011 15:00:00 EST"> -
ระบุเวลาและวันที่ในรูปแบบ RFC 850 เมตาแท็กนี้ถือว่าเป็นคำขอนำออก ซึ่งใช้เวลาประมาณ 1 วันหลังจากวันที่นำเนื้อหาออก หน้าจึงจะหายไปจากผลการค้นหา อย่างไรก็ตาม คุณควรใส่แท็กไว้ในบทความตั้งแต่ครั้งแรกที่รวบรวมข้อมูล เพื่อให้แท็กทำงานได้อย่างถูกต้อง
-
เรายังมีวิธีอื่นๆ ที่ใช้จำกัดเนื้อหาที่แสดงในผลการค้นหาได้ ดูข้อมูลเพิ่มเติมได้ในเอกสารสำหรับนักพัฒนาซอฟต์แวร์
การกำหนดส่วนหัว HTTP
คุณระบุวิธีการให้โรบ็อตทราบโดยใช้ส่วนหัวการตอบสนอง HTTP ได้เช่นกัน ดูข้อมูลเพิ่มเติมได้ในข้อกำหนดของส่วนหัว HTTP
สำคัญ: Google ปฏิบัติตามบ็อตที่มีการตีความที่เข้มงวดที่สุด