สุดยอดคู่มือสำหรับแท็ก Noindex สำหรับ SEO
เผยแพร่แล้ว: 2022-02-14การป้องกันไม่ให้หน้าบางหน้าปรากฏในผลการค้นหา ถือเป็นส่วนสำคัญใน กลยุทธ์การจัดทำดัชนี ของคุณ
หนึ่งในวิธีการที่สำคัญในการควบคุมการจัดทำดัชนีของไซต์ของคุณคือคำสั่ง noindex ในแท็ก meta robots หรือ x-robots-tags
แท็ก noindex สามารถใช้เพื่อบอกบอทว่าไม่ควรสร้างดัชนีหน้าเมื่อคุณยังต้องการให้รวบรวมข้อมูลจากหน้าที่ระบุและติดตามลิงก์บนหน้านั้น
การใช้คำสั่ง noindex อย่างไม่ถูกต้องอาจทำให้เนื้อหาของคุณหลุดออกจากดัชนีของ Google ได้อย่างมีประสิทธิภาพ
ตรวจสอบให้แน่ใจว่าไม่ได้เกิดขึ้น – ทำตามคำแนะนำของฉัน เพื่อเรียนรู้ว่าเมื่อใดควรใช้แท็ก noindex วิธีใช้งาน และแนวทางปฏิบัติที่ดีที่สุดที่ควรปฏิบัติตาม
แท็ก noindex คืออะไร?
แท็ก noindex คือแท็ก HTML ที่ใช้ในการควบคุมวิธีที่บอทจัดการกับหน้าหรือไฟล์ที่กำหนดในไซต์ของคุณและหยุดไม่ให้สร้างดัชนีหน้าหรือไฟล์นั้น
คุณสามารถบอกเสิร์ชเอ็นจิ้นไม่ให้สร้างดัชนีหน้า โดยเพิ่มคำสั่ง noindex ในเมตาแท็กของโรบ็ อต – เพียงเพิ่มโค้ดต่อไปนี้ลงในส่วน <head> ของ HTML:
<ชื่อเมตา=”หุ่นยนต์”เนื้อหา=”noindex”>อีกทางหนึ่ง แท็ก noindex สามารถเพิ่ม เป็น x-robots-tag ในส่วนหัว HTTP ได้ :
x-robots-tag: noindexเมื่อบ็อตของเครื่องมือค้นหาเช่น Googlebot รวบรวมข้อมูลหน้าเว็บที่มีแท็ก noindex จะไม่จัดทำดัชนี หากก่อนหน้านี้มีการจัดทำดัชนีหน้าเว็บและเพิ่มแท็กในภายหลัง Google จะนำหน้าดังกล่าวออกจากผลการค้นหา แม้ว่าเว็บไซต์อื่นๆ จะลิงก์ไปที่หน้านั้นก็ตาม
โดยทั่วไป โปรแกรมรวบรวมข้อมูลของเครื่องมือค้นหาไม่จำเป็นต้องปฏิบัติตามคำสั่ง meta เนื่องจากทำหน้าที่เป็นคำแนะนำมากกว่ากฎที่พวกเขาต้องเคารพ โปรแกรมรวบรวมข้อมูลของเครื่องมือค้นหาบางโปรแกรมอาจตีความค่าเมตาของโรบ็อตแตกต่างกัน
อย่างไรก็ตาม โปรแกรมรวบรวมข้อมูลของเครื่องมือค้นหาส่วนใหญ่ เช่น Googlebot ปฏิบัติตามคำสั่ง noindex
Noindex กับ nofollow
มี คำสั่ง meta robots อื่น ๆ ที่ Google สนับสนุน - คำสั่งที่ได้รับความนิยมมากที่สุด ได้แก่ nofollow และ follow อย่างไรก็ตาม แท็กติดตามเป็นการตั้งค่าเริ่มต้นหากไม่มีการเพิ่มเมตาแท็กของโรบ็อต ดังนั้น Google จึงถือว่า ไม่ จำเป็น
แท็ก nofollow ป้องกันไม่ให้เสิร์ชเอ็นจิ้นรวบรวมข้อมูลลิงก์บนหน้า ด้วยเหตุนี้ สัญญาณการจัดอันดับของหน้านั้นจะไม่ถูกส่งต่อไปยังหน้าที่เชื่อมโยงไปถึง
คุณสามารถใช้คำสั่ง noindex ได้ด้วยตัวเอง แต่สามารถใช้ร่วมกับคำสั่งอื่นๆ ได้ ตัวอย่างเช่น คุณสามารถ เพิ่มทั้งแท็ก noindex และ nofollow ได้ ถ้าคุณไม่ต้องการให้บอทของเครื่องมือค้นหาจัดทำดัชนีหน้าและติดตามลิงก์บนหน้านั้น
หากคุณติดตั้งแท็ก noindex แล้ว แต่หน้าเว็บของคุณยังคงปรากฏในผลการค้นหา เป็นไปได้ว่า Google ไม่ได้รวบรวมข้อมูลหน้าเว็บตั้งแต่เพิ่มแท็ก หากต้องการขอให้ Google รวบรวมข้อมูลหน้าเว็บอีกครั้ง คุณสามารถใช้ เครื่องมือตรวจสอบ URL
คุณควรใช้แท็ก noindex เมื่อใด
คุณควรใช้แท็ก noindex เพื่อป้องกันไม่ให้ Google จัดทำดัชนีหน้า
การทำให้หน้าที่มีความสำคัญน้อยกว่าไม่สามารถจัดทำดัชนีได้นั้นมีความสำคัญ เนื่องจาก Google ไม่มีทรัพยากรเพียงพอที่จะรวบรวมข้อมูลและจัดทำดัชนีทุกหน้าที่พบในเว็บ ในเวลาเดียวกัน คุณต้องระบุหน้าที่มีคุณค่าของคุณซึ่งควรได้รับการจัดทำดัชนีและจัดลำดับความสำคัญของการเพิ่มประสิทธิภาพ
มาดูกันว่าหน้าประเภทใดที่คุณควรใช้แท็ก noindex เพื่อให้ไม่สามารถจัดทำดัชนีได้
วางแท็ก noindex บน:
- หน้าสำหรับสินค้าที่หมดสต็อกและจะไม่สามารถใช้ได้อีก
- หน้าที่มีเนื้อหาซ้ำกัน ซึ่งมักจะโดดเด่นบนเว็บไซต์อีคอมเมิร์ซ นอกจากนี้ ขอแนะนำให้ ใช้ Canonical tags เพื่อชี้เครื่องมือค้นหาไปยังเวอร์ชันหลักของหน้าเว็บและป้องกันปัญหาเนื้อหาที่ซ้ำกัน
- หน้าที่ไม่ควรเข้าถึงในผลการค้นหา เช่น สภาพแวดล้อมการจัดเตรียม หรือหน้าที่มีการป้องกันด้วยรหัสผ่าน
- หน้าที่มีคุณค่าต่อเสิร์ชเอ็นจิ้นแต่ไม่มีประโยชน์ต่อผู้ใช้ เช่น หน้าที่มีลิงก์ที่ช่วยให้บอทค้นพบหน้าอื่นๆ
การทำให้หน้าเว็บไม่สามารถจัดทำดัชนีได้ควรทำโดยเป็นส่วนหนึ่งของ กลยุทธ์การจัดทำดัชนีที่ เป็นที่ยอมรับ
คุณไม่ควรใส่ noindex ในหน้าที่มีค่า เช่น:
- หน้าสินค้ายอดนิยม
- บทความบล็อก (เว้นแต่จะล้าสมัย)
- เกี่ยวกับฉันและหน้าติดต่อ
- หน้าที่อธิบายบริการที่คุณนำเสนอ
โดยทั่วไป ห้ามวาง noindex บนหน้าเว็บที่คุณคาดว่าจะสร้างการเข้าชมที่เกิดขึ้นเองเป็นจำนวนมาก
วิธีใช้งานแท็ก noindex
แท็ก noindex สามารถวางในโค้ด HTML ของไซต์หรือส่วนหัวการตอบสนอง HTTP
ปลั๊กอิน CMS บางตัว เช่น Yoast ช่วยให้คุณไม่สร้างดัชนีหน้าที่คุณเผยแพร่โดยอัตโนมัติ
มาดูวิธีการใช้งานหลักสองวิธีทีละขั้นตอนและวิเคราะห์ข้อดีข้อเสีย
แทรกแท็ก noindex ลงในโค้ด HTML ของหน้า
สามารถใช้แท็ก noindex เป็น เมตาแท็กของโรบ็อตใน <head> ของ HTML ของหน้าได้
เมตาแท็กของโรบ็ อตคือรหัสที่ใช้ในการควบคุมการรวบรวมข้อมูลและการจัดทำดัชนีของเว็บไซต์ ผู้ใช้จะมองไม่เห็น แต่บอทจะพบขณะรวบรวมข้อมูลหน้า
นี่คือวิธีการติดตั้งโค้ด:
<!DOCTYPE html> <html> <head> <meta name="robots" content="noindex" > </head> <body> </body> </html>
มาชี้แจงว่าเมตาแท็กของโรบ็อตมีโครงสร้างอย่างไร
ภายในเมตาแท็กมีคู่ของแอตทริบิวต์และค่า:
<แอตทริบิวต์ meta=”value”>เมตาแท็กของ Robots มีสองแอตทริบิวต์:
- ชื่อ – ระบุชื่อของบอทของเครื่องมือค้นหา
- เนื้อหา – มีคำสั่งสำหรับบอท
แอตทริบิวต์ทั้งสองต้องการค่าที่แตกต่างกันตามสิ่งที่คุณต้องการให้บอททำ นอกจากนี้ ทั้งแอตทริบิวต์ชื่อและเนื้อหาไม่คำนึงถึงขนาดตัวพิมพ์
โดยทั่วไปแอตทริบิวต์ชื่อจะใช้ค่าของ "หุ่นยนต์" ซึ่งบ่งชี้ว่าคำสั่งกำหนดเป้าหมายไปยังบอททั้งหมด
คุณยังสามารถใช้ชื่อบ็อตเฉพาะแทนได้ เช่น “googlebot” แม้ว่าคุณจะพบสิ่งนี้น้อยกว่ามาก หากคุณต้องการจัดการกับบอทต่างๆ คุณจะต้องสร้างเมตาแท็กแยกกันสำหรับแต่ละบอต
โปรดทราบว่า เสิร์ชเอ็นจิ้นมีโปรแกรมรวบรวมข้อมูลที่แตกต่างกันสำหรับวัตถุประสงค์ที่แตกต่างกัน – ตรวจสอบ รายชื่อโปรแกรมรวบรวมข้อมูลของ Google
ในขณะเดียวกัน แอตทริบิวต์เนื้อหามีคำสั่งให้บอทปฏิบัติตาม ในกรณีของเรา มันคือ “noindex” คุณสามารถใส่ค่ามากกว่าหนึ่งค่าที่นั่น และแยกแอตทริบิวต์ด้วยเครื่องหมายจุลภาค
ข้อดีและข้อเสียของเมตาแท็กโรบ็อต
วิธี HTML นั้นง่ายต่อการปรับใช้และแก้ไขมากกว่าวิธีส่วนหัว HTTP นอกจากนี้ยังไม่ต้องการให้คุณเข้าถึงเซิร์ฟเวอร์ของคุณอีกด้วย
อย่างไรก็ตาม การใช้แท็ก noindex ใน HTML ของคุณอาจใช้เวลานาน – คุณจะต้องเพิ่มแท็กด้วยตนเองลงในทุกหน้าที่คุณต้องการให้ noindex
เพิ่มแท็ก noindex ไปที่ส่วนหัว HTTP
อีกวิธีหนึ่งคือการระบุคำสั่ง noindex ใน x-robots-tag
นี่คือองค์ประกอบของการ ตอบสนอง ส่วนหัว HTTP ส่วนหัว HTTP ใช้สำหรับการสื่อสารระหว่างเซิร์ฟเวอร์และไคลเอนต์ (เบราว์เซอร์หรือบอทของเครื่องมือค้นหา)
คุณสามารถกำหนดค่าได้บนเว็บเซิร์ฟเวอร์ HTTP ของคุณ โค้ดจะดูแตกต่างออกไปเล็กน้อยขึ้นอยู่กับเซิร์ฟเวอร์ที่คุณใช้ เช่น Apache, Nginx หรืออื่นๆ
ต่อไปนี้คือตัวอย่างลักษณะการตอบสนองของ HTTP ด้วย x-robots-tag:
HTTP/1.1 200 ตกลง (…) x-robots-tag: noindex (…)
เซิร์ฟเวอร์ Apache
หากคุณมี เซิร์ฟเวอร์ที่ใช้ Apache และต้องการไม่สร้างดัชนีไฟล์ทั้งหมดที่ลงท้ายด้วย “.pdf” คุณควรเพิ่มคำสั่งลง ในไฟล์ . htaccess
นี่คือรหัสตัวอย่าง:
<ไฟล์ ~ "\.pdf$"> ส่วนหัวตั้งค่า x-robots-tag "noindex" </Files>
เซิร์ฟเวอร์ Nginx
หากคุณมี เซิร์ฟเวอร์ ที่ใช้ Nginx ให้ใช้คำสั่งใน ไฟล์ .conf :
ตำแหน่ง ~* \.pdf$ { add_header x-robots-tag "noindex"; }
ข้อดีและข้อเสียของการใช้ส่วนหัว HTTP
ข้อได้เปรียบที่สำคัญอย่างหนึ่งของการใช้ noindex ในส่วนหัวของ HTTP คือ คุณสามารถ ใช้กับเอกสารบนเว็บที่ไม่ใช่หน้า HTML ได้ เช่น ไฟล์ PDF วิดีโอ หรือรูปภาพ นอกจากนี้ วิธีนี้ยังให้คุณกำหนดเป้าหมายเฉพาะบางส่วนของหน้าได้อีกด้วย
นอกจากนี้ x-robots-tag ยังสนับสนุนการใช้นิพจน์ทั่วไป ( RegEx ) กล่าวคือ คุณสามารถกำหนดเป้าหมายหน้าเว็บที่ไม่ควรจัดทำดัชนีโดยระบุสิ่งที่เหมือนกัน ตัวอย่างเช่น คุณสามารถกำหนดเป้าหมายหน้าด้วย URL ที่มีพารามิเตอร์หรือสัญลักษณ์เฉพาะ
ในทางกลับกัน คุณต้องเข้าถึงเซิร์ฟเวอร์ของคุณเพื่อใช้แท็ก x-robots
การเพิ่มแท็กนั้นต้องใช้ทักษะทางเทคนิคและซับซ้อนกว่าการเพิ่มเมตาแท็กของโรบ็อตลงใน HTML ของเว็บไซต์
คุณจะตรวจสอบการใช้งานแท็ก noindex ของคุณได้อย่างไร
หากคุณต้องการตรวจสอบว่ามีการใช้ noindex หรือคำสั่ง meta ของโรบ็อตอื่นๆ หรือไม่ คุณสามารถทำได้โดยพิจารณาจากวิธีที่เพิ่มลงในเพจ
ดังนั้น หากแท็ก noindex ถูกเพิ่มลงใน HTML ของหน้าเว็บ คุณสามารถตรวจสอบซอร์สโค้ดของแท็กได้ ในขณะที่สำหรับส่วนหัว HTTP คุณสามารถใช้ ตัวเลือกตรวจสอบใน Chrome ได้ เครื่องมือเหล่านี้จะแสดงให้คุณเห็นว่าคำสั่งใดบ้างที่ได้รับการยอมรับในหน้าที่กำหนด
ตัวเลือกอื่นๆ ได้แก่ การป้อน URL ลงใน เครื่องมือตรวจสอบ URL ของ Google Search Console หรือใช้ ส่วนขยายการ ติดตามการเปลี่ยนเส้นทางลิงก์
ข้อมูลเพิ่มเติมเกี่ยวกับการใช้แท็ก noindex
ต่อไปนี้เป็นหลักเกณฑ์เพิ่มเติมบางประการเกี่ยวกับการใช้แท็ก noindex และรายละเอียดเกี่ยวกับคุณลักษณะของแท็ก:
- เมื่อใดก็ตามที่คุณไม่ได้รวม noindex ในโค้ดของคุณ ตัวเลือกเริ่มต้นคือบอทสามารถสร้างดัชนีหน้าเว็บของคุณ ได้
- ระวังข้อผิดพลาดในโค้ด เช่น ใส่เครื่องหมายจุลภาคไว้ในตำแหน่งที่ถูกต้อง บ็อตจะไม่เข้าใจคำสั่งของคุณหากไวยากรณ์ไม่ถูกต้อง
- เพิ่มแท็กในโค้ด HTML หรือส่วนหัวการตอบสนอง HTTP แต่ไม่ใช่ทั้งสองอย่าง การทำเช่นนี้อาจมีผลกระทบด้านลบอย่างเด่นชัดหากคำสั่งในสถานที่นั้นขัดแย้งกัน ในกรณีนี้ Googlebot จะเลือกคำสั่งที่จำกัดการจัดทำดัชนี
- คุณสามารถใช้คำสั่ง noimageindex ซึ่งจะทำงานคล้ายกับ noindex แต่จะป้องกันไม่ให้มีการจัดทำดัชนีรูปภาพในหน้าที่กำหนดเท่านั้น
- หลังจากนั้นไม่นาน บอทจะเริ่มดู noindex เช่นเดียวกับ nofollow หลายคนปิดใช้งานการจัดทำดัชนีของหน้าโดยใช้ noindex แต่รวมเข้ากับคำสั่งติดตามเพื่อให้แน่ใจว่าโรบ็อตยังคงรวบรวมข้อมูลลิงก์บนหน้า แต่ Google ได้อธิบาย ว่า noindex, follow directive จะถือว่าเป็น noindex, nofollow ในที่สุด เพราะเมื่อถึงจุดหนึ่ง พวกเขาจะหยุดรวบรวมข้อมูลลิงก์ในหน้า noindexed ด้วยเหตุนี้ หน้าปลายทางของลิงก์จึงอาจไม่ได้รับการจัดทำดัชนีและอาจได้รับสัญญาณการจัดอันดับที่ลดลงซึ่งอาจส่งผลเสียต่อการจัดอันดับของพวกเขา
- อย่าใช้ noindex ในไฟล์ robots.txt แม้ว่ากฎข้อนี้และกฎอื่นๆ จะไม่ได้รับการสนับสนุนอย่างเป็นทางการ แต่บอทของเครื่องมือค้นหาปฏิบัติตามคำสั่ง noindex ในไฟล์ robots.txt อย่างไรก็ตาม ในเดือนกันยายน 2019 Google ได้ประกาศว่าได้ยกเลิกโค้ดที่จัดการกฎที่ไม่รองรับและไม่ได้เผยแพร่ในไฟล์ robots.txt เช่น noindex ในเดือนกันยายน 2019
การเปรียบเทียบแท็ก noindex, ไฟล์ robots.txt และ Canonical tags
แท็ก noindex, ไฟล์ robots.txt และแท็กบัญญัติ มีความเกี่ยวข้องกัน โดย สามารถใช้เพื่อควบคุมการรวบรวมข้อมูลและ/หรือการจัดทำดัชนีของหน้า เว็บ
อย่างไรก็ตาม พวกมันมีลักษณะเด่นบางประการที่ทำให้เหมาะสมในสถานการณ์ต่างๆ
เราได้กำหนดว่า แท็ก noindex ควบคุมว่าควรจัดทำดัชนีหน้าใดหน้าหนึ่งบนเว็บไซต์หรือไม่ และทำงานในระดับหน้า
มาดูกันว่าสิ่งนี้เปรียบเทียบกับไฟล์ robots.txt และ Canonical tags อย่างไร
ไฟล์ Robots.txt
ไฟล์ Robots.txt สามารถใช้ควบคุมวิธีที่บอทของเครื่องมือค้นหารวบรวมข้อมูลส่วนต่างๆ ของเว็บไซต์ของคุณในระดับไดเรกทอรีได้
โดยเฉพาะอย่างยิ่ง ไฟล์ robots.txt มีคำสั่งสำหรับบอทของเครื่องมือค้นหา โดยเน้นที่ "ไม่อนุญาต" หรือ "อนุญาต" พฤติกรรมของพวกมัน หากบอทปฏิบัติตามคำสั่ง บอทจะไม่รวบรวมข้อมูลจากหน้าที่ไม่ได้รับอนุญาต และเพจจะไม่ได้รับการจัดทำดัชนี
คำสั่ง Robots.txt ถูกใช้อย่างกว้างขวางเพื่อประหยัด งบประมาณการรวบรวมข้อมูล ของเว็บไซต์
โปรดใช้ความระมัดระวังเมื่อติดตั้งแท็ก noindex และตั้งค่ากฎในไฟล์ robots.txt เพื่อให้คำสั่ง noindex มีประสิทธิภาพ หน้าที่ระบุจะต้องพร้อมสำหรับการรวบรวมข้อมูล ซึ่งหมายความว่าไฟล์ robots.txt ไม่สามารถบล็อกหน้าดังกล่าวได้
หากโปรแกรมรวบรวมข้อมูลไม่สามารถเข้าถึงหน้าได้ จะไม่เห็นแท็ก noindex และจะไม่ปฏิบัติตาม จากนั้นระบบจะรวบรวมข้อมูลหน้าเว็บและปรากฏในผลการค้นหาได้ เช่น หากหน้าอื่นๆ กำลังลิงก์ไปยังหน้านั้น
หากต้องการ noindex ของหน้า ให้อนุญาตให้รวบรวมข้อมูลใน robots.txt และใช้เมตาแท็ก noindex เพื่อบล็อกการจัดทำดัชนี จากนั้น Googlebot จะปฏิบัติตามคำสั่ง noindex
แท็ก Canonical
Canonical tags เป็นองค์ประกอบ HTML ที่ แจ้งเครื่องมือค้นหาว่าหน้าใดจากหน้าที่คล้ายกันหลายหน้าเป็นเวอร์ชันหลักและควรจัดทำดัชนี โดยจะวางอยู่ในหน้ารองและระบุ Canonical URL ดังนั้นจึงไม่ควรรวมหน้ารองเหล่านี้ไว้ในดัชนี
แท็ก Canonical อาจจำกัดการจัดทำดัชนีของหน้าเว็บที่ไม่ใช่ Canonical แต่ Google จะไม่เคารพแท็กเหล่านี้เสมอ ไป ตัวอย่างเช่น หาก Google พบลิงก์เพิ่มเติมไปยังหน้าอื่น Google อาจถือว่าหน้านั้นสำคัญกว่า Canonical URL ที่ระบุและถือว่าเป็นเวอร์ชันหลัก
นอกจากนี้ บอทสามารถค้นพบ Canonical tags ได้เฉพาะในระหว่างการรวบรวมข้อมูลเท่านั้น ต่างจากไฟล์ robots.txt ที่ไม่สามารถใช้เพื่อหยุดการรวบรวมข้อมูลหน้า
ความแตกต่างที่สำคัญระหว่างแท็ก Canonical และแท็ก noindex คือ หน้า Canonicalized จะรวมสัญญาณการจัดอันดับ ไว้ใน URL เดียว ในขณะเดียวกัน หน้าที่ไม่มีการจัดทำดัชนีจะไม่ผ่านสัญญาณการจัดอันดับ ซึ่งมีความสำคัญเกี่ยวกับการลิงก์ภายใน โดยจะไม่ส่งสัญญาณการจัดอันดับไปยัง URL ที่ลิงก์ไป
ห่อ
การทำเพจคุณภาพต่ำที่ไม่สามารถจัดทำดัชนีได้เป็นหนึ่งในแนวทางปฏิบัติที่ดีที่สุดสำหรับ SEO สำหรับการเพิ่มประสิทธิภาพกลยุทธ์การจัดทำดัชนีของคุณ และ การใช้เมตาแท็ก noindex เป็นวิธีที่เหมาะสมที่สุดวิธีหนึ่งในการกันเพจไม่ให้อยู่ในดัชนีของ Google
เมื่อใช้แท็ก คุณสามารถ บล็อกการสร้างดัชนีของหน้าที่ไม่สำคัญ และต่อมาช่วยให้โปรแกรมรวบรวมข้อมูลของเครื่องมือค้นหามุ่งเน้นไปที่เนื้อหาที่มีค่าที่สุดของคุณ
การรวบรวมข้อมูลและจัดทำดัชนีเว็บไซต์ของคุณอย่างมีประสิทธิภาพเป็นกุญแจสำคัญในการใช้ประโยชน์สูงสุดจากการเข้าชมที่เกิดขึ้นเองซึ่งหน้าอันมีค่าสามารถขับเคลื่อนมายังไซต์ของคุณได้ หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับกระบวนการสร้างดัชนี โปรดอ่าน คู่มือการทำดัชนี SEO ของ เราต่อไป!