เสิร์ชเอ็นจิ้นไม่สามารถค้นพบและจัดทำดัชนีทุกหน้าบนเว็บ – พวกเขาจำเป็นต้องทำการเลือกในเรื่องนั้น และแม้ว่าเครื่องมือค้นหาทั้งหมดมีจุดประสงค์เดียวกัน แต่ ก็ใช้เกณฑ์ที่แตกต่างกันสำหรับหน้าเว็บที่จะสร้างดัชนี

ดังที่กล่าวไปแล้ว โดยทั่วไปจะดีหากเสิร์ชเอ็นจิ้นสามารถรวบรวมข้อมูลและจัดทำดัชนีเนื้อหาที่มีค่ามากที่สุดเท่าที่จะเป็นไปได้ ซึ่งจะช่วยเพิ่มโอกาสที่จะแสดงให้ผู้ใช้เห็นว่าพวกเขากำลังค้นหาอะไร

ฉันอยากรู้ว่าเสิร์ชเอ็นจิ้นใด - Bing หรือ Google - จัดทำดัชนีเนื้อหาโดยทั่วไปมากกว่า

บทความนี้อธิบายแง่มุมต่างๆ ของการค้นคว้าวิจัยของฉัน และแม้ว่าฉันต้องการข้อมูลเพิ่มเติมเพื่อสรุปข้อสรุปที่แน่ชัด แต่ฉันยังคงสามารถรวบรวมข้อมูลเชิงลึกที่มีคุณค่าและไม่ซ้ำใครได้มากมาย

นี่คือสิ่งที่ฉันค้นพบเกี่ยวกับวิธีการจัดทำดัชนีหน้าเว็บของ Bing และ Google

การวิเคราะห์ข้อมูลการจัดทำดัชนี: วิธีการและผลลัพธ์

ครอบคลุมดัชนีของตัวอย่างไซต์ WordPress แบบสุ่ม

ขั้นตอนแรกของการวิจัยของฉันคือการรวบรวมตัวอย่างหน้าเว็บเพื่อตรวจสอบสถิติการจัดทำดัชนี

ฉันตัดสินใจว่าจุดเริ่มต้นที่ดีคือการใช้ตัวอย่างเว็บไซต์โดยใช้ ปลั๊กอิน Yoast SEO WordPress มีเหตุผลที่ใช้ได้จริงในการเลือกปลั๊กอินนี้: มันแบ่งแผนผังเว็บไซต์ตามส่วนต่างๆ ซึ่งจะทำให้ฉันวิเคราะห์ได้ว่าส่วนใดที่ได้รับการจัดทำดัชนีมากที่สุด

ฉันพบรายชื่อเว็บไซต์ที่ใช้ปลั๊กอิน Yoast SEO บน buildwith.com ซึ่งเป็นเว็บไซต์ที่รายงานบนเว็บไซต์โดยใช้เทคโนโลยีหรือเครื่องมือที่กำหนด ฉันสุ่มตัวอย่างเว็บไซต์ 200 แห่งจากรายชื่อไซต์ที่ใช้ Yoast SEO

จากนั้น ฉันตรวจสอบสถิติการทำดัชนีของเว็บไซต์เหล่านั้นโดยใช้ ZipTie.dev และข้อมูลที่ออกมานั้นน่าสนใจมาก

Bing จัดทำดัชนีหน้าเว็บมากกว่า Google

ดูแผนภูมิด้านล่างที่แสดงสถิติการจัดทำดัชนีสำหรับหมวดหมู่แผนผังเว็บไซต์ที่กำหนด:

ความครอบคลุมของดัชนีจะเหมือนกันสำหรับ Bing และ Google สำหรับหมวดหมู่เรื่องราวและสื่อ นอกจากนี้ Google ยังได้จัดทำดัชนีเนื้อหาเพิ่มเติมในคำแนะนำและสถานที่ตั้ง อย่างไรก็ตาม ในหมวดหมู่แผนผังเว็บไซต์ที่เหลือทั้งหมด การจัดทำดัชนีของ Bing นั้นเหนือกว่า Google รวมถึงหมวดหมู่ที่สำคัญ เช่น โพสต์ ผลิตภัณฑ์ และรูปภาพ

แต่นี่หมายความว่า Bing สามารถรวบรวมข้อมูลหน้าเว็บได้มากกว่า Google หรือไม่ หรือพวกเขารวบรวมข้อมูลเนื้อหาในปริมาณที่ใกล้เคียงกัน แต่มีการกำหนดลักษณะที่แตกต่างกันเมื่อพูดถึงการทำดัชนี?

รวบรวมข้อมูลสำหรับตัวอย่างลูกค้าของเรา

เพื่อขยายผลการค้นพบของฉัน ฉันได้ตรวจสอบข้อมูลสำหรับลูกค้าของเราสองสามรายทั้งใน Bing Webmaster Tools และ Google Search Console  

เครื่องมือเหล่านี้แสดงหน้าที่เครื่องมือค้นหาที่เกี่ยวข้องทราบสำหรับโดเมนที่กำหนด

ใน Google Search Console ฉันได้ดูหน้าที่รู้จักทั้งหมดที่ปรากฏใน รายงานการครอบคลุมของดัชนี และตรวจสอบจำนวน URL สำหรับสถานะทั้งสี่ (ข้อผิดพลาด ถูกต้อง ถูกต้องโดยมีคำเตือน และยกเว้น)

ใน Bing Webmaster Tools ในส่วน Site Explorer ซึ่งมีข้อมูลการจัดทำดัชนีสำหรับหน้าในโดเมนที่กำหนด ฉันกรองมุมมองเพื่อแสดง URL ทั้งหมด

สิ่งนี้แสดงให้ฉันเห็น URL ที่ค้นพบทั้งหมดสำหรับแต่ละโดเมนที่ฉันวิเคราะห์

หลังจากเปรียบเทียบข้อมูลที่ฉันได้รับจากเครื่องมือทั้งสองนี้ ฉันสังเกตเห็นว่า Google ค้นพบหน้าเว็บมากกว่า Bing

ในทางกลับกัน (สมมติว่าการค้นพบเหล่านี้สอดคล้องกันในตัวอย่างเว็บไซต์ที่ทดสอบทั้งสองตัวอย่าง) เรารู้อยู่แล้วว่าหน้าที่ค้นพบโดย Google และ Bing มี แนวโน้มที่จะได้รับการจัดทำดัชนีโดย Bing มากกว่า

โปรดทราบว่าผลลัพธ์เหล่านี้เป็นเพียงตัวอย่างเล็กๆ ของไซต์ และอาจไม่ได้แสดงถึงทั้งเว็บ

ดัชนีครอบคลุมตัวอย่างเว็บไซต์ยอดนิยม

แง่มุมที่สามของการวิจัยของฉันคือ การตรวจสอบสถานะการจัดทำดัชนีของเว็บไซต์ยอดนิยมสองสามแห่งโดยใช้ ZipTie เพื่อดูว่า Bing และ Google แตกต่างกันอย่างไร

ฉันได้เรียนรู้ว่า Bing กระตือรือร้นที่จะสร้างดัชนีไซต์เหล่านี้มากกว่า Google สิ่งนี้ยืนยันการค้นพบก่อนหน้านี้ของฉันสำหรับตัวอย่างเว็บไซต์ WordPress โดยใช้ YoastSEO

ดูข้อมูลที่ฉันได้รับ:

การทำดัชนี Bing กับ Google – การสังเกตเบื้องต้น

เราสามารถบอกได้ไหมว่า Bing เป็นเสิร์ชเอ็นจิ้นที่ดีกว่าโดยพิจารณาจากข้อมูล?

แม้ว่า Bing จะจัดทำดัชนีเนื้อหามากกว่า แต่เราไม่สามารถชี้ผู้ชนะเพียงคนเดียวได้ เพียงแค่ดูสถิติการจัดทำดัชนี เราไม่รู้ว่าทำไม Bing ถึงสร้างดัชนีมากกว่า Google

สมมติฐานของฉันคือ Google อาจ "เลือก" มากกว่า Bing ไม่ใช่เรื่องลึกลับที่การเลือกดัชนีเป็นเรื่องสำคัญ

เราพูดมาหลายปีแล้ว การจัดทำดัชนีโดย Google นั้นยากขึ้นเรื่อยๆ

เราทราบด้วยว่า เครื่องมือค้นหารวบรวมข้อมูลหน้าเว็บในอัตราที่ต่างกัน

นี่คือสิ่งที่ John Mueller กล่าวเกี่ยวกับความถี่ที่ Googlebot รวบรวมข้อมูลหน้าเว็บ:

ฉันคิดว่าส่วนที่ยากที่นี่คือเราไม่รวบรวมข้อมูล URL ที่มีความถี่เท่ากันตลอดเวลา ดังนั้น URL บางรายการที่เราจะรวบรวมข้อมูลทุกวัน URL บางรายการอาจเป็นรายสัปดาห์ URL อื่นๆ ทุกสองสามเดือน หรือแม้กระทั่งทุกๆ ครึ่งปีหรือมากกว่านั้นด้วยซ้ำ นี่คือสิ่งที่เราพยายามหาสมดุลที่เหมาะสม เพื่อไม่ให้เซิร์ฟเวอร์ของคุณทำงานหนักเกินไป […] โดยเฉพาะอย่างยิ่ง หากคุณทำสิ่งต่างๆ เช่น การค้นหาไซต์ ก็มีโอกาสที่คุณจะเห็น URL เหล่านั้นที่ได้รับการรวบรวมข้อมูลเหมือนทุกๆ ครึ่งปี พวกเขาจะอยู่ที่นั่นหลังจากสองสามเดือน […] หากคุณคิดว่า URL เหล่านี้ไม่ควรได้รับการจัดทำดัชนีเลย บางทีคุณสามารถสำรองข้อมูลนั้นและพูดว่า นี่คือไฟล์แผนผังเว็บไซต์ที่มีวันที่แก้ไขล่าสุด เพื่อให้ Google หยุดทำงานและพยายามเพิ่ม- ตรวจสอบสิ่งเหล่านี้ให้เร็วกว่าอย่างอื่นเล็กน้อย

ที่มา: John Mueller

ฉันยังพบแนวคิดที่น่าสนใจในเอกสารของ Bing:

เพื่อวัดว่าโปรแกรมรวบรวมข้อมูลของเราฉลาดเพียงใด เราวัดประสิทธิภาพการรวบรวมข้อมูลของ bingbot ประสิทธิภาพการรวบรวมข้อมูลคือความถี่ที่เรารวบรวมข้อมูลและค้นพบเนื้อหาใหม่และสดใหม่ต่อหน้าที่รวบรวมข้อมูล ดาวเหนือประสิทธิภาพการรวบรวมข้อมูลของเราคือการรวบรวมข้อมูล URL เฉพาะเมื่อมีการเพิ่มเนื้อหา (URL ไม่เคยรวบรวมข้อมูลมาก่อน) อัปเดต (บริบทใหม่ในหน้าหรือลิงก์ขาออกที่มีประโยชน์) ยิ่งเรารวบรวมข้อมูลเนื้อหาที่ซ้ำกันและไม่เปลี่ยนแปลงมากเท่าใด ตัวชี้วัดประสิทธิภาพการรวบรวมข้อมูลของเราก็จะยิ่งต่ำลงเท่านั้น

ที่มา: Bingbot Series: เพิ่มประสิทธิภาพการรวบรวมข้อมูลสูงสุด”

Bing อาจไม่ต้องการเจาะลึกเมื่อทำการตระเวนเว็บไซต์ เนื่องจากอาจให้คุณค่าเพียงเล็กน้อยและทำให้ KPI ของพวกเขาลดลง

เรารู้ว่า Bing พยายามทำให้การรวบรวมข้อมูลมีประสิทธิภาพมากขึ้น ตัวอย่างเช่น Bing พยายาม เพิ่มประสิทธิภาพการรวบรวมข้อมูลเนื้อหาแบบคงที่ และระบุรูปแบบที่จะลดความถี่ในการรวบรวมข้อมูลในเว็บไซต์จำนวนมาก

นอกจากนี้ ให้พิจารณาความแตกต่างในการที่ Google และ Bing จัดทำดัชนีเว็บไซต์ WordPress แบบสุ่ม ซึ่งมีขนาดเล็กกว่ามาก ในกรณีของเว็บไซต์ที่ได้รับความนิยมอย่างมาก พวกเขามีความสำคัญมากกว่านั้นมาก

สิ่งนี้ทำให้ฉันคิดว่าสอดคล้องกับข้อเท็จจริงที่ Bing ยอมรับอย่างเปิดเผยว่าพวกเขาใช้ข้อมูลพฤติกรรมผู้ใช้ในอัลกอริธึมของพวกเขา Bing จัดลำดับความสำคัญอย่างมากในการจัดทำดัชนีเว็บไซต์ที่ได้รับความนิยม ในขณะที่สำหรับ Google ความนิยมนั้นน้อยกว่าปัจจัยหนึ่ง

แนะนำ IndexNow

เมื่อเร็ว ๆ นี้ Bing ได้ก้าวไปอีกขั้นโดยใช้ โปรโตคอล IndexNow คุณสามารถใช้ IndexNow เพื่อแจ้ง Bing และ Yandex เกี่ยวกับเนื้อหาใหม่หรือที่อัปเดต

จากการทดสอบของเรา เราพบว่า โดยทั่วไป Bing จะเริ่มรวบรวมข้อมูลหน้าระหว่าง 5 วินาทีถึง 5 นาทีนับจากเวลาที่ส่งโดยใช้ IndexNow

IndexNow เป็นความคิดริเริ่มสำหรับอินเทอร์เน็ตที่มีประสิทธิภาพมากขึ้น: ด้วยการบอกเครื่องมือค้นหาว่า URL มีการเปลี่ยนแปลงหรือไม่ เจ้าของเว็บไซต์จะให้สัญญาณที่ชัดเจนในการช่วยให้เสิร์ชเอ็นจิ้นจัดลำดับความสำคัญของการรวบรวมข้อมูลสำหรับ URL เหล่านี้ ดังนั้นจึงจำกัดความจำเป็นในการรวบรวมข้อมูลเชิงสำรวจเพื่อทดสอบว่าเนื้อหามี เปลี่ยน […].

เราจะเรียนรู้และปรับปรุงต่อไปในขนาดที่ใหญ่ขึ้น [a] และปรับอัตราการรวบรวมข้อมูลสำหรับไซต์ที่ใช้ IndexNow เป้าหมายของเราคือให้ผู้ใช้แต่ละคนได้รับประโยชน์สูงสุดในแง่ของการจัดทำดัชนี การจัดการโหลดการรวบรวมข้อมูล และความใหม่ของเนื้อหาแก่ผู้ค้นหา

ที่มา: Bing Blog, “IndexNow - จัดทำดัชนีเนื้อหาเว็บของคุณในเครื่องมือค้นหาทันที”

IndexNow ช่วยให้เว็บไซต์จัดทำดัชนีเนื้อหาได้เร็วขึ้นและใช้ทรัพยากรน้อยลงสำหรับการรวบรวมข้อมูล ด้วยเหตุนี้ ธุรกิจจึงสามารถสร้างประสบการณ์ที่ดียิ่งขึ้นให้กับลูกค้าโดยให้สิทธิ์เข้าถึงข้อมูลที่เกี่ยวข้องมากที่สุด

เราได้สร้างเครื่องมือที่จะช่วยให้คุณ ส่ง URL หรือแผนผังเว็บไซต์ไปยัง IndexNow ได้เร็วและง่ายขึ้น

สิ่งสำคัญคือ IndexNow คือโอกาสสำหรับเสิร์ชเอ็นจิ้นขนาดเล็กเช่น Bing และ Yandex เพื่อเพิ่มดัชนีจากฐานข้อมูลที่กว้างขวางของเนื้อหา IndexNow จัดการกับปัญหาที่เสิร์ชเอ็นจิ้น ซึ่งรวมถึง Google ประสบปัญหาในปัจจุบัน นั่นคือต้องรวบรวมข้อมูลและแสดงเนื้อหาที่มีจำนวนเพิ่มขึ้นเรื่อยๆ

เวลาจะบอกได้ว่า Google ใช้โปรโตคอล IndexNow หรือสร้างโซลูชันทางเลือกที่อนุญาตให้เจ้าของเว็บไซต์ส่งหน้าสำหรับการจัดทำดัชนี

การเพิ่มประสิทธิภาพวิธีการรวบรวมข้อมูลและจัดทำดัชนีหน้า

ประเด็นสำคัญอีกอย่างหนึ่งจากการวิเคราะห์การจัดทำดัชนีของฉันคือการลดความซับซ้อนในการรวบรวมข้อมูลและจัดทำดัชนีสำหรับเครื่องมือค้นหา

ขั้นแรก คุณต้องสร้างและรักษาแผนผังเว็บไซต์ที่มี URL อันมีค่าของคุณ แผนผังเว็บไซต์มีประโยชน์สำหรับ Bing และ Google ในการค้นหาเนื้อหาที่ควรจัดทำดัชนี

เสิร์ชเอ็นจิ้นจะมีปัญหาในการเลือกหน้าที่เกี่ยวข้องและควรได้รับการจัดทำดัชนีหากคุณล้มเหลวในการส่งแผนผังเว็บไซต์ที่ปรับให้เหมาะสม สำหรับรายละเอียดเพิ่มเติมเกี่ยวกับการตั้งค่าแผนผังเว็บไซต์และหน้าที่จะรวมไว้ อ่าน Ultimate Guide to XML Sitemaps ของเรา

นอกจากนี้ คุณจำเป็นต้องมี ไฟล์ robots.txt ที่มีคำสั่งที่ถูกต้องสำหรับบอทและ ติด แท็ก 'noindex' อย่างถูกต้อง บนหน้าที่ไม่ควรทำดัชนี

ห่อ

ในการกำหนดรูปแบบที่ชัดเจนในการจัดทำดัชนีของ Bing และ Google ฉันจะต้องตรวจสอบเว็บไซต์อีกมากมาย แต่มีแนวคิดบางอย่างที่เราจะได้รับจากตัวอย่างข้อมูลของฉัน:

• Bing จัดทำดัชนีเนื้อหามากกว่า Google
• Google ค้นพบเนื้อหามากกว่า Bing ซึ่งแนะนำว่า Google เลือกใช้การจัดทำดัชนี หลักการชี้นำสำหรับ Bing คือการรวบรวมข้อมูลให้น้อยลงและเน้นที่เนื้อหาที่เพิ่มหรืออัปเดต
• Bing ให้ความสำคัญกับการสร้างดัชนีของเว็บไซต์ยอดนิยม ในขณะที่ความนิยมนั้นมีความสำคัญน้อยกว่าสำหรับ Google

เรายังพบว่า คุณภาพของเนื้อหาและการเพิ่มประสิทธิภาพการรวบรวมข้อมูลและการจัดทำดัชนีของไซต์ของคุณเป็นส่วนสำคัญของ SEO และไม่สามารถมองข้ามหรือมองข้ามได้ นอกจากนี้ ปัจจัยเหล่านี้จะยังคงมีความสำคัญต่อไปเมื่อเว็บเติบโตขึ้นและอัลกอริธึมของเครื่องมือค้นหามีความซับซ้อนมากขึ้น