لا تستطيع محركات البحث اكتشاف وفهرسة كل صفحة على الويب - فهم بحاجة لاتخاذ خيارات في هذا الصدد. وعلى الرغم من أن جميع محركات البحث تخدم نفس الغرض ، إلا أنها تستخدم معايير مختلفة لفهرسة الصفحات.

ومع ذلك ، من الجيد عمومًا أن يتمكن محرك البحث من الزحف إلى أكبر قدر ممكن من المحتوى ذي القيمة وفهرسته - فهو يزيد من احتمالات أن يُظهر للمستخدمين ما يبحثون عنه.

كنت أشعر بالفضول لمعرفة أي محرك بحث - Bing أو Google - يفهرس المزيد من المحتوى بشكل عام.

تصف هذه المقالة الجوانب المختلفة لبحثي ، وعلى الرغم من أنني كنت بحاجة إلى مزيد من البيانات لاستخلاص استنتاجات محددة ، إلا أنني ما زلت قادرًا على جمع العديد من الأفكار الفريدة والقيمة.

هذا ما اكتشفته حول كيفية فهرسة Bing و Google لصفحات الويب.

تحليل بيانات الفهرسة: المنهجية والنتائج

تغطية الفهرس لعينة عشوائية من مواقع WordPress

كانت الخطوة الأولى في بحثي هي جمع عينة من الصفحات للتحقق من إحصائيات الفهرسة الخاصة بهم.

قررت أن نقطة البداية الجيدة ستكون استخدام عينة من مواقع الويب باستخدام المكون الإضافي Yoast SEO WordPress. كان هناك سبب عملي وراء اختيار هذا المكون الإضافي: فهو يقسم خرائط المواقع حسب الأقسام ، مما يسمح لي بتحليل الأقسام المفهرسة أكثر من غيرها.

لقد عثرت على قائمة بمواقع الويب التي تستخدم المكون الإضافي Yoast SEO على builtwith.com ، وهو موقع يقدم تقارير عن مواقع الويب باستخدام تقنيات أو أدوات معينة. اخترت عينة عشوائية من 200 موقع ويب من قائمة المواقع التي تستخدم Yoast SEO.

بعد ذلك ، راجعت إحصائيات الفهرسة لتلك المواقع التي تستخدم ZipTie.dev ، والبيانات التي تم الحصول عليها مثيرة جدًا للاهتمام.

قام Bing بفهرسة صفحات ويب أكثر من Google.

ألق نظرة على المخططات أدناه التي تعرض إحصائيات الفهرسة لفئات خرائط موقع معينة:

تغطية الفهرس هي نفسها بالنسبة إلى Bing و Google للقصة والصحافة. علاوة على ذلك ، قامت Google بفهرسة المزيد من المحتوى في الأدلة والمواقع. ومع ذلك ، في جميع فئات خرائط الموقع المتبقية ، تتجاوز فهرسة Bing فهرسة Google - بما في ذلك الفئات المهمة ، مثل المنشورات والمنتجات والصور.

ولكن هل يعني هذا أن Bing قادر أيضًا على الزحف إلى صفحات أكثر من Google؟ أم أنهم يزحفون إلى كميات مماثلة من المحتوى ولكن لديهم تفضيلات مختلفة عندما يتعلق الأمر بالفهرسة؟

بيانات الزحف لعينة من عملائنا

لتوسيع نطاق النتائج التي توصلت إليها ، قمت بفحص البيانات لعدد قليل من عملائنا في كل من أدوات مشرفي المواقع Bing و Google Search Console.  

تُظهر هذه الأدوات الصفحات التي يعرفها محرك البحث المعني في مجال معين.

في Google Search Console ، نظرت إلى جميع الصفحات المعروفة التي تظهر في تقرير تغطية الفهرس وتحققت من عدد عناوين URL للحالات الأربع (أخطاء ، صالحة ، صالحة مع تحذيرات ، ومستبعدة).

في أدوات مشرفي المواقع من Bing ، في قسم Site Explorer ، الذي يحتوي على بيانات الفهرسة للصفحات الموجودة في مجال معين ، قمت بتصفية العرض لعرض كافة عناوين URL.

أظهر لي هذا جميع عناوين URL المكتشفة لكل مجال قمت بتحليله.

بعد مقارنة البيانات التي حصلت عليها في كلتا الأداتين ، لاحظت أن Google اكتشف صفحات أكثر من Bing.

من ناحية أخرى (بافتراض أن هذه النتائج متسقة عبر عينات مواقع الويب المختبرة) ، فإننا نعلم بالفعل أن الصفحات التي اكتشفها Google و Bing من المرجح أن تتم فهرستها بواسطة Bing.

ضع في اعتبارك أن هذه النتائج مخصصة فقط لعينة صغيرة من المواقع وقد لا تمثل الويب بالكامل.

تغطية الفهرس لعينة من المواقع الشعبية

كان الجانب الثالث من بحثي هو التحقق من حالة الفهرسة لعدد قليل من مواقع الويب الشهيرة التي تستخدم ZipTie لمعرفة مدى اختلافها بين Bing و Google.

لقد تعلمت أن Bing أكثر حرصًا على فهرسة هذه المواقع من Google. أكد هذا النتائج التي توصلت إليها في وقت سابق لعينة من مواقع WordPress باستخدام YoastSEO.

ألق نظرة على البيانات التي حصلت عليها:

Bing مقابل فهرسة Google - الملاحظات الأولية

هل يمكننا معرفة أن Bing هو محرك بحث أفضل يعتمد على البيانات؟

على الرغم من فهرسة Bing لمحتوى أكثر ، لا يمكننا الإشارة إلى فائز واحد فقط من خلال النظر في إحصائيات الفهرسة. لا نعرف سبب قيام Bing بفهرسة أكثر من Google.

فرضيتي هي أن Google قد يكون "أكثر انتقاءً" من Bing. ليس من الغموض أن اختيار الفهرس شيء.

لقد قلنا ذلك منذ سنوات - أصبحت الفهرسة بواسطة Google أكثر صعوبة.

نعلم أيضًا أن محركات البحث تزحف إلى الصفحات بمعدلات مختلفة.

إليك ما قاله جون مولر حول عدد مرات قيام Googlebot بالزحف إلى الصفحات:

أعتقد أن الجزء الصعب هنا هو أننا لا نزحف إلى عناوين URL بنفس التردد طوال الوقت. لذلك سنزحف إلى بعض عناوين URL يوميًا. قد تكون بعض عناوين URL أسبوعية. عناوين URL أخرى كل شهرين ، وربما كل نصف عام أو نحو ذلك. لذلك هذا شيء نحاول إيجاد التوازن المناسب له ، حتى لا نفرط في تحميل الخادم الخاص بك. [...] لذلك ، على وجه الخصوص ، إذا قمت بأشياء مثل استعلامات الموقع ، فهناك احتمال أن ترى عناوين URL التي يتم الزحف إليها مرة واحدة كل نصف عام. سيبقون هناك بعد شهرين. [...] إذا كنت تعتقد أنه لا يجب فهرسة عناوين URL هذه على الإطلاق ، فربما يمكنك إجراء نسخ احتياطي لذلك نوعًا ما والقول ، حسنًا ، هذا ملف خريطة موقع به تاريخ التعديل الأخير حتى تنطلق Google وتحاول مضاعفة- تحقق من هذه أسرع قليلاً من غير ذلك.

المصدر: جون مولر

لقد وجدت أيضًا بعض الأفكار المثيرة للاهتمام في وثائق Bing:

لقياس مدى ذكاء الزاحف لدينا ، نقيس كفاءة زحف bingbot. تتمثل كفاءة الزحف في عدد المرات التي نقوم فيها بالزحف واكتشاف محتوى جديد وحديث لكل صفحة يتم الزحف إليها. تتمثل كفاءة الزحف في شمال نجمنا في الزحف إلى عنوان URL فقط عند إضافة المحتوى (لم يتم الزحف إلى عنوان URL من قبل) أو تحديثه (سياق جديد على الصفحة أو روابط صادرة مفيدة). كلما زحفنا إلى محتوى مكرر وغير متغير ، انخفض مقياس كفاءة الزحف.

المصدر: سلسلة Bingbot: تعظيم كفاءة الزحف "

قد لا يرغب Bing في التعمق عند الزحف إلى مواقع الويب لأن القيام بذلك قد يوفر القليل من القيمة ويتسبب في انخفاض مؤشرات الأداء الرئيسية الخاصة بهم.

نحن نعلم أن Bing يعمل على جعل الزحف أكثر كفاءة. على سبيل المثال ، حاول Bing تحسين الزحف إلى المحتوى الثابت وتحديد الأنماط التي من شأنها تقليل تكرار الزحف عبر العديد من مواقع الويب.

أيضًا ، ضع في اعتبارك الاختلافات في كيفية فهرسة Google و Bing لمواقع WordPress العشوائية - كانت أصغر بكثير. في حالة المواقع المشهورة جدًا ، فهي أكثر أهمية.

يقودني هذا إلى الاعتقاد بأنه ، تماشياً مع حقيقة أن Bing يعترف صراحةً بأنهم يستخدمون بيانات سلوك المستخدم في الخوارزميات الخاصة بهم ، فإن Bing يعطي الأولوية بشكل كبير لفهرسة مواقع الويب الشائعة ، بينما بالنسبة لـ Google ، فإن الشعبية أقل أهمية.

تقديم IndexNow

في الآونة الأخيرة ، أخذ Bing خطوة إلى الأمام من خلال اعتماد بروتوكول IndexNow. يمكنك استخدام IndexNow لإعلام Bing و Yandex بالمحتوى الجديد أو المحدث.

من خلال اختباراتنا ، اكتشفنا أن Bing سيبدأ عادةً في الزحف إلى صفحة ما بين 5 ثوانٍ و 5 دقائق من وقت إرسالها باستخدام IndexNow.

تعد IndexNow مبادرة من أجل إنترنت أكثر كفاءة: من خلال إخبار محركات البحث عما إذا كان قد تم تغيير عنوان URL ، يقدم مالكو مواقع الويب إشارة واضحة تساعد محركات البحث في تحديد أولويات الزحف لعناوين URL هذه ، مما يحد من الحاجة إلى الزحف الاستكشافي لاختبار ما إذا كان المحتوى يحتوي على تغير […].

سنستمر في التعلم والتحسين على نطاق أكبر [أ] وضبط معدلات الزحف للمواقع التي تنفذ IndexNow. هدفنا هو إعطاء كل متبني أقصى فائدة من حيث الفهرسة وإدارة تحميل الزحف وحداثة المحتوى للباحثين.

المصدر: مدونة Bing ، "IndexNow - فهرسة محتوى الويب الخاص بك على الفور في محركات البحث"

يسمح IndexNow لمواقع الويب بفهرسة محتواها بشكل أسرع واستخدام موارد أقل للزحف. نتيجة لذلك ، يمكن للشركات إنشاء تجربة أفضل لعملائها من خلال منحهم إمكانية الوصول إلى المعلومات الأكثر صلة.

لقد أنشأنا أداة ستساعدك على إرسال عناوين URL أو خرائط المواقع إلى IndexNow بشكل أسرع وأسهل.

بشكل حاسم ، يعد IndexNow فرصة لمحركات البحث الأصغر مثل Bing و Yandex للإضافة إلى فهارسهم من قاعدة بيانات شاملة للمحتوى. يعالج IndexNow المشكلة التي تواجهها محركات البحث ، بما في ذلك Google ، اليوم - الاضطرار إلى الزحف إلى كميات متزايدة من المحتوى وعرضها.

سيحدد الوقت ما إذا كانت Google ستتبنى بروتوكول IndexNow أو تنشئ حلاً بديلاً يسمح لمالكي الموقع بإرسال الصفحات للفهرسة.

تحسين كيفية الزحف إلى الصفحات وفهرستها

نصيحة أخرى من تحليل الفهرسة الخاص بي هي مدى أهمية تبسيط الزحف والفهرسة لمحركات البحث.

أولاً ، تحتاج إلى إنشاء وصيانة خرائط مواقع تتضمن عناوين URL القيمة الخاصة بك. تعد خرائط المواقع مفيدة لـ Bing و Google لاكتشاف المحتوى الذي يجب فهرسته.

ستكافح محركات البحث لاختيار الصفحات ذات الصلة ويجب فهرستها إذا فشلت في تقديم خريطة موقع محسّنة. لمزيد من التفاصيل حول إعداد خريطة الموقع والصفحات المراد تضمينها ، اقرأ الدليل النهائي لخرائط مواقع XML.

بالإضافة إلى ذلك ، يجب أن يكون لديك ملف robots.txt يحتوي على توجيهات صحيحة لبرامج الروبوت وعلامات "noindex" المنفذة بشكل صحيح على الصفحات التي لا ينبغي فهرستها.

تغليف

لتحديد نمط واضح في فهرسة Bing و Google ، كان عليّ فحص العديد من مواقع الويب الأخرى ، ولكن هناك بعض الأفكار التي يمكننا الحصول عليها من عينات البيانات الخاصة بي:

• يقوم Bing بفهرسة محتوى أكثر من Google.
• تكتشف Google محتوى أكثر من Bing ، مما يشير إلى أن Google أكثر انتقاءًا في الفهرسة. المبدأ التوجيهي لـ Bing هو الزحف بشكل أقل والتركيز على المحتوى الذي تمت إضافته أو تحديثه.
• يعطي Bing الأولوية لفهرسة مواقع الويب الشهيرة ، في حين أن الشعبية أقل أهمية بالنسبة لـ Google.

يمكننا أيضًا أن نرى أن جودة المحتوى وتحسين الزحف إلى موقعك وفهرسته هي جوانب حيوية لتحسين محركات البحث ، ولا يمكن التقليل من شأنها أو إهمالها. علاوة على ذلك ، من المرجح أن تظل هذه العوامل حاسمة مع نمو الويب وتصبح خوارزميات محرك البحث أكثر تعقيدًا.