ما هو Google Bot وكيف يعمل؟

هل تعلم أن Google لديها روبوت البحث الخاص بها؟ إذا لم يكن الأمر كذلك ، فسنتحدث عنه بمزيد من التفصيل اليوم. للتعامل مع مثل هذا الروبوت ، تحتاج إلى معرفة المزيد عن Google. هذا هو المكان الذي سنبدأ فيه هذه المقالة.

كل ما تحتاج لمعرفته حول Google

يعد Google محرك البحث الأكثر استخدامًا في العالم. يعلم الجميع عنها. بالنسبة للكثيرين ، ترتبط الإنترنت حصريًا بمحرك بحث Google.

في 15 سبتمبر 1997 ، ظهر أحد محركات البحث التجريبية على الإنترنت. لقد كان مشروعًا نفذه اثنان من طلاب الدراسات العليا في جامعة ستانفورد بهدف "تنظيم معلومات العالم وجعلها سهلة الوصول ومفيدة". كانت مهمة بالنسبة إلى الشاب لاري بيدج وسيرجي برين ، اللذين استثمرا معظم وقتهما في مشروع يسمى Google.

بدأ تطوير Google وتقنيات تكنولوجيا المعلومات التي تقف وراءها قبل حوالي عام من إطلاقها عبر الإنترنت. بدأ كل شيء بمشروع مكتبة ستانفورد الرقمية (SDLP) ، وهو مشروع فهرسة رقمية للمواد الببليوغرافية الجامعية. كان لاري بيدج مسؤولاً عن تطوير خوارزمية قادرة على تعظيم معايير البحث والأداء في كتالوج مكتبة الجامعة غير المحدود. في غضون ذلك ، أصبح بيج مهتمًا بديناميكيات الشبكة وتخيل هيكلها كرسم بياني ضخم يحتوي على عقد مختلفة موزعة حول العالم ومتصلة.

في نفس الفترة ، أصبحت العلاقات مع طالب الدراسات العليا من أصل روسي سيرجي برين أقرب وأوثق. أصبح الاثنان زوجين أقوياء وعملوا على إنشاء خوارزمية بحث على الإنترنت لا تقتصر على فهرسة النتائج استنادًا ليس فقط إلى عدد المرات التي ظهر فيها استعلام البحث على الصفحة ولكن أيضًا على صلة وأهمية الصفحة نفسها. قرر الاثنان تسمية هذه الخوارزمية PageRank ، وعلى الرغم من كل التحسينات والسنوات التي مرت ، إلا أنها لا تزال الدعامة الأساسية لبحث Google.

بمجرد تأكيد وظيفة PageRank تجريبيًا ، فقد حان الوقت لنشرها. لذلك ، كما هو الحال غالبًا مع الشركات الناشئة الصغيرة على الإنترنت ، أنشأ بيج وبرين أول مقر رئيسي للشركة في مرآب صديقهما المشترك ، وهو الآن نائب رئيس Google الأول ، في مينلو بارك ، كاليفورنيا.

الصفحة الرئيسية الأولى لجوجل

نمت Google بسرعة واستحوذت على المزيد والمزيد من وقت طالبي الدراسات العليا. في أوائل عام 1999 ، حاول برين وبيج استثمار اكتشافهما. في 7 يونيو 1999 ، أغلقت Google جولة جديدة من التمويل ، وحصلت على 19 مليون دولار. في مارس من ذلك العام ، غيرت Google أيضًا مقرها الرئيسي ، وانتقلت إلى بالو ألتو.

بعد صعود بطيء وتدريجي ، قرر "برين" و "بيج" أن الوقت قد حان لاتخاذ خطوة كبيرة نحو الإعلان عن الجمهور. في 19 أغسطس 2004 ، أطلقت Google طرحها العام الأولي ، حيث طرحت أكثر من 19 مليون سهم في السوق بسعر يبدأ من 85 دولارًا. البيع ، الذي أعقبه بنكا الاستثمار Morgan Stanley و Credit Suisse ، جمع ما يقل قليلاً عن 2 مليار دولار ، مما دفع القيمة الإجمالية لشركة Google إلى حوالي 27 مليار دولار.

أصبح العديد من موظفي Google الأوائل من أصحاب الملايين الفوريين ، وغالبًا ما يتم الدفع لهم في أسهم الشركات. بالطبع ، يتصدر لاري بيدج وسيرجي برين.

هناك قصة مثيرة وراء محرك البحث هذا. لقد قطعت شوطًا طويلاً لتصبح ما هي عليه الآن.

تقوم Google بالتحديث والتحسين باستمرار. لذلك ، دعنا ننتقل إلى تقنيته الشهيرة جدًا ، وهي الروبوت.

ما هو جوجل بوت؟

هل تساءلت يومًا ما هو Googlebot ، وما هو الدور الذي يلعبه في تحديد موضع موقعك للروابط الداخلية في مُحسّنات محرّكات البحث وما هو زحف Google؟

تستند خوارزمية Google وبرامج الروبوت التي تزحف إلى المواقع إلى العديد من العوامل التي تحدد ما إذا كان موقعك سيحظى بترتيب أفضل أو أسوأ على صفحة النتائج ، من مدى صلة المحتوى بجودة المحتوى. يتأثر تحديد المواقع أيضًا بعدد المشكلات الفنية وأوجه القصور في موقعك.

Googlebot هو الزاحف الرئيسي لمحرك البحث. يتكون من برنامج مسؤول عن تحليل مواقع الويب وإيجاد صفحات جديدة أو محدثة لفهرستها في قاعدة البيانات.

هذا مفهوم تسمع عنه كثيرًا في مُحسّنات محرّكات البحث لأن هذه الروبوتات ستحدد ما إذا كان موقعك ملائمًا أم لا. وبالتالي ، فإنهم يقررون ما إذا كان سيظهر في نتائج البحث والموضع.

يبدأ الزحف بقائمة بعناوين URL التي تم تحليلها مسبقًا ، والتي تتم إضافة البيانات من ملفات Sitemap التي يوفرها مشرفي المواقع إليها. عندما يتحرك الروبوت عبر كل موقع ، سيجد روابط سيضيفها إلى القائمة.

تقوم روبوتات Google بالزحف إلى مليارات الصفحات بسرعة عالية. يقومون بتنزيل نسخ وحفظها للفهرسة والعرض في البحث. يفعلون ذلك باتباع خوارزمية Google ، والتي تتأثر بأكثر من 200 عامل.

بالسماح لبرامج الزحف بالزحف إلى موقعك ، فإنك تخبر Google أنك تريد أن تكون في نتائج البحث. لا تنس تقديم خريطة موقع لتسهيل عمل روبوتات بحث Google. ومع ذلك ، فإن هذه الإجراءات لا تكفي للوصول إلى مركز جيد. تحتاج إلى العمل على نشر محتوى عالي الجودة ولديك استراتيجيات تحسين محركات البحث على الصفحة وخارج الصفحة لتحقيق الرؤية والشهرة. وبالتالي ، من المرجح أن تجد برامج الزحف من Google (روبوتات العنكبوت من Google) موقعك وثيق الصلة.

كيف ترى الروبوتات صفحة ويب؟

يرى الإنسان وروبوتات Google مواقع الويب وصفحات الويب بشكل مختلف. لا ترى الروبوتات الصفحة بأكملها ولكن العناصر الفردية التي تتكون منها. لن يقوم Google بفهرسة العناصر التي لا يرونها.

بعض المواقف التي لا تستطيع فيها برامج الزحف رؤية صفحة ما أو أن بعض عناصرها ترجع ، من بين أمور أخرى ، إلى أخطاء في الرموز أو روابط غير صحيحة أو تعليمات في ملف robots.txt.

ما هي برامج Google الآلية وماذا تفعل؟

ذكرنا أن Googlebot هو الروبوت الرئيسي. بمرور الوقت ، زاد عدد روبوتات Google. في المجموع ، تعمل تسعة روبوتات لمحرك البحث ، الذي يحلل كل موقع ورابط. يُطلق على بعض برامج الروبوت أيضًا اسم Google bot checkers أو وكلاء مستخدم Google bot.

يمكن برمجتها لتحليل متعمق للموقع أو التحقق من وجود تحديثات. يؤدي البعض الآخر وظائف أكثر تحديدًا ، مثل صور Googlebot أو أجهزة الجوال أو Adsbot.

وهي مسؤولة عن تتبع مواقع الويب لفهرستها. يمكنه أيضًا استخراج المعلومات من ملفات PDF ، و DOC ، و XLS ، و PPT ، وما إلى ذلك. ومع زيادة أهمية الموقع ، تزداد سرعة الزحف أيضًا.

ومع ذلك ، يمكنك تغيير معدل تكرار تحليل Googlebot لموقعك. يمكنك القيام بذلك من خلال Google Search Console من خلال الإشارة إلى ما إذا كنت تريد زيادة أو تقليل التردد الذي يتم به ترتيب موقعك.

هناك عوامل في تحسين محركات البحث تمثل الحد الأدنى من المتطلبات. كل منهم ضروري للوصول إلى المراكز الأولى في جوجل.

الفرق بين التتبع والفهرسة

بادئ ذي بدء ، تحتاج إلى فهم هذين المفهومين. على الرغم من أن الزحف والفهرسة غالبًا ما يسيران جنبًا إلى جنب ، إلا أنهما خطوتان مختلفتان في العملية التي تتبعها Google لتضمين محتوى موقع الويب الخاص بك في فهرسها. مما تتكون؟

الزحف هو العملية التي يتبعها Google ومحركات البحث الأخرى للتعرف على موقعك. للقيام بذلك ، يستخدمون الروبوتات التي تتنقل عبر الويب باستخدام روابط تسمى "Googlebot".

أي أن الزحف هو الطريقة التي تتبعها محركات البحث للتنقل في موقعك. من ناحية أخرى ، الفهرسة هي العملية التي تقوم من خلالها محركات البحث بتضمين موقع ويب في نتائج بحث Google.

على سبيل المثال ، قد يزحف محرك بحث Google إلى موقع ويب ولا يقوم بفهرسته ، مما يعني أنه يمكنك مشاهدته ، ولكن لا يتم حفظه.

كيف يعمل Googlebot؟

فيما يلي الخطوات التي يتخذها Google bot للزحف إلى موقعنا:

• عندما يزور Googlebot موقعك ، يبدأ في متابعة جميع الروابط الداخلية للعثور على المحتوى الخاص بك.
• يحلل محتوى الصفحات الممسوحة ضوئيًا.
• يقوم بعمل نسخة من موقعك ، ثم يتم تخزينها في فهرسها.
• دليل المحتوى حسب الموضوع.
• يعطي قيمة للشبكة بناءً على محتواها.
• عندما يجري مستخدم بحثًا على Google باستخدام خوارزمية Google ، فإنه يقدم له ترتيبًا بالنتائج التي تطابق بحثه على أفضل وجه.

لماذا صفحتك غير مفهرسة؟

هناك عدة أسباب وراء عدم قيام Google بفهرسة عنوان URL لموقع الويب الخاص بك:

• تم حظر عنوان URL في ملف robots.txt.
• يكشف ملف robots.txt عن محركات البحث عن عناوين URL التي يمكنهم استخدامها والتي لا يمكنهم استخدامها.
• إذا تم حظر عنوان URL أو مجموعة عناوين URL في هذا الملف ، فلن يقوم Google بالزحف إليه.

محتوى جافا سكريبت

إذا كان عنوان URL مكتوبًا بلغة Javascript ، فقد تواجه Google مشكلات في تتبعه ، مما سيؤثر أيضًا على الفهرسة.

جوجل وجافا سكريبت

أصبحت JavaScript بلا شك اللغة الأساسية للويب ، لكن Google واجهت دائمًا مشكلة في الزحف إليها وتنفيذها بشكل صحيح. على الرغم من أن عملاق الإنترنت قد تطور اليوم بشكل كبير في هذا الصدد ، إلا أنه لا يزال يعاني من بعض المشاكل.

هذا لا يعني أنه لا يمكن تصنيف موقع ويب JavaScript ، بل يعني أنه سيكلف Google أكثر قليلاً لفهرسته.

ماذا يمكنك أن تفعل إذا كان موقعك على جافا سكريبت؟

يمكن عرض موقع JavaScript على الخادم أو مباشرة في متصفحك. اعتمادًا على كيفية القيام بذلك ، سيكون من الصعب جدًا على Google تتبعه.

كيف تقوم Google بمعالجة جافا سكريبت؟

تتم عملية فهرسة JavaScript في خطوتين:

1. يزحف Googlebot إلى الويب: يقوم Googlebot بالوصول إلى عنوان URL ولكنه يتحقق أولاً من ملف robots.txt للتأكد من أنه يمكنه الزحف إليه. ثم يتبع الروابط المؤدية إلى عناوين URL ذات الصلة (ما لم يُطلب منه عدم اتباعها). إذا تمت معالجة الصفحة من جانب الخادم (أي تمت معالجتها على الخادم) ، فلا توجد مشكلة ، ويتم فهرستها.
2. إذا تم عرض الصفحة من جانب العميل ، أي إذا تم تنفيذها في متصفح ، فإن Google يضع عناوين URL في قائمة الانتظار وينتظر موارد إضافية لتنفيذها. يزحف Googlebot إلى الصفحة المعروضة بالفعل (بتنسيق HTML) ويفهرسها في النهاية.

أنت الآن تعرف ما هو GoogleBot وكيف يعمل. بمعرفة خوارزميات عملها ، يمكنك بسهولة الترويج لموقعك في محركات البحث.

ندخل في تصنيف جوجل العلوي