مفهرس ، على الرغم من حظره بواسطة ملف robots.txt: كل ما تحتاج إلى معرفته

إذا كانت لديك صفحات على موقع الويب الخاص بك قام Google بفهرستها ولكن لا يمكن الزحف إليها ، فستتلقى رسالة "مفهرسة ، على الرغم من حظرها بواسطة Robots.txt" على Google Search Console (GSC).

بينما يمكن لمحرك البحث Google عرض هذه الصفحات ، فإنه لن يعرضها كجزء من صفحات نتائج محرك البحث للكلمات الرئيسية المستهدفة.

إذا كان هذا هو الحال ، فسوف تفوتك فرصة الحصول على حركة مرور عضوية لهذه الصفحات.

هذا مهم بشكل خاص للصفحات التي تولد آلاف الزوار العضويين شهريًا فقط لمواجهة هذه المشكلة.

في هذه المرحلة ، ربما يكون لديك الكثير من الأسئلة حول رسالة الخطأ هذه. لماذا تلقيته؟ كيف حدث هذا؟ والأهم من ذلك ، كيف يمكنك إصلاحه واستعادة حركة المرور إذا حدث هذا لصفحة كانت بالفعل مرتبة بشكل جيد.

سيجيب هذا المنشور على كل هذه الأسئلة ويوضح لك كيفية تجنب حدوث هذه المشكلة على موقعك مرة أخرى.

كيفية معرفة ما إذا كان موقعك يحتوي على هذه المشكلة

عادة ، يجب أن تتلقى بريدًا إلكترونيًا من Google لإعلامك "بمشكلة تغطية الفهرس" على موقعك. هذا ما يبدو عليه البريد الإلكتروني:

لن يحدد البريد الإلكتروني ما هي الصفحات أو عنوان URL المتأثر بالضبط. سيتعين عليك تسجيل الدخول إلى Google Search Console لمعرفة نفسك.

إذا لم تتلق رسالة بريد إلكتروني ، فمن الأفضل أن تراها بنفسك للتأكد من أن موقعك في أفضل حالة.

عند تسجيل الدخول إلى GSC ، انتقل إلى تقرير تغطية الفهرس بالنقر فوق "التغطية" ضمن الفهرس. بعد ذلك ، في الصفحة التالية ، قم بالتمرير لأسفل لرؤية المشكلات التي تم الإبلاغ عنها بواسطة GSC.

يتم تصنيف "مفهرسة ، على الرغم من الحظر بواسطة ملف robots.txt" ضمن "صالح مع تحذير". هذا يعني أنه لا يوجد خطأ في عنوان URL في حد ذاته ، لكن محركات البحث لن تعرض الصفحة (الصفحات) في نتائج محرك البحث.

لماذا يواجه موقعك هذه المشكلة (وكيفية إصلاحها)؟

قبل أن تبدأ في التفكير في حل ، يجب أن تعرف أولاً الصفحات التي يجب فهرستها ويجب أن تظهر في نتائج البحث.

من المحتمل أن عناوين URL التي تراها على GSC مع مشكلة "مفهرسة ، رغم أنها محظورة بواسطة ملف robots.txt" لا تهدف إلى توجيه حركة مرور عضوية إلى موقعك. على سبيل المثال ، الصفحات المقصودة لحملاتك الإعلانية المدفوعة. لذلك ، قد لا يستحق إصلاح الصفحات وقتك وجهدك.

فيما يلي أسباب ظهور هذه المشكلة في بعض صفحاتك وما إذا كان يجب إصلاحها أم لا:

عدم السماح بوجود قاعدة في ملف Robots.txt و Noindex Meta Tag في HTML للصفحة

السبب الأكثر شيوعًا لحدوث هذه المشكلة هو قيامك أنت أو شخص ما بإدارة موقعك بتمكين قاعدة Disallow لعنوان URL المحدد هذا على ملف robots.txt الخاص بموقعك وإضافة علامة noindex الوصفية على عنوان URL نفسه.

أولاً ، يستخدم مالكو المواقع ملف robots.txt لإعلام برامج زحف محركات البحث بكيفية التعامل مع عناوين URL الخاصة بالموقع. في هذه الحالة ، أضفت قاعدة Disallow إلى صفحات ومجلدات موقعك في ملف robots.txt الخاص بموقعك على الويب.

إليك ما قد تراه عند فتح ملف robots.txt الخاص بموقعك:

وكيل المستخدم: * Disallow: /

في المثال أعلاه ، يمنع سطر التعليمات البرمجية هذا جميع برامج زحف الويب (*) من الزحف إلى صفحات موقعك (عدم السماح) بما في ذلك صفحتك الرئيسية (/). نتيجة لذلك ، لن تقوم جميع محركات البحث بالزحف إلى صفحات موقعك أو فهرستها.

يمكنك تحرير ملف robots.txt لاستبعاد برامج زحف الويب (Googlebot و msnbot و magpie-crawler وما إلى ذلك) وتحديد الصفحة أو الصفحات التي لا تريد أن تلمسها برامج الزحف (/ page1 ، / page2 ، / page3 ، إلخ. ).

ومع ذلك ، إذا لم يكن لديك حق الوصول إلى خادمك ، فيمكنك منع روبوتات محرك البحث من فهرسة صفحات موقعك باستخدام علامة noindex.

هذه الطريقة لها نفس تأثير قاعدة عدم السماح في ملف robots.txt. ومع ذلك ، بدلاً من سرد الصفحات والمجلدات المختلفة على موقعك في ملف robots.txt الذي تريد منعه من الظهور على SERPs ، يجب عليك إدخال علامة noindex الوصفية في كل صفحة من صفحات موقعك لا تريدها لتظهر في نتائج البحث.

تستغرق هذه العملية وقتًا أطول بكثير من الطريقة السابقة ، ولكنها تمنحك تحكمًا أكثر دقة فيما يتعلق بعنوان URL الذي تريد حظره. هذا يعني أيضًا أن هناك هامشًا أقل للخطأ من جانبك.

تم : مرة أخرى ، تظهر المشكلة في GSC عندما يكون للصفحات الموجودة على موقعك قاعدة منع في ملف robots.txt وعلامة noindex.

لكي تعرف محركات البحث ما إذا كانت ستفهرس صفحة أم لا ، يجب أن تكون قادرة على الزحف إليها من موقعك. ولكن إذا منعت محركات البحث من القيام بذلك من خلال ملف robots.txt الخاص بك ، فلن يعرف ما يجب فعله بهذه الصفحة.

باستخدام ملف robots.txt وعلامة noindex لاستكمال وليس التنافس ضد بعضهما البعض ، سيكون لموقعك قواعد أكثر وضوحًا ومباشرة تتبعها روبوتات محرك البحث عند التعامل مع صفحاته.

للقيام بذلك ، يجب عليك تحرير ملف robots.txt الخاص بك. بالنسبة لمالكي مواقع WordPress ، فإن استخدام إضافات تحسين محركات البحث (SEO) مع محرر robots.txt مثل Yoast SEO أو Rank Math هو الأكثر ملاءمة.

إذا لم يكن ملف robots.txt قابلاً للكتابة من جانبك ، فيجب عليك التواصل مع موفر الاستضافة لإجراء تغييرات على الأذونات لملفاتك ومجلداتك.

هناك طريقة أخرى وهي تسجيل الدخول إلى عميل FTP أو مدير الملفات لمزود الاستضافة الخاص بك. هذه هي الطريقة المفضلة بين المطورين لأن لديهم سيطرة كاملة على كيفية تحرير الملف من بين أشياء أخرى.

تنسيق URL خاطئ

قد تتلقى عناوين URL الموجودة في موقعك والتي ليست "صفحات" بالمعنى الدقيق للكلمة الرسالة "مفهرسة ، على الرغم من حظرها بواسطة ملف robots.txt".

على سبيل المثال ، https://example.com؟s=what+is+seo هي صفحة على موقع تُظهر نتائج البحث للاستعلام "ما هو تحسين محركات البحث". ينتشر عنوان URL هذا بين مواقع WordPress حيث يتم تمكين ميزة البحث على مستوى الموقع.

الإصلاح: في العادة ، ليست هناك حاجة لمعالجة هذه المشكلة ، على افتراض أن عنوان URL غير ضار ولا يؤثر بشكل كبير على حركة البحث.

الصفحات التي لا تريد فهرستها لها روابط داخلية

حتى إذا كانت لديك علامة noindex على الصفحة التي لا تريد فهرستها ، فقد يعاملها Google كاقتراحات بدلاً من قواعد. يتضح هذا عند الارتباط بصفحات تتضمن إما توجيه noindex أو قاعدة عدم السماح على صفحات موقعك التي تزحف إليها محركات البحث وتفهرسها.

لذلك ، قد ترى هذه الصفحات تظهر على SERPs حتى إذا كنت لا تريد ذلك.

إصلاح : يجب إزالة الروابط التي تشير إلى هذه الصفحة المعينة وتوجيههم إلى صفحة مماثلة بدلاً من ذلك.

للقيام بذلك ، يجب عليك تحديد روابطها الداخلية عن طريق إجراء تدقيق لكبار المسئولين الاقتصاديين باستخدام أداة مثل Screaming Frog (مجانًا للمواقع التي تحتوي على 500 عنوان URL) أو Ahrefs Webmaster Tools (بديل مجاني أفضل بكثير) لتحديد الصفحات التي ترتبط بصفحاتك المحظورة.

باستخدام Ahrefs ، انتقل إلى التقارير> الصفحات الداخلية بعد إجراء التدقيق. ابحث عن الصفحات التي قمت بحظرها من برامج زحف الويب و noindexed واطلع على الصفحات المرتبطة بها في عمود "عدد الروابط الداخلية".

من هنا ، قم بتحرير الروابط من هذه الصفحات واحدة تلو الأخرى. أو يمكنك استبدالها برابط يؤدي إلى صفحتك بعلامة noindex.

مشيرا إلى سلسلة إعادة التوجيه

إذا كان أحد الروابط الموجودة على موقعك يشير إلى تدفق لا نهائي من عمليات إعادة التوجيه ، فسيتوقف Googlebot عن المرور عبر كل رابط قبل أن يعثر على عنوان URL الفعلي للصفحة.

قد تتسبب سلاسل إعادة التوجيه هذه أيضًا في حدوث مشكلات مكررة في المحتوى قد تتسبب في حدوث مشكلات أكبر في تحسين محركات البحث. الطريقة الوحيدة لحل هذه المشكلة هي تحديد صفحتك المفضلة والمتعارف عليها باستخدام العلامة الأساسية حتى يعرف Google أي صفحة من بين العديد يجب الزحف إليها وفهرستها.

ضع في اعتبارك أيضًا أن الارتباط بإعادة التوجيه بدلاً من الصفحة الأساسية يستخدم ميزانية الزحف الخاصة بك. إذا كان رابط إعادة التوجيه يشير إلى عمليات إعادة توجيه متعددة ، فلن تتمكن من استخدام ميزانية الزحف الخاصة بك على الصفحات المهمة في موقعك. بحلول الوقت الذي يصل فيه إلى أهم الصفحات ، لن يتمكن Google من الزحف إليها وفهرستها بشكل صحيح بعد فترة.

إصلاح: تخلص من روابط إعادة التوجيه من موقعك واربطها بالصفحة الأساسية بدلاً من ذلك.

باستخدام Ahrefs Webmaster Tools مرة أخرى ، يمكنك عرض روابط إعادة التوجيه الخاصة بك في صفحة الأدوات> Link Explorer. ثم قم بتصفية النتائج لتظهر لك فقط روابط إعادة التوجيه في موقعك.

من النتائج ، حدد الروابط التي تشكل سلسلة إعادة توجيه لا نهاية لها. ثم كسر السلسلة عن طريق العثور على الصفحة الصحيحة التي يجب أن ترتبط بها كل صفحة مرتبطة بعمليات إعادة التوجيه.

ماذا تفعل بعد إصلاح هذه المشكلة

بمجرد تنفيذ الحلول المذكورة أعلاه للصفحات المهمة التي تحتوي على مشكلة "مفهرسة ، رغم أنها محظورة بواسطة Robots.txt" ، تحتاج إلى التحقق من التغييرات حتى تتمكن Google Search Console من تمييزها على أنها تم حلها.

بالعودة إلى تقرير تغطية الفهرس في GSC ، انقر فوق الروابط التي تم إصلاحها بهذه المشكلة. في الشاشة التالية ، انقر فوق الزر التحقق من الإصلاح.

سيطلب هذا من Google التحقق مما إذا كانت الصفحة لم تعد بها المشكلة.

استنتاج

على عكس المشكلات الأخرى التي تم الكشف عنها بواسطة Google Search Console ، قد يبدو "مفهرس ، على الرغم من حظره بواسطة ملف robots.txt" بمثابة قطرة في المجموعة. ومع ذلك ، يمكن أن تتراكم هذه القطرات في سيل من المشاكل لموقعك بالكامل والتي ستمنعه ​​من توليد حركة مرور عضوية.

باتباع الإرشادات أعلاه حول كيفية حل المشكلة على صفحاتك الأكثر أهمية ، يمكنك منع موقع الويب الخاص بك من فقدان حركة مرور قيمة عن طريق تحسين موقع الويب الخاص بك حتى تتمكن Google من الزحف والفهرسة بشكل صحيح.