كيفية التحقق من حالة الفهرسة لموقع كبير

قبل ظهور صفحاتك في نتائج البحث وجذب حركة المرور إلى موقعك ، يجب فهرستها.

لسوء الحظ ، فإن الفهرسة يمثل تحديًا ، خاصة إذا كان لديك موقع ويب كبير. وفقًا لبحثنا ، لا تتم فهرسة 16٪ من الصفحات القيمة على مواقع الويب.  

قبل اتخاذ خطوات لتحسين أداء البحث والفهرسة لموقعك ، من الضروري أن تتحقق من تغطية فهرس موقعك وأن تحدد الصفحات التي تمت فهرستها بشكل صحيح وأيها غير مفهرس.

أحد التحديات التي قد تواجهها هو العثور على طرق موثوقة للتحقق من حالة فهرسة موقعك والتي تتيح لك تحليل عناوين URL بشكل مجمّع. إذا كان هذا هو الحال ، فقد أتيت إلى المكان الصحيح.

هناك عدد قليل من الأدوات المفيدة التي يمكن أن تساعدك في تحديد تغطية الفهرس لموقعك ، ولكنها تساعد أيضًا في تحليل أكثر شمولاً لكل عنوان URL لتحديد سبب عدم فهرسته.

اتبع نصيحتي في هذه المقالة لمعرفة كيفية التحقق من حالة فهرسة موقع ويب كبير ، وتحليل المشكلات التي تمنع فهرسة الصفحات ، والعثور على الحلول المناسبة لها.

ما يجب القيام به قبل فحص حالة فهرسة موقع الويب الخاص بك

قبل التحقق من حالة الفهرسة الخاصة بك ومعالجة مشاكلك ، يجب أن يكون لديك استراتيجية فهرسة مناسبة.

بإنشائه ، يمكنك تحديد الصفحات الأساسية التي يجب فهرستها والصفحات التي يجب استبعادها من الفهرسة.

قد تكون جودة بعض صفحاتك منخفضة أو تحتوي على محتوى مكرر ، ومن المفترض ألا يجدها المستخدمون في نتائج البحث. كقاعدة عامة ، هذه هي أنواع الصفحات التي يجب أن تبقى خارج الفهرس.

فيما يلي بعض الأمثلة للصفحات التي لا يجب فهرستها:

• المحتوى المؤرشف ،
• صفحات محمية بتسجيل الدخول وكلمة مرور ،
• عناوين URL مع المعلمات المضافة ، والتي تم إنشاؤها نتيجة الفرز أو التصفية ،
• نتائج البحث الداخلي ،
• شكرا لك الصفحات.

إذا كنت لا تريد فهرسة الصفحة ، فيمكنك:

• قم بتضمين التوجيهات المناسبة لبرامج الروبوت في ملف robots.txt لمنعها من الزحف إلى صفحة معينة ،
• قم بتنفيذ علامة noindex لمنع روبوتات محرك البحث من فهرسة الصفحة.

عناوين URL التي لم تتم فهرستها ويجب أن تظل على هذا النحو لا تتطلب انتباهك. بدلاً من ذلك ، ركز على الصفحات التي لم تتم فهرستها ولكن يجب أن تكون كذلك.

كقاعدة عامة ، يجب أن تهدف إلى فهرسة النسخ الأساسية لصفحاتك ، ويجب إرسالها في خريطة موقعك.  

إذًا كيف يمكنك تحديد أي الصفحات تمت فهرستها وأيها لم تتم فهرستها؟

طرق للتحقق من حالة الفهرسة وتشخيص مشكلات الفهرسة

هناك بعض الأدوات المفيدة للتحقق من تغطية فهرس موقعك.

لكن ضع في اعتبارك أن معظمها لديه قيود على عدد عناوين URL التي يمكنك التحقق منها. عند البحث على الإنترنت ، قد تصادف العديد من الأدوات التي لا يمكن الاعتماد عليها.

سأوضح لك الأدوات التي تعرض أدق المعلومات والحلول لتوسيع حدودها.  

وسأقدم لكم أيضًا أداة تحليل الفهرسة الجديدة التي طورتها شركتنا الشقيقة ZipTie.

الأمر "site:"

تتمثل إحدى الطرق الشائعة للتحقق من عدد الصفحات المفهرسة في الموقع في إدخال الأمر "site:" في بحث Google ، متبوعًا باسم المجال ، مثل "site: onely.com".

على الرغم من أنه يتيح لك التحقق من حالة الفهرسة لموقع ويب ، إلا أن البيانات التي ستراها قد تكون مضللة أو غير دقيقة ، لأن الأرقام هي مجرد تقديرات.

ستكون هذه الطريقة غير دقيقة بشكل خاص لمواقع الويب الكبيرة ذات المحتوى المتغير ديناميكيًا.

قد يحدث أنه في كل مرة تستخدمها ، ستظهر النتائج عددًا مختلفًا تمامًا من الصفحات المفهرسة لنطاقك.

ومع ذلك ، بينما يكون الأمر "site: domain" بعيدًا عن المستوى الأمثل ، يمكنك استخدام الأمر "site: URL" ، حيث تقوم بإدخال عنوان URL محدد بدلاً من اسم المجال. يمكنك بعد ذلك معرفة ما إذا تمت فهرسة عنوان URL المعين.

أوصى جون مولر بهذا الحل:

يعد استخدام site: -queries مفيدًا للتحقق من عناوين URL الفردية ، لكنني لن أستخدم الأعداد لأغراض التشخيص.

- جون (JohnMu) ١٦ أبريل ٢٠١٩

أدوات في Google Search Console

تقدم Google Search Console أدوات أفضل بكثير للتحقق من تغطية الفهرس.

إذا لم تكن تستخدمها بالفعل بانتظام ، فابدأ الآن - يجب أن تصبح أدوات مراقبة مُحسّنات محرّكات البحث القياسية.

اسمحوا لي أن أصفها بمزيد من التفصيل وأنصح بكيفية تحقيق أقصى استفادة منها على موقع ويب كبير.

تقرير تغطية الفهرس

يمنحك تقرير تغطية الفهرس في Google Search Console بيانات من Google حول الصفحات التي تمت فهرستها .

بالإضافة إلى ذلك ، فإنه يوفر لك نظرة ثاقبة على الحالات المحددة لعناوين URL الخاصة بك فيما يتعلق باكتشافها والزحف إليها وفهرستها ، وإذا أمكن ، ما هي المشكلة التي وجدها Google والتي تمنع فهرستها.

يعرض تقرير تغطية الفهرس أربع حالات:

• خطأ - الصفحة غير مفهرسة كنتيجة لخطأ.
• تحذير - تمت فهرسة الصفحة ، ولكن وجد محرك بحث Google مشكلة يجب أن تكون على دراية بها ،
• مستبعد - الصفحة غير مفهرسة ، لكن Google تعتقد أنك تنوي إبقائها غير مفهرسة.
• صالح - الصفحة مفهرسة بدون مشاكل.

في الزاوية اليسرى العليا ، يمكنك الاختيار بين عرض "جميع الصفحات المعروفة" - أي جميع عناوين URL التي اكتشفها Google بأي شكل من الأشكال - أو "جميع الصفحات المقدمة" - الصفحات التي وجدها Google في خريطة موقعك.

يجب أن تحتوي طريقة العرض "جميع الصفحات المقدمة" على جميع الصفحات التي تريد فهرستها. يجب مقارنة هذا العرض بـ "جميع الصفحات المعروفة".

إذا ظهرت بعض الصفحات في "جميع الصفحات المعروفة" ولكن ليس في "جميع الصفحات المرسلة" ، وكان يجب فهرستها ، فضعها في ملف Sitemap الخاص بك. إذا لم يتم فهرستها ، فهذا يعني أن Google تعثر عليها في مكان آخر ، ربما من خلال الروابط.

القيد الرئيسي للتقرير هو أن كل تقرير يعرض مشكلات معينة يعرض 1000 صفحة فقط. لحسن الحظ ، هناك طرق للتغلب عليها.

يتمثل أحد الحلول في إنشاء خصائص مجال منفصلة لأقسام مختلفة من موقع الويب الخاص بك.

قد يكون البديل هو تقسيم صفحاتك عن طريق إنشاء خرائط مواقع متعددة وتضييق التقرير إلى خريطة موقع منفصلة.

يوصى بأن يحتوي كل ملف Sitemap على 50000 عنوان URL كحد أقصى.

هناك العديد من الزوايا لتقسيم الصفحات بين خرائط المواقع. ضع في اعتبارك ترتيبها بطريقة تساعدك في تجميع أنواع المحتوى المتشابهة لتسهيل تحليلها.

هذه بعض الاقتراحات:

• خرائط مواقع منفصلة لأنواع مختلفة من المحتوى ، على سبيل المثال ، الفئات والمنتجات ومنشورات المدونات ،
• خرائط مواقع منفصلة لكمية أو نوع محدد من المنتجات ،
• خرائط مواقع منفصلة لإصدارات لغات مختلفة من الموقع.

الآن ، اختر أحد ملفات Sitemap وانتقل إلى القسم "مستبعد " في التقرير.

راجع المشكلات التي يعرضها - على اليمين ، يمكنك رؤية عدد الصفحات المتأثرة ومعرفة المشكلات الأكثر شيوعًا.

تصف حالات التقرير أسباب كل مشكلة بشكل وصفي تمامًا ، وفي معظم الحالات ، تشير إلى الإجراءات التي تحتاج إلى اتخاذها لإصلاحها.

راجع كيفية معالجة كل حالة في دليلي الكامل لتقرير تغطية الفهرس في Google Search Console.

ابحث عن الأنماط في صفحاتك المستبعدة. إذا كان للعديد من الصفحات محتوى أو تخطيط متشابه ، فإن مراجعة جزء فقط من عناوين URL يمكن أن تعطيك فكرة عما قد تواجهه الصفحات المتبقية.

أداة فحص عنوان URL

ميزة أخرى مفيدة متاحة في Google Search Console هي أداة فحص عنوان URL.  

يتيح لك التحقق مما إذا كان عنوان URL محددًا في فهرس Google وعرض الكثير من المعلومات الإضافية. يمكنك استخدام هذه الأداة لاستكمال البيانات التي تتلقاها من تقرير تغطية الفهرس.

فيما يلي نظرة عامة على أهم ميزات أداة فحص عنوان URL:

• حالة التواجد - ما إذا كان عنوان URL مؤهلاً للظهور في نتائج بحث Google أم لا وأي تحذيرات أو أخطاء تم اكتشافها بواسطة Google.
• عرض الصفحة التي تم الزحف إليها - التفاصيل الفنية مثل استجابة HTML و HTTP التي تلقاها Google.
• طلب الفهرسة - استخدمه لمطالبة Google بإعادة الزحف إلى عنوان URL الخاص بك وإعادة فهرسته. هناك حد يومي لهذه الميزة. على الرغم من عدم تحديدها صراحةً في وثائق Google ، إلا أنها مذكورة كطريقة لإرسال "عدد قليل من عناوين URL". قد يسمح لك بإرسال ما يصل إلى 50 عنوان URL .
• تفاصيل حول حالة تغطية الصفحة ، وهي:

1. ما إذا كانت أي خرائط مواقع معروفة تشير إلى عنوان URL ،
2. صفحة الإحالة - صفحة يمكن أن يستخدمها Google لاكتشاف عنوان URL ،
3. عندما تم الزحف إلى الصفحة آخر مرة ،
4. ما إذا كانت الصفحة قابلة للزحف ،
5. ما إذا كان يمكن جلب صفحة من الخادم ،
6. ما إذا كانت الصفحة قابلة للفهرسة ،
7. عنوان URL الأساسي المعلن من قبل المستخدم ،
8. عنوان URL الأساسي الذي حددته Google بدلاً من ذلك.

• التحسينات - يوضح هذا القسم ما إذا كانت Google قد عثرت على بيانات منظمة صالحة على إحدى الصفحات ، بالإضافة إلى تفاصيل حول قابلية استخدام الصفحة للجوال و AMP.
• اختبار عنوان URL المباشر - يمكنك تشغيل اختبار مباشر على عنوان URL ، على سبيل المثال إذا كنت تريد التحقق من صحة الإصلاحات أو التغييرات.

تتطلب منك أداة فحص عنوان URL التحقق من حالة الفهرسة لكل عنوان URL ، الأمر الذي قد يستغرق وقتًا طويلاً إذا كان لديك موقع ويب كبير.

ومع ذلك ، فإن تحليل عينة من الصفحات يمكن أن يوجهك بالفعل إلى المشكلات التي يتعامل معها موقعك.

بدلاً من فحص جميع عناوين URL ، يمكنك تحديد جزء من عناوين URL التي تم استبعادها من فهرس Google والتحقق منها. يمكنك أيضًا جمع عناوين URL التي يجب فهرستها ولكن لا تحصل على زيارات عضوية.

علاوة على ذلك ، قد يحتوي موقعك على الأقسام التالية:

• example.com/shop
• example.com/blog
• example.com/gallery.

يمكنك اختيار عدد من عناوين URL لتحليلها من كل قسم مميز. لكن لا تحدد عددًا قليلاً من عناوين URL - استخدم عينة تمثيلية لكل قسم.

واجهة برمجة تطبيقات فحص URL

في عام 2022 ، أعلنت Google عن إطلاق URL Inspection API ، والذي يسمح لك بإرسال ما يصل إلى 2000 طلب يوميًا لموقع Google Search Console واحد.

هذه أخبار رائعة لأي شخص وجد بيانات أداة فحص عناوين URL مفيدة ولكنه كافح من أجل القدرة على التحقق من عنوان URL واحد فقط في كل مرة. من خلال الوصول إلى بيانات فحص عنوان URL من خلال واجهة برمجة التطبيقات ، يمكنك أتمتة العملية ، مما يفتح إمكانيات جديدة متعددة لاستخدام هذه المعلومات.

قيود أدوات Google Search Console

أدوات Google Search Console لا تخلو من عيوبها.

في تشرين الأول (أكتوبر) 2021 ، أبلغ المستخدمون عن رؤية عناوين URL في تقرير تغطية الفهرس تم تمييزها على أنها "تم الزحف إليها - غير مفهرسة حاليًا ". ومع ذلك ، عند فحصها باستخدام أداة فحص عنوان URL ، تم إدراج عناوين URL هذه على أنها "مرسلة ومفهرسة" أو حالة أخرى.

ردت Google بأن هذا الموقف ليس خطأً بل هو تقييد لتقرير تغطية الفهرس:

هذا بسبب تحديث بيانات تقرير "تغطية الفهرس" بمعدل مختلف (وأبطأ) عن "فحص عنوان URL". النتائج المعروضة في فحص URL أحدث ، ويجب اعتبارها موثوقة عندما تتعارض مع تقرير تغطية الفهرس. (2/4)

- مركز بحث Google (googlesearchc) 11 أكتوبر 2021

الإبلاغ عن مشكلة في الفهرسة

أعلنت Google في أبريل 2021 أنها تقدم ميزة تسمى الإبلاغ عن مشكلة في الفهرسة لمساعدة المستخدمين على إعلام Google بمشكلة الفهرسة. الميزة متاحة حاليًا في الولايات المتحدة.

لأولئك الذين يحتاجون إلى مزيد من الدعم ، سيرى مستخدمو Search Console الذين سجّلوا الدخول في الولايات المتحدة قريبًا زر "الإبلاغ عن مشكلة فهرسة" ضمن تقرير تغطية الفهرس ومقالات أداة فحص عنوان URL في مركز مساعدة Search Console. https: //t.co /3sFqvCvhjohttps://t.co/I7k3BYAH0i pic.twitter.com/Wd9ooXqK0y

- مركز بحث Google (googlesearchc) 28 أبريل 2021

يمكن للمستخدمين الوصول إلى نموذج وتحديد ما إذا كانت مواقعهم أو صفحاتهم غير مفهرسة أو مفهرسة ولكن لا يتم ترتيبها بشكل صحيح. سيتم توجيههم بعد ذلك من خلال خيارات استكشاف الأخطاء وإصلاحها المتعلقة بالمشكلة المبلغ عنها.

إذا فشلت هذه الحلول ، فيمكنهم إبلاغ Google بالمشكلة مباشرةً.

ومع ذلك ، يجب التعامل مع هذه الميزة على أنها الملاذ الأخير ، وليس من المضمون أن تتبع Google طلبك وتفهرس المحتوى الخاص بك.

تهدف Google إلى فهرسة المحتوى الأكثر صلة وعالية الجودة فقط. لذلك ، فإن اتباع أفضل الممارسات وتحسين صفحاتك لجعلها قابلة للزحف والفهرسة وتستحق اهتمام Google يمكن أن يعطي موقعك نتائج طويلة الأمد.

ZipTie

يوفر ZipTie مجموعة متنوعة من الميزات الشاملة لتحليل حالة الفهرسة لأي موقع ويب ، بغض النظر عن حجمه. الأداة مفيدة بشكل خاص لمواقع الويب الكبيرة من نوع المؤسسات.

هذا هو بالضبط ما تقدمه ZipTie:

تحليل تغطية الفهرس

الميزة الأساسية لـ ZipTie هي أنه يخبرك بالصفحات التي لم تتم فهرستها بواسطة Google.  

والأهم من ذلك ، أنه لا يوجد حد لعدد عناوين URL التي يمكن لـ ZipTie تحليلها. هذا مهم لمواقع الويب الكبيرة التي تحتوي على آلاف أو ملايين عناوين URL التي لا يمكن تقييمها بنجاح باستخدام أدوات أخرى.

بشكل حاسم ، يمكنك التحقق من تغطية الفهرس لأي مجال - ليس نطاقك فقط ولكن أيضًا نطاق منافسيك. بعد ذلك ، قارن حالة الفهرسة الخاصة بك بالمجالات المتنافسة واطلع على المجالات التي يجب عليك تحسينها للمضي قدمًا.

مراقبة التأخيرات في الفهرسة

يتيح لك ZipTie مراقبة تأخيرات الفهرسة وتقدير متى سيتم فهرسة المحتوى المنشور حديثًا ومتى تتوقع أن يؤدي إلى زيادة حركة المرور.

يتم ذلك عن طريق تحليل عناوين URL الجديدة المضافة إلى ملفات Sitemap الخاصة بك والتحقق من الوقت بين نشر المحتوى ولحظة ظهوره في نتائج البحث.

تنبيهات بشأن المحتوى الذي تم إلغاء فهرسته

سيطلعك ZipTie على مقدار المحتوى الذي تم إلغاء فهرسته. قد يتم حذف الصفحات التي تمت فهرستها بالفعل من فهرس Google بعد مرور بعض الوقت - تتيح لك هذه الميزة الاستجابة بسرعة عند حدوثها.

فهرسة جافا سكريبت

تعد فهرسة الصفحات المستندة إلى JavaScript أمرًا صعبًا - لكن ZipTie يقدم يد المساعدة.

على وجه التحديد ، يمكن لـ ZipTie تحديد ما إذا كان محرك بحث Google قد قام بفهرسة أجزاء معينة من الصفحة تم إنشاؤها باستخدام JavaScript.

من الضروري فهم ما إذا كانت Google تواجه مشكلات في عرض وفهرسة المحتوى المستند إلى JavaScript. إذا كانت هذه هي الحالة ، فيمكن لـ ZipTie إخبارك بالضبط بعناصر الصفحة التي تمثل مشكلة.

معلومات إضافية عن الصفحات غير المفهرسة

كمكافأة ، يقدم ZipTie معلومات إضافية حول عناوين URL غير المفهرسة مثل عدد الكلمات والعناوين والعناوين وعدد الصور والوصف التعريفي والمزيد. هذا مهم عند التحقيق في الأسباب المحتملة لمشاكل الفهرسة وتحديد الأنماط بين الصفحات غير المفهرسة.

يمكنك تصدير البيانات من ZipTie كملف CSV ودمجها بسهولة مع البيانات من أدوات أخرى ، مثل Google Analytics أو Google Search Console.

ZipTie غير متاح علنًا حتى الآن. سيتم إصدار المزيد من التفاصيل حولها مع تقدم تطوير الأداة. يمكنك البقاء على اطلاع على الإطلاق الرسمي من خلال الاشتراك في القائمة البريدية لـ ZipTie.  

لكن ليس عليك الانتظار.

تواصل مع فريق ZipTie الآن لإجراء تحليل متعمق لحالة فهرسة موقع الويب الخاص بك.

أدوات مشرفي المواقع من Bing

حتى إذا لم يكن الظهور في Bing من أولوياتك ، يمكن أن تساعدك أدوات مشرفي المواقع من Bing في الحصول على نظرة ثاقبة لجميع أنواع مشكلات الفهرسة ، والتي قد تواجه بعضها في محركات البحث الأخرى أيضًا.

مستكشف الموقع

بادئ ذي بدء ، دعنا نلقي نظرة على Site Explorer.  

تتيح لك أداة Site Explorer التنقل عبر بنية موقع الويب الخاص بك وتفاصيل حالة فهرسة الصفحات ، من بين بيانات أخرى:

أحد الجوانب التي تميز Site Explorer هو خيار تجميع عناوين URL لكل مجلد ، حيث يمكن أن يمثل كل مجلد نطاقًا فرعيًا أو جزءًا من مسار عنوان URL. نتيجة لذلك ، لديك حق الوصول إلى البيانات لعدد كبير من الصفحات.

تتضمن معلومات الزحف التي يمكنك الوصول إليها ما يلي:

• مفهرس - عدد عناوين URL المفهرسة داخل مجلد معين ،
• خطأ - أخطاء الزحف الفادحة التي أدت إلى عدم فهرسة عناوين URL المحددة ،
• تحذير - تم اكتشاف أن عناوين URL هذه بها مشكلات في الإرشادات ومشكلات مؤقتة في الزحف وغير مسموح بها في ملف robots.txt وما إلى ذلك. راقب هذا القسم بانتظام لاكتشاف أي ارتفاعات أو انخفاضات في عناوين URL المتأثرة ،
• مستبعد - عناوين URL التي تم استبعادها من الفهرس ، على سبيل المثال ، بسبب انتهاكات البريد العشوائي أو الترتيب المنخفض.

لديك الخيار لتصفية عناوين URL بشكل أكبر لعرض الصفحات بناءً على ميزات محددة.

تتيح لك هذه المرشحات تحديد عناوين URL التي تتطلب انتباهك وتوجهك في الاتجاه الصحيح عند معالجة مشكلات الفهرسة.

أداة فحص عنوان URL في Bing

ميزة أخرى رائعة هي أداة Bing URL Inspection التي تكمل مستكشف الموقع. يتيح لك مراجعة ما إذا كان عنوان URL محددًا في فهرس Bing وما إذا تم التعرف على أي أخطاء في الفهرسة أو الزحف.

الصق عنوان URL في الأداة - سترى بعد ذلك الكثير من المعلومات التكميلية.

في قسم " بطاقة الفهرس" ، يمكنك رؤية حالة فهرسة عنوان URL والتفاصيل المتعلقة به ، مثل وقت اكتشاف عنوان URL وكيف تم الزحف إليه.

يمكنك أيضًا عرض كود HTML للصفحة واستجابة HTTP التي تلقاها النظام.

إذا لم تتم فهرسة عنوان URL بسبب الأخطاء ، فستتمكن من اتخاذ مزيد من الإجراءات ، مثل طلب فهرسة عنوان URL ، والاتصال بالدعم ، وإجراء تعديلات على ملف robots.txt الخاص بك ، وما إلى ذلك.

يوفر Bing إرشادات حول سبب عدم فهرسة الصفحة - وإليك بعض الأسباب:

• لا توجد روابط تشير إلى صفحتك ،
• الصفحة لا تلبي حدود الجودة ،
• تحظر توجيهات Robots.txt الزحف إلى الصفحة ،
• توجد مشكلات أخرى في الزحف في الصفحة - ستساعدك ميزة عنوان URL المباشر في البحث فيها بشكل أكبر ،
• تحتوي الصفحة على علامة noindex تمنع فهرستها ،
• لم يتم اكتشاف عنوان URL والزحف إليه بعد ويحتاج ببساطة إلى مزيد من الوقت ،
• تنتهك الصفحة إرشادات الجودة وقد تمت معاقبتها وإزالتها من الفهرس.

يمكنك أيضًا استخدام هذا كنقطة مرجعية عند تشخيص مشكلات الفهرسة في محركات البحث الأخرى ، مثل Google.

إذا لم تكن عناوين URL مفهرسة ويجب أن تكون كذلك ، فإن Bing يسمح لك بإرسال عناوين URL للفهرسة .

المهم هو أن الحد مرتفع نسبيًا - يمكنك إرسال ما يصل إلى 10000 عنوان URL يوميًا. يتجاوز ذلك بكثير الحد الذي تم الإبلاغ عنه من Google والذي يصل إلى 50 عنوان URL.

مشكلات الفهرسة الشائعة لمواقع الويب الكبيرة

تحدث مشكلات الفهرسة في معظم المواقع ، ويمكن أن يكون لها تأثير كارثي على أداء البحث العضوي لموقعك.

نظر Tomek Rudzki في مشكلات الفهرسة الأكثر شيوعًا لأحجام مواقع الويب المختلفة.

من خلال بحثه ، نعلم الآن أن مواقع الويب الكبيرة عادة ما تعاني من المشكلات التالية:

• تم الزحف إليه - غير مفهرس حاليًا ،
• تم الاكتشاف - غير مفهرس حاليًا ،
• محتوى مكرر
• ناعم 404 ،
• مشاكل الزحف.

قضية نموذجية أخرى تتعلق بالارتباط الداخلي. يحتاج Googlebot إلى اتباع مسار للعثور على صفحة - إذا لم تكن مرتبطة بصفحات أخرى ، فقد يتم إبقائها خارج الفهرس.

كيفية معالجة مشاكل الفهرسة

يمكنك اتخاذ خطوات لزيادة فرص فهرسة صفحاتك.

هذه الحلول مفيدة أيضًا عندما تجد عناوين URL غير مفهرسة ولا يمكنك تحديد سبب عدم فهرستها.

تأكد من أن صفحاتك قابلة للفهرسة

يتألف اكتشاف ما إذا كانت صفحاتك قابلة للفهرسة من النظر إلى جانبين:

الأوامر المحددة في ملف robots.txt الخاص بك

يحتوي ملف robots.txt على إرشادات لبرامج زحف الويب حول ما يجب الزحف إليه على الموقع. تأكد من عدم وجود أمر "Disallow" يمنع الزحف إلى صفحاتك القيمة.  

ما إذا كانت الصفحات تحتوي على علامات noindex أم لا

تسمح علامات Noindex لروبوتات محرك البحث بزيارة الصفحات ولكنها تمنعها من الفهرسة.

للتحقق بشكل مجمّع مما إذا كانت صفحاتك قابلة للفهرسة ، استخدم زاحف SEO - على سبيل المثال ، Screaming Frog.  

يمكنك لصق قائمة عناوين URL الخاصة بك في الأداة وبدء الزحف. عند الانتهاء ، انظر إلى عمود الفهرسة ، والذي سيخبرك ما إذا كانت الصفحة قابلة للفهرسة أو غير قابلة للفهرسة.

تأكد من تقديم جميع الصفحات القيمة في خريطة الموقع

تحقق مما إذا كانت الصفحات غير المفهرسة قد تم إرسالها في ملف Sitemap - وإذا لم يتم ذلك ، فأضفها وفقًا لذلك.

بالإضافة إلى ذلك ، تأكد من أن ملفات Sitemap لا تحتوي على عناوين URL لا يجب فهرستها في المقام الأول. قد يؤدي السماح لمحركات البحث باكتشاف الصفحات غير الملائمة والزحف إليها إلى زحف غير فعال وإطالة الوقت الذي تتطلبه برامج الروبوت للعثور على المحتوى عالي الجودة الخاص بك.

إذا لم يكن لديك خريطة موقع ، فيمكنك بسهولة إنشائها أو استخدام أدوات مخصصة ستبقيها محدثة ، مثل Yoast SEO أو Screaming Frog's SEO Spider . يمكنك أيضًا استخدام إحدى أدوات منشئ ملفات Sitemap.  

سيكون دليلنا النهائي لخرائط المواقع هو المورد الأول لك لإنشاء خريطة موقع محسّنة.

ضبط الارتباط الداخلي الخاص بك

يعد الارتباط الداخلي جانبًا مهمًا لموقعك من منظور تحسين محركات البحث.

إن مجرد تضمين عنوان URL في ملف Sitemap لا يعد كافيًا لـ Google. يحتاج Googlebot إلى التأكد من أن عنوان URL يستحق اهتمامه - ولهذا السبب ، يحتاج إلى العثور على إشارات تبرز أهميته.

تأكد من عدم وجود صفحات يتيمة ، بمعنى صفحات بدون روابط واردة. يمكنك الزحف إلى موقع الويب الخاص بك للعثور على الصفحات اليتيمة - على سبيل المثال ، قم بذلك باستخدام تقرير الصفحات اليتيمة لـ Screaming Frog.

تتضمن بعض الأفكار لتحسين الارتباط الداخلي إنشاء أقسام للمنتجات ذات الصلة أو كتابة منشورات المدونة للارتباط بصفحات أخرى عبر موقعك.

تحتاج أيضًا إلى بنية موقع ويب نظيفة. يعني تنظيم المحتوى على الموقع بحيث يمكن للمستخدمين والروبوتات التنقل بشكل حدسي وسريع إلى كل قسم من أقسام موقعك.

إصلاح مشاكل المحتوى المكرر

عند وجود أكثر من إصدار واحد من نفس المحتوى أو محتوى مشابه جدًا على موقعك ، فقد تواجه محركات البحث صعوبة في تحديد أي صفحة هي النسخة الأكثر تمثيلاً.

لتسهيل مهمة محركات البحث ، قم بتنفيذ العلامات الأساسية التي تشير إلى عناوين URL الأساسية المحددة. يجب أن يكون لكل إصدار صفحة عنوان URL أساسي واحد فقط.

يمكنك استخدام أدوات Google Search Console لتحديد ما إذا كانت Google تحترم عنوان URL هذا باعتباره العنوان الأساسي أم أنها حددت عنوان URL مختلفًا.

تأكد من أن العلامات الأساسية تشير باستمرار إلى الصفحات الأساسية الصحيحة. إذا كانت تشير إلى صفحات مكررة ، فقد يظل عنوان URL الأساسي غير مفهرس.

اتبع أفضل ممارسات JavaScript SEO لتسهيل الزحف والفهرسة

على الرغم من أن محركات البحث قد تحسنت كثيرًا في عرض وفهرسة JavaScript ، إلا أن معالجتها لها لا تزال غير مثالية.

بشكل عام ، قد لا تعرض محركات البحث JavaScript على الصفحة إذا اعتقدت أنها لن تُجري أي تغييرات مهمة على محتواها. أيضًا ، إذا بدت صفحاتك مختلفة تمامًا باستخدام JavaScript وبدونها ، فقد تواجه صعوبة في فهرستها.

هناك أدوات يمكنك استخدامها لتحليل فهرسة JavaScript الخاصة بك.

يمكنك بسهولة التحقق من أي أجزاء من صفحتك تعتمد على JavaScript باستخدام أداة What Would JavaScript Do.

استخدم الاختبار المباشر في أداة فحص عناوين URL من Google لمشاهدة لقطة شاشة توضح كيفية عرض Googlebot لمحتوى JavaScript على صفحتك بالضبط. يمكنك بعد ذلك الانتقال إلى علامة التبويب "مزيد من المعلومات" للبحث عن أخطاء JavaScript.

سيخبرك خيار عرض الصفحة التي تم الزحف إليها في أداة فحص عنوان URL بما زحف إليه محرك بحث Google على صفحتك وما إذا كان كل محتوى جافا سكريبت موجودًا أم لا.

في حالة وجود مشكلات في فهرسة JavaScript ، راجع مقالتنا حول JavaScript SEO للحصول على مزيد من الإرشادات.

تحسين ميزانية الزحف الخاصة بك

ميزانية الزحف هي عدد الصفحات على موقع الويب التي يمكن لمحركات البحث الزحف إليها وتريد الزحف إليها.

يمكن أن تتأثر ميزانية الزحف إلى موقعك بعدة عوامل.

للمساعدة في الزحف إلى صفحاتك بكفاءة ، اتبع الإرشادات العامة التالية:

• تحسين أداء الويب الخاص بك ،
• تحسين ملفات JavaScript و CSS على موقعك ،
• تجنب عمليات إعادة التوجيه الداخلية وسلاسل إعادة التوجيه ،
• اضبط بنية موقعك ،
• قم بتنظيف الارتباط الداخلي الخاص بك - قم بتحديث أي روابط تشير إلى صفحات 404 وكثيرًا ما ترتبط بالمحتوى الأكثر أهمية لديك ،
• احصل على خريطة موقع منظمة بشكل صحيح - يمكنك تحليل بنية خريطة الموقع باستخدام أحد برامج زحف تحسين محركات البحث ، مثل Ryte أو Sitebulb.

الوجبات الجاهزة

قد تكافح مواقع الويب الكبيرة لفهرسة العديد من صفحاتها. لكن هذا لا يعني أن فهرسة كل المحتوى القيم الخاص بك أمر مستحيل.

قد يتطلب تحليل فهرسة موقع ويب كبير بعض العمل. ومع ذلك ، ستمنحك الميزات المتوفرة في Google Search Console وأدوات مشرفي المواقع من Bing رؤى قابلة للتنفيذ يمكنك البدء في العمل على الفور بناءً عليها.

أعتقد أنه يمكنك توقع أن يكون ZipTie عامل تغيير في قواعد اللعبة في مجال الفهرسة - أشجعك على الاتصال بفريق ZipTie لتحليل الفهرسة.

وإذا كنت تتعامل مع مشكلات فهرسة واسعة النطاق لا يمكنك البدء في معالجتها - فقد رأيناها كلها وسنخبرك بنقاط الألم التي يجب التركيز عليها. تواصل معنا!