فهرسة SEO 101: كيفية إنشاء استراتيجية فهرسة لموقعك على الويب
نشرت: 2021-12-14يجب ألا تقوم محركات البحث بفهرسة جميع الصفحات الموجودة على موقع الويب الخاص بك.
حتى لو كنت تعتقد أن كل شيء على موقعك رائع ، فإن معظم مواقع الويب بها عدد كبير من الصفحات التي لا تنتمي إلى نتائج البحث. وإذا سمحت لمحركات البحث بفهرسة تلك الصفحات ، فقد تواجه عواقب سلبية.
لهذا السبب تحتاج إلى استراتيجية فهرسة لموقعك. عناصره الرئيسية هي:
- تحديد الصفحات التي تريد أن تقوم محركات البحث بفهرستها واستخدام الطرق المناسبة لتعظيم فرص فهرستها ،
- تحديد الصفحات التي لا يجب فهرستها وكيفية استبعادها من البحث دون الحد من إمكانية رؤية البحث.
من الصعب تحديد الصفحات التي يجب أو لا يجب فهرستها. قد تجد بعض الإرشادات والنصائح لصفحات معينة ، ولكنك غالبًا ما تكون بمفردك.
واختيار الطرق المناسبة لاستبعاد تلك الصفحات من نتائج البحث يتطلب مزيدًا من الدراسة. هل يجب عليك استخدام علامة noindex أو العلامة الأساسية ، أو حظر الصفحة في ملف robots.txt ، أو استخدام إعادة توجيه دائمة؟
ستوضح هذه المقالة عملية اتخاذ القرار التي ستسمح لك بإنشاء استراتيجية فهرسة مخصصة لموقعك على الويب.
بينما قد تواجه حالات متطرفة لا تلتزم بالمنطق الذي أقترحه ، فإن العملية الموضحة أدناه ستمنحك نتائج رائعة في الغالبية العظمى من الحالات.
لماذا لا يجب فهرسة بعض الصفحات
هناك سببان رئيسيان لعدم رغبتك في قيام محركات البحث بفهرسة جميع صفحاتك:
- يساعد على تحسين ميزانية الزحف ،
- قد يؤدي وجود الكثير من المحتوى منخفض الجودة القابل للفهرسة إلى الإضرار بكيفية رؤية محركات البحث لموقعك على الويب.
تحسين ميزانية الزحف الخاصة بك
يمكن لروبوتات محركات البحث الزحف إلى عدد محدود من الصفحات على موقع ويب معين. الإنترنت كبير بشكل غير محدود ، والزحف إلى كل شيء سيتجاوز الموارد التي تمتلكها محركات البحث.
يُطلق على مقدار الوقت والموارد التي تقضيها روبوتات محرك البحث في الزحف إلى موقع الويب الخاص بك ميزانية الزحف. إذا أهدرت ميزانية الزحف على الصفحات منخفضة الجودة ، فقد لا يكون هناك ما يكفي من الصفحات الأكثر قيمة التي يجب فهرستها بالفعل.
من خلال قضاء الوقت في تحديد الصفحات التي تريد فهرستها ، يمكنك تحسين ميزانية الزحف والتأكد من أن روبوتات محرك البحث لا تضيع مواردها على الصفحات الأقل أهمية.
إذا كنت تريد معرفة المزيد حول تحسين ميزانية الزحف الخاصة بك ، فراجع الدليل النهائي لتحسين ميزانية الزحف.
لا تدع المحتوى منخفض الجودة يضر موقع الويب الخاص بك
إذا أدركت محركات البحث أن لديك الكثير من المحتوى منخفض الجودة ، فقد يقررون التوقف عن الزحف إلى موقع الويب الخاص بك في كثير من الأحيان.
أطلق توميك رودزكي ، في دليله النهائي على فهرسة تحسين محركات البحث ، على هذه " المسؤولية الجماعية ".
إنها حلقة مفرغة:
- يزحف محرك بحث Google إلى الصفحات منخفضة الجودة.
- توقف Google عن زيارة موقع الويب كثيرًا.
- لا يزحف محرك بحث Google إلى العديد من الصفحات ، حتى لو كانت صفحات عالية الجودة.
- هناك صفحات قيّمة لم تتم فهرستها.
يوضح هذا كيفية الترابط بين الترتيب والزحف والفهرسة.
المصدر: توماس رودزكي
طرق ضبط الفهرسة
هناك عدة طرق يمكنك استخدامها للتحكم في فهرسة صفحاتك ، بما في ذلك:
- العلامة الوصفية لبرامج الروبوت Noindex ،
- عدم السماح بأمر في ملف robots.txt ،
- العلامة المتعارف عليها
- إعادة توجيه دائمة ،
- خريطة موقع XML.
كل من الطرق المذكورة أعلاه لها استخداماتها ووظيفتها.
العلامة الوصفية لبرامج الروبوت Noindex
<meta name = "robots" content = "noindex">إذا أضفت التوجيه أعلاه إلى قسم HTML <head> لصفحتك ، فستدرك روبوتات محرك البحث أنه لا ينبغي لها فهرستها. سيمنع الصفحة من الظهور في صفحة نتائج محركات البحث.
يجب عليك استخدام هذه العلامة إذا كنت لا تريد فهرسة الصفحة ، ولكنك لا تزال تريد أن تقوم روبوتات محرك البحث بالزحف إلى صفحتك ، على سبيل المثال ، اتباع الروابط الموجودة في تلك الصفحة.
عدم السماح بأمر في ملف robots.txt
وكيل المستخدم: * Disallow: /example/page.html
يسمح لك الأمر disallow في ملف robots.txt بمنع وصول محركات البحث إلى الصفحة. إذا احترم روبوت محرك البحث التوجيه ، فلن يقوم بالزحف إلى الصفحات غير المسموح بها ، وبالتالي لن تتم فهرستها.
نظرًا لأن التوجيه عدم السماح يقيد الزحف ، يمكن أن تساعدك هذه الطريقة في حفظ ميزانية الزحف الخاصة بك.
ملاحظة: الأمر disallow ليس طريقة مناسبة لمنع الوصول إلى صفحاتك الحساسة. تتجاهل برامج الروبوت الضارة ملف robots.txt ولا يزال بإمكانها الوصول إلى المحتوى. إذا كنت تريد التأكد من عدم إمكانية وصول جميع برامج الروبوت إلى بعض الصفحات ، فمن الأفضل حظرها بكلمة مرور.
العلامة المتعارف عليها
<link rel = "canonical" href = "https://www.example.com/page.html">العلامة الأساسية هي عنصر HTML يخبر محركات البحث أن عناوين URL المكررة هي الأصلية.
باستخدام العلامة الأساسية ، تحدد بالضبط أي إصدار من الصفحة تريد فهرسته ويظهر في نتائج البحث. بدون العلامة الأساسية ، لا يمكنك التحكم في إصدار صفحتك الذي تتم فهرسته.
لا تزال روبوتات محرك البحث بحاجة إلى الزحف إلى الصفحة لاكتشاف العلامة الأساسية ، لذا فإن استخدامها لن يساعدك في توفير ميزانية الزحف الخاصة بك.
إعادة توجيه دائمة
إعادة التوجيه 301 هي رمز استجابة HTTP يشير إلى إعادة توجيه دائمة. وهي تحدد أن الصفحة المطلوبة لها موقع جديد ، وأن الصفحة القديمة تمت إزالتها من الخادم.
عند استخدام إعادة التوجيه 301 ، لن يتمكن المستخدمون وروبوتات محرك البحث من الوصول إلى عنوان URL القديم. بدلاً من ذلك ، ستتم إعادة توجيه إشارات المرور والترتيب إلى الصفحة الجديدة.
يعد استخدام إعادة التوجيه 301 طريقة جيدة لحفظ ميزانية الزحف. أنت تقوم بتقليل عدد الصفحات المتاحة على موقع الويب الخاص بك ، لذا فإن روبوتات محرك البحث لديها محتوى أقل للزحف إليه.
تذكر أنه يجب عليك إعادة التوجيه فقط إلى صفحة ذات صلة. يمكن أن تؤدي إعادة التوجيه إلى صفحة غير ذات صلة إلى إرباك المستخدمين. بالإضافة إلى ذلك ، قد لا تتبع روبوتات محركات البحث إعادة التوجيه وتعامل الصفحة على أنها soft 404.
خرائط مواقع XML
خريطة موقع XML هي ملف نصي يسرد عناوين URL التي تريد أن تقوم محركات البحث بفهرستها. والغرض منه هو مساعدة روبوتات محركات البحث في العثور بسهولة على الصفحات التي تهتم بها.
لا يوجه ملف Sitemap المُحسَّن جيدًا محركات البحث إلى صفحاتك القيمة فحسب ، بل يساعدك أيضًا في توفير ميزانية الزحف الخاصة بك. بدونها ، تحتاج الروبوتات إلى الزحف إلى الموقع بالكامل لاكتشاف المحتوى القيم الخاص بك.
لهذا السبب يجب أن تسرد خرائط المواقع فقط عناوين URL القابلة للفهرسة على موقع الويب الخاص بك. هذا يعني أن الصفحات التي تضعها في خريطة الموقع يجب أن تكون:
- العنوان الأساسي،
- لم يتم حظره بواسطة العلامة الوصفية noindex robots و
- لم يتم حظره بواسطة التوجيه disallow في ملف robots.txt ،
- الاستجابة ب 200 كود الحالة.
يمكنك معرفة المزيد حول تحسين خرائط المواقع في الدليل النهائي لخرائط مواقع XML.
كيفية تحديد الصفحات التي يجب أو لا يجب فهرستها
لمساعدتك في تحديد الصفحات التي يجب فهرستها أو عدم فهرستها ، قمت بإنشاء شجرة قرارات بها جميع الأسئلة الأساسية التي تحتاج إلى الإجابة عليها.
اعرض الصورة بالحجم الكامل.
كما ترى أعلاه ، فإن السؤال الأساسي هو: هل هذه الصفحة ذات قيمة لأي شخص؟
هناك ثلاث إجابات محتملة لهذا السؤال:
- الصفحة ذات قيمة لمستخدمي محرك البحث (ومحركات البحث) ،
- الصفحة ذات قيمة لمحركات البحث ،
- الصفحة ليست ذات قيمة لأي شخص.
خلاصة القول هي أنه يجب فهرسة الصفحات ذات القيمة للمستخدمين فقط. ومع ذلك ، حتى في هذه الفئة ، هناك أنواع من الصفحات لا يجب فهرستها.
دعونا نكسرها.
الصفحات ذات قيمة للمستخدمين
تعتبر الصفحة ذات قيمة لمستخدمي محرك البحث إذا كانت توفر إجابة لبحثهم أو تسمح لهم بالانتقال إلى الإجابة.
في معظم الحالات ، إذا كانت الصفحة ذات قيمة للمستخدمين ، فيجب فهرستها. ومع ذلك ، لا يزال هناك موقف تكون فيه الصفحة ذات قيمة للمستخدمين ولكن لا ينبغي فهرستها.
الصفحات ذات القيمة للمستخدمين التي يجب فهرستها
يجب فهرسة الصفحة إذا:
- يوفر محتوى عالي الجودة وفريدًا يجلب حركة المرور ،
- إنها نسخة لغة بديلة لصفحة مختلفة عالية الجودة (إن أمكن).
محتوى فريد وعالي الجودة
يجب أن تصل الصفحات الفريدة عالية الجودة التي تجلب الزيارات إلى موقعك بالتأكيد إلى خريطة الموقع. تأكد من أنك لا تحظرهم في ملف robots.txt ، وأنهم لا يمتلكون علامة noindex الوصفية لبرامج الروبوت.
انتبه بشكل خاص إلى الصفحات الأكثر قيمة لعملك . هم الذين عادة ما يجلبون أكبر قدر من التحويل. صفحات مثل:
- الصفحة الرئيسية،
- من نحن وصفحات الاتصال ،
- صفحات تحتوي على معلومات حول الخدمة التي تقدمها ،
- مقالات المدونة التي تظهر خبرتك ،
- الصفحات التي تحتوي على عناصر محددة (مثل منتجات التجارة الإلكترونية) ،
يجب أن تكون قابلة للفهرسة دائمًا ، ويجب عليك مراقبة فهرستها بانتظام.
نسخة لغة بديلة
لا تعامل محركات البحث المحتوى المترجم على أنه مكرر. في الواقع ، تريد محركات البحث معرفة ما إذا كان لديك إصدارات متعددة اللغات متاحة لتقديم الإصدار الأنسب للمستخدمين في مختلف البلدان.
إذا كان لديك نسخة لغة بديلة لصفحة ما ، فيجب عليك تحديدها بعلامة hreflang ووضع الصفحة في خريطة موقعك.
يمكنك تحديد علامات hreflang في ملف Sitemap أو HTML أو كليهما. تعتبر علامات Hreflang المستخدمة في خرائط المواقع جيدة تمامًا من منظور محرك البحث. ومع ذلك ، قد يكون من الصعب التحقق منها باستخدام أدوات تحسين محركات البحث (SEO) أو المكونات الإضافية للمتصفح. لهذا السبب ، فإن الطريقة الموصى بها لإضافة العلامة هي في كود HTML وخريطة الموقع ، أو في كود HTML فقط.
تذكر أن كل صفحة تحتاج إلى تحديد جميع إصدارات اللغات ، بما في ذلك لغتها الخاصة.
الصفحات ذات قيمة للمستخدمين والتي لا يجب فهرستها
في بعض الحالات ، يمكن أن تكون الصفحات ذات قيمة للمستخدمين ، ولكن لا يجب فهرستها. تشمل المواقف:
- محتوى مكرر أو شبه مكرر ،
- الصفحات التي لا تتطلب البحث.
مكرر أو شبه مكرر لصفحة مختلفة
قد تعتبر روبوتات محرك البحث الصفحة مكررة أو شبه مكررة إذا:
- يؤدي اثنان أو أكثر من عناوين URL المختلفة إلى نفس الصفحة ،
- صفحتان مختلفتان لهما محتوى متشابه جدًا.
أحد الأمثلة الأكثر شيوعًا للمحتوى المكرر هو صفحات الفئات المفلترة على مواقع التجارة الإلكترونية. يمكن للمستخدمين تطبيق المرشحات لتضييق نطاق المنتجات والعثور على ما يبحثون عنه بشكل أسرع. لسوء الحظ ، قد يحفظ كل عامل تصفية تم تطبيقه المعلمات في عنوان URL ، مما يؤدي إلى إنشاء عناوين URL متعددة تؤدي إلى نفس الصفحة.
على سبيل المثال ، قد يشير store.com/dresses/item و store.com/dresses/item؟color=yellow إلى نفس المحتوى.
تشمل الأسباب الأخرى للمحتوى المكرر أو شبه المكرر ما يلي:
- وجود عناوين URL مختلفة لإصدارات الأجهزة المحمولة وسطح المكتب ،
- الحصول على نسخة مطبوعة من موقع الويب الخاص بك ، أو
- إنشاء محتوى مكرر عن طريق الخطأ.
تتضمن مخاطر وجود محتوى مكرر قابل للفهرسة ما يلي:
- عدم وجود تحكم في الإصدار الذي قد يظهر في نتائج البحث. على سبيل المثال ، إذا كانت لديك إصدارات مطبوعة وعادية متاحة ، فقد تعرض محركات البحث النسخة المطبوعة في البحث.
- قسمة إشارات الترتيب بين عناوين URL متعددة.
- زيادة كبيرة في عدد عناوين URL التي تحتاج محركات البحث إلى الزحف إليها.
- خفض مركزك في SERPs إذا قررت محركات البحث أنك تريد التلاعب بالترتيب (نتيجة نادرة).
لتجنب العواقب السلبية لوجود محتوى مكرر ، يجب أن تهدف إلى توحيده . تشمل الطرق الرئيسية للقيام بذلك العلامات الأساسية وعمليات إعادة التوجيه 301.
العلامات الأساسية هي الخيار الأفضل إذا كنت تريد أن تكون جميع الصفحات متاحة للمستخدمين.
أحد الأمثلة على المحتوى المكرر الذي يجب أن يظل متاحًا على موقعك هو الذي يحسن تجربة المستخدم. على سبيل المثال ، عندما يقوم المستخدمون بتصفية المنتجات على أحد مواقع التجارة الإلكترونية ، فقد تكون إعادة توجيههم مربكة لأسباب مختلفة ، مثل التغيير المفاجئ في فتات التنقل.
بالإضافة إلى ذلك ، قد يكون من الضروري أن يكون لديك محتوى مكرر على موقعك عندما يكون لديك إصدارات مختلفة لأجهزة مختلفة.
باستخدام إعادة التوجيه 301 ، تظل صفحة واحدة فقط متاحة على موقعك. سيتم إعادة توجيه الباقي تلقائيًا.
قد تكون إعادة التوجيه 301 مفيدة ، على سبيل المثال ، عندما يكون لديك منشوران متشابهان جدًا في المدونة وتقرر بقاء واحدة فقط على موقعك. سيعيد رمز الحالة 301 توجيه إشارات المرور والترتيب إلى المقالة التي اخترتها. إنها طريقة ممتازة لتحسين ميزانية الزحف الخاصة بك ، ولكن لا يمكنك استخدامها إلا عندما تريد إزالة الصفحة المكررة.
تذكر إجراء تغييرات في خريطة الموقع كلما استخدمت عمليات إعادة توجيه دائمة. يجب عليك فقط وضع الصفحات التي تستجيب مع 200 رمز حالة في خريطة موقعك. لذلك ، إذا كنت تستخدم إعادة التوجيه 301 لدمج المحتوى ، فإن الإصدار الذي يبقى على موقع الويب الخاص بك فقط يجب أن يظل في خريطة الموقع.
الصفحات التي لا تتطلب البحث
قد يكون لديك محتوى جيد على موقعك لا يتطلب أي بحث. بمعنى آخر ، لا أحد يبحث عنها. قد يحدث هذا عندما تكتب عن هواية متخصصة أو عند وجود صفحات بها ، على سبيل المثال ، ملاحظة "شكرًا لك" للمستخدمين.
قد لا تجلب هذه الصفحات أي حركة مرور أو تحويلات. ربما تريد تركها لأنها تكمل رحلات المستخدمين ، لكنك لا تريدها أن تكون أول ما يراه المستخدمون في نتيجة البحث.
إذا كنت تعتقد أن المستخدمين لا ينبغي أن يشاهدوا صفحة معينة في نتائج البحث ، أو أن الصفحة لا تجلب أي حركة مرور ، فلا داعي لإبقائها مفهرسة. بهذه الطريقة ، يمكن لروبوتات محرك البحث التركيز على الصفحات التي تجلب لك حركة المرور بالفعل.
لمنع فهرسة صفحة بدون طلب بحث ، استخدم علامة noindex meta robots. لن تقوم برامج الروبوت بفهرستها ، لكنها ستستمر في الزحف إليها وتتبع الروابط الموجودة على تلك الصفحة ، مما يمنحهم مزيدًا من السياق حول موقع الويب الخاص بك.
الصفحات ذات قيمة فقط لمحركات البحث
ليست كل الصفحات معدة لمساعدة المستخدمين. يساعد بعضها محركات البحث في التعرف على موقع الويب الخاص بك واكتشاف الروابط.
ألق نظرة على صفحة LinkedIn هذه:
يسرد جميع ملفات تعريف المستخدمين ، مما يسهل على محركات البحث العثور على جميع الروابط.
من ناحية أخرى ، قد تربك مثل هذه الصفحات المستخدمين وتثنيهم عن البقاء على الموقع. إنها ليست ذات قيمة بالنسبة لهم ، لذلك يجب ألا تظهر في نتائج البحث ولا يجب فهرستها.
من ناحية أخرى ، فهي مفيدة لمحركات البحث - فهي تعزز الارتباط الداخلي الخاص بك.
هذا هو السبب في أن أفضل حل هو تنفيذ علامات noindex الوصفية لروبوتات ، وترك هذه الصفحات خارج خريطة موقعك ، والسماح بالزحف إليها في ملف robots.txt. لن تتم فهرستها ، لكن الروبوتات ستزحف إليها.
الصفحات ليست ذات قيمة لأي شخص
بعض الصفحات ليست ذات قيمة للمستخدمين أو محركات البحث.
يلزم وجود بعضها على موقعك بموجب القانون ، على سبيل المثال ، سياسة الخصوصية ، ولكن ، لنكن صادقين - لا أحد يبحث عن هذا النوع من المحتوى. بالطبع ، لا يمكنك إزالتها ، ولكن ليست هناك حاجة لفهرستها لأن لا أحد يريد العثور عليها. في بعض الحالات ، قد يحصلون على مرتبة أعلى من المحتوى الأكثر قيمة و "يسرقون" حركة المرور.
تتضمن الصفحات التي ليس لها قيمة أيضًا محتوى ضعيفًا ومنخفض الجودة. يجب أن تولي اهتمامًا خاصًا لها ، لأنها يمكن أن تضر بالطريقة التي ينظر بها المستخدمون ومحركات البحث إلى الجودة الشاملة لموقعك. الرجوع إلى المحتوى منخفض الجودة يمكن أن يضر بفصل موقع الويب الخاص بك لمزيد من المعلومات.
والأهم من ذلك أنك تحتاج إلى التأكد من أن الصفحات التي ليس لها قيمة بها علامة noindex meta robots. إذا لم تحظر فهرستها ، فقد تلحق الضرر بترتيبك وتثني المستخدمين عن زيارة موقع الويب الخاص بك.
بالإضافة إلى ذلك ، إذا كنت ترغب في تحسين ميزانية الزحف الخاصة بك ، فاحظر هذه الصفحات في ملف robots.txt وقم بإزالة الروابط الداخلية التي تشير إليها. سيساعدك هذا في حفظ ميزانية الزحف لصفحات أكثر قيمة.
تغليف
إن معرفة أي من صفحاتك يجب أو لا يجب فهرستها وإيصالها إلى روبوتات محرك البحث أمر بالغ الأهمية في إنشاء إستراتيجية فهرسة الصوت.
سيؤدي ذلك إلى زيادة فرص الزحف إلى موقع الويب الخاص بك وفهرسته بشكل صحيح والتأكد من أن المستخدمين يمكنهم العثور على كل المحتوى القيم الخاص بك في نتائج البحث.
فيما يلي النقاط الرئيسية التي يجب أن تضعها في اعتبارك أثناء إنشاء إستراتيجية الفهرسة الخاصة بك:
- عند تحديد ما إذا كان يجب فهرسة إحدى الصفحات ، اسأل نفسك عما إذا كانت تحتوي على محتوى فريد له قيمة للمستخدمين. يجب عدم حظر الصفحات الفريدة والقيّمة من فهرستها بواسطة علامات noindex الوصفية لبرامج الروبوت أو منعها من الزحف إليها باستخدام توجيهات robots.txt disallow.
- إذا كان المحتوى منخفض الجودة الخاص بك قابلاً للفهرسة ، فقد يؤثر ذلك سلبًا على ترتيبك ويعرض صفحاتك القيمة لخطر عدم فهرستها.
- إذا كان لديك محتوى مكررًا أو شبه مكرر على موقعك ، فيجب عليك دمجه بعلامة أساسية أو إعادة توجيه 301.
- إذا لم يكن للصفحة طلب بحث ، فلا يلزم فهرستها - استخدم noindex في علامة meta robots.
- يجب حظر فهرسة الصفحات التي تحتوي على محتوى أو روابط ذات قيمة لمحركات البحث فقط باستخدام علامة noindex meta robots ، ولكن لا تحظر الزحف إليها في ملف robots.txt.
- إذا لم يستفد المستخدمون ولا محركات البحث من زيارة صفحة معينة ، فيجب تعيينها على noindex في علامة meta robots.
- إذا كانت لديك إصدارات متعددة وبديلة من نفس الصفحة ، فاحتفظ بها قابلة للفهرسة. استخدم علامة hreflang لمساعدة محركات البحث في فهم كيفية ارتباط هذه الصفحات.