كيفية محاربة كاشطات محتوى الموقع

أي مشرف موقع يقضي الوقت في ضمان أن يكون المحتوى فريدًا ومكتوبًا جيدًا ومفيدًا ، يشعر بالألم عندما يجدون محتواهم مقطوعًا ومعروضًا على موقع ويب آخر. تعتبر أدوات الكشط مجرد جزء من ممارسة الأعمال التجارية على الويب ، ولا يوجد الكثير الذي يمكن لمسؤول الموقع القيام به لإيقافه. ومع ذلك ، يمكنك اتخاذ بعض الخطوات الذكية لمحاربتها والحفاظ على القيمة الفريدة لموقعك في محركات البحث.

التحدي

هناك عدة طرق لمنع برامج الكشط ، لكن بعضها يحظر أيضًا برامج الزحف الشرعية لمحركات البحث. يتمثل التحدي الذي يواجه مشرفي المواقع في جعل المواقع غير مألوفة ولكنها تظل صديقة لمحركات البحث. هذه ليست مهمة سهلة ، لأن ما يمنع أدوات الكشط بشكل عام يمنع محركات البحث أيضًا.

على سبيل المثال ، تتمثل إحدى طرق منع أدوات الكشط تمامًا في تحويل المحتوى الخاص بك إلى صور. بينما يعد هذا أمرًا رائعًا لمحاربة أدوات الكشط ، إلا أنه يجعل موقعك غير ودي تمامًا لتحسين محركات البحث. لن تتمكن محركات البحث من تحليل المحتوى الخاص بك وقراءته ، لذلك من المحتمل أن تنخفض ترتيبك. لا تزال محركات البحث تعتمد على النصوص ، لذا فهي غير قادرة على فهم الصور وقراءتها بشكل صحيح.

نظرًا لأن برامج الكشط والروبوتات تعمل بشكل مشابه ، فمن الصعب إنشاء طريقة لمنع أدوات الكشط دون الإضرار بتحسين محركات البحث وترتيبك. عندما تختار طريقة ، اختر بحكمة. حتى اختبار طريقة ما يمكن أن يكون له آثار سلبية إذا كان يؤثر على روبوتات محرك البحث. لا تقم بإجراء أي تغييرات هيكلية ضخمة إلا إذا كنت تعلم أنها لن تمنع برامج الروبوت الشرعية.

فيما يلي ثلاث طرق يمكنك من خلالها محاربة أدوات كشط المحتوى ولكن مع الحفاظ على زاحف محرك بحث موقعك سهل الاستخدام.

قم بتعيين Canonical في صفحاتك

يمنح القانون الأساسي خوارزميات Google اقتراحًا قويًا عند فهرسة المحتوى المكرر. يقول القانون الأساسي بشكل أساسي "هذا محتوى مكرر. قم بفهرسة عنوان URL هذا بدلاً من ذلك. " "عنوان URL هذا" هو صفحة على موقعك.

عندما يسرق مكشطة المحتوى الخاص بك ، فإنه يأخذ كل المحتوى داخل علامات HTML بما في ذلك علامات الارتباط. والنتيجة هي أن الصفحة الأساسية الخاصة بك قد تم تعيينها على صفحات الكاشطة. عندما يزحف محرك بحث Google إلى موقع الكاشطة ، فإنه يقرأ الصفحة الأساسية ويفكك فهرسة صفحة الكاشطة ويحافظ على صفحتك الخاصة. لا يؤثر وجود رابط أساسي يشير إلى الصفحة الحالية على حالة فهرس Google لديك ، لذلك لا داعي للقلق بشأن تسببه في حدوث مشكلات في صفحاتك المحلية.

عادةً ما تعمل هذه التقنية بشكل جيد ، ولكن هناك بعض المشكلات معها. أولاً ، عندما يكتشف مالك الكاشطة أن الكنسي مدرج ، يمكنه تجريد الكنسي. ثانيًا ، الكنسي هو اقتراح لجوجل. على الرغم من أن خوارزمية محرك البحث تقبل عادةً الخوارزمية الأساسية وتستخدمها للفهرسة ، إلا أنها ليست ضمانًا. إذا لاحظت Google إشارات قوية تشير إلى صفحات الكاشطة ، فقد تبقيها مفهرسة. ومع ذلك ، هذا نادر. تشمل الإشارات القوية الروابط وعدد الزيارات الكبير وشعبية الصفحة.

ما يلي هو رمز الارتباط الأساسي.

<link rel = ”canonical” “https://yoursite.com/yourpage.html” />

لاحظ أنك بحاجة إلى عنوان URL المطلق ، مما يعني أنك تقوم بتضمين البروتوكول (HTTP) واسم المجال (yoursite.com) واسم الصفحة. قم بتضمين هذا الرمز في كل صفحة من صفحات المحتوى الخاصة بك.

استخدم عناوين URL المطلقة في روابطك

هناك نوعان من عناوين URL للارتباط: مطلق ونسبي. المطلق يشبه الرابط في القسم السابق. يتضمن البروتوكول والمجال واسم الصفحة.

الارتباط النسبي يستخدم الدليل واسم الصفحة فقط. هذا مثال:

URL المطلق

<link rel = ”canonical” “https://yoursite.com/yourpage.html” />

URL النسبي

<link rel = ”canonical” “/yourpage.html” />

عندما يسرق مكشطة المحتوى الخاص بك ، فإنه يقوم بإلغاء كل المحتوى وبنية الموقع. عند استخدام عناوين URL النسبية ، سيعمل ارتباط موقع الكاشطة. عندما تستخدم عناوين URL مطلقة ، فإن هذه الروابط تشير إلى المجال الخاص بك. يجب أن يزيل الكاشطة نطاقك من جميع الروابط أو تشير جميعها إلى موقعك ، مما قد يكون مفيدًا في الواقع للرسم البياني للارتباط الخاص بك. ما لم يتمكن مالك الكاشطة من كتابة التعليمات البرمجية ، فلن يتمكن من استخدام المحتوى الخاص بك ما لم يعدل البرامج النصية.

إنشاء موضع جذب

مواضع الجذب هي خدع تستخدمها الشركات لجذب المتسللين. إنها تحاكي خادمًا أو نظامًا حقيقيًا وتسمح للمتسلل بالعثور على نقاط الضعف. تتمثل ميزة موضع الجذب في تسجيل الأحداث حيث يخترق المتسلل النظام. كما أنها تجذب المتسللين بعيدًا عن الأنظمة الهامة.

يمكنك إنشاء نظام مشابه على خادم الويب الخاص بك. كل ما يتطلبه الأمر هو إنشاء ملف واحد. قم بإنشاء ملف HTML فارغ وتحميله على خادم الويب الخاص بك. على سبيل المثال ، قم بتسمية الملف "honey.html" ووضعه على خادم الويب الخاص بك. أضف الملف إلى ملف robots.txt لمنع برامج الروبوت من الزحف إليه. تحترم برامج الزحف توجيه robots.txt ، لذلك لن تقوم بالزحف إلى الصفحة إذا تم حظرها في ملف robots.txt.

بعد ذلك ، ضع رابطًا مخفيًا يؤدي إلى صفحة honey.html في إحدى صفحات موقعك النشطة. يمكنك إخفاء الرابط باستخدام عنصر CSS div "display: none". الكود التالي هو مثال:

<div style = ”display: none؛”> <a href="honey.html"> اسم الرابط </a> </div>

الكود أعلاه مرئي لبرامج الزحف والكاشط ولكن ليس للزوار العاديين.

ما تفعله هذه الحيلة هو توجيه حركة المرور إلى ملف واحد. نظرًا لأن الكتل المشروعة تحترم ملف robots.txt ولكن عمليات الكشط لا تحترم ، يمكنك رؤية عناوين IP وهي تزحف إلى الصفحة. يجب أن تقوم بتسجيل حركة المرور على موقع الويب الخاص بك ، لذا قم يدويًا بمراجعة عناوين IP التي تقوم بالزحف إلى honey.html. لن تقوم برامج الروبوت الشرعية مثل Google و Bing بالزحف إلى الصفحة ، ولكن أدوات الكشط تفعل ذلك. ابحث عن عناوين IP المكشطة وحظرها على خادم الويب أو جدار الحماية. لا يزال يتعين عليك التحقق من عنوان IP قبل حظره فقط في حالة حدوث أي مشكلات وعثور حركة المرور الشرعية على الصفحة.

يجب ألا تتفوق أدوات الكشط على موقع الويب الخاص بك أبدًا

لا يمكنك منع المواقع تمامًا من أخذ المحتوى الخاص بك. بعد كل شيء ، يمكن لمالك الموقع عديم الضمير نسخ محتوى موقعك يدويًا. ومع ذلك ، لا ينبغي أبدًا أن يتفوق موقع الكاشطة على موقعك. السبب الأكثر احتمالا لتفوق أداة الكشط على موقعك هو مشاكل تحسين محركات البحث الخاصة بك.

لدى Google مئات العوامل التي تصنف مواقع الويب ، لذلك من الصعب معرفة العامل الذي قد يؤثر على موقعك. فيما يلي تفصيل لما يمكنك مراجعته.

• هل المحتوى الخاص بك فريد ومفيد ومكتوب للمستخدمين؟
• هل قمت أنت أو استشاري بإجراء أي بناء ارتباط؟
• هل المحتوى الخاص بك موثوق؟
• هل الصفحات منخفضة الجودة مضبوطة على noindex؟
• هل التنقل سهل على المستخدمين للعثور على المحتوى والمنتجات؟

هذه بعض المشكلات التي يمكنك مراجعتها ، ولكن قد تحتاج إلى متخصص لتدقيق الموقع بشكل أكثر شمولاً.

والخبر السار هو أن أدوات الكشط عادة ما تموت بسرعة من عقوبات Google والشكاوى إلى مضيف موقع الكشط. إذا رأيت ترتيب مكشطة أمامك ، فاتبع هذه الخطوات لإيقافها وخذ الوقت الكافي لمراجعة موقعك للتأكد من جودته.