الدروس المستفادة من 15 عامًا من تجريف الويب

تاريخ

عندما بدأت شركة Promscloud عملياتها مرة أخرى في عام 2009 ، عرف عدد قليل فقط من الشركات في طليعة التكنولوجيا ماهية تجريف الويب. اضطررنا إلى استخدام إصدار 5th Grader لشرح الحل الذي حدث مثل هذا- "نحن مثل Google لبعض مواقع الويب ، لكننا نقدم بيانات بتنسيق نظيف مثل CSV أو JSON." في بعض الأحيان ، انتهى بنا الأمر أيضًا إلى شرح ما كانت عليه CSV و XML و JSON ووجدنا أنفسنا في أكثر الأحيان ، ونعلم عملائنا حول سبب عدم وجود تنسيق مناسب لاستهلاك مثل هذه البيانات بشكل منتظم. كان ذلك عندما فعلنا الكثير من المحتوى التعليمي حول ما كان عليه DAAS (البيانات كخدمة) ، والفرق بين تجريف الويب والزحف على الويب. اتبع الكثير من الآخرين حذوها والباقي هو التاريخ. انتهت هذه المدونة بالذات حول الفرق بين الزحف والتجريف إلى أن تصبح الصفحة الأكثر زيارة على موقعنا ، على الرغم من لهجتها غير الرسمية.

لم يكن لدينا سوى حل الزحف الأفقي في ذلك الوقت ، والذي كان منصة DAAS بسيطة ، وحتى ذلك الحين كان لدينا عملاء من جميع أنحاء الصناعات ، والتجارة الإلكترونية ، والسفر ، من بين العديد من الآخرين. اعتدنا أن نكون مستمتعين ببعض حالات الاستخدام التي صادفناها ، وأشياء لم نتخيل حتى أن تجريف الويب سوف يحلها. سيكون من المعدل أن نقول إن الكثير من خدماتنا المضافة القيمة ، بما في ذلك تطوير واجهة برمجة التطبيقات لتوصيل موجزات البيانات ، كانت استجابة لاحتياجات العملاء بدلاً من كوننا الرؤى.

بسرعة إلى الأمام 15 سنة ، تغير الكثير بينما لا تزال بعض الأساسيات. لا يوجد مزيد من التعليم المطلوب حول سبب احتياج عمل ما إلى بيانات بديلة ، أو ماهية تجريف الويب. في وقت سابق ، لم يرغب 2 ٪ فقط من مواقع الويب على الإنترنت في الزحف ، والآن ارتفع هذا الرقم بشكل واضح مع توظيف المزيد والمزيد من المجالات مع تقنيات مكافحة البوت. كان أفضل الأسئلة الشائعة لدينا في وقت سابق إذا كان تجريف الويب قانونيًا ، في حين أن المزيد من الشركات تفهم كيفية القيام بذلك أخلاقياً. كانت حالات الاستخدام أيضًا تتطور بسرعة ، ومواكبة التطورات التكنولوجية الأخرى واختراق الإنترنت كما نراها.

الحاضر

دعونا نلقي نظرة على المكان الذي نحن فيه الآن على خلفية ما جربناه في الماضي.

1. المزيد من الشركات تدرك الحاجة إلى البيانات

يستمر الطلب على خدمة تجريف ويب قوية في النمو لأن الشركات تحتاج إلى رؤى في الوقت الفعلي للبقاء في المقدمة. لقد شهدنا انتقال الإبرة من لطيف إلى أن يكون هناك ما يجب أن يكون. ومع تزايد المنافسة ، ترى الشركات تجريف الويب كتحول للألعاب بدلاً من مجرد أداة أخرى. من المثير للاهتمام أن نلاحظ أن الاحتياجات قد نمت في الغالب في مساحة التجارة الإلكترونية ، وليس في الصناعات الأخرى التي نخدمها في وقت سابق.

2. تغير حجم احتياجات البيانات

لا يتعلق الأمر فقط بالحاجة إلى البيانات - إنه يتعلق بالحاجة إلى الكثير منها. الشركات لا تريد فقط لقطة ؛ إنهم يريدون في الوقت الفعلي ، ويقومون باستمرار بتحديث مجموعات البيانات التي تساعدهم على البقاء في صدارة الاتجاهات. خذ حالة استخدام تحليلات سوق العمل على سبيل المثال. من أجل أن تكون قادرًا على استخلاص رؤى ذات معنى حول كيفية اتجاه الوظائف ، لن توفر بضعة آلاف من الوظائف بيانات ذات دلالة إحصائية. تحتاج على الأقل على بعد بضع مئات من الوظائف من الوظائف من فئة معينة لاستخلاص نمط تتجه إليه المهارات ، وما هي مواقع النقاط الساخنة لعنوان وظيفي معين ، وما إلى ذلك. يعني هذا التحول أن الشركات تبحث عن حلول معقدة على شبكة الإنترنت يمكنها التعامل مع كميات هائلة من البيانات بكفاءة وفي الوقت الفعلي.

3. الاتجاهات تشكل نوع البيانات التي تبحث عنها الشركات

ما تحتاجه الشركات من تجريف الويب يتطور مع الاتجاهات. الاثنان الكبيران اللذان يبدو أنهما يشكلان المشهد التجريبي في الوقت الحالي ، وهما التجارة السريعة ووسائل التواصل الاجتماعي . مع انتشار العلامات التجارية التي تتراوح من الجمال والعناية الشخصية إلى FMCG ، إلى جانب وعد تطبيقات التسليم لمدة 10 دقائق ، وخاصة في الهند ، أصبح من الضروري مراقبة الرف الرقمي. الشيء نفسه هو الحال مع وسائل التواصل الاجتماعي مع ظهور Instagram وغيرها من القنوات الشعبية. تعتمد المزيد من العلامات التجارية على وسائل التواصل الاجتماعي كقناة أساسية لتتبع معنويات المستهلك والاتجاهات الناشئة.

4. أنظمة أكثر قوة لابتلاع البيانات

في ذلك الوقت ، إذا توصل أحد العملاء إلى شرط من تزحف 200 موقع ويب أو حيث كان لا بد من تسليم ملايين نقاط البيانات على أساس يومي ، فإن سؤالنا الأول سيكون- هل هذا شرط البريد العشوائي؟ نظرًا لأن الأنظمة لم تكن متطورة بما يكفي للتعامل مع مثل هذه المجلدات من البيانات ، وينكسر شيء أو آخر. الآن قامت معظم الشركات التي نعمل بها ببناء خطوط أنابيب بيانات قوية وأنظمة معالجة في الوقت الفعلي وحلول التخزين السحابية التي تجعل الابتلاع سلسًا. هذا يعني أنهم يركزون أكثر على الأفكار أكثر من القلق بشأن كيفية التعامل مع البيانات.

5. البيانات العامة أصبحت أقل سهولة

تجريف الويب ليس بهذه البساطة كما كان عليه الحال. المزيد والمزيد من المواقع الإلكترونية تقفل بياناتها خلف جدران paywalls ومتطلبات تسجيل الدخول وأنظمة كشف الكشف عن الروبوت. هذا أجبر الصناعة على الإبداع من خلال أساليب تجريف الويب المعقدة التي يمكن أن تعمل بشكل قانوني وكفاءة حول هذه الحواجز. أصبحت الأدوات التي تحركها الذكاء الاصطناعي ضرورية في مواكبة هذه القيود المثيرة للضوء. عادةً ما نسعر مشاريع الزحف الخاصة بنا بناءً على تعقيد المصادر التي تتراوح من البسيطة والمتوسطة والمعقدة ، ورأينا المزيد والمزيد من المواقع الإلكترونية تحت فئة المعقدة على مدار العامين الماضيين.

6. تجربة الأمور أكثر من أي وقت مضى

مع ازدهار الطلب على البيانات ، ظهر لاعبون جدد يدعيون أنهم يستطيعون كشط أي شيء وكل شيء. ولكن هذا هو الشيء - الخبراء يهم. كنتيجة طبيعية للنقطة المذكورة أعلاه ، لا يقتصر تجريف الويب على سحب البيانات ؛ يتعلق الأمر بمعالجة مواقع الويب الديناميكية ، وإدارة العمليات الواسعة النطاق ، وضمان دقة البيانات. أمضى مزود تجريف على شبكة الإنترنت من ذوي الخبرة سنوات في استكشاف القضايا وإصلاحها ، وعمليات ضبطها ، وبناء حلول تعمل بالفعل على نطاق واسع.

7. الذكاء الاصطناعى يحدث ثورة في تجريد الويب

على الرغم من أن جزءًا كبيرًا من خط أنابيب البيانات قد تم تلقائيًا في وقت سابق ، فقد كان لدينا بعض الاختراقات في مراحل التكوين لخط الأنابيب. يمكن أن تصبح إمكانيات استخدام الذكاء الاصطناعى لمراحل مختلفة من خط أنابيب البيانات غير دقيقة ، حيث يمكن تدريب زحفات على تحديد تغييرات الموقع وإصلاح أنفسهم تلقائيًا ، ويمكن أن يصبح هيكلة البيانات أكثر بساطة. يساعد التعلم الآلي أيضًا الشركات على تجاوز البيانات الخام - في تقديم رؤى وتصنيفات وتحليلات تجعل البيانات المكثفة أكثر قيمة. كل هذا ليقول إن الذكاء الاصطناعى قد أحدث ثورة في هذه الصناعة بطريقة جيدة ، مما يعزز القدرات إلى ما وراء تجميع وتخفيف آلام الحصول على رؤى من أكوام البيانات التي تم جمعها.

الطريق إلى الأمام

قطع تجريف الويب شوطًا طويلًا خلال الخمسة عشر عامًا الماضية ، وما زال يتطور. مع أن تصبح البيانات أكثر أهمية من أي وقت مضى ، تحتاج الشركات إلى شركاء يحصلون عليها - الذين يفهمون تعقيدات تجريف الويب المعقدة ولديهم خبرة في التنقل في تحدياتها. سواء أكان ذلك يضمن جودة البيانات من الدرجة الأولى ، أو معالجة قيود موقع الويب ، أو استخدام الذكاء الاصطناعي لجعل الكشط أكثر ذكاءً ، فإن النهج الصحيح يجعل الفرق كله.

شيء واحد مؤكد: إن الطلب على البيانات المنظمة القابلة للتنفيذ لا يتباطأ في أي وقت قريب. السؤال الوحيد هو - هل أنت مستعد لما هو التالي؟

الأسئلة الشائعة

مصادر

Harvard Business Review - الأهمية المتزايدة للبيانات