معوقات تحليلات الوقت الحقيقي

تقدم البيانات الضخمة قيمة للشركات عبر صناعات متعددة على عدة مستويات. خذ على سبيل المثال صناعة البيع بالتجزئة. يتصارع القطاع في نظام إيكولوجي معقد بشكل متزايد مع الاحتياجات والتفضيلات التي تتطور كل دقيقة. إن مطالب العملاء الثلاثية المتمثلة في تقديم خدمة أسرع وجودة فائقة وأسعار أقل ، هو ما يؤدي إلى ظهور البيانات الضخمة كسلاح لمواجهة هذه المطالب وتلبية هذه المطالب بشكل صحيح ، لتجنب خسارة الإيرادات.

تتمثل الخطوة الأولى لتلبية هذه المطالب في معرفة ما يقوله العملاء عن علامة تجارية معينة. سيساعد هذا تجار التجزئة على تحديد ما يحتاجه العملاء. بمساعدة زحف الويب المستهدف الذي توفره شركات استخراج البيانات المتخصصة ، تتمتع الشركات الآن بالقدرة على استخراج البيانات من ملايين صفحات الويب ومنصات الوسائط الاجتماعية المحتملة بشكل كبير.

تحليل البيانات الضخمة الناتجة عن زحف الويب واستخراج البيانات

تتمثل الخطوة التالية في إجراء تحليل للبيانات التي تم جمعها باستخدام زحف الويب. سيساعد ذلك علماء البيانات ومديري التسويق على فهم الاحتياجات ، والرغبات ، والتفضيلات ، والخيارات التي يطلبها العملاء. نتيجة لذلك ، يمكن لصناع القرار في صناعة البيع بالتجزئة العمل بسرعة لملء الفجوات في الطلب أو تعديل تشكيلة منتجاتهم ، لتتناسب مع ما يريد العملاء رؤيته. ومع ذلك ، لن تكون تحليلات البيانات سهلة عندما يكون لديك الملايين من صفوف البيانات المتاحة للتحليل. وفقًا لشركة Gartner ، ستنمو البيانات بمعدل غير مسبوق يبلغ 800٪ خلال السنوات الخمس المقبلة ، وستكون 80٪ من البيانات غير منظمة. وبالتالي ، فإن الحاجة إلى تحليل البيانات الضخمة ستزداد في السنوات القليلة القادمة فقط.

كيف تطورت تحليلات البيانات على مر السنين؟

على الرغم من أن تحليل البيانات كان موجودًا منذ سنوات عديدة ، إلا أن الحجم والسرعة التي تأتي بها البيانات الآن ، يطرحان مشاكل لعلماء ومحللي البيانات. كما قال Anant Rajaraman ، نائب الرئيس الأول في Walmart Global للتجارة الإلكترونية والمؤسس المشاركWalmartLabs ، " يعرف الكثير من الأشخاص كيفية التعامل مع البيانات ، ولكن الآن هناك الكثير من البيانات لذا فإن أنواع الأشياء التي يمكنك القيام بها معها يمكن أن تكون الطريقة التي تعمل بها مختلفة تمامًا… .. الأدوات [للبيانات الضخمة] مختلفة تمامًا. تعتمد العديد من الخوارزميات الأساسية للتحليلات التنبؤية بشكل حاسم على الاحتفاظ بالبيانات في الذاكرة الرئيسية باستخدام وحدة معالجة مركزية واحدة للوصول إليها. البيانات الضخمة تكسر هذا الشرط. لا يمكن أن تكون جميع البيانات في الذاكرة في نفس الوقت ، لذلك يجب معالجتها بطريقة موزعة. هذا يتطلب نموذج برمجة جديد. "

الحاجة إلى تحليلات البيانات في الوقت الحقيقي

إذا نظرنا إلى الوراء بضع سنوات ، فإن ميزة التحليلات في الوقت الفعلي كانت مفقودة إلى حد كبير من مخطط أشياء المسوقين الرقميين. طرح هذا القيد مشاكل على عدة جبهات للمعلنين ومديري التسويق وصناع القرار . على الرغم من أنهم استخدموا إحصائيات عمرها بضعة أيام أو أسابيع فقط ، إلا أن هذه الفترة الزمنية كانت كافية لجعل البيانات قديمة ، وذلك بفضل السرعة الهائلة للبيانات الضخمة. أدى ذلك إلى زيادة الطلب على الوصول إلى الرؤى بشكل أسرع وإجراء التحليلات في فترة زمنية أقصر.

القيمة التي تقدمها البيانات الضخمة منطقية بما يكفي للشركات للبحث عن نتائج ورؤى تحليلات البيانات الأسرع. يقول Duke Lonergan ، بصفته كبير مسؤولي التكنولوجيا في EMC لشركة Greenplum ، "تبحث كل شركة عن طرق للحصول على اتصال أقوى مع عملائها ، لتحسين التنبؤ وتحريكهم على طول المسار. نرى إلحاحًا معينًا حول البيانات الضخمة. "

يوضح هذا أن عالم الأعمال والتكنولوجيا يميل بشكل متزايد نحو تحليلات البيانات الضخمة في الوقت الفعلي على البيانات في الوقت الفعلي المستخرجة من زحف الويب وكفاءات الخبراء في استخراج البيانات في هذا المجال. بمساعدة تحليلات البيانات في الوقت الفعلي ، يمكن لمديري التسويق والإدارة العليا رؤية مقاييس أداء مختلفة في الوقت الفعلي مثل ، عدد الأشخاص الذين يشاهدون منتجًا معينًا ، وعدد الأشخاص الذين يستجيبون لمنتج عبر الإنترنت ، وعددهم في الواقع شرائه. بالنسبة للشركة ، فهي تساعد على زيادة أو تقليل إنفاقها الرقمي بناءً على ما يتحدث عنه الناس بالفعل وما هو الاتجاه السائد في تلك اللحظة بالذات. يساعد تحسين الإنفاق الرقمي العلامة التجارية على توطيد علاقتها مع العملاء وبناء قيمة طويلة الأجل للعلامة التجارية.

التحديات في تحليلات البيانات في الوقت الحقيقي

ومع ذلك ، في حين أن تحليلات البيانات في الوقت الفعلي قد تبدو رائعة من الناحية النظرية ، فإنها تصبح معقدة بعض الشيء في التصميم الفعلي والتسليم. يجب أن تخدم تحليلات البيانات في الوقت الفعلي التي تم إنشاؤها بمساعدة زحف الويب المنفذ من شركات استخراج البيانات الأهداف التالية:

• قم بتحليل البيانات على مدى فترة طويلة من الزمن ، للمساعدة في الكشف عن الأنماط وفتح الاتجاهات التي تستحق المعرفة
• إنشاء نماذج للتنبؤ بالمستقبل أو ابتكار أنظمة تحكم
• تساعد في ربط المعلمات التي تبدو غير مرتبطة. على سبيل المثال ، يمكن استكشاف المزيد من الأفكار حول سلوك القيادة من خلال فحص المعلمات مثل بيانات مستشعر إنترنت الأشياء حول التسارع والسرعة.

كما هو واضح ، هناك عدد غير قليل من التحديات المهمة التي يجب التغلب عليها قبل أن يصبح العائد على الاستثمار في التحليلات في الوقت الفعلي أمرًا جذابًا. فيما يلي بعض التحديات الرئيسية -

1. الاعتماد على الأنظمة القديمة : بالعودة إلى بضع سنوات إلى الوراء - حوالي عام 2009 ، استغرق الاستعلام البسيط واكتشاف البيانات للإجابة على الاستعلام وقتًا طويلاً. لنفترض أنه إذا كان لديك استعلام "كم عدد العملاء الذين يتصفحون مواقعي من خلال هاتف Android" ، فإن الخطوة الأولى للحصول على إجابة لهذا الاستعلام ستكون تحسين المخطط في مستودع البيانات الخاص بك. تستغرق هذه الخطوة بحد ذاتها شهرين في المتوسط.

ومن هنا كان الاتجاه الشائع لمديري البيانات هو معرفة الأسئلة مسبقًا عند تصميم المخطط والمستودع بحيث يتم تركيبه للإجابة على الاستفسارات عندما يتم العثور عليها بالفعل. ومع ذلك ، في بيئة ديناميكية ، لا يمكن أن تكون هذه حالة مجدية بعد الآن. ومن ثم فإن الاعتماد على الأنظمة القديمة دون الترقية إلى أدوات تحليل البيانات في الوقت الفعلي الجاهزة للمستقبل مثل Vertica و Hive و MapReduce ، يعد عائقًا كبيرًا أمام تحليل البيانات في الوقت الفعلي .

2. مدى السرعة اليوم : أدى التحسين في المشهد التكنولوجي إلى ضمان أن عمليات التحليلات الكاملة التي كانت تستغرق شهورًا وأسابيع وأيامًا ، تستغرق الآن دقائق وثواني وثواني دقيقة. علماء البيانات عليهم ببساطة التفكير في استعلام وفيولا! لديهم نتائج تجاربهم وفرضياتهم أمامهم عمليا في أي وقت من الأوقات على الإطلاق. أدت أوقات المعالجة الأقصر لتحليل البيانات الآن إلى زيادة التوقعات.

كما قال جوستين إريكسون ، كبير مديري المنتجات في Cloudera: " يتعلق الأمر بالتحرك بسرعة أكبر نحو أسئلة غير معروفة سابقًا ، وتحديد رؤى جديدة ، وتقليل الوقت بين حدوث حدث في مكان ما في العالم واستجابة شخص ما لهذا الحدث أو رد فعله. ومن ثم فإن الطلب المتزايد على تقصير وقت تحليلات البيانات وتوليد الرؤى يمثل عائقًا أمام توفير القيمة مع تحليلات البيانات في الوقت الفعلي.

3. صنع القرار: من المؤكد إلى حدٍ ما أن التقنيات والعمليات والأفراد مُمكّنون الآن من جمع البيانات بسرعة من خلال استخراج البيانات وزحف الويب . يمكنهم الآن أيضًا استهلاك البيانات وتحليلها في الوقت الفعلي. ولكن كيف تسير الأمور عندما يتعلق الأمر باتخاذ الإجراءات واتخاذ القرارات بناءً على تحليل البيانات؟ هناك خياران هنا -

• تتمحور حول الإنسان - النهج التقليدي حيث يقوم شخص كبير أو صانع قرار بإلقاء نظرة على نتائج التحليلات ثم اتخاذ قرارات بناءً على هذه الرؤى والتصور
• النظام الآلي - يمكن أن تساعد العملية الآلية في اتخاذ القرار بناءً على مجموعة نتائج معينة دون انتظار تدخل الأشخاص.

من الواضح أن وجود نظام آلي سيساعد على تحسين فعالية تحليلات البيانات في الوقت الفعلي وعملية صنع القرار اللاحقة. ومع ذلك ، فإن عدم قدرتها على مضاهاة مصداقية الإجراءات المتخذة في عملية صنع القرار يمنح صنع القرار الذي يركز على الإنسان اليد العليا. هذا مرة أخرى يمثل عائقًا أمام تحسين فعالية تحليلات البيانات في الوقت الفعلي.

4. التحول الثقافي : إن توفر التحليلات في الوقت الفعلي وإمكانية الوصول إليها سيؤثر أيضًا على طريقة عمل الشركات حاليًا. ستغمر الرؤى في الوقت الفعلي الشركات التي اعتادت العمل على الرؤى مرة أو مرتين في الأسبوع. تخيل لو أن الشركة قامت ببناء الأفراد والعمليات ومقاييس الأداء على نهج اتخاذ إجراءات الرؤى مرة واحدة في الأسبوع؟ ماذا سيحدث للمقاييس والإنتاجية والأداء عندما تبدأ الرؤى في الظهور يوميًا وليس أسبوعيًا ، وذلك بفضل تحليلات البيانات في الوقت الفعلي؟

ستكون النتيجة فوضى إذا لم يتم التخطيط لعملية الانتقال بطريقة إستراتيجية. وذلك لأن تلقي الرؤى والتصرف بناءً عليها كل ثانية على أساس يومي سيتطلب ثقافة ونهجًا مختلفين ، عن النهج التقليدي المتمثل في التصرف بناءً على الأفكار على أساس أسبوعي. مثل هذه الحواجز الثقافية في مكان عمل الشركة في اعتماد تحليلات البيانات في الوقت الفعلي لن تكون غير شائعة أيضًا.

ليستنتج

للتوقيع ، سيساعد عرض القيمة الهائل الذي تقدمه تحليلات البيانات الضخمة في الوقت الفعلي في دفع قطاعات الصناعة الرئيسية اليوم لتجاوز منافستها في خدمة العملاء بشكل مرض واكتساب ميزة تنافسية. شريطة أن يكونوا قادرين على مواجهة التحديات بشكل مرض.

هل تخطط للحصول على بيانات من الويب؟ نحن هنا للمساعدة. دعنا نعرف عن متطلباتك.