ETL مقابل ELT: ما هو خط أنابيب البيانات المناسب لعملك؟

ETL و ELT هما طريقتان لنقل البيانات من مكان إلى آخر وتحويلها على طول الطريق. ولكن أيهما مناسب لعملك؟

يقارن هذا المنشور بين ETL و ELT في السرعة والاحتفاظ بالبيانات وقابلية التوسع وإدارة البيانات غير المنظمة والامتثال التنظيمي والصيانة والتكاليف. في النهاية ، يجب أن تعرف متى تستخدم كل طريقة في خط أنابيب البيانات الخاصة بك ولماذا.

الماخذ الرئيسية:

• كان ETL خط أنابيب البيانات القياسي لعقود من الزمن بسبب دقته وكفاءته ومرونته.
• ELT هو متغير لعملية ETL يقوم بتحميل البيانات إلى قاعدة بيانات الهدف أولاً ثم يقوم بتحويلها.
• يعد ELT أكثر وضوحًا وأسرع من ETL في كثير من الحالات لأنه لا يتطلب تحويل البيانات على خادم مستقل — يتم تحويل البيانات داخل الوجهة بدلاً من ذلك.
• تتضمن بعض الفوائد الرئيسية لخط أنابيب ELT التحليلات في الوقت الفعلي ، وسهولة الصيانة ، وقابلية التوسع ، ودعم البيانات غير المنظم ، وخفض التكاليف بشكل عام.

ما هو استخراج ، تحويل ، تحميل (ETL)؟

في عالم الأعمال ، تشبه البيانات المياه كثيرًا. يجب استخراجه من مكان وجوده ، ونقله إلى حيث يحتاج إليه ، ثم تخزينه لاستخدامه لاحقًا. تُعرف هذه العملية باسم ETL: استخراج وتحويل وتحميل .

مثل خط أنابيب السباكة ، ينقل ETL البيانات من مكان إلى آخر ، وينظفها على طول الطريق ، ويخزنها في موقع مركزي. تتوافق مرحلة الاستخراج مع العثور على الماء في نهر أو بئر. مرحلة التحويل هي عندما يتم تنظيف المياه ونقلها عبر الأنابيب. ومرحلة الحمل هي عندما يتم تخزين الماء في الخزان.

الفوائد الرئيسية لخط أنابيب ETL

هناك العديد من الأسباب التي تجعل ETL خط أنابيب البيانات القياسي لعقود. على مستوى عالٍ ، تضمن ETL أن لدى الشركة نقطة واحدة للحقيقة للبيانات التي يتم جلبها من مصادر مختلفة. نظرًا لأن البيانات يتم تحويلها قبل التحميل إلى الوجهة النهائية للتحليل ، تضمن ETL أن البيانات عالية الجودة ودقيقة.

من الناحية العملية ، تعمل ETL على تحسين دقة البيانات وكفاءتها ومرونتها من خلال الأتمتة والتحويلات. ETL مهم أيضًا لإدارة البيانات. يحتفظ خط الأنابيب المصمم جيدًا بسجل مسجل ، مما يساعد في الامتثال للسياسات الداخلية واللوائح الخارجية. على سبيل المثال ، أداة ETL الخاصة بـ Improvado متوافقة مع HIPAA و SOC-2 ، لذا يمكنها التعامل مع البيانات الحساسة.

وبالتالي ، يفتح خط أنابيب ETL الأبواب أمام تجارب العملاء متعددة القنوات ، وذكاء الأعمال ، واتخاذ القرارات التي تعتمد على البيانات.

ما هو الاستخراج والتحميل والتحويل (ELT)؟

يعد الاستخراج والتحميل والتحويل (ELT) أحد أشكال عملية ETL التي تقوم بتحميل البيانات في التخزين المعين أولاً ثم تقوم بتحويلها.

بالعودة إلى استعارة المياه: يشبه ELT عندما تفتح الصنبور في منزلك للحصول على الماء. الماء موجود بالفعل في المنزل ، لذلك عليك فقط تشغيل الصنبور ، ويخرج. ELT هو نفس الشيء بالنسبة للبيانات. البيانات موجودة بالفعل في الوجهة ، لذلك عليك فقط تشغيل الصنبور ، ويخرج متحولًا.

اكتسبت ELT زخمًا مع إدخال قواعد البيانات الموجهة نحو الأعمدة ، مثل ClickHouse و jQuery. في السابق ، كان على الشركات قضاء الوقت والموارد مقدمًا في بناء منطق الاستخراج والتحويل لتوفير موارد قاعدة البيانات. يمكن للجيل الجديد من قواعد البيانات معالجة البيانات وإتمام العمليات الحسابية بشكل أسرع ، وهي تكلف أقل بشكل عام. وبالتالي ، تم التخلص من الحاجة إلى تحويل البيانات الأولية عند تحميلها.

يمكن أن يؤدي هذا الانعكاس في عملية ETL التقليدية إلى تبسيط إدارة خط أنابيب البيانات وتوفير الوقت حيث يمكنك إجراء تحويل بالتوازي مع التحميل. يوفر نهجًا أبسط وأسرع لتحويل البيانات ، لأنه لا يتطلب تحويل البيانات كمثيل منفصل. بدلاً من ذلك ، يتم تحويل البيانات داخل الوجهة ، والتي تكون عادةً مستودع بيانات.

الفوائد الرئيسية لخط أنابيب ELT

اكتسب ELT شعبية بسبب بساطته ومرونته. يمكن لفرق البيانات تجميع البيانات الأولية من مجموعة متنوعة من المصادر ، والوصول إليها لمزيد من التحليل في أي وقت ، والتوصل إلى منطق التحول عند الحاجة إليه حقًا.

يعد ELT خيارًا رائعًا لتحليلات البيانات في الوقت الفعلي ، حيث يمكنه تحميل البيانات وتحويلها بشكل أسرع من ETL. يعد ELT أيضًا خيارًا أفضل إذا كانت شركتك تدير عمليات تحول معقدة أو دائمة التغير.

بالإضافة إلى ذلك ، يعد ELT أسهل في الصيانة من ETL نظرًا لعدم وجود حاجة لإدارة برنامج تحويل منفصل. ولا يزال يقدم العديد من نفس المزايا مثل ETL ، مثل دقة البيانات وكفاءتها.

تمت مقارنة عمليات ETL و ELT

بعد النظر في فوائد ETL و ELT ، دعنا نقارن العمليتين جنبًا إلى جنب.

سرعة

يعد ELT أسرع من ETL نظرًا لتوقيت خطوة التحول.

لنفترض أنك تقوم بتحميل مجموعة بيانات بحجم واحد تيرابايت. باستخدام ETL ، يجب تحميل مجموعة البيانات بالكامل على خادم التحويل قبل أن يبدأ التحويل. ولكن مع ELT ، يمكن تحميل البيانات وتحويلها بشكل متوازٍ ، مما يقلل بشكل كبير من الوقت الإجمالي اللازم لإكمال العملية.

ومع ذلك ، هناك بعض الحالات التي قد يكون فيها ETL أسرع من ELT. يحدث هذا عادةً عندما تكون مجموعة البيانات صغيرة ويمكن تحويلها بسهولة على مثيل مستقل.

الاحتفاظ بالبيانات الخام

تستخرج عملية ELT جميع البيانات الأولية وتخزنها إلى أجل غير مسمى في مستودع البيانات الخاص بك. يتم تطبيق التحويلات لاحقًا فقط حسب الحاجة - مما يعني أنك تحتفظ دائمًا بمجموعة البيانات الأصلية ، وهو أمر مفيد للتحليل التاريخي وتصحيح الأخطاء.

بالنسبة لـ ETL ، قبل تحميل البيانات في مستودع البيانات المستهدف أو قاعدة البيانات التي تختارها ، تخضع البيانات لتحولات واسعة النطاق. لذلك قد تقوم ETL بتحويل البيانات إلى نموذج مجمع لتوفير مساحة ، مما يجعل من الصعب تتبع القيم الأصلية ما لم تقم بتحميل كل من البيانات الأصلية والمحولة إلى وجهة. إذا كنت ترغب في تغيير بيانات الإخراج أو إذا تغير مصدر البيانات الخام ، فأنت بحاجة إلى إعادة كتابة البرامج النصية للاستخراج والتحويل (كما هي واحدة).

قابلية التوسع

يعتبر ELT أكثر مرونة لأنه يتم تنفيذ جميع الخطوات الثلاث (الاستخراج والتحميل والتحويل) بشكل منفصل. هذا يجعل من السهل توسيع وتغيير أي شيء تريده في هذه العملية.

من ناحية أخرى ، فإن ETL أكثر صرامة لأن طبقة التحويل لها قيود متأصلة. من الصعب أن تتطور مع نمو عملك - على سبيل المثال ، إذا كنت ترغب في إضافة ميزات متقدمة مثل عمليات الاستخراج المجدولة ، والاستخراج المتوازي ، ومنطق التحويل المتقدم ، وما إلى ذلك ، كما يتطلب أيضًا موارد أكثر من تعديل ELT ، حيث تحتاج إلى تغيير طرفي العملية. بعد كل شيء ، ما يفعله المرء يؤثر على الآخر.

وينطبق الشيء نفسه على عمليات ضمان الجودة. مع ETL ، نظرًا لأن الاستخراج والتحويل يجتمعان معًا ، فإن الأمر يتطلب المزيد من العمل لإعداد عمليات ضمان الجودة واختبار المنتج. نسبيًا ، منطق ELT ، حيث تقوم أولاً باستخراج وتحميل بياناتك ثم تحويلها فقط ، يكون اختباره أسهل بكثير.

بيانات غير منظمة

أنظمة ETL ليست مناسبة تمامًا للتعامل مع البيانات غير المهيكلة ، مثل ملفات السجل وبيانات الوسائط الاجتماعية ورسائل البريد الإلكتروني - فهي مصممة للعمل مع البيانات المنظمة المنظمة في صفوف وأعمدة. يمكن تكييف ETL للتعامل مع البيانات غير المهيكلة ، ولكن فقط باستخدام محرك تحويل متقدم.

من ناحية أخرى ، فإن أنظمة ELT متاحة بسهولة للتعامل مع البيانات غير المهيكلة ، حيث يمكنها تحميل البيانات وتحويلها بشكل أكثر كفاءة.

التدقيق المطلوب

تخضع بعض الصناعات للوائح تتطلب معالجة البيانات بطريقة معينة. على سبيل المثال ، فإن صناعة الرعاية الصحية مرتبطة بقانون HIPAA. ينص قانون الامتثال هذا على كيفية قيام الشركات بجمع أو استخدام أو مشاركة المعلومات الصحية المحمية (PHI) والمعلومات الصحية الإلكترونية المحمية (ePHI) لحماية خصوصية المرضى.

يمكن للشركة تكوين ETL لتلبية هذه المتطلبات التنظيمية ، حيث يمكن تنظيف البيانات وتحويلها قبل تحميلها إلى قاعدة البيانات الوجهة.

ELT ، بدورها ، أكثر عرضة لانتهاكات الامتثال. يقوم النظام بتحميل جميع البيانات ، بغض النظر عن طبيعتها الحساسة ، وعندها فقط يتم تحويلها أو إزالتها. يتمثل الحل البديل لهذه القيود في ضمان إجراءات قوية للأمان وإدارة البيانات.

اعمال صيانة

في أنظمة ETL و ELT ، يمكن أن تكون تكاليف الصيانة مرتفعة ولكنها تحدث في مراحل مختلفة.

باستخدام ETL ، تحتاج إلى تحديث البرامج النصية الخاصة بالاستخراج والتحويل باستمرار حيث تتغير مصادر البيانات الأولية بمرور الوقت ، مما قد يؤدي إلى زيادة تكاليف الصيانة.

مع ELT ، تحدث معظم الصيانة أثناء التحميل الأولي للبيانات على التخزين وعند تحويل البيانات. يمكن أن يصبح تخزين بيانات التحميل الأول سريعًا غير قابل للإدارة لأنه يعمل كأرضية لإغراق البيانات الأولية الواردة. يتم وضع عمليات التنظيف المنتظمة وجهود التوثيق لإدارة الحمل.

بالإضافة إلى ذلك ، يجب إعادة تصميم خطوط أنابيب التحويل في كل مرة يتغير فيها مصدر البيانات الأولية. يتطلب ذلك أعمال صيانة ولكنه يمنح المهندسين مزيدًا من المرونة ، حيث لا يتم فقد أي بيانات إذا فشل برنامج التحويل النصي في التكيف مع بنية البيانات الواردة الجديدة.

التكاليف

كما يعلم أي شخص مر بمشروع تطوير برمجيات ، فإن التكاليف يمكن أن تخرج عن نطاق السيطرة بسرعة. وعندما يتعلق الأمر بمشاريع البيانات ، فإن تكلفة تطوير حل ETL قوي يمكن أن تكون باهظة ، وهذا هو السبب في أن بعض الشركات تختار استخدام ELT بدلاً من ذلك.

باستخدام ELT ، يمكن التعامل مع الكثير من خطوة التحويل بواسطة أدوات موجودة مثل dbt أو بمساعدة SQL ، وكلاهما يميل إلى أن يكون أقل تكلفة من حلول ETL التقليدية. بالطبع ، لا تزال هناك حاجة للمطورين ذوي الخبرة الذين يعرفون كيفية استخدام هذه الأدوات بشكل فعال. ولكن بشكل عام ، من المحتمل أن تكون تكلفة تطوير حل ELT أقل بكثير من تكلفة تطوير حل ETL من البداية.

بالنسبة للمنظور ، يبلغ متوسط ​​الراتب الأساسي لمتوسط ​​المستوى إلى مهندس الخلفية الأقدم في الولايات المتحدة 124،397 دولارًا سنويًا. وفي الوقت نفسه ، يبلغ متوسط ​​الراتب لمهندس بيانات SQL أو مطور BI حوالي 91،055 دولارًا سنويًا. لذلك ، إذا كنت بحاجة إلى توظيف عدة مطورين للعمل على خط الأنابيب الخاص بك ، فإن ELT يكون أكثر فعالية من حيث التكلفة.

تجدر الإشارة إلى أن تكلفة التخزين أقل في ETL نظرًا لأنها لا تخزن البيانات الأولية ، ولكن هذا الاختلاف ليس مهمًا في حالة استخدام التخزين السحابي.

كيف تقرر بين ETL و ELT

قد يكون الاختيار بين ETL و ELT أمرًا صعبًا ، حيث أن لكل نهج إيجابيات وسلبيات. قمنا بتجميع بعض الأسئلة التي يمكن أن تساعدك في اتخاذ القرار.

ما نوع البيانات التي تحتاجها للمعالجة؟

هل بياناتك منظمة أم غير منظمة ، أم مزيج من الاثنين؟ يعتبر ETL هو الأنسب للبيانات المنظمة ، بينما يمكن لـ ELT التعامل مع البيانات المنظمة وغير المنظمة.

كم الصيانة المطلوبة؟

هل تفوق فوائد ETL تكاليف صيانتها؟ على سبيل المثال ، قد تحتاج إلى الوصول إلى محفوظات البيانات الأولية ، والتي توفرها ETL. في هذه الحالة ، قد تستحق فوائد ETL تكاليف الصيانة الإضافية.

ما مدى تعقيد خط معالجة البيانات؟

سيحدد تطور خط أنابيب معالجة البيانات ما إذا كان ETL أو ELT هو الحل الأفضل. على سبيل المثال ، يمكن لـ ETL تنفيذ منطق التحويل المعقد ولكنه يعمل بشكل أفضل مع مجموعات البيانات الأصغر ، بينما يعد ELT مثاليًا لمجموعات البيانات الكبيرة ولكن يمكنه التعامل مع أي حجم بيانات.

هل تحتاج إلى بيانات في الوقت الفعلي؟

تقوم ETL بمعالجة البيانات على دفعات ، مما يتسبب في تأخير بين وقت جمع البيانات ومتى تكون متاحة في قاعدة بيانات الوجهة. يمكن لـ ELT أيضًا معالجة البيانات على دفعات ، ولكن يمكنه أيضًا القيام بذلك في الوقت الفعلي ، وهو أمر مفيد إذا كنت بحاجة إلى بيانات محدثة.

ما مدى خبرة المطورين بتوعك؟

لا توجد إجابة واحدة تناسب الجميع على هذا السؤال ، لأنه يعتمد على المهارات والخبرة الخاصة بفريقك الهندسي. بشكل عام ، عدد المهندسين المهرة في مناهج ETL أكثر من ELT. بمجرد أن يكون لديك خط أنابيب في مكانه ، يمكن لمهندسي BI / SQL إجراء تغييرات في عملية ELT ، بينما تتطلب تغييرات ETL مطوري الخلفية المتوسطة / العليا.

سواء كان الأمر يتعلق بـ ETL أو ELT ، فقد غطت برنامج الارتجال

بغض النظر عن النهج الذي تتبعه ، يمكن أن يساعد برنامج "ارتجال" على تدفق البيانات الخاصة بك حيث تحتاج إلى الذهاب مع مجموعة واسعة من موصلات ووجهات مصدر البيانات. يمكن لفريق Improvado من مهندسي البيانات ذوي الخبرة المساعدة في تصميم وتنفيذ حل مصمم خصيصًا للوائح البيانات الداخلية والخارجية واحتياجاتك.