ETL ou ELT : quel pipeline de données convient à votre entreprise ?

ETL et ELT sont des méthodes permettant de déplacer des données d'un endroit à un autre et de les transformer en cours de route. Mais lequel convient le mieux à votre entreprise ?

Cet article compare ETL et ELT en termes de vitesse, de conservation des données, d'évolutivité, de gestion des données non structurées, de conformité réglementaire, de maintenance et de coûts. À la fin, vous devez savoir quand utiliser chaque méthode dans votre pipeline de données et pourquoi.

Points clés à retenir:

• ETL est le pipeline de données standard depuis des décennies en raison de sa précision, de son efficacité et de sa flexibilité.
• ELT est une variante du processus ETL qui charge d'abord les données dans une base de données cible, puis les transforme.
• L'ELT est plus simple et plus rapide que l'ETL dans de nombreux cas, car il ne nécessite pas de transformation des données sur un serveur autonome. Les données sont plutôt transformées dans la destination.
• Parmi les principaux avantages d'un pipeline ELT, citons l'analyse en temps réel, la facilité de maintenance, l'évolutivité, la prise en charge des données non structurées et la réduction des coûts globaux.

Qu'est-ce que l'extraction, la transformation, le chargement (ETL) ?

Dans le monde des affaires, les données ressemblent beaucoup à de l'eau. Il doit être extrait de l'endroit où il se trouve, transporté là où il est nécessaire, puis stocké pour une utilisation ultérieure. Ce processus est connu sous le nom d' ETL : extraire, transformer et charger .

Comme un pipeline de plomberie, ETL déplace les données d'un endroit à un autre, les nettoie en cours de route et les stocke dans un emplacement central. L'étape d'extraction correspond à la recherche d'eau dans une rivière ou un puits. L'étape de transformation est lorsque l'eau est nettoyée et transportée à travers des tuyaux. Et l'étape de charge est lorsque l'eau est stockée dans un réservoir.

Principaux avantages du pipeline ETL

Il existe de nombreuses raisons pour lesquelles ETL est le pipeline de données standard depuis des décennies. À un niveau élevé, ETL garantit qu'une entreprise dispose d'un point de vérité unique pour les données extraites de sources disparates. Étant donné que les données sont transformées avant le chargement vers la destination finale pour analyse, ETL garantit que les données sont de haute qualité et précises.

Concrètement, ETL améliore la précision, l'efficacité et la flexibilité des données grâce à l'automatisation et aux transformations. L'ETL est également crucial pour la gouvernance des données. Un pipeline bien conçu conserve un historique enregistré, ce qui contribue à la conformité aux politiques internes et aux réglementations externes. Par exemple, l'outil ETL d'Improvado est conforme aux normes HIPAA et SOC-2, il peut donc gérer des données sensibles.

Ainsi, un pipeline ETL ouvre les portes aux expériences client omnicanales, à l'intelligence d'affaires et à la prise de décision basée sur les données.

Qu'est-ce que l'extraction, le chargement, la transformation (ELT) ?

Extraire, charger, transformer (ELT) est une variante du processus ETL qui charge d'abord les données dans le stockage désigné, puis les transforme.

Revenons à la métaphore de l'eau : L'ELT, c'est comme quand vous ouvrez le robinet de votre maison pour obtenir de l'eau. L'eau est déjà dans la maison, il suffit donc d'ouvrir le robinet et elle sort. ELT est la même chose pour les données. Les données sont déjà à destination, il suffit donc d'ouvrir le robinet, et elles ressortent transformées.

ELT a pris de l'ampleur avec l'introduction de bases de données orientées colonnes, comme ClickHouse et jQuery. Auparavant, les entreprises devaient consacrer du temps et des ressources à la création de la logique d'extraction-transformation pour économiser les ressources de la base de données. La nouvelle génération de bases de données peut traiter les données et effectuer des calculs beaucoup plus rapidement, et elles coûtent généralement moins cher. Ainsi, la nécessité de transformer les données brutes lors de leur chargement a été éliminée.

Cette inversion du processus ETL traditionnel peut simplifier la gestion du pipeline de données et gagner du temps puisque vous pouvez effectuer une transformation parallèlement au chargement. Il offre une approche plus simple et plus rapide de la transformation des données, car il ne nécessite pas de transformation des données en tant qu'instance distincte. Au lieu de cela, les données sont transformées dans la destination, qui est généralement un entrepôt de données.

Principaux avantages d'un pipeline ELT

ELT a gagné en popularité en raison de sa simplicité et de sa flexibilité. Les équipes de données peuvent agréger des données brutes provenant de diverses sources, y accéder pour une analyse plus approfondie à tout moment et proposer une logique de transformation lorsque cela est vraiment nécessaire.

ELT est un choix fantastique pour l'analyse de données en temps réel, car il peut charger et transformer des données plus rapidement qu'ETL. ELT est également un meilleur choix si votre entreprise gère des processus de transformation complexes ou en constante évolution.

De plus, ELT est plus facile à maintenir qu'ETL car il n'est pas nécessaire de gérer un logiciel de transformation séparé. Et il offre toujours bon nombre des mêmes avantages que l'ETL, tels que l'exactitude et l'efficacité des données.

Comparaison des processus ETL et ELT

Après avoir examiné les avantages d'ETL et d'ELT, comparons les deux processus côte à côte.

La rapidité

L'ELT est plus rapide que l'ETL en raison du moment de l'étape de transformation.

Supposons que vous chargez un ensemble de données d'une taille d'un téraoctet. Avec ETL, l'intégralité de l'ensemble de données devrait être chargée sur le serveur de transformation avant que la transformation puisse commencer. Mais avec ELT, les données peuvent être chargées et transformées en parallèle, ce qui réduit considérablement le temps global nécessaire pour terminer le processus.

Il existe cependant des cas où l'ETL peut être plus rapide que l'ELT. C'est généralement lorsque l'ensemble de données est petit et peut être facilement transformé sur une instance autonome.

Conservation des données brutes

Le processus ELT extrait toutes les données brutes et les stocke indéfiniment dans votre entrepôt de données. Les transformations ne sont appliquées qu'ultérieurement si nécessaire, ce qui signifie que vous conservez toujours l'ensemble de données d'origine, ce qui est utile pour l'analyse historique et le débogage.

Pour ETL, avant de charger les données dans l'entrepôt de données ou la base de données cible de votre choix, les données subissent d'importantes transformations. Ainsi, ETL peut transformer les données sous une forme agrégée pour économiser de l'espace, ce qui rend difficile la traçabilité des valeurs d'origine, sauf si vous chargez à la fois les données d'origine et transformées vers une destination. Si vous souhaitez modifier les données de sortie ou si la source de données brutes change, vous devez réécrire les scripts d'extraction-transformation (car il s'agit d'un seul).

Évolutivité

L'ELT est plus flexible car les trois étapes (extraction, chargement et transformation) sont effectuées séparément. Cela facilite la mise à l'échelle et la modification de tout ce que vous voulez dans le processus.

D'autre part, ETL est plus rigide car la couche de transformation a une limitation inhérente. Il est plus difficile d'évoluer à mesure que votre entreprise se développe, par exemple, si vous souhaitez ajouter des fonctionnalités avancées telles que des extractions planifiées, des extractions parallèles, une logique de transformation avancée, etc. Cela nécessite également plus de ressources que de peaufiner ELT, car vous devez modifier simultanément les deux extrémités de le processus. Après tout, ce que l'un fait affecte l'autre.

Il en va de même pour les processus d'assurance qualité. Avec ETL, étant donné que l'extraction et la transformation se rejoignent, il faut plus de travail pour mettre en place des processus d'assurance qualité et tester le produit. Comparativement, la logique ELT, où vous extrayez et chargez d'abord vos données et ensuite seulement les transformez, est beaucoup plus facile à tester.

Données non structurées

Les systèmes ETL ne sont pas bien adaptés pour traiter des données non structurées, telles que les fichiers journaux, les données des réseaux sociaux et les e-mails. Ils sont conçus pour fonctionner avec des données structurées organisées en lignes et en colonnes. ETL peut être adapté pour gérer des données non structurées, mais uniquement avec un moteur de transformation avancé.

D'autre part, les systèmes ELT sont facilement disponibles pour traiter les données non structurées, car ils peuvent charger et transformer les données plus efficacement.

Conformité réglementaire

Certaines industries sont soumises à des réglementations qui imposent un traitement spécifique des données. Par exemple, le secteur de la santé est lié à HIPAA. Cette législation sur la conformité indique comment les entreprises peuvent collecter, utiliser ou partager des informations de santé protégées (PHI) et des informations de santé électroniques protégées (ePHI) pour protéger la vie privée des patients.

Une entreprise peut configurer ETL pour répondre à ces exigences réglementaires, car les données peuvent être nettoyées et transformées avant d'être chargées dans la base de données de destination.

L'ELT, à son tour, est plus sujette aux violations de conformité. Le système charge toutes les données, quelle que soit leur nature sensible, et ce n'est qu'ensuite qu'elles sont transformées ou supprimées. La solution à ces limitations consiste à garantir des mesures de sécurité et de gouvernance des données solides.

Entretien

Dans les systèmes ETL et ELT, les coûts de maintenance peuvent être élevés mais surviennent à différentes étapes.

Avec ETL, vous devez constamment mettre à jour les scripts d'extraction-transformation à mesure que les sources de données brutes changent au fil du temps, ce qui peut entraîner une augmentation des frais de maintenance.

Avec ELT, la plupart des opérations de maintenance ont lieu lors du chargement initial des données dans le stockage et lors de la transformation des données. Le stockage de données de premier chargement peut rapidement devenir ingérable car il agit comme un dépotoir pour les données brutes entrantes. Des nettoyages réguliers et des efforts de documentation sont mis en place pour gérer la charge.

De plus, les pipelines de transformation doivent être repensés chaque fois qu'une source de données brutes change. Cela nécessite des travaux de maintenance mais donne aux ingénieurs plus de flexibilité, car aucune donnée n'est perdue si un script de transformation ne s'adapte pas à la nouvelle structure de données entrantes.

Frais

Comme le savent tous ceux qui ont participé à un projet de développement de logiciels, les coûts peuvent rapidement devenir incontrôlables. Et lorsqu'il s'agit de projets de données, le coût de développement d'une solution ETL robuste peut être prohibitif, c'est pourquoi certaines entreprises choisissent plutôt d'opter pour ELT.

Avec ELT, une grande partie de l'étape de transformation peut être gérée par des outils existants comme dbt ou avec l'aide de SQL, qui ont tendance à être moins coûteux que les solutions ETL traditionnelles. Bien sûr, il y a toujours un besoin de développeurs expérimentés qui savent utiliser ces outils efficacement. Mais dans l'ensemble, le coût de développement d'une solution ELT est probablement nettement inférieur au coût de développement d'une solution ETL à partir de zéro.

Pour la perspective, le salaire de base moyen d'un ingénieur backend de niveau intermédiaire à senior aux États-Unis est de 124 397 $ par an. Pendant ce temps, le salaire moyen d'un ingénieur de données SQL ou d'un développeur BI est d'environ 91 055 $ par an. Ainsi, si vous devez embaucher plusieurs développeurs pour travailler sur votre pipeline, ELT est plus rentable.

Il convient de reconnaître que le coût du stockage est inférieur dans ETL car il ne stocke pas de données brutes, mais cette différence n'est pas significative si vous utilisez le stockage dans le cloud.

Comment choisir entre ETL et ELT

Décider entre ETL et ELT peut être difficile, car chaque approche a ses avantages et ses inconvénients. Nous avons compilé quelques questions qui peuvent vous aider à prendre la décision.

Quel type de données devez-vous traiter ?

Vos données sont-elles structurées ou non structurées, ou un mélange des deux ? L'ETL est le mieux adapté aux données structurées, tandis que l'ELT peut gérer à la fois les données structurées et non structurées.

Combien d'entretien est nécessaire?

Les avantages d'ETL l'emportent-ils sur les coûts de sa maintenance ? Par exemple, vous devrez peut-être accéder à l'historique des données brutes, fourni par ETL. Dans ce cas, les avantages d'ETL peuvent valoir les coûts de maintenance supplémentaires.

Quelle est la complexité du pipeline de traitement des données ?

La sophistication de votre pipeline de traitement de données déterminera si ETL ou ELT est la meilleure solution. Par exemple, ETL peut exécuter une logique de transformation complexe mais fonctionne mieux avec des ensembles de données plus petits, tandis qu'ELT est idéal pour les grands ensembles de données mais peut gérer n'importe quelle taille de données.

Avez-vous besoin de données en temps réel ?

ETL traite les données par lots, ce qui entraîne un délai entre le moment où les données sont collectées et le moment où elles sont disponibles dans la base de données de destination. L'ELT peut également traiter les données par lots, mais il peut également le faire en temps réel, ce qui est utile si vous avez besoin de données à jour.

Quelle est l'expérience de vos développeurs ?

Il n'y a pas de réponse unique à cette question, car cela dépend des compétences et de l'expérience spécifiques de votre équipe d'ingénieurs. D'une manière générale, plus d'ingénieurs sont compétents dans les approches ETL que dans l'ELT. Une fois que vous avez mis en place un pipeline de données, les ingénieurs BI/SQL peuvent apporter des modifications au processus ELT, tandis que les modifications ETL nécessitent des développeurs backend intermédiaires/seniors.

Qu'il s'agisse d'ETL ou d'ELT, Improvado a ce qu'il vous faut

Quelle que soit votre approche, Improvado peut aider vos données à circuler là où elles doivent aller grâce à sa large gamme de connecteurs de sources de données et de destinations. L'équipe d'ingénieurs de données expérimentés d'Improvado peut vous aider à concevoir et à mettre en œuvre une solution adaptée spécifiquement à vos réglementations et besoins internes et externes en matière de données.