ETL vs. ELT: quale pipeline di dati è adatta alla tua azienda?

ETL e ELT sono metodi per spostare i dati da un luogo all'altro e trasformarli lungo il percorso. Ma qual è quello giusto per la tua attività?

Questo post confronta ETL ed ELT in termini di velocità, conservazione dei dati, scalabilità, gestione dei dati non strutturati, conformità alle normative, manutenzione e costi. Alla fine, dovresti sapere quando utilizzare ciascun metodo nella tua pipeline di dati e perché.

Punti chiave:

• ETL è stata la pipeline di dati standard per decenni grazie alla sua accuratezza, efficienza e flessibilità.
• ELT è una variante del processo ETL che prima carica i dati in un database di destinazione e poi li trasforma.
• ELT è più semplice e veloce di ETL in molti casi perché non richiede la trasformazione dei dati su un server autonomo: i dati vengono invece trasformati all'interno della destinazione.
• Alcuni vantaggi chiave di una pipeline ELT includono analisi in tempo reale, facilità di manutenzione, scalabilità, supporto di dati non strutturati e costi complessivi inferiori.

Che cos'è Estrai, trasforma, carica (ETL)?

Nel mondo degli affari, i dati sono molto simili all'acqua. Deve essere estratto da dove è stato trovato, trasportato dove è necessario e quindi conservato per un uso successivo. Questo processo è noto come ETL: estrarre, trasformare e caricare .

Come una conduttura idraulica, ETL sposta i dati da un luogo all'altro, li pulisce lungo il percorso e li archivia in una posizione centrale. La fase di estrazione corrisponde alla ricerca dell'acqua in un fiume o in un pozzo. La fase di trasformazione è quando l'acqua viene pulita e trasportata attraverso i tubi. E la fase di carico è quando l'acqua viene immagazzinata in un serbatoio.

Principali vantaggi della pipeline ETL

Ci sono molte ragioni per cui ETL è stata la pipeline di dati standard per decenni. Ad alto livello, ETL garantisce a un'azienda un unico punto di verità per i dati recuperati da fonti disparate. Poiché i dati vengono trasformati prima di essere caricati nella destinazione finale per l'analisi, ETL garantisce che i dati siano accurati e di alta qualità.

In pratica, ETL migliora l'accuratezza, l'efficienza e la flessibilità dei dati attraverso l'automazione e le trasformazioni. L'ETL è fondamentale anche per la governance dei dati. Una pipeline ben progettata mantiene una cronologia registrata, che aiuta a rispettare le politiche interne e le normative esterne. Ad esempio, lo strumento ETL di Improvado è conforme a HIPAA e SOC-2, quindi può gestire dati sensibili.

Pertanto, una pipeline ETL apre le porte alle esperienze dei clienti omnicanale, alla business intelligence e al processo decisionale basato sui dati.

Che cos'è Estrai, Carica, Trasforma (ELT)?

Estrai, carica, trasforma (ELT) è una variante del processo ETL che prima carica i dati nello storage designato e poi li trasforma.

Torniamo alla metafora dell'acqua: ELT è come quando apri il rubinetto di casa per prendere l'acqua. L'acqua è già in casa, quindi basta aprire il rubinetto ed esce. ELT è la stessa cosa per i dati. I dati sono già a destinazione, quindi basta aprire il rubinetto ed esce trasformato.

ELT ha acquisito slancio con l'introduzione di database orientati alle colonne, come ClickHouse e jQuery. In precedenza, le aziende dovevano dedicare tempo e risorse alla creazione della logica di estrazione-trasformazione per risparmiare le risorse del database. La nuova generazione di database può elaborare i dati e completare i calcoli molto più velocemente e generalmente costano meno. Pertanto, la necessità di trasformare i dati grezzi al momento del caricamento è stata eliminata.

Questa inversione del processo ETL tradizionale può semplificare la gestione della pipeline di dati e risparmiare tempo poiché è possibile eseguire la trasformazione parallelamente al caricamento. Offre un approccio più semplice e veloce alla trasformazione dei dati, in quanto non richiede la trasformazione dei dati come istanza separata. Invece, i dati vengono trasformati all'interno della destinazione, che in genere è un data warehouse.

Principali vantaggi di una pipeline ELT

ELT ha guadagnato popolarità grazie alla sua semplicità e flessibilità. I team di dati possono aggregare dati grezzi da una varietà di fonti, accedervi per ulteriori analisi in qualsiasi momento e elaborare una logica di trasformazione quando è veramente necessario.

ELT è una scelta fantastica per l'analisi dei dati in tempo reale, in quanto può caricare e trasformare i dati più velocemente di ETL. ELT è anche una scelta migliore se la tua azienda gestisce processi di trasformazione complessi o in continua evoluzione.

Inoltre, ELT è più facile da mantenere rispetto a ETL poiché non è necessario gestire un software di trasformazione separato. E offre ancora molti degli stessi vantaggi dell'ETL, come l'accuratezza e l'efficienza dei dati.

Processi ETL e ELT a confronto

Dopo aver esaminato i vantaggi di ETL e ELT, confrontiamo i due processi fianco a fianco.

Velocità

ELT è più veloce di ETL a causa della tempistica della fase di trasformazione.

Supponiamo che tu stia caricando un set di dati delle dimensioni di un terabyte. Con ETL, l'intero set di dati dovrebbe essere caricato sul server di trasformazione prima che la trasformazione possa iniziare. Ma con ELT, i dati possono essere caricati e trasformati in parallelo, riducendo significativamente il tempo complessivo necessario per completare il processo.

Ci sono, tuttavia, alcuni casi in cui ETL può essere più veloce di ELT. Questo di solito accade quando il set di dati è piccolo e può essere facilmente trasformato in un'istanza autonoma.

Conservazione dei dati grezzi

Il processo ELT estrae tutti i dati grezzi e li archivia a tempo indeterminato nel data warehouse. Le trasformazioni vengono applicate solo successivamente, se necessario, il che significa che conservi sempre il set di dati originale, utile per l'analisi cronologica e il debug.

Per ETL, prima di caricare i dati nel data warehouse di destinazione o nel database di tua scelta, i dati subiscono trasformazioni estese. Quindi ETL potrebbe trasformare i dati in una forma aggregata per risparmiare spazio, rendendo difficile risalire ai valori originali a meno che non si carichino sia i dati originali che quelli trasformati in una destinazione. Se si desidera modificare i dati di output o se l'origine dati non elaborata cambia, è necessario riscrivere gli script di estrazione-trasformazione (poiché si presenta come uno).

Scalabilità

ELT è più flessibile perché tutti e tre i passaggi (estrazione, caricamento e trasformazione) vengono eseguiti separatamente. Ciò semplifica il ridimensionamento e la modifica di tutto ciò che desideri nel processo.

D'altra parte, ETL è più rigido perché il livello di trasformazione ha una limitazione intrinseca. È più difficile evolversi man mano che la tua azienda cresce, ad esempio se desideri aggiungere funzionalità avanzate come estrazioni pianificate, estrazioni parallele, logica di trasformazione avanzata, ecc. Richiede anche più risorse rispetto alla modifica di ELT, poiché è necessario modificare contemporaneamente entrambe le estremità di il processo. Dopotutto, ciò che fa l'uno influisce sull'altro.

Lo stesso vale per i processi di garanzia della qualità. Con ETL, poiché l'estrazione e la trasformazione si uniscono, è necessario più lavoro per impostare i processi di QA e testare il prodotto. Comparativamente, la logica ELT, in cui prima estrai e carichi i tuoi dati e solo successivamente li trasformi, è molto più facile da testare.

Dati non strutturati

I sistemi ETL non sono adatti per gestire dati non strutturati, come file di registro, dati di social media e messaggi di posta elettronica: sono progettati per funzionare con dati strutturati organizzati in righe e colonne. ETL può essere adattato per gestire dati non strutturati, ma solo con un motore di trasformazione avanzato.

D'altra parte, i sistemi ELT sono prontamente disponibili per gestire dati non strutturati, in quanto possono caricare e trasformare i dati in modo più efficiente.

Conformità normativa

Alcuni settori sono soggetti a normative che richiedono l'elaborazione dei dati in un modo specifico. Ad esempio, il settore sanitario è vincolato all'HIPAA. Questa legislazione sulla conformità stabilisce come le aziende possono raccogliere, utilizzare o condividere informazioni sanitarie protette (PHI) e informazioni sanitarie protette elettroniche (ePHI) per proteggere la privacy dei pazienti.

Un'azienda può configurare ETL per soddisfare questi requisiti normativi, in quanto i dati possono essere puliti e trasformati prima di essere caricati nel database di destinazione.

L'ELT, a sua volta, è più soggetto a violazioni della conformità. Il sistema carica tutti i dati, indipendentemente dalla loro natura sensibile, e solo successivamente viene trasformato o rimosso. La soluzione alternativa per queste limitazioni consiste nel garantire solide misure di sicurezza e governance dei dati.

Manutenzione

Nei sistemi ETL e ELT, i costi di manutenzione possono essere elevati ma si verificano in fasi diverse.

Con ETL, è necessario aggiornare costantemente gli script di estrazione-trasformazione man mano che le origini dati non elaborate cambiano nel tempo, il che può comportare un aumento del sovraccarico di manutenzione.

Con ELT, la maggior parte della manutenzione avviene durante il caricamento iniziale dei dati nell'archiviazione e durante la trasformazione dei dati. L'archiviazione dei dati di primo caricamento può rapidamente diventare ingestibile perché funge da discarica per i dati grezzi in arrivo. Vengono messe in atto attività di pulizia e documentazione regolari per gestire il carico.

Inoltre, le pipeline di trasformazione devono essere riprogettate ogni volta che viene modificata un'origine dati non elaborata. Ciò richiede un lavoro di manutenzione, ma offre agli ingegneri una maggiore flessibilità, poiché nessun dato viene perso se uno script di trasformazione non riesce ad adattarsi alla nuova struttura di dati in arrivo.

Costi

Come sa chiunque abbia partecipato a un progetto di sviluppo software, i costi possono rapidamente andare fuori controllo. E quando si tratta di progetti di dati, il costo dello sviluppo di una solida soluzione ETL può essere proibitivo, motivo per cui alcune aziende scelgono invece di utilizzare ELT.

Con ELT, gran parte della fase di trasformazione può essere gestita da strumenti esistenti come dbt o con l'aiuto di SQL, entrambi i quali tendono ad essere meno costosi rispetto alle tradizionali soluzioni ETL. Naturalmente, c'è ancora bisogno di sviluppatori esperti che sappiano utilizzare questi strumenti in modo efficace. Ma nel complesso, il costo di sviluppo di una soluzione ELT è probabilmente significativamente inferiore al costo di sviluppo di una soluzione ETL da zero.

In prospettiva, lo stipendio base medio di un ingegnere back-end di livello medio-senior negli Stati Uniti è di $ 124.397 all'anno. Nel frattempo, lo stipendio medio di un ingegnere di dati SQL o di uno sviluppatore BI è di circa $ 91.055 all'anno. Quindi, se hai bisogno di assumere più sviluppatori per lavorare sulla tua pipeline, ELT è più conveniente.

Vale la pena riconoscere che il costo dell'archiviazione è inferiore in ETL poiché non archivia dati grezzi, ma questa differenza non è significativa se si utilizza l'archiviazione cloud.

Come decidere tra ETL e ELT

Decidere tra ETL e ELT può essere difficile, poiché ogni approccio ha pro e contro. Abbiamo raccolto alcune domande che possono aiutarti a prendere la decisione.

Che tipo di dati devi elaborare?

I tuoi dati sono strutturati o non strutturati o un mix di entrambi? ETL è più adatto per i dati strutturati, mentre ELT può gestire sia dati strutturati che non strutturati.

Quanta manutenzione è necessaria?

I vantaggi di ETL superano i costi di manutenzione? Ad esempio, potresti aver bisogno di accedere alla cronologia dei dati grezzi, fornita da ETL. In questo caso, i vantaggi dell'ETL possono valere i costi di manutenzione aggiuntivi.

Quanto è complessa la pipeline di elaborazione dei dati?

La sofisticatezza della tua pipeline di elaborazione dati determinerà se ETL o ELT è la soluzione migliore. Ad esempio, ETL può eseguire complesse logiche di trasformazione ma offre prestazioni migliori con set di dati più piccoli, mentre ELT è ideale per set di dati di grandi dimensioni ma può gestire dati di qualsiasi dimensione.

Hai bisogno di dati in tempo reale?

ETL elabora i dati in batch, causando un ritardo tra il momento in cui i dati vengono raccolti e il momento in cui sono disponibili nel database di destinazione. ELT può anche elaborare i dati in batch, ma può anche farlo in tempo reale, il che è utile se hai bisogno di dati aggiornati al minuto.

Quanto sono esperti i tuoi sviluppatori?

Non esiste una risposta univoca a questa domanda, poiché dipende dalle competenze e dall'esperienza specifiche del tuo team di ingegneri. In generale, più ingegneri sono esperti negli approcci ETL che in ELT. Una volta che si dispone di una pipeline di dati, gli ingegneri BI/SQL possono apportare modifiche al processo ELT, mentre le modifiche ETL richiedono sviluppatori back-end mid/senior.

Che si tratti di ETL o ELT, Improvado ti copre

Indipendentemente dal tuo approccio, Improvado può aiutare i tuoi dati a fluire dove devono andare con la sua vasta gamma di connettori e destinazioni di origini dati. Il team di ingegneri di dati esperti di Improvado può aiutare a progettare e implementare una soluzione su misura per le normative e le esigenze dei dati interni ed esterni.