Costruisci vs. Acquista ETL: vale la pena preoccuparsi dei dati per creare un ETL?

Le esigenze dei dati si sono evolute molto rapidamente per le aziende nell'ultimo decennio, con stime per il mercato globale dei dati che raggiungerà i 180 zettabyte entro il 2025.

In questa trasformazione aziendale, una solida infrastruttura dati è uno degli elementi chiave per garantire che i grandi volumi di dati raccolti da un'organizzazione non rimangano una risorsa sottoutilizzata. Di fronte a una barriera tecnologica, le aziende incontrano un dilemma: se costruire una pipeline di dati, vale a dire ETL, internamente o acquistare una soluzione già pronta.

Comprendere i pro e i contro di entrambe le soluzioni e quali rischi di reputazione e sicurezza comportano malfunzionamenti nelle pipeline di dati ti aiuterà a fare la scelta giusta per la tua azienda.

Punti chiave

• Le pipeline ETL sono costituite da tre processi distinti: l'estrazione dei dati, la loro trasformazione e il caricamento dei dati nella destinazione scelta.
• La creazione di un ETL richiede ampie risorse umane, costi iniziali e manutenzione continua.
• L'acquisto di un ETL ti consente di accedere quasi istantaneamente alle origini dati più utilizzate con meno input da parte dei tuoi team.
• Le pipeline predefinite si adattano facilmente e soddisfano i requisiti di conformità del settore.
• Con l'aumentare del valore potenziale dei dati, le aziende hanno bisogno di una rapida acquisizione di dati per prendere decisioni aziendali valide e rimanere competitive.

Marketing ETL Building Blocks

ETL, o estrarre, trasformare e caricare, è il processo in cui i dati vengono estratti da una o più fonti, trasformati e quindi caricati in un endpoint.

Una guida per principianti ai processi ETL: Spiegazione delle fasi e dei vantaggi ETL

I componenti principali che garantiscono il libero flusso dei dati in ogni fase sono:

• Connettori origine dati: per raccogliere dati da Google Ads Manager, Shopify, Twitter Ads o qualsiasi altra origine dati, devi prima stabilire un connettore, solitamente un'API aperta. Alcune applicazioni non forniscono API aperte o utilizzano file raw. Una soluzione ETL deve essere in grado di elaborare più formati di dati.
• Livello di estrazione: un software complicato che estrae i dati dalle posizioni di origine a un'area di staging, dove attende la fase successiva della pipeline. Il livello di estrazione sfrutta l'API per recuperare i dati, ma la difficoltà sta nel recuperare i dati correttamente, in tempo, in base all'ultima versione dell'API e ai requisiti interni ed esterni. La cosa fondamentale qui è supportare il livello di estrazione con uno stack tecnologico durevole. I grandi dipartimenti di marketing possono importare 50.000 righe di dati e altro ancora. Se il back-end non è in grado di elaborare questa quantità di dati, l'output finale potrebbe essere frammentato o contenere dati incompleti.
• Motore di trasformazione: prende i dati grezzi, spesso in formati inutilizzabili o disgiunti, e li riformatta in tipi di valore coerenti per prepararli all'analisi. I tipi più comuni di trasformazione dei dati includono la pulizia, la deduplicazione, la standardizzazione e altro ancora. Considerando che la maggior parte dei marketer non ha esperienza in SQL (spesso utilizzato per applicare le trasformazioni), il motore necessita di un'interfaccia utente chiara e concisa.
• Logica di caricamento: l'ultima tappa della pipeline ETL, dove i dati trasformati vengono caricati nella loro destinazione finale: uno strumento di BI, visualizzazione o analisi o un data warehouse. È altamente utilizzabile e dovrebbe integrarsi facilmente con la soluzione di visualizzazione di tua scelta.

Tutti i componenti sopra menzionati dovrebbero anche essere scalabili man mano che l'azienda e le sue esigenze di dati crescono.

Questa è una descrizione di alto livello degli elementi costitutivi del sistema ETL. La domanda è se dovresti codificarli a mano o optare per l'acquisto di una soluzione già pronta.

Investimento anticipato dell'acquisto rispetto alla costruzione di un ETL

C'è molto di più nel costo di un ETL oltre al semplice prezzo.

Costruire un ETL

La larghezza di banda e il costo dell'ingegneria sono le prime cose da considerare. Un progetto di queste dimensioni e complessità richiederà mesi per essere completato, con costi che si accumulano.

Inoltre, la maggior parte dei progetti ETL richiede una quantità significativa di spazio di archiviazione nel cloud in un data warehouse, il che rappresenta un costo sia nello scenario di costruzione che in quello di acquisto. Tuttavia, quando crei il tuo, devi anche capire la logistica dell'approvvigionamento di ulteriori servizi di gestione del data warehouse, incluso come preventivare i costi di aumento e riduzione quando necessario.

Dopo aver creato e implementato il sistema, aspettati di dedicare tempo e budget ai materiali di formazione per mantenere aggiornati i tuoi team su come eseguire le trasformazioni, collegare le origini dati e ottenere il massimo dai dati presentati.

Acquistare un ETL

Il costo per l'acquisto di un ETL è un po' più semplice. Hai un prezzo del piano di servizio mensile o annuale, quindi non è necessario trovare personale di sviluppo, aggiornamenti del servizio cloud o formazione approfondita per comprendere l'infrastruttura ETL.

Sono incluse le risorse di onboarding, come le guide per l'utente e la documentazione tecnica. Nuovi documenti di formazione vengono costantemente aggiunti, quindi non dovrai utilizzare risorse interne aggiuntive.

Complessità di sviluppo

Costruire una pipeline ETL è di per sé un compito impegnativo e tecnicamente impegnativo. La creazione di un ETL per un reparto marketing richiede competenze di marketing, che potrebbero mancare agli sviluppatori provenienti dai team di prodotto.

Costruire un ETL

Durante la creazione del tuo ETL, gli sviluppatori dedicano molto tempo ed energia alla connessione iniziale delle origini dati. Quindi, le API hanno spesso bisogno di modifiche per funzionare per i tuoi sistemi nazionali, ammesso che le API vengano offerte. È anche probabile che una piattaforma non disponga di un'API, costringendo i tuoi sviluppatori a estrarre i dati in altri modi.

Cosa succede quando identifichi un'origine dati da includere nella tua pipeline? Le integrazioni dei dati possono richiedere fino a 6,5 ​​settimane di tempo di implementazione, a condizione che non si verifichino errori e che la tua infrastruttura sia aggiornata e sicura.

Man mano che vengono aggiunti nuovi connettori API, aspettati più tempo in attesa di tali dati, poiché non sono un evento plug-and-play. Aspettatevi che di tanto in tanto si intrufolino dati potenzialmente errati poiché le persone commettono errori.

E questo è solo un componente della pipeline ETL.

Acquistare un ETL

L'acquisto di un ETL libera te e il tuo team di sviluppo dalla lunga lista di cose da fare per creare o adattare ogni API che usi, ogni trasformazione che applichi o la destinazione che connetti.

Tornando all'esempio dell'API: una volta configurata la pipeline, puoi scegliere le origini dati dall'elenco e connetterti in pochi clic. Man mano che vengono aggiunti nuovi connettori di origine dati, l'accesso e la visualizzazione dei dati è quasi immediato.

Cosa succede se desideri estrarre i dati da un'applicazione che il fornitore non supporta? Aziende rispettabili possono gestire anche questi, in molto meno tempo che se i tuoi sviluppatori stessero creando il connettore. Improvado, ad esempio, ha un sistema di crediti DECS (Data Extraction Customization Services). Un cliente riceve crediti DECS pari al 20% del proprio piano di fatturazione e può utilizzare questi crediti per API personalizzate, importazione di file e altre esigenze di estrazione.

Costi di manutenzione

Tutto ha bisogno di manutenzione e la tua pipeline ETL non fa eccezione.

Costruire un ETL

Indipendentemente da ciò che fai, vengono assunti nuovi costi ogni volta che mantieni la tua tecnologia. Questo accade quando:

• Le origini dati cambiano i metodi di output o di connessione, cosa che accade molto spesso. Ad esempio, l'API di Google Ads si deprezza con il rilascio di ogni nuova versione, il che non lascia altra scelta che migrare a una nuova API. E la durata media di una versione è di 12 mesi.
• Il modo in cui utilizzi i dati cambia.
• Come cambiano i dati che utilizzi rispetto ad altri dati.
• Le misure di conformità richiedono l'aggiornamento dei processi o dell'archiviazione dei dati.

C'è una tale necessità di assistenza nell'aiutare le pipeline interne a migrare i dati che intere aziende sono state costruite su questo tipo di supporto.

Acquistare un ETL

Cosa succede quando acquisti la tua pipeline e qualcosa deve essere riparato? Il fornitore lo gestisce automaticamente come parte del processo di aggiornamento. Man mano che gli output dell'origine dati cambiano, la tecnologia viene aggiornata per te e anche le normative del settore rimangono al primo posto.

L'acquisto di una pipeline di dati ti consente di accedere ai team di supporto per aiutarti con qualsiasi richiesta tecnica o problema che potresti incontrare, riducendo così i problemi di manutenzione durante la scalabilità.

Utilità-prezzo

I dati perdono valore nel tempo, come riconosciuto in questo documento su tempo e deperibilità. Ogni momento trascorso a creare o modificare le pipeline e non raccogliere dati utilizzabili porta a una diminuzione del valore di tali dati per la tua azienda.

Costruire un ETL

I lunghi tempi di implementazione, inclusi test e implementazione, significano che i dati periscono mentre risolvi le cose. Ciò ti lascerà meno competitivo rispetto ad altre aziende del tuo settore che potrebbero disporre di dati pronti per essere utilizzati con la semplice pressione di un pulsante.

Non è raro che un ETL richieda mesi, o addirittura anni, dalla fase concettuale alla produzione di dati utilizzabili. Se altre aziende nella tua nicchia stanno già agendo sui dati, non ci vorrà molto per rimanere indietro.

Acquistare un ETL

Solo tu puoi definire cosa significano per te i dati aziendali, ma il mercato globale del software di analisi aziendale ha raggiunto i 67 miliardi di dollari nel 2019. Con così tanti investimenti nell'acquisizione e nell'analisi dei dati, le aziende che saltano in prima linea con una pipeline di dati acquistata possono creare più valore rispetto ai concorrenti.

Con una pipeline pronta a diffondere i dati, puoi utilizzarli immediatamente nel modo che guida al meglio le tue decisioni aziendali.

Rischi e altri problemi di sicurezza

Un incredibile 21% dei file aziendali archiviati nel cloud contiene dati sensibili. La tua scelta della pipeline di dati dovrebbe considerare quanti dei tuoi dati potrebbero essere a rischio senza rigorose misure di sicurezza.

Costruire un ETL

Il continuo cambiamento delle normative di conformità, come l'assistenza sanitaria o la finanza, significa continui aggiornamenti della tua pipeline e un possibile incubo di manutenzione per rimanere legale e proteggere i dati importanti dei tuoi clienti e partner. Il solo costo degli audit dei dati può distorcere il prezzo dello sviluppo della pipeline, ma anche l'aggiunta di potenziali multe per violazione della protezione dei dati e delle regole di conformità rappresenta un vero rischio finanziario e reputazionale.

Acquistare un ETL

Con una pipeline predefinita, la conformità è integrata e non è necessario che i tuoi sviluppatori apprendano le best practice normative al di fuori delle loro competenze e quindi modifichino le cose per essere conformi.

Man mano che i requisiti del settore, come HIPAA o SOC 2, cambiano, la tua pipeline si aggiorna automaticamente per soddisfarli, anche nei casi in cui non stai seguendo tu stesso le modifiche.

Le industrie bancarie, sanitarie e dei servizi sociali sono molto da tenere al passo. Non puoi nemmeno iniziare ad anticipare come il cambiamento delle normative metta sotto pressione i tuoi team affinché rimangano conformi, ma una pipeline predefinita elimina questo stress.

Prestazioni e scalabilità

Molti fattori influenzano le prestazioni, dall'infrastruttura all'errore umano.

Costruire un ETL

Quando crei il tuo ETL, il processo è pieno di opportunità di errore umano. . Ad esempio, basta un solo errore di ortografia per far deragliare un'intera origine dati.

Inoltre, ogni nuova fonte richiede la scrittura di nuovo codice, il test, l'implementazione e la conversione del formato, un uso molto inefficiente del tempo dei tuoi sviluppatori che potrebbe scoraggiare il ridimensionamento nei momenti cruciali.

Potresti riscontrare ritardi nell'ottenere i risultati dei dati a causa di errori di connessione al cloud o di risorse di elaborazione da parte tua. Sei l'unico responsabile di far funzionare bene le cose.

Acquistare un ETL

L'infrastruttura viene trasferita al fornitore, quindi non hai il compito di mantenere tutte le risorse di cloud computing in loco o di pagare per più fornitori di cloud. Puoi anche eseguire lo scale up in qualsiasi momento per ricevere l'accesso a più righe, connettori e altro ancora.

Perché ETL non dovrebbe essere fai-da-te

Molti leader aziendali sono innovativi, adatti e motivati ​​ad adottare un approccio fai-da-te alle pipeline ETL. Con l'incertezza dei mercati del lavoro, l'elevato costo delle risorse e il fatto indiscutibile che i dati si degradano nel tempo, aspettare di gestire le cose da soli può metterti in un significativo svantaggio di mercato.

La scelta di un ETL predefinito da Improvado ti garantisce l'accesso a nuovi dati, mettendoti nella posizione di prendere decisioni aziendali significative sui mercati odierni.

Con oltre 300 integrazioni di dati (e in crescita), puoi combinare e abbinare le fonti per ottenere una visione completa dei percorsi dei clienti, dei dati finanziari, della spesa pubblicitaria e altro ancora, il tutto senza i grattacapi di conformità e i costi di manutenzione continui associati all'attività da soli.

Man mano che i mercati, le normative e le fonti di dati cambiano, Improvado adeguerà i propri processi per stare al passo con le richieste di integrità e sicurezza dei dati. È la scelta ideale per le aziende che apprezzano il processo decisionale basato sui dati.