Construiește vs. Cumpărați ETL: Merită să creați un ETL?

Nevoile de date au evoluat foarte rapid pentru companii în ultimul deceniu, estimându-se că piața globală de date va ajunge la 180 zettabytes până în 2025.

În această transformare a afacerii, infrastructura robustă de date este unul dintre elementele cheie pentru a se asigura că volumele mari de date colectate de o organizație nu rămân un activ subutilizat. Confruntându-se cu o barieră tehnologică, companiile se confruntă cu o dilemă: dacă să construiască o conductă de date, și anume ETL, in-house sau să cumpere o soluție gata făcută.

Înțelegerea avantajelor și dezavantajelor ambelor soluții și a riscurilor pentru reputație și securitate pe care le prezintă disfuncționalitățile în conductele de date vă va ajuta să faceți alegerea potrivită pentru compania dvs.

Recomandări cheie

• Conductele ETL constau din trei procese distincte: extragerea datelor, transformarea acestora și încărcarea datelor la destinația dorită.
• Construirea unui ETL necesită resurse umane extinse, costuri inițiale și întreținere continuă.
• Cumpărarea unui ETL vă oferă acces aproape instantaneu la cele mai utilizate surse de date, cu mai puține intrări din partea echipelor dvs.
• Conductele prefabricate se scalează ușor și îndeplinesc cerințele de conformitate a industriei.
• Pe măsură ce datele cresc în valoare potențială, companiile au nevoie de câștiguri rapide de date pentru a lua decizii de afaceri solide și a rămâne competitive.

Blocuri de construcție ETL de marketing

ETL, sau extragerea, transformarea și încărcarea, este procesul prin care datele sunt extrase dintr-una sau mai multe surse, transformate și apoi încărcate într-un punct final.

Un ghid pentru începători pentru procesele ETL: explicate etapele și beneficiile ETL

Componentele majore care asigură fluxul liber al datelor prin fiecare fază sunt:

• Conectori surse de date: pentru a aduna date de la Google Ads Manager, Shopify, Twitter Ads sau orice altă sursă de date, trebuie mai întâi să stabiliți un conector, de obicei un API deschis. Unele aplicații nu oferă API deschise sau nu folosesc fișiere brute. O soluție ETL trebuie să poată procesa mai multe formate de date.
• Strat de extracție: o piesă complicată de software care extrage date din locațiile sursă într-o zonă de pregătire, unde așteaptă următoarea fază în proces. Stratul de extracție folosește API-ul pentru a prelua date, dar dificultatea vine în a prelua datele corect, la timp, conform celei mai recente versiuni API și cerințelor interne și externe. Lucrul critic aici este să susțineți stratul de extracție cu o stivă de tehnologie durabilă. Marile departamente de marketing pot ingera 50.000 de rânduri de date și multe altele. Dacă backend-ul nu poate procesa această cantitate de date, rezultatul final ar putea fi spart sau să conțină date incomplete.
• Motor de transformare: preia date brute, adesea în formate inutilizabile sau disjunctive, și le reformatează în tipuri de valori consistente pentru a le pregăti pentru analiză. Cele mai comune tipuri de transformare a datelor includ curățarea, deduplicarea, standardizarea și multe altele. Având în vedere că majoritatea specialiștilor în marketing nu au experiență în SQL (folosit adesea pentru a aplica transformări), motorul are nevoie de o interfață de utilizare clară și concisă.
• Logica de încărcare: oprirea finală a conductei ETL, unde datele transformate sunt încărcate către destinația finală: un instrument de BI, de vizualizare sau de analiză sau un depozit de date. Este foarte utilizabil și ar trebui să se integreze cu ușurință cu soluția de vizualizare aleasă de dvs.

Toate componentele menționate mai sus ar trebui, de asemenea, să se extindă pe măsură ce compania și nevoile sale de date cresc.

Aceasta este o descriere la nivel înalt a blocurilor de bază ale sistemului ETL. Întrebarea este dacă ar trebui să le codificați manual sau să optați pentru cumpărarea unei soluții gata făcute.

Investiție inițială de cumpărare vs. construirea unui ETL

Costul unui ETL înseamnă mult mai mult decât doar prețul.

Construirea unui ETL

Lățimea de bandă și costul de inginerie sunt primele lucruri de luat în considerare. Un proiect de această dimensiune și complexitate va dura luni de zile pentru a fi finalizat, costurile crescând.

În plus, majoritatea proiectelor ETL necesită o cantitate semnificativă de stocare în cloud într-un depozit de date, ceea ce reprezintă un cost atât în ​​scenariul de construire, cât și în cel de cumpărare. Cu toate acestea, atunci când vă construiți propriul dvs., trebuie să vă dați seama și logistica achiziționării de servicii suplimentare de gestionare a depozitelor de date, inclusiv cum să bugetați pentru costurile de creștere și scădere atunci când este necesar.

După crearea și implementarea sistemului, așteptați-vă să cheltuiți timp și buget pe materiale de instruire pentru a vă menține echipele la curent cu privire la modul de a executa transformări, de a conecta sursele de date și de a profita la maximum de datele prezentate.

Cumpărarea unui ETL

Costul de cumpărare a unui ETL este puțin mai simplu. Aveți un preț lunar sau anual pentru planul de servicii, așa că nu trebuie să veniți cu personal de dezvoltare, upgrade de servicii cloud sau instruire extinsă pentru a înțelege infrastructura ETL.

Sunt incluse resurse de integrare, cum ar fi ghidurile utilizatorului și documentația tehnică. Sunt adăugate în mod constant noi documente de instruire, astfel încât nu va trebui să utilizați resurse interne suplimentare.

Complexitatea dezvoltării

Construirea unei conducte ETL este o sarcină în sine, care necesită multă muncă, dificilă din punct de vedere tehnic. Construirea unui ETL pentru un departament de marketing necesită experiență de marketing, de care dezvoltatorii care provin din echipele de produse ar putea să le lipsească.

Construirea unui ETL

Când vă creează ETL, dezvoltatorii cheltuiesc mult timp și energie în conectarea inițială a surselor de date. Apoi, API-urile au adesea nevoie de ajustări pentru a funcționa pentru sistemele dvs. de acasă, dacă sunt oferite API-uri. De asemenea, este probabil ca o platformă să nu aibă un API, forțându-vă dezvoltatorii să extragă date în alte moduri.

Ce se întâmplă atunci când identificați o sursă de date pentru a o include în pipeline? Integrarea datelor poate dura până la 6,5 ​​săptămâni de implementare, presupunând că nu apar erori și infrastructura dumneavoastră este actualizată și sigură.

Pe măsură ce se adaugă noi conectori API, așteptați mai mult timp de așteptare pentru acele date, deoarece nu sunt un eveniment plug-and-play. Așteptați-vă să se strecoare acolo din când în când unele date posibil proaste, deoarece oamenii fac greșeli.

Și aceasta este doar o componentă a conductei ETL.

Cumpărarea unui ETL

Achiziționarea unui ETL vă eliberează pe dvs. și pe echipa dvs. de dezvoltatori de lista lungă de lucruri de făcut pentru crearea sau adaptarea fiecărui API pe care îl utilizați, fiecare transformare pe care o aplicați sau destinația la care vă conectați.

Înapoi la exemplul API: odată ce conducta este configurată, vă puteți alege sursele de date din listă și vă puteți conecta în doar câteva clicuri. Pe măsură ce se adaugă noi conectori de sursă de date, accesarea și vizualizarea datelor sunt aproape imediate.

Ce se întâmplă dacă doriți să extrageți date dintr-o aplicație pe care furnizorul nu o acceptă? Companiile de renume se pot ocupa și de acestea - în mult mai puțin timp decât dacă dezvoltatorii dvs. ar crea conectorul. Improvado, de exemplu, are un sistem de creditare a Serviciilor de personalizare a extracției de date (DECS). Un client primește credite DECS în valoare de 20% din planul său de facturare și poate folosi aceste credite pentru API-uri personalizate, asimilare de fișiere și alte nevoi de extragere.

Costurile de întreținere

Totul are nevoie de întreținere, iar conducta dvs. ETL nu face excepție.

Construirea unui ETL

Indiferent ce faceți, noi costuri sunt asumate de fiecare dată când vă întrețineți tehnologia. Acest lucru se întâmplă atunci când:

• Sursele de date modifică metodele de ieșire sau de conectare, ceea ce se întâmplă destul de des. De exemplu, API-ul Google Ads se depreciază odată cu lansarea fiecărei versiuni noi, ceea ce nu lasă altă opțiune decât migrarea la un nou API. Și durata medie de viață a unei versiuni este de 12 luni.
• Modul în care utilizați datele se modifică.
• Cum se modifică datele pe care le utilizați în ceea ce privește alte date.
• Măsurile de conformitate vă cer să vă actualizați procesele sau stocarea datelor.

Există o astfel de nevoie de asistență pentru a ajuta conductele interne să migreze datele, încât întreprinderi întregi au fost construite pe acest tip de suport.

Cumpărarea unui ETL

Ce se întâmplă când achiziționați conducta și trebuie reparat ceva? Vânzătorul îl gestionează automat ca parte a procesului de actualizare. Pe măsură ce sursele de date se modifică, tehnologia este actualizată pentru dvs., iar reglementările din industrie rămân, de asemenea, în prim-plan.

Achiziționarea unei conducte de date vă oferă acces la echipele de asistență pentru a vă ajuta cu orice solicitări tehnice sau probleme pe care le puteți întâlni, reducând astfel durerile de cap de întreținere pe măsură ce scalați.

Cost de oportunitate

Datele își pierd valoare în timp, așa cum se recunoaște în această lucrare la timp și perisabilitate. Fiecare moment petrecut pentru construirea sau modificarea conductelor și necolectarea de date utilizabile duce la o scădere a valorii acelor date pentru afacerea dvs.

Construirea unui ETL

Perioadele lungi de lansare, inclusiv testarea și implementarea, înseamnă că datele pierd în timp ce vă dați seama. Acest lucru vă va lăsa mai puțin competitiv decât alte companii din industria dvs., care ar putea avea date gata de acces la o simplă apăsare a unui buton.

Nu este neobișnuit ca un ETL să dureze luni, sau chiar ani, de la etapa de concept până la obținerea datelor utilizabile. Dacă alte companii din nișa ta acționează deja pe baza datelor, nu va dura mult să rămână în urmă.

Cumpărarea unui ETL

Numai tu poți defini ce înseamnă pentru tine datele de afaceri, dar piața globală a software-ului de analiză a afacerilor a atins 67 de miliarde de dolari în 2019. Cu atât de mult investit în capturarea și analizarea datelor, companiile care trec în primul rând cu o conductă de date achiziționată pot crea valoare mai mare decât concurenții.

Cu o conductă gata să disemineze datele, le puteți folosi imediat în modul care vă ghidează cel mai bine deciziile de afaceri.

Riscuri și alte preocupări de securitate

Un incredibil 21% dintre fișierele de afaceri stocate în cloud conțin date sensibile. Alegerea canalului de date ar trebui să ia în considerare cât de mult din datele dvs. ar putea fi în pericol fără măsuri riguroase de securitate.

Construirea unui ETL

Schimbarea continuă a reglementărilor de conformitate, cum ar fi asistența medicală sau finanțele, înseamnă actualizări continue ale conductei dvs. și un posibil coșmar de întreținere pentru a rămâne legal și pentru a proteja datele importante ale clienților și partenerilor dvs. Numai costul auditurilor de date poate denatura prețul dezvoltării conductelor, dar adăugarea de amenzi potențiale pentru încălcarea normelor de protecție a datelor și de conformitate este, de asemenea, un risc financiar și reputațional real.

Cumpărarea unui ETL

Cu un pipeline pre-construit, conformitatea este integrată și nu este nevoie ca dezvoltatorii dvs. să învețe cele mai bune practici de reglementare în afara competențelor lor și apoi să modifice lucrurile pentru a fi conformi.

Pe măsură ce cerințele industriei, cum ar fi HIPAA sau SOC 2, se modifică, conducta dvs. se actualizează automat pentru a le îndeplini, chiar și în cazurile în care nu urmați singur modificările.

Industriile bancare, asistenței medicale și a serviciilor sociale trebuie să țină pasul cu multe. Nici măcar nu puteți începe să anticipați modul în care reglementările în schimbare pun presiunea asupra echipelor pentru a rămâne în conformitate, dar o conductă pre-construită elimină acest stres.

Performanță și scalabilitate

Mulți factori afectează performanța, de la infrastructură la eroarea umană.

Construirea unui ETL

Când vă construiți propriul ETL, procesul este plin de oportunități de eroare umană. . De exemplu, este nevoie de o singură greșeală de ortografie pentru a deraia o întreagă sursă de date.

În plus, fiecare sursă nouă necesită scrierea de coduri noi, testarea, implementarea și conversia formatului - o utilizare foarte ineficientă a timpului dezvoltatorilor dvs. care ar putea descuraja scalarea în momentele esențiale.

Este posibil să observați întârzieri în obținerea rezultatelor datelor din cauza erorilor de conectare la cloud sau a resurselor de procesare din partea dvs. Sunteți singurul responsabil pentru ca lucrurile să funcționeze bine.

Cumpărarea unui ETL

Infrastructura este împinsă către furnizor, astfel încât nu aveți sarcina de a păstra toate resursele de cloud computing la fața locului sau de a plăti pentru mai mulți furnizori de cloud. De asemenea, puteți crește oricând pentru a primi acces la mai multe rânduri, conectori și multe altele.

De ce ETL nu ar trebui să fie DIY

Mulți lideri de afaceri sunt inovatori, apți și motivați să adopte o abordare bricolaj a conductelor ETL. Având în vedere incertitudinea piețelor muncii, costul ridicat al resurselor și faptul incontestabil că datele se degradează în timp, așteptarea de a gestiona lucrurile pe cont propriu vă poate pune într-un dezavantaj semnificativ pe piață.

Alegerea unui ETL pre-construit de la Improvado vă oferă acces la date noi, punându-vă în situația de a lua decizii de afaceri semnificative cu privire la piețele actuale.

Cu peste 300 de integrări de date (și în creștere), puteți combina și potrivi sursele pentru a obține o imagine completă a călătoriilor clienților, a situațiilor financiare, a cheltuielilor publicitare și multe altele, toate fără bătăile de cap privind conformitatea și costurile de întreținere în curs asociate procesului singur.

Pe măsură ce piețele, reglementările și sursele de date se schimbă, Improvado își va ajusta procesele pentru a ține pasul cu solicitările de integritate și securitate a datelor. Este alegerea ideală pentru companiile care apreciază luarea deciziilor bazate pe date.