Cosa sono i silos di dati e quali problemi causano?

I dati sono il tuo vantaggio competitivo. Ti consente di migliorare i tuoi processi, prodotti e operazioni per creare un business migliore della concorrenza. Ma i dati sono anche fragili e, senza un'adeguata governance dei dati, l'integrità dei dati può essere compromessa.

In questo post del blog, parleremo di uno dei motivi principali dei problemi di integrità dei dati: i silos di dati. Approfondiamo cosa sono, perché esistono e come scomporli.

Punti chiave

• I silos di dati sono dati che un individuo o un dipartimento mantiene a cui altri membri dell'organizzazione non possono accedere.
• Organizzazioni in crescita, scarsa cultura dei dati e mancanza della tecnologia giusta sono le cause principali dei dati isolati.
• I silos di dati sono problematici perché limitano la visibilità aziendale, minacciano l'integrità dei dati, sprecano risorse aziendali, creano un ambiente meno collaborativo, portano a un'esperienza del cliente scadente e compromettono la sicurezza dei dati.
• Alcuni sintomi comuni dei dati in silo sono i tempi lenti per l'analisi o dipendenti frustrati a causa della mancanza di visibilità aziendale.
• Abbattere i silos di dati è un processo lungo e impegnativo. Puoi renderlo più agevole utilizzando piattaforme di automazione, come una pipeline ETL che estrae i dati da fonti diverse, li trasforma e li invia a un'unica fonte di verità (SSOT).

Cosa sono i silos di dati?

Pensa ai silos di dati come isole di dati aziendali che appartengono a un reparto o persino a un individuo e non sono accessibili da altri nell'organizzazione. Ciò si traduce in informazioni isolate che alla fine danneggiano la qualità dei dati dell'organizzazione.

Perché esistono i silos di dati?

Nessuno inizia pianificando di creare silos di dati. Ma alcune organizzazioni sono più sensibili a loro.

La struttura organizzativa si presta a dati in silos

Le imprese spesso beneficiano di una separazione delle responsabilità. Ma il dipartimento può portare all'isolamento di alcuni dati. Con ogni dipartimento che raccoglie i propri dati per i propri scopi, creano inavvertitamente silos di dati.

L'azienda non ha una buona cultura della qualità dei dati

Le organizzazioni con una cultura dei dati immatura hanno maggiori probabilità di avere problemi con i silo di dati. Queste aziende di solito mancano di documentazione e governance dei dati, quindi non esiste una comprensione condivisa della raccolta, della gestione e dell'archiviazione dei dati.

Ciò si traduce in dipendenti senza una guida adeguata sulla condivisione dei dati che raccolgono.

La tecnologia sta frenando gli sforzi per la qualità dei dati

La tecnologia a volte può sabotare gli sforzi di un'organizzazione per mantenere dati di buona qualità.

Quando un'azienda utilizza vari software per eseguire le proprie operazioni, questi diversi software potrebbero non essere compatibili tra loro. Ciò complica la condivisione dei dati.

In alternativa, alcune organizzazioni non hanno accesso alla tecnologia che dà la priorità alla comunicazione tra diverse fonti di dati, portando inevitabilmente a problemi di silo di dati.

La crescita aziendale indebolisce le pratiche di gestione dei dati

La crescita aziendale porta alla formazione di nuovi dipartimenti, nuovi dipendenti, nuovi processi e nuovi software per supportare l'attività in espansione.

Quando la gestione dei dati non è una priorità, tutti questi cambiamenti recenti lasciano le persone a inventare le cose man mano che procedono, il che porta quasi sempre a problemi di qualità dei dati, in particolare i silos di dati.

Esempi comuni di silos di dati

I dati non si trovano da soli in silos. Sono le azioni che intraprendiamo che mettono i dati in silos. Ecco una rassegna dei casi d'uso comuni in cui le organizzazioni limitano l'accessibilità dei dati (il più delle volte involontariamente).

Utilizzo di fogli di calcolo nella maggior parte delle operazioni aziendali

I fogli di calcolo sono ancora lo strumento più popolare per elaborare, interrogare e democratizzare i dati in molte aziende. Anche se spesso diventano una seccatura per i data team.

Gli specialisti non tecnici (ad es. esperti di marketing o funzionari finanziari) padroneggiano le formule dei fogli di calcolo e fanno cose incredibili con una singola CERCA.VERT.

Nonostante la loro facilità d'uso, i fogli di calcolo spesso diventano un cimitero per i dati. Dopo aver effettuato le query richieste, i dati vengono persi nel cloud di qualcuno e non raggiungono l'archiviazione centralizzata.

Un foglio di calcolo diventa anche un silo di dati quando passa dal prototipo alla produzione. Se parte della tua logica aziendale ruota attorno ai fogli di calcolo, è un chiaro segno che devi trovare qualcosa di più pratico. Esistono diversi motivi per evitare i fogli di calcolo, che vanno dai limiti di dati all'impossibilità di includere ciascun foglio di calcolo in un processo di governance dei dati.

Come separare i tuoi dati dai fogli di calcolo: inizia con la revisione di fogli di calcolo giganteschi che sono fondamentali per alcune delle tue operazioni aziendali. Molto probabilmente sono inefficienti a causa delle loro dimensioni e delle numerose macro e formule che vi si trovano sopra.

Trovare un modo per trasferire i dati a un'architettura più sostenibile, come un data warehouse su cloud, migliorerà l'accessibilità ai dati e le prestazioni individuali di ciascun dipendente che interagisce con i dati.

Query di trasformazione mal strutturate

Quando si aggregano diversi tipi di dati, come dati finanziari, di marketing e di vendita, per creare un'unica fonte di verità, le cose si fanno un po' confuse.

Innanzitutto, dati diversi hanno convenzioni di denominazione diverse che devono essere allineate per avere un senso. Inoltre, devi creare query aggiuntive oltre a quelle precedenti per creare report ad hoc sul rendimento delle campagne, sulla crescita dei ricavi e così via.

Alla fine, finisci per avere una query SQL lunga tre pagine che ha senso solo per il suo proprietario. I tuoi lavori di trasformazione potrebbero essere così complessi che una parte dei dati richiesti semplicemente non raggiunge la pipeline dei dati.

La parte peggiore è che gli analisti possono individuare la drastica diminuzione/aumento delle metriche, ma non riescono a capirne il motivo perché non riescono a capire come sono stati interrogati questi dati.

Come isolare i dati da query complesse: il problema può essere affrontato in due modi diversi.

Se la tua azienda esegue internamente le trasformazioni, suddividi query complesse in più checkpoint e memorizzale in tabelle per un controllo intermedio della qualità dei dati. Le fasi di trasformazione chiaramente definite e la verifica della qualità dei dati dopo ogni passaggio assicurano che nessuno dei dati si allontani dalla pipeline.

Un'altra opzione consiste nell'utilizzare soluzioni di trasformazione automatizzata per diversi tipi di dati. Ad esempio, Improvado, una pipeline automatizzata di dati di marketing, trasforma tutti i dati secondo ricette predefinite. Puoi scegliere qualsiasi ricetta e sapere esattamente come appariranno i tuoi dati dopo il processo di trasformazione.

Improvado ti consente anche di creare le tue query di trasformazione simili a SQL in un'interfaccia simile a un foglio di calcolo senza codice. Puoi vedere chiaramente le dipendenze tra le diverse voci di dati e trasformare i dati in qualsiasi modo ti serva, senza scrivere alcuna query SQL.

Soluzioni di terze parti che tengono in ostaggio i tuoi dati

Il mercato odierno è pieno di soluzioni ETL in grado di estrarre i tuoi dati da qualsiasi fonte, trasformarli in un formato digeribile e visualizzarli in dashboard approfonditi. Tuttavia, la maggior parte di queste soluzioni presenta un grave svantaggio: il vendor lock-in.

Prendiamo come esempio Datorama (Salesforce Marketing Cloud). È una soluzione completa per le grandi aziende che automatizza i report di marketing e semplifica i dati provenienti da centinaia di fonti. A prima vista, è il sogno di ogni marketer. Presenta report ad hoc sui dati di tutte le piattaforme pubblicitarie più diffuse.

Le cose si complicano se viste dal punto di vista dei silos di dati. Non puoi caricare dati da Datorama nella tua memoria interna o unire questi dati con approfondimenti di terze parti raccolti dalla tua parte. In altre parole, diventi piuttosto bloccato con i dati disponibili solo in Datorama e non puoi condividere informazioni utili anche al di fuori della piattaforma.

Questo blocco del fornitore ti rende dipendente dal fornitore e vulnerabile a qualsiasi cambiamento nella politica dei prezzi. Se non sei d'accordo con le modifiche ai prezzi, non puoi semplicemente rinunciare alla piattaforma, perché perdi tutti i dati storici che hai accumulato. Ecco perché devi pensarci due volte prima di affidare i tuoi dati a tali piattaforme.

Come salvare i tuoi dati dall'essere intrappolati: se decidi di utilizzare una piattaforma di terze parti, scegli un fornitore che ti dia pieno accesso ai tuoi dati.

Ancora una volta, diamo un'occhiata a Improvado. Ti offre diversi modi per archiviare i tuoi dati. Può essere caricato nel tuo data warehouse cloud, come Google Big Query, oppure puoi interrogare i tuoi dati dall'ambiente di Improvado. Se non hai il tuo data warehouse o le competenze per gestirne uno, Improvado offre servizi di gestione del data warehouse.

In questo modo, sai che i tuoi dati rimarranno con te in qualsiasi circostanza e potrai renderli completamente accessibili a qualsiasi dipendente della tua azienda.

Perché i silos di dati sono problematici?

I silos di dati sono un problema molto comune con implicazioni organizzative e aziendali di vasta portata.

Limita la visibilità aziendale

Quando i dati aziendali rilevanti non possono essere collegati a un database centrale, le informazioni a cui arrivano i responsabili delle decisioni non rifletteranno il vero stato delle operazioni aziendali. Ciò può contribuire a decisioni aziendali che fanno più male che bene.

Inoltre, quando gli analisti hanno bisogno di dati non facilmente accessibili, impiegheranno molto tempo per trovarli da luoghi diversi. Ciò riduce il time-to-insights, il tempo medio necessario per ricavare insight fruibili, e rallenta l'agilità aziendale.

Alcune intuizioni possono sfuggire completamente all'analisi senza lo scambio di dati tra i reparti.

Ad esempio, come attribuirai i lead alle entrate e identificherai i canali con le migliori prestazioni senza l'allineamento delle vendite e del marketing? Oppure, come farai a conoscere l'LTV dei tuoi clienti senza le informazioni del team per il successo dei clienti?

Minare l'integrità dei dati

I silos di dati generano dati aziendali incompleti, il che compromette l'integrità dei dati.

Ciò può portare a decisioni aziendali sbagliate o a grandi disastri nel peggiore dei casi, come ha appreso la NASA dopo aver perso il Mars Climate Orbiter perché due dipartimenti non sono riusciti a comunicare che stavano utilizzando diverse unità di misura.

Anche se non lavori nel settore aerospaziale, sei comunque vulnerabile ai pregiudizi causati dai silos di dati. Immagina un reparto marketing che cerca di ottimizzare le campagne per ottenere entrate senza dati di vendita pertinenti. L'intera ottimizzazione diventa solo un'ipotesi.

Sprecare risorse aziendali

I costi di archiviazione dei dati possono essere proibitivi. Poiché molti silos di dati archiviano dati simili o obsoleti, la tua organizzazione sta allocando risorse di budget per l'archiviazione dei dati che non serve più all'organizzazione.

In futuro, le decisioni aziendali basate su questi dati potrebbero persino danneggiare le entrate aziendali. Ad esempio, se disponi di dati imprecisi durante il lancio di un prodotto, il tuo fornitore di servizi di posta elettronica (EMS) potrebbe inviare l'e-mail sbagliata ai clienti. O nel segmento sbagliato o nel giorno sbagliato. Questo non solo distrugge la fiducia dei clienti, ma influisce anche sul ROI.

Ridurre la collaborazione dei dipendenti

I dati che non vengono condivisi liberamente possono creare conflitti tra dipendenti e reparti.

Supponiamo che tu voglia sapere se il nuovo messaggio risuona e arriva ai lead. Per questo, è necessario valutare la qualità del lead e verificare il tasso di conversione da lead a vendite.

Cosa succede se ci vuole molto tempo per ottenere questi dati dalle vendite, se non del tutto, rallentando i processi? Questo potenzialmente dà il via a sentimenti terribili tra te e il tuo punto di contatto nel reparto vendite.

Allo stesso modo, la mancanza di trasparenza dei dati ostacola la collaborazione tra i diversi dipartimenti. Diventano le loro piccole isole dove le buone idee muoiono perché la collaborazione e la cooperazione non sono incoraggiate.

Amplifica la scarsa esperienza del cliente

Ogni volta che i clienti interagiscono con un'azienda, esiste un software in grado di registrare tale interazione.

Ora immagina se non ci fosse modo di collegare i dati tra questi diversi strumenti. Molti dati verrebbero messi in silos e ti divertiresti moltissimo a capire quale parte del percorso del cliente ottimizzare e come personalizzare ogni coinvolgimento del cliente.

Ciò porterebbe ulteriormente a un'esperienza del cliente sconnessa che li allontanerebbe dal tuo marchio.

Compromettere la sicurezza dei dati

Quando i dati vengono archiviati nella cartella digitale di qualcuno, che è inaccessibile da una rete di sicurezza dei dati centralizzata, diventa difficile per le organizzazioni inserire misure di sicurezza in questi archivi. Non avrai alcun controllo sulle autorizzazioni degli utenti, il che aumenta la minaccia di violazioni dei dati.

Come fai a sapere di avere problemi di silo di dati?

I problemi di data silo si manifestano spesso nelle operazioni aziendali quotidiane. Colpiscono tutti a tutti i livelli, dai responsabili delle decisioni ai dipendenti in prima linea.

I massimi dirigenti impiegheranno molto tempo per ottenere le informazioni di cui hanno bisogno per prendere decisioni. Non sapranno quali leve tirare per raggiungere gli obiettivi di business. Questa mancanza di visibilità sulle tendenze del settore significa che sono spesso lenti a rispondere alle mutevoli esigenze dei clienti.

Anche la mancanza di allineamento tra vendite e marketing può essere un sintomo di problemi con i silo di dati. Quando le persone sentono di non avere accesso ai dati rilevanti per svolgere il proprio lavoro, è conveniente puntare il dito contro altri dipendenti che "nascondono" le informazioni. Ciò porta spesso a una concorrenza malsana e a un ambiente di lavoro tossico, per non parlare delle scarse prestazioni e della perdita di entrate.

Come abbattere i silos di dati

Abbattere i silos di dati può essere uno dei compiti più impegnativi per le aziende. Sono così radicati nella cultura aziendale che sono difficili da eliminare. Abbatterli deve essere un'iniziativa dall'alto verso il basso e un programma di formazione a livello aziendale.

Accetta che esistano

I silos di dati possono capitare a qualsiasi organizzazione. Prima la tua azienda lo accetterà, prima prenderai le misure necessarie per eliminarli.

Scopri come vengono prese le decisioni nella tua organizzazione

L'obiettivo principale dei dati in qualsiasi organizzazione è prendere decisioni migliori. Quindi, per comprendere il flusso di dati all'interno della tua azienda, devi prima definire chiaramente il processo decisionale.

Chris Ortega, CEO di Fresh FP&A e noto influencer finanziario, suggerisce di utilizzare un framework chiamato Decision Cycle. Secondo questo quadro, il ciclo decisionale suddivide le decisioni in cinque pilastri fondamentali:

1. Processi
2. Dati
3. Informazione
4. Conoscenza
5. Decisioni aziendali

Questi pilastri sono interconnessi tra loro. In altre parole, i processi guidano i dati. I dati vengono quindi trasformati in informazioni. A sua volta, quell'informazione diventa conoscenza che influenza tutte le decisioni aziendali.

Quando ti rendi conto di come vengono prese le decisioni all'interno della tua organizzazione, puoi quindi identificare i silos di dati tra i reparti e trovare le tecnologie giuste per automatizzare il processo di conversione dei dati in conoscenza e ridurre l'attrito nel processo decisionale.

Identifica i silos di dati nella tua organizzazione

Identifica la causa principale dei tuoi problemi di silo di dati. È la cultura aziendale? La tecnologia? I processi? Quindi prepara un piano per consolidarli, sostituirli o gestirli.

Se disponi di dati in silos all'interno dell'organizzazione, è probabile che i tuoi reparti funzionino come unità aziendali separate. Ciò significa che è necessario identificare tutti i dati isolati all'interno di ciascun reparto.

Ecco alcuni segnali che indicano che sei sulla strada giusta:

• Un reparto lamenta spesso la mancanza di dati per particolari attività aziendali.
• Non ci sono dati sufficienti per comprendere l'influenza del dipartimento sui processi aziendali dell'azienda (immaginate che manchi un solo pezzo del puzzle nel quadro olistico degli sforzi della vostra azienda).
• C'è incertezza sulle metriche di successo di un particolare dipartimento.
• Non è possibile accedere rapidamente ai dati del dipartimento.

Inoltre, contatta il tuo team IT per ottenere un elenco dei sistemi utilizzati da ciascun reparto per capire meglio dove mancano i dati.

Identificare le esigenze di dati dei diversi dipartimenti e individui

Elenca i diversi team che hanno bisogno di dati e scopri di cosa hanno bisogno e perché ne hanno bisogno. Quindi identifica quali altri dipartimenti registrano già quei dati e come li stanno registrando.

Integra tutti i dati e le applicazioni

Trova un modo per far comunicare tra loro diverse applicazioni aziendali. Puoi combinare alcune applicazioni? Esiste un software che rende difficile la condivisione dei dati? Puoi sostituire uno qualsiasi degli strumenti che stai attualmente utilizzando?

Una volta capito questo, costruisci una fonte di verità per tutti i dati raccolti dalla tua organizzazione. Sfrutta strumenti flessibili e scalabili, come una piattaforma ETL che aiuta ad abbattere i silos di dati, trasforma i dati in un unico formato e carica i dati unificati in un data warehouse.

Aggiungi un contesto aziendale ai tuoi dati

I dati stessi sono un concetto molto tecnico. Ci sono tabelle, join, unioni e molto altro gergo tecnico. Ma quando si tratta di processi aziendali, i tuoi dati devono avere un contesto aziendale.

Immagina una tabella di database denominata "cost-flowchart-1.XML". Non suona come qualcosa di grande valore per una persona non tecnica. Ma quando tutti sanno che questa tabella è una gerarchia di centri di costo o un grafico di lead attratti durante il trimestre, assume un certo significato.

I dati non isolati sono una risorsa a livello aziendale, non solo un insieme di numeri per i data engineer. Quindi, dovrebbe essere facile da leggere per chiunque interagisca con esso.

Come ha affermato Jagdish Sahasrabudhe, SVP di Business Applications and Platform presso SAP, nel suo recente intervento: “Solo quando hai contesto e semantica assegnati ai dati, questo è ciò che avvicina i dati a un processo aziendale. Senza quello, è solo un mucchio di bit e byte.

Sviluppa una strategia per i dati non isolati

Rendere i tuoi dati accessibili è fantastico per impostazione predefinita. Ma, su scala più ampia, devi farti una domanda: "Perché la mia azienda ne ha bisogno?"

Potrebbe essere un trampolino di lancio verso l'innovazione, così come un'iniziativa che non ha prodotto alcun risultato. E l'unica differenza tra questi risultati è la strategia.

Potresti prendere in considerazione la possibilità di trovare un partner per colmare le lacune in termini di esperienza e strategia quando si tratta di utilizzare i tuoi dati per promuovere l'innovazione. Invece di assumersi questa responsabilità su di te o sui tuoi colleghi, perché non delegarla a un team che ha aiutato più aziende in diversi settori?

Attraverso il framework dei servizi professionali, Improvado passa da fornitore a partner e aiuta i team dei clienti a creare dashboard approfonditi e prendere decisioni informate sulla base dei dati disponibili. È importante avere assistenza e competenze dalla tua parte nelle prime fasi del processo per avere una strategia chiara su cosa fare con i tuoi nuovi dati.

Sviluppa e mobilita il tuo programma di qualità dei dati

La qualità dei dati è spesso vista come un problema IT, ma in realtà è una responsabilità condivisa. Incoraggia la proprietà dei dati, in modo che tutti siano responsabili della creazione e dell'archiviazione di dati di buona qualità. Per garantire il successo del tuo programma di governance dei dati, rendilo chiaro e di facile comprensione per tutti i membri dell'azienda.

Infine, rendi la trasparenza dei dati un aspetto prezioso del business. Fermare la cultura della concorrenza tra i reparti e sottolineare l'importanza della collaborazione per la crescita aziendale.

Gestisci la tua nuova cultura dei dati

Far decollare un nuovo sistema di qualità dei dati può richiedere tempo. Alcuni dipendenti potrebbero tornare alle vecchie pratiche o essere confusi su ciò che dovrebbero fare.

Preparati per questi inconvenienti. Sii flessibile nel modo in cui gestisci i dati in futuro mentre il team si sta abituando al tuo nuovo approccio alla gestione dei dati.

Il tuo turno

L'abbattimento dei silos di dati dovrebbe far parte di un programma completo di gestione dei dati. Quando disponi di normative in vigore per il modo esatto in cui la tua organizzazione raccoglie, gestisce e archivia i dati, è meno probabile che si verifichino silos di dati.