Czym są silosy danych i jakie powodują problemy?

Dane to Twoja przewaga konkurencyjna. Pozwala ulepszyć procesy, produkty i operacje, aby zbudować firmę lepszą niż konkurencja. Ale dane są również kruche, a bez odpowiedniego zarządzania danymi integralność danych może zostać naruszona.

W tym poście na blogu omówimy jedną z głównych przyczyn problemów z integralnością danych: silosy danych. Zagłębmy się w to, czym one są, dlaczego istnieją i jak je rozbić.

Kluczowe dania na wynos

• Silosy danych to dane utrzymywane przez osobę lub dział, do których inne osoby w organizacji nie mają dostępu.
• Rosnące organizacje, słaba kultura danych i brak odpowiedniej technologii to główne przyczyny silosowania danych.
• Silosy danych są problematyczne, ponieważ ograniczają widoczność biznesową, zagrażają integralności danych, marnują zasoby firmy, tworzą mniej sprzyjające współpracy środowisko, prowadzą do złego doświadczenia klienta i zagrażają bezpieczeństwu danych.
• Typowymi objawami izolowanych danych są powolny czas uzyskiwania wglądu lub frustracja pracowników z powodu braku widoczności biznesowej.
• Rozbijanie silosów danych to długi i wymagający proces. Możesz to usprawnić, korzystając z platform automatyzacji, takich jak potok ETL, który wyodrębnia dane z różnych źródeł, przekształca je i przesyła do jednego źródła prawdy (SSOT).

Czym są silosy danych?

Pomyśl o silosach danych jako o wyspach danych biznesowych, które należą do działu, a nawet osoby — i nie mają do nich dostępu inne osoby w organizacji. Powoduje to izolowane informacje, które ostatecznie psują jakość danych organizacji.

Dlaczego istnieją silosy danych?

Nikt nie zaczyna od planowania tworzenia silosów danych. Ale niektóre organizacje są na nie bardziej podatne.

Struktura organizacyjna nadaje się do przechowywania danych w silosach

Przedsiębiorstwa często odnoszą korzyści z rozdzielenia obowiązków. Ale podział na działy może prowadzić do izolacji niektórych danych. Ponieważ każdy dział zbiera własne dane do własnych celów, niechcący tworzą silosy danych.

Firma nie ma dobrej kultury jakości danych

Organizacje z niedojrzałą kulturą danych są bardziej narażone na problemy z silosami danych. Firmom tym zwykle brakuje dokumentacji i zarządzania danymi, więc nie ma wspólnego zrozumienia gromadzenia, zarządzania i przechowywania danych.

Powoduje to, że pracownicy nie mają odpowiednich wskazówek dotyczących udostępniania gromadzonych danych.

Technologia ogranicza wysiłki związane z jakością danych

Technologia może czasami sabotować wysiłki organizacji mające na celu utrzymanie dobrej jakości danych.

Gdy firma korzysta z różnych programów do prowadzenia swojej działalności, te różne elementy oprogramowania mogą nie być ze sobą kompatybilne. To komplikuje udostępnianie danych.

Alternatywnie, niektóre organizacje nie mają dostępu do technologii, która priorytetowo traktuje komunikację między różnymi źródłami danych, co nieuchronnie prowadzi do problemów z silosami danych.

Rozwój biznesu osłabia praktyki zarządzania danymi

Rozwój firmy prowadzi do powstawania nowych działów, nowych pracowników, nowych procesów i nowego oprogramowania wspierającego rozwijający się biznes.

Kiedy zarządzanie danymi nie jest priorytetem, wszystkie te ostatnie zmiany sprawiają, że ludzie wymyślają rzeczy na bieżąco — co prawie zawsze prowadzi do problemów z jakością danych, zwłaszcza silosów danych.

Typowe przykłady silosów danych

Dane same w sobie nie gromadzą się w silosach. To działania, które podejmujemy, umieszczają dane w silosach. Oto przegląd typowych przypadków użycia, w których organizacje ograniczają dostępność danych (najczęściej nieumyślnie).

Korzystanie z arkuszy kalkulacyjnych w większości operacji biznesowych

Arkusze kalkulacyjne są nadal najpopularniejszym narzędziem do przetwarzania, wyszukiwania i demokratyzacji danych w wielu firmach. Mimo że często stają się utrapieniem dla zespołów danych.

Specjaliści nietechniczni (np. marketerzy lub urzędnicy finansowi) opanowują formuły arkuszy kalkulacyjnych i robią niesamowite rzeczy za pomocą jednego WYSZUKAJ.PIONOWO.

Pomimo łatwości obsługi arkusze kalkulacyjne często stają się cmentarzyskiem danych. Po wykonaniu wymaganych zapytań dane gubią się w czyjejś chmurze i nie docierają do scentralizowanej pamięci masowej.

Arkusz kalkulacyjny staje się również silosem danych, gdy przechodzi od prototypu do produkcji. Jeśli część Twojej logiki biznesowej obraca się wokół arkuszy kalkulacyjnych, jest to wyraźny znak, że musisz wymyślić coś bardziej praktycznego. Istnieje wiele powodów, dla których należy unikać arkuszy kalkulacyjnych, od ograniczeń danych po niemożność uwzględnienia każdego arkusza kalkulacyjnego w procesie zarządzania danymi.

Jak wyodrębnić swoje dane z arkuszy kalkulacyjnych: Zacznij od przejrzenia gigantycznych arkuszy kalkulacyjnych, które mają fundamentalne znaczenie dla niektórych operacji biznesowych. Najprawdopodobniej są nieefektywne ze względu na swój rozmiar oraz liczne makra i formuły na nich umieszczone.

Znalezienie sposobu na przeniesienie danych do bardziej zrównoważonej architektury, takiej jak hurtownia danych w chmurze, poprawi dostępność danych i indywidualną wydajność każdego pracownika, który wchodzi w interakcję z danymi.

Źle ustrukturyzowane zapytania transformacyjne

Podczas agregowania różnych typów danych, takich jak dane finansowe, marketingowe i sprzedażowe, w celu stworzenia jednego źródła prawdy, robi się trochę bałaganu.

Po pierwsze, różne dane mają różne konwencje nazewnictwa, które należy dopasować, aby miały sens. Ponadto musisz utworzyć dodatkowe zapytania w stosunku do poprzednich, aby tworzyć raporty ad hoc dotyczące wydajności kampanii, wzrostu przychodów i tak dalej.

W końcu masz trzystronicowe zapytanie SQL, które ma sens tylko dla jego właściciela. Twoje zadania transformacji mogą być tak złożone, że część wymaganych danych po prostu nie dociera do potoku danych.

Najgorsze jest to, że analitycy mogą zauważyć drastyczny spadek/wzrost wskaźników, ale nie mogą zrozumieć przyczyny tego, ponieważ nie mogą dowiedzieć się, w jaki sposób te dane zostały przeszukane.

Jak wyodrębnić dane ze złożonych zapytań: Do problemu można podejść na dwa różne sposoby.

Jeśli Twoja firma wykonuje transformacje we własnym zakresie, podziel złożone zapytania na wiele punktów kontrolnych i przechowuj je w tabelach w celu pośredniej kontroli jakości danych. Jasno określone kroki transformacji i weryfikacja jakości danych po każdym kroku zapewniają, że żadne dane nie wymkną się z potoku.

Inną opcją jest wykorzystanie zautomatyzowanych rozwiązań do transformacji dla różnych typów danych. Na przykład Improvado, zautomatyzowany potok danych marketingowych, przekształca wszystkie dane zgodnie z predefiniowanymi recepturami. Możesz wybrać dowolną recepturę i dokładnie wiedzieć, jak będą wyglądać Twoje dane po procesie transformacji.

Improvado umożliwia również tworzenie własnych zapytań transformacyjnych podobnych do SQL w interfejsie przypominającym arkusz kalkulacyjny bez użycia kodu. Możesz wyraźnie zobaczyć zależności między różnymi wpisami danych i przekształcać dane w dowolny sposób, bez pisania jakichkolwiek zapytań SQL.

Rozwiązania innych firm, które utrzymują Twoje dane jako zakładników

Dzisiejszy rynek jest pełen rozwiązań ETL, które mogą wyodrębnić Twoje dane z dowolnego źródła, przekształcić je w przystępny format i wyświetlić na przejrzystych pulpitach nawigacyjnych. Jednak większość z tych rozwiązań ma poważną wadę: uzależnienie od dostawcy.

Weźmy jako przykład Datorama (Salesforce Marketing Cloud). To kompleksowe rozwiązanie dla dużych firm, które automatyzuje raportowanie marketingowe i usprawnia dane z setek źródeł. Na pierwszy rzut oka jest to marzenie każdego marketera. Zawiera raporty ad-hoc na temat danych ze wszystkich popularnych platform reklamowych.

Sprawy komplikują się, jeśli patrzy się na nie z perspektywy silosów danych. Nie możesz wczytywać danych z Datoramy do swojego wewnętrznego magazynu ani łączyć tych danych z danymi osób trzecich zebranymi po Twojej stronie. Innymi słowy, stajesz się dość zamknięty w danych dostępnych tylko w Datoramie i nie możesz udostępniać użytecznych spostrzeżeń poza platformą.

To uzależnienie od dostawcy sprawia, że ​​jesteś zależny od dostawcy i podatny na wszelkie zmiany w polityce cenowej. Jeśli nie zgadzasz się na zmiany cen, nie możesz po prostu zrezygnować z platformy, ponieważ tracisz wszystkie zgromadzone dane historyczne. Dlatego musisz dwa razy pomyśleć, zanim powierzysz swoje dane takim platformom.

Jak uchronić swoje dane przed pułapką: Jeśli zdecydujesz się skorzystać z platformy innej firmy, wybierz dostawcę, który zapewnia pełny dostęp do Twoich danych.

Jeszcze raz spójrzmy na Improvado. Oferuje różne sposoby przechowywania danych. Można go załadować do hurtowni danych w chmurze, takiej jak Google Big Query, lub możesz wysłać zapytanie do swoich danych ze środowiska Improvado. Jeśli nie masz własnej hurtowni danych ani wiedzy, aby nią zarządzać, Improvado oferuje usługi zarządzania hurtownią danych.

Dzięki temu wiesz, że Twoje dane pozostaną przy Tobie w każdych okolicznościach i możesz je w pełni udostępnić każdemu pracownikowi w Twojej firmie.

Dlaczego silosy danych są problematyczne?

Silosy danych są bardzo powszechnym problemem o dalekosiężnych konsekwencjach organizacyjnych i biznesowych.

Ogranicz widoczność biznesu

Kiedy odpowiednich danych biznesowych nie można połączyć z centralną bazą danych, spostrzeżenia, do których dochodzą decydenci, nie będą odzwierciedlać prawdziwego stanu operacji biznesowych. Może to przyczynić się do podejmowania decyzji biznesowych, które wyrządzają więcej szkody niż pożytku.

Ponadto, gdy analitycy potrzebują danych, które nie są łatwo dostępne, znalezienie ich z różnych miejsc zajmie im dużo czasu. Skraca to czas uzyskiwania wglądu, czyli średni czas potrzebny do uzyskania przydatnych spostrzeżeń, i spowalnia elastyczność biznesową.

Niektóre spostrzeżenia mogą całkowicie wymknąć się analityce bez wymiany danych między działami.

Na przykład, w jaki sposób przypiszesz potencjalnych klientów do przychodów i zidentyfikujesz kanały o najwyższej skuteczności bez dostosowania sprzedaży i marketingu? Albo jak poznasz LTV swoich klientów bez informacji od zespołu ds. sukcesu klienta?

Podważanie integralności danych

Silosy danych skutkują niekompletnymi danymi biznesowymi, co zagraża integralności danych.

Może to prowadzić co najmniej do złych decyzji biznesowych lub w najgorszym do poważnych katastrof — jak dowiedziała się NASA po utracie Mars Climate Orbiter, ponieważ dwa departamenty nie poinformowały, że używają różnych jednostek miary.

Nawet jeśli nie pracujesz w branży lotniczej, nadal jesteś narażony na błędy spowodowane przez silosy danych. Wyobraź sobie dział marketingu, który próbuje zoptymalizować kampanie pod kątem przychodów bez odpowiednich danych sprzedażowych. Cała optymalizacja staje się wyłącznie zgadywaniem.

Marnowanie zasobów biznesowych

Koszty przechowywania danych mogą być zbyt wysokie. Ponieważ wiele silosów danych przechowuje podobne lub nieaktualne dane, Twoja organizacja przeznacza środki budżetowe na przechowywanie danych, które już jej nie służą.

Ostatecznie decyzje biznesowe oparte na tych danych mogą nawet zaszkodzić dochodom firmy. Na przykład, jeśli masz niedokładne dane podczas wprowadzania produktu na rynek, Twój dostawca usług poczty e-mail (EMS) może wysłać do klientów niewłaściwą wiadomość e-mail. Lub do niewłaściwego segmentu lub w niewłaściwy dzień. To nie tylko niszczy zaufanie klientów, ale także wpływa na zwrot z inwestycji.

Ogranicz współpracę pracowników

Dane, które nie są swobodnie udostępniane, mogą powodować konflikty między pracownikami a działami.

Powiedzmy, że chcesz wiedzieć, czy nowe wiadomości rezonują i docierają do potencjalnych klientów. W tym celu należy ocenić jakość leadów oraz zweryfikować współczynnik konwersji leadów na sprzedaż.

Co jeśli uzyskanie tych danych ze sprzedaży zajmuje dużo czasu, jeśli w ogóle, co spowalnia Twoje procesy? To potencjalnie budzi okropne uczucia między Tobą a Twoim punktem kontaktowym w dziale sprzedaży.

Podobnie brak przejrzystości danych utrudnia współpracę między różnymi działami. Stają się swoimi własnymi małymi wyspami, na których umierają dobre pomysły, ponieważ nie zachęca się do współpracy i współpracy.

Wzmocnij złe doświadczenia klientów

Za każdym razem, gdy klienci wchodzą w interakcję z firmą, istnieje oprogramowanie, które może rejestrować tę interakcję.

Teraz wyobraź sobie, że nie ma możliwości połączenia danych między tymi różnymi narzędziami. Wiele danych zostałoby umieszczonych w silosach, a Ty miałbyś straszny czas, zastanawiając się, którą część podróży klienta zoptymalizować i jak spersonalizować każde zaangażowanie klienta.

Doprowadziłoby to dodatkowo do chaotycznej obsługi klienta, która odepchnęłaby go od Twojej marki.

Naruszyć bezpieczeństwo danych

Kiedy dane są przechowywane w czyimś folderze cyfrowym, do którego nie ma dostępu scentralizowana sieć bezpieczeństwa danych, organizacjom trudno jest zastosować środki bezpieczeństwa w tych archiwach. Nie będziesz mieć kontroli nad uprawnieniami użytkowników, co zwiększa ryzyko naruszenia bezpieczeństwa danych.

Skąd wiesz, że masz problemy z silosem danych?

Problemy z silosami danych często objawiają się w codziennych operacjach biznesowych. Wpływają na wszystkich na wszystkich poziomach, od decydentów po pracowników pierwszej linii.

Najwyższej kadrze kierowniczej zajmie dużo czasu uzyskanie informacji potrzebnych do podjęcia decyzji. Nie będą wiedzieć, które dźwignie pociągnąć, aby osiągnąć cele biznesowe. Ten brak widoczności trendów w branży oznacza, że ​​często wolno reagują na zmieniające się potrzeby klientów.

Brak dostosowania sprzedaży i marketingu może być również objawem problemów z silosem danych. Kiedy pracownicy czują, że nie mają dostępu do istotnych danych w celu wykonywania swojej pracy, wygodnie jest wskazać palcem innych pracowników, którzy „wstrzymują” informacje. Prowadzi to często do niezdrowej konkurencji i toksycznego środowiska pracy, nie wspominając już o słabych wynikach i utracie przychodów.

Jak rozbijać silosy danych

Rozbijanie silosów danych może być jednym z najtrudniejszych zadań dla firm. Są tak zakorzenione w kulturze firmy, że trudno je wyeliminować. Ich rozbicie musi być odgórną inicjatywą i ogólnofirmowym programem edukacyjnym.

Zaakceptuj, że istnieją

Silosy danych mogą przydarzyć się każdej organizacji. Im szybciej Twoja firma to zaakceptuje, tym szybciej podejmiesz kroki niezbędne do ich wyeliminowania.

Dowiedz się, w jaki sposób podejmowane są decyzje w Twojej organizacji

Podstawowym celem danych w każdej organizacji jest podejmowanie lepszych decyzji. Aby więc zrozumieć przepływ danych w Twojej firmie, musisz najpierw jasno zdefiniować proces decyzyjny.

Chris Ortega, dyrektor generalny Fresh FP&A i zauważalny influencer finansowy, sugeruje użycie schematu zwanego cyklem decyzyjnym. Zgodnie z tymi ramami cykl decyzyjny dzieli decyzje na pięć głównych filarów:

1. Procesy
2. Dane
3. Informacja
4. Wiedza, umiejętności
5. Decyzje biznesowe

Te filary są ze sobą połączone. Innymi słowy, procesy napędzają dane. Dane są następnie przekształcane w informacje. Z kolei informacje te stają się wiedzą, która wpływa na wszystkie decyzje biznesowe.

Kiedy zrozumiesz, w jaki sposób podejmowane są decyzje w Twojej organizacji, możesz zidentyfikować silosy danych w różnych działach i znaleźć odpowiednie technologie do automatyzacji procesu przekształcania danych w wiedzę i zmniejszenia tarć w procesie podejmowania decyzji.

Zidentyfikuj silosy danych w swojej organizacji

Zidentyfikuj pierwotną przyczynę problemów z silosem danych. Czy to kultura firmy? Technologia? Procesy? Następnie zaplanuj ich konsolidację, wymianę lub zarządzanie nimi.

Jeśli masz odizolowane dane wewnątrz organizacji, Twoje działy prawdopodobnie funkcjonują jako oddzielne jednostki biznesowe. Oznacza to, że musisz zidentyfikować wszelkie odizolowane dane w każdym dziale.

Oto kilka znaków wskazujących, że jesteś na dobrej drodze:

• Dział często narzeka na brak danych dla poszczególnych działań biznesowych.
• Nie ma wystarczających danych, aby zrozumieć wpływ działu na procesy biznesowe firmy (wyobraź sobie brakujący element układanki w holistycznym obrazie działań Twojej firmy).
• Nie ma pewności co do wskaźników sukcesu konkretnego działu.
• Brak możliwości szybkiego dostępu do danych działu.

Skontaktuj się również z zespołem IT, aby uzyskać listę systemów używanych przez każdy dział, aby lepiej zrozumieć, gdzie znikają dane.

Zidentyfikuj potrzeby danych różnych działów i osób

Wymień różne zespoły, które potrzebują danych, i dowiedz się, czego potrzebują i dlaczego ich potrzebują. Następnie określ, które inne działy już rejestrują te dane i jak to robią.

Zintegruj wszystkie dane i aplikacje

Znajdź sposób, aby różne aplikacje biznesowe komunikowały się ze sobą. Czy można połączyć kilka aplikacji? Czy istnieje oprogramowanie, które utrudnia udostępnianie danych? Czy możesz wymienić któreś z narzędzi, których obecnie używasz?

Kiedy już to zrozumiesz, zbuduj jedno źródło prawdy dla wszystkich danych gromadzonych przez Twoją organizację. Wykorzystaj elastyczne i skalowalne narzędzia, takie jak platforma ETL, która pomaga rozbijać silosy danych, przekształca dane w jeden format i ładuje ujednolicone dane do hurtowni danych.

Dodaj kontekst biznesowy do swoich danych

Same dane to bardzo techniczna koncepcja. Istnieją tabele, złączenia, związki i dużo bardziej techniczny żargon. Ale jeśli chodzi o procesy biznesowe, Twoje dane muszą mieć kontekst biznesowy.

Wyobraź sobie tabelę bazy danych o nazwie „cost-flowchart-1.XML”. Nie brzmi to jak coś o wielkiej wartości dla osoby nietechnicznej. Ale kiedy wszyscy wiedzą, że ta tabela jest hierarchią centrów kosztów lub wykresem pozyskanych leadów w ciągu kwartału, nabiera to pewnego znaczenia.

Dane bez silosu to zasób całej firmy, a nie tylko zestaw liczb dla inżynierów danych. Dlatego powinien być łatwy do odczytania dla każdego, kto ma z nim kontakt.

Jak powiedział Jagdish Sahasrabudhe, starszy wiceprezes ds. aplikacji biznesowych i platform w SAP, w swoim niedawnym wystąpieniu: „Tylko wtedy, gdy do danych przypisano kontekst i semantykę, przybliża to dane do procesu biznesowego. Bez tego jest to tylko kilka bitów i bajtów”.

Opracuj strategię dla danych bez silosu

Udostępnianie danych jest domyślnie świetne. Ale na większą skalę musisz zadać sobie pytanie: „Dlaczego moja firma tego potrzebuje?”

Może to być skok w kierunku innowacji, a także inicjatywa, która nie przyniosła żadnych rezultatów. Jedyną różnicą między tymi wynikami jest strategia.

Możesz rozważyć znalezienie partnera, który wypełni luki w doświadczeniu i strategii, jeśli chodzi o wykorzystywanie danych do napędzania innowacji. Zamiast przenosić tę odpowiedzialność na siebie lub swoich współpracowników, dlaczego nie powierzyć jej zespołowi, który pomógł wielu firmom z różnych branż?

W ramach usług profesjonalnych Improvado przechodzi od dostawcy do partnera i pomaga zespołom klientów w tworzeniu wnikliwych pulpitów nawigacyjnych i podejmowaniu świadomych decyzji na podstawie dostępnych danych. Ważne jest, aby na wczesnym etapie procesu mieć po swojej stronie wskazówki i wiedzę specjalistyczną, aby mieć jasną strategię dotyczącą tego, co zrobić z nowymi danymi.

Opracuj i zmobilizuj swój program jakości danych

Jakość danych jest często postrzegana jako problem IT, ale w rzeczywistości jest to wspólna odpowiedzialność. Zachęcaj do posiadania danych, aby każdy był odpowiedzialny za tworzenie i przechowywanie danych dobrej jakości. Aby zapewnić powodzenie programu nadzoru nad danymi, należy uczynić go jasnym i łatwym do zrozumienia dla wszystkich w firmie.

Wreszcie, spraw, aby przejrzystość danych była cennym aspektem działalności. Powstrzymaj kulturę rywalizacji między działami i podkreśl znaczenie współpracy dla rozwoju firmy.

Zarządzaj nową kulturą danych

Uruchomienie nowego systemu jakości danych może zająć trochę czasu. Niektórzy pracownicy mogą wrócić do starych praktyk lub nie wiedzieć, co powinni zrobić.

Przygotuj się na te wady. Zachowaj elastyczność w sposobie zarządzania danymi w przyszłości, podczas gdy zespół przyzwyczaja się do nowego podejścia do zarządzania danymi.

Twoja kolej

Rozbijanie silosów danych powinno być częścią kompletnego programu zarządzania danymi. Gdy istnieją przepisy określające dokładnie, w jaki sposób Twoja organizacja gromadzi dane, zarządza nimi i je przechowuje, prawdopodobieństwo wystąpienia silosów danych jest mniejsze.