데이터 사일로는 무엇이며 어떤 문제를 야기합니까?

데이터는 경쟁 우위입니다. 이를 통해 프로세스, 제품 및 운영을 개선하여 경쟁사보다 우수한 비즈니스를 구축할 수 있습니다. 그러나 데이터도 취약하며 적절한 데이터 거버넌스가 없으면 데이터 무결성이 손상될 수 있습니다.

이 블로그 게시물에서는 데이터 무결성 문제의 주요 원인 중 하나인 데이터 사일로에 대해 이야기하겠습니다. 그것들이 무엇인지, 왜 존재하는지, 그리고 그것들을 분해하는 방법을 파헤쳐 보자.

주요 테이크 아웃

• 데이터 사일로는 조직의 다른 사람들이 액세스할 수 없는 개인 또는 부서가 유지 관리하는 데이터입니다.
• 성장하는 조직, 열악한 데이터 문화, 적절한 기술의 부족이 데이터 사일로화의 주요 원인입니다.
• 데이터 사일로는 비즈니스 가시성을 제한하고, 데이터 무결성을 위협하고, 회사 리소스를 낭비하고, 덜 협업적인 환경을 만들고, 열악한 고객 경험으로 이어지고, 데이터 보안을 손상시키기 때문에 문제가 됩니다.
• 사일로화된 데이터의 몇 가지 일반적인 증상은 비즈니스 가시성 부족으로 인해 통찰력을 얻는 데 걸리는 시간이 느리거나 직원이 좌절하는 것입니다.
• 데이터 사일로를 무너뜨리는 것은 길고도 어려운 과정입니다. 다양한 소스에서 데이터를 추출하고 변환하여 SSOT(Single Source of Truth)로 푸시하는 ETL 파이프라인과 같은 자동화 플랫폼을 사용하여 이 작업을 더 원활하게 수행할 수 있습니다.

데이터 사일로란 무엇입니까?

데이터 사일로를 부서 또는 개인에 속하고 조직의 다른 사람이 액세스할 수 없는 비즈니스 데이터의 섬으로 생각하십시오. 이로 인해 결국 조직의 데이터 품질을 손상시키는 격리된 정보가 생성됩니다.

데이터 사일로가 존재하는 이유는 무엇입니까?

아무도 데이터 사일로를 만들 계획을 시작하지 않습니다. 그러나 일부 조직은 이에 더 취약합니다.

사일로화된 데이터에 적합한 조직 구조

기업은 종종 책임 분리를 통해 이점을 얻습니다. 그러나 세분화는 일부 데이터의 격리로 이어질 수 있습니다. 각 부서가 고유한 목적을 위해 고유한 데이터를 수집하면서 무심코 데이터 사일로를 생성합니다.

비즈니스에 좋은 데이터 품질 문화가 없습니다.

미성숙한 데이터 문화를 가진 조직은 데이터 사일로 문제를 겪을 가능성이 더 큽니다. 이러한 회사는 일반적으로 문서 및 데이터 거버넌스가 부족하므로 데이터 수집, 관리 및 저장에 대한 공유된 이해가 없습니다.

이로 인해 수집한 데이터 공유에 대한 적절한 지침이 없는 직원이 발생합니다.

기술이 데이터 품질 노력을 억제하고 있습니다.

기술은 때때로 양질의 데이터를 유지하려는 조직의 노력을 방해할 수 있습니다.

기업에서 운영을 위해 다양한 소프트웨어를 사용하는 경우 이러한 서로 다른 소프트웨어가 서로 호환되지 않을 수 있습니다. 이는 데이터 공유를 복잡하게 만듭니다.

또는 일부 조직에서는 서로 다른 데이터 소스 간의 통신을 우선시하는 기술에 대한 액세스 권한이 부족하여 필연적으로 데이터 사일로 문제가 발생합니다.

비즈니스 성장으로 데이터 관리 관행 약화

비즈니스 성장은 새로운 부서, 새로운 직원, 새로운 프로세스 및 확장되는 비즈니스를 지원하는 새로운 소프트웨어의 구성으로 이어집니다.

데이터 관리가 우선 순위가 아닌 경우 이러한 모든 최근 변경 사항으로 인해 개인은 진행하면서 일을 구성하게 됩니다. 이는 거의 항상 데이터 품질 문제, 특히 데이터 사일로로 이어집니다.

데이터 사일로의 일반적인 예

데이터는 그 자체로 사일로에 있지 않습니다. 데이터를 사일로에 넣는 것은 우리가 취하는 조치입니다. 다음은 조직에서 데이터 액세스 가능성을 제한하는 일반적인 사용 사례(대부분 의도치 않게)에 대한 검토입니다.

대부분의 비즈니스 운영에서 스프레드시트 사용

스프레드시트는 여전히 많은 회사에서 데이터를 처리, 쿼리 및 민주화하는 가장 인기 있는 도구입니다. 종종 데이터 팀의 골칫거리가 되기도 합니다.

비기술 전문가(예: 마케팅 담당자 또는 재무 담당자)는 스프레드시트 수식을 마스터하고 단일 VLOOKUP으로 놀라운 작업을 수행합니다.

사용 편의성에도 불구하고 스프레드시트는 종종 데이터의 무덤이 됩니다. 필요한 쿼리를 수행한 후 누군가의 클라우드에서 데이터가 손실되고 중앙 집중식 저장소에 도달하지 않습니다.

또한 스프레드시트는 프로토타입에서 프로덕션으로 이동할 때 데이터 사일로가 됩니다. 비즈니스 로직 중 일부가 스프레드시트를 중심으로 돌아가는 경우 좀 더 실용적인 것을 생각해 내야 한다는 분명한 신호입니다. 데이터 상한에서 데이터 거버넌스 프로세스에 각 스프레드시트를 포함할 수 없는 것에 이르기까지 스프레드시트를 피해야 하는 여러 가지 이유가 있습니다.

스프레드시트에서 데이터 격리를 해제하는 방법: 일부 비즈니스 운영의 기본이 되는 거대한 스프레드시트를 검토하는 것부터 시작하세요. 크기와 그 위에 있는 수많은 매크로 및 수식으로 인해 비효율적일 가능성이 큽니다.

클라우드 데이터 웨어하우스와 같은 보다 지속 가능한 아키텍처로 데이터를 전송하는 방법을 찾으면 데이터와 상호 작용하는 각 직원의 데이터 접근성과 개별 성과가 향상됩니다.

잘못 구조화된 변환 쿼리

재무, 마케팅 및 판매 데이터와 같은 다양한 유형의 데이터를 집계하여 단일 정보 소스를 생성할 때 상황이 약간 복잡해집니다.

첫째, 서로 다른 데이터에는 이해하기 쉽도록 정렬해야 하는 서로 다른 명명 규칙이 있습니다. 또한 캠페인 성과, 매출 성장 등에 대한 임시 보고서를 생성하려면 이전 쿼리 위에 추가 쿼리를 생성해야 합니다.

결국 소유자에게만 의미가 있는 3페이지 길이의 SQL 쿼리를 갖게 됩니다. 변환 작업이 너무 복잡하여 필요한 데이터의 일부가 데이터 파이프라인에 도달하지 못할 수 있습니다.

최악의 부분은 분석가가 메트릭의 급격한 감소/증가를 발견할 수 있지만 이 데이터가 쿼리된 방법을 파악할 수 없기 때문에 그 이유를 이해할 수 없다는 것입니다.

복잡한 쿼리에서 데이터를 해제하는 방법: 이 문제는 두 가지 다른 방식으로 접근할 수 있습니다.

회사에서 변환을 사내에서 수행하는 경우 복잡한 쿼리를 여러 체크포인트로 나누고 중간 데이터 품질 검사를 위해 테이블에 저장합니다. 명확하게 정의된 변환 단계와 각 단계 후의 데이터 품질 검증을 통해 데이터가 파이프라인에서 빠져나가지 않도록 합니다.

또 다른 옵션은 다양한 유형의 데이터에 대해 자동 변환 솔루션을 사용하는 것입니다. 예를 들어 자동화된 마케팅 데이터 파이프라인인 Improvado는 사전 정의된 레시피에 따라 모든 데이터를 변환합니다. 레시피를 선택하고 변환 프로세스 후 데이터가 어떻게 표시되는지 정확히 알 수 있습니다.

Improvado를 사용하면 코드가 없는 스프레드시트와 같은 인터페이스에서 SQL과 같은 변환 쿼리를 직접 만들 수 있습니다. SQL 쿼리를 작성하지 않고도 서로 다른 데이터 항목 간의 종속성을 명확하게 확인하고 필요한 방식으로 데이터를 변환할 수 있습니다.

데이터 인질을 유지하는 타사 솔루션

오늘날의 시장은 모든 소스에서 데이터를 추출하여 소화 가능한 형식으로 변환하고 통찰력 있는 대시보드에 표시할 수 있는 ETL 솔루션으로 가득 차 있습니다. 그러나 이러한 솔루션에는 대부분 벤더 종속이라는 큰 단점이 있습니다.

Datorama(Salesforce Marketing Cloud)를 예로 들어 보겠습니다. 마케팅 보고를 자동화하고 수백 가지 소스의 데이터를 간소화하는 대기업을 위한 포괄적인 솔루션입니다. 언뜻 보면 모든 마케터의 꿈입니다. 모든 인기 있는 광고 플랫폼의 데이터에 대한 임시 보고서를 제공합니다.

데이터 사일로 각도에서 보면 상황이 복잡해집니다. Datorama에서 사내 스토리지로 데이터를 로드하거나 이 데이터를 귀사에서 수집한 타사 통찰력과 병합할 수 없습니다. 즉, Datorama에서만 사용할 수 있는 데이터에 상당히 갇히게 되며 플랫폼 외부에서도 유용한 통찰력을 공유할 수 없습니다.

이러한 공급업체 종속으로 인해 공급업체에 의존하게 되고 가격 정책의 변경에 취약해집니다. 가격 변경에 동의하지 않으면 그동안 축적한 모든 과거 데이터를 잃게 되므로 단순히 플랫폼을 포기할 수 없습니다. 그렇기 때문에 이러한 플랫폼에 데이터를 맡기기 전에 두 번 생각해야 합니다.

데이터가 갇히지 않도록 저장하는 방법: 타사 플랫폼을 사용하기로 결정한 경우 데이터에 대한 전체 액세스 권한을 제공하는 공급업체를 선택하십시오.

다시 Improvado를 살펴보겠습니다. 데이터를 저장하는 다양한 방법을 제공합니다. Google Big Query와 같은 클라우드 데이터 웨어하우스에 로드하거나 Improvado 환경에서 데이터를 쿼리할 수 있습니다. 자체 데이터 웨어하우스나 이를 관리할 전문 지식이 없는 경우 Improvado는 데이터 웨어하우스 관리 서비스를 제공합니다.

이렇게 하면 어떤 상황에서도 데이터가 유지되고 회사의 모든 직원이 데이터에 완전히 액세스할 수 있음을 알 수 있습니다.

데이터 사일로가 문제가 되는 이유는 무엇입니까?

데이터 사일로는 광범위한 조직 및 비즈니스 영향을 미치는 매우 일반적인 문제입니다.

비즈니스 가시성 제한

관련 비즈니스 데이터를 중앙 데이터베이스에 연결할 수 없는 경우 의사 결정자가 도달하는 통찰력은 비즈니스 운영의 실제 상태를 반영하지 않습니다. 이는 득보다 실이 많은 비즈니스 결정에 기여할 수 있습니다.

또한 분석가가 쉽게 액세스할 수 없는 데이터가 필요한 경우 여러 위치에서 데이터를 찾는 데 많은 시간이 걸립니다. 이는 인사이트 확보 시간, 실행 가능한 인사이트를 도출하는 데 걸리는 평균 시간을 줄이고 비즈니스 민첩성을 저하시킵니다.

일부 인사이트는 부서 간 데이터 교환 없이 분석에서 완전히 빠져나갈 수 있습니다.

예를 들어 어떻게 리드를 수익으로 귀속시키고 판매 및 마케팅 조정 없이 가장 성과가 좋은 채널을 식별할 것입니까? 또는 고객 성공 팀의 정보 없이 고객의 LTV를 어떻게 알 수 있습니까?

데이터 무결성 약화

데이터 사일로는 불완전한 비즈니스 데이터를 생성하여 데이터 무결성을 위태롭게 합니다.

두 부서가 서로 다른 측정 단위를 사용하고 있다는 의사 소통에 실패했기 때문에 NASA가 Mars Climate Orbiter를 잃은 후 알게 된 것처럼 이것은 최소한 잘못된 비즈니스 결정 또는 최악의 경우 큰 재난으로 이어질 수 있습니다.

항공우주 산업에 종사하지 않더라도 데이터 사일로로 인한 편견에 여전히 취약합니다. 관련 판매 데이터 없이 수익을 위해 캠페인을 최적화하려고 하는 마케팅 부서를 상상해 보십시오. 전체 최적화는 순전히 추측에 불과합니다.

사업 자원 낭비

데이터 저장 비용은 엄청나게 비쌀 수 있습니다. 많은 데이터 사일로가 유사하거나 오래된 데이터를 저장하기 때문에 조직은 더 이상 조직에 서비스를 제공하지 않는 데이터 저장소에 예산 리소스를 할당하고 있습니다.

결과적으로 이 데이터를 기반으로 한 비즈니스 결정은 비즈니스 수익에 악영향을 미칠 수도 있습니다. 예를 들어 제품 출시 중에 부정확한 데이터가 있는 경우 이메일 서비스 공급자(EMS)가 고객에게 잘못된 이메일을 보낼 수 있습니다. 또는 잘못된 세그먼트 또는 잘못된 날짜에. 이는 고객 신뢰를 파괴할 뿐만 아니라 ROI에도 영향을 미칩니다.

직원 협업 감소

자유롭게 공유되지 않는 데이터는 직원과 부서 간에 갈등을 일으킬 수 있습니다.

새로운 메시지가 공감을 불러일으키고 리드에게 전달되는지 알고 싶다고 가정해 보겠습니다. 이를 위해서는 리드 품질을 평가하고 리드에서 판매 전환율을 확인해야 합니다.

영업에서 이 데이터를 가져오는 데 시간이 오래 걸리면 프로세스 속도가 느려지나요? 이것은 잠재적으로 귀하와 영업 부서의 연락처 사이에 끔찍한 감정을 불러일으킬 수 있습니다.

마찬가지로, 데이터 투명성의 부족은 서로 다른 부서 간의 협업을 방해합니다. 협업과 협력이 장려되지 않아 좋은 아이디어가 죽어가는 작은 섬이 됩니다.

열악한 고객 경험 증폭

고객이 비즈니스에 참여할 때마다 해당 상호 작용을 기록할 수 있는 소프트웨어가 있습니다.

이제 이러한 서로 다른 도구 간에 데이터를 연결할 방법이 없다고 상상해 보십시오. 많은 데이터가 사일로화되고 최적화할 고객 여정의 부분과 모든 고객 참여를 개인화할 수 있는 방법을 파악하는 데 끔찍한 시간을 보낼 것입니다.

이는 고객을 브랜드에서 멀어지게 하는 단절된 고객 경험으로 이어질 것입니다.

데이터 보안 손상

중앙 집중식 데이터 보안 네트워크에서 액세스할 수 없는 누군가의 디지털 폴더에 데이터가 저장되면 조직에서 이러한 아카이브에 보안 조치를 적용하기가 어려워집니다. 사용자 권한을 제어할 수 없으므로 데이터 위반의 위협이 증가합니다.

데이터 사일로 문제가 있는지 어떻게 알 수 있습니까?

데이터 사일로 문제는 일상적인 비즈니스 운영에서 자주 나타납니다. 의사 결정자부터 일선 직원에 이르기까지 모든 수준의 모든 사람에게 영향을 미칩니다.

최고 경영진은 의사 결정에 필요한 정보를 얻는 데 오랜 시간이 걸립니다. 그들은 비즈니스 목표를 달성하기 위해 어떤 레버를 당겨야 하는지 알지 못할 것입니다. 업계 동향에 대한 이러한 가시성 부족은 변화하는 고객 요구에 대한 대응이 느린 경우가 많다는 것을 의미합니다.

영업 및 마케팅 연계 부족도 데이터 사일로 문제의 증상일 수 있습니다. 개인이 업무를 수행하기 위해 관련 데이터에 액세스할 수 없다고 느낄 때 정보를 "보류"하는 다른 직원을 손가락질하는 것이 편리합니다. 이것은 종종 건강에 해로운 경쟁과 유해한 작업 환경으로 이어지며 성능 저하와 수익 손실은 말할 것도 없습니다.

데이터 사일로를 분해하는 방법

데이터 사일로를 무너뜨리는 것은 비즈니스에서 가장 어려운 작업 중 하나일 수 있습니다. 그들은 회사 문화에 너무 깊이 뿌리박혀 있어 제거하기가 어렵습니다. 그것들을 분해하는 것은 하향식 이니셔티브이자 전사적 교육 프로그램이어야 합니다.

그들이 존재한다는 것을 받아들여라

데이터 사일로는 모든 조직에서 발생할 수 있습니다. 회사에서 이를 더 빨리 받아들일수록 이를 제거하는 데 필요한 조치를 더 빨리 취할 수 있습니다.

조직에서 의사결정이 이루어지는 방식 파악

모든 조직에서 데이터의 주요 목표는 더 나은 결정을 내리는 것입니다. 따라서 회사 내부의 데이터 흐름을 이해하려면 먼저 의사 결정 프로세스를 명확하게 정의해야 합니다.

Fresh FP&A의 CEO이자 눈에 띄는 재무 인플루언서인 Chris Ortega는 결정 주기라는 프레임워크를 사용할 것을 제안합니다. 이 프레임워크에 따르면 의사결정 주기는 의사결정을 5개의 핵심 축으로 나눕니다.

1. 프로세스
2. 데이터
3. 정보
4. 지식
5. 비즈니스 결정

이 기둥은 서로 연결되어 있습니다. 즉, 드라이브 데이터를 처리합니다. 그러면 데이터가 정보로 바뀝니다. 그리고 그 정보는 모든 비즈니스 결정에 영향을 미치는 지식이 됩니다.

조직 내에서 의사 결정이 이루어지는 방식을 알게 되면 부서 전체의 데이터 사일로를 식별하고 데이터를 지식으로 변환하는 프로세스를 자동화하고 의사 결정 프로세스의 마찰을 줄이는 데 적합한 기술을 찾을 수 있습니다.

조직의 데이터 사일로 식별

데이터 사일로 문제의 근본 원인을 식별합니다. 회사 문화인가요? 기술? 프로세스? 그런 다음 이를 통합, 교체 또는 관리할 계획을 세우십시오.

조직 내부에 데이터를 격리한 경우 부서가 별도의 비즈니스 단위로 기능하고 있을 수 있습니다. 즉, 각 부서 내부에 고립된 데이터를 식별해야 합니다.

다음은 올바른 길을 가고 있음을 나타내는 몇 가지 징후입니다.

• 부서는 종종 특정 비즈니스 활동에 대한 데이터 부족에 대해 불평합니다.
• 회사의 비즈니스 프로세스에 대한 부서의 영향을 이해하기에는 데이터가 충분하지 않습니다(회사 노력의 전체적인 그림에서 하나의 퍼즐 조각이 빠져 있다고 상상해 보십시오).
• 특정 부서의 성공 지표에 대한 불확실성이 있습니다.
• 부서의 데이터에 빠르게 액세스할 수 없습니다.

또한 IT 팀에 문의하여 각 부서에서 사용하는 시스템 목록을 받아 데이터가 어디에서 누락되었는지 더 잘 이해할 수 있습니다.

다양한 부서 및 개인의 데이터 요구 사항 파악

데이터가 필요한 여러 팀을 나열하고 무엇이 필요한지, 왜 필요한지 파악하십시오. 그런 다음 해당 데이터를 이미 기록하고 있는 다른 부서와 기록 방법을 확인합니다.

모든 데이터 및 애플리케이션 통합

서로 다른 비즈니스 응용 프로그램이 서로 통신할 수 있는 방법을 찾으십시오. 일부 응용 프로그램을 결합할 수 있습니까? 데이터 공유를 어렵게 만드는 소프트웨어가 있습니까? 현재 사용 중인 도구를 대체할 수 있습니까?

이를 파악한 후에는 조직에서 수집하는 모든 데이터에 대해 하나의 신뢰할 수 있는 소스를 구축하십시오. 데이터 사일로를 분해하고 데이터를 하나의 형식으로 변환하며 통합 데이터를 데이터 웨어하우스에 로드하는 데 도움이 되는 ETL 플랫폼과 같은 유연하고 확장 가능한 도구를 활용합니다.

데이터에 비즈니스 컨텍스트 추가

데이터 자체는 매우 기술적인 개념입니다. 테이블, 조인, 공용체 및 더 많은 전문 용어가 있습니다. 그러나 비즈니스 프로세스와 관련하여 데이터에는 비즈니스 컨텍스트가 있어야 합니다.

"cost-flowchart-1.XML"이라는 데이터베이스 테이블을 상상해 보십시오. 기술자가 아닌 사람에게는 큰 가치가 있는 것 같지 않습니다. 하지만 모두가 이 테이블이 비용 센터 계층 구조 또는 분기 동안 유치된 리드 차트라는 것을 알고 있을 때 특정 의미를 갖습니다.

격리되지 않은 데이터는 데이터 엔지니어를 위한 숫자 집합이 아니라 회사 전체의 자산입니다. 따라서 상호 작용하는 모든 사람이 쉽게 읽을 수 있어야 합니다.

SAP의 비즈니스 애플리케이션 및 플랫폼 SVP인 Jagdish Sahasrabudhe는 최근 발표에서 다음과 같이 말했습니다. 그것 없이는 비트와 바이트의 묶음에 불과합니다.”

격리되지 않은 데이터를 위한 전략 개발

데이터를 액세스 가능하게 만드는 것은 기본적으로 훌륭합니다. 그러나 더 큰 규모에서 "우리 회사에 왜 필요한가?"라는 질문을 스스로에게 던져야 합니다.

그것은 혁신을 향한 점프스타트일 수도 있고 어떤 결과도 가져오지 못한 이니셔티브일 수도 있습니다. 그리고 이러한 결과의 유일한 차이점은 전략입니다.

데이터를 사용하여 혁신을 추진할 때 경험과 전략의 격차를 메울 파트너를 찾는 것을 고려할 수 있습니다. 이 책임을 귀하나 귀하의 동료에게 떠넘기는 대신 다른 산업 분야의 여러 회사를 도왔던 팀에 위임하는 것은 어떻습니까?

전문 서비스 프레임워크를 통해 Improvado는 공급업체에서 파트너로 이동하며 클라이언트 팀이 통찰력 있는 대시보드를 구축하고 사용 가능한 데이터를 기반으로 정보에 입각한 결정을 내릴 수 있도록 지원합니다. 새 데이터로 수행할 작업에 대한 명확한 전략을 갖기 위해서는 프로세스 초기에 지침과 전문 지식을 확보하는 것이 중요합니다.

데이터 품질 프로그램 개발 및 모바일화

데이터 품질은 종종 IT 문제로 간주되지만 실제로는 공동 책임입니다. 데이터 소유권을 장려하여 모든 사람이 양질의 데이터를 생성하고 저장할 책임이 있습니다. 데이터 거버넌스 프로그램의 성공을 보장하려면 회사의 모든 사람이 명확하고 쉽게 이해할 수 있도록 해야 합니다.

마지막으로, 데이터 투명성을 비즈니스의 중요한 측면으로 만드십시오. 부서 간 경쟁 문화를 중단하고 비즈니스 성장을 위한 협업의 중요성을 강조합니다.

새로운 데이터 문화 관리

새로운 데이터 품질 시스템을 시작하려면 시간이 걸릴 수 있습니다. 일부 직원은 이전 관행으로 돌아가거나 해야 할 일에 대해 혼란스러워할 수 있습니다.

이러한 단점에 대비하십시오. 팀이 데이터 관리에 대한 새로운 접근 방식에 익숙해지는 동안 앞으로 데이터를 관리하는 방법을 유연하게 유지하세요.

네 차례 야

데이터 사일로를 해체하는 것은 완전한 데이터 관리 프로그램의 일부여야 합니다. 조직에서 데이터를 수집, 관리 및 저장하는 방법에 대한 규정이 있으면 데이터 사일로가 발생할 가능성이 줄어듭니다.