데이터 거버넌스와 조직에 필요한 이유

데이터 거버넌스 에는 회사에서 데이터 관리 목표를 달성하는 데 필요한 사람, 프로세스, 규칙, 규정, 정책 및 표준이 포함됩니다. 일반적으로 비즈니스 팀이 책임지고 필요한 프로세스를 만드는 데 도움을 주는 반면 기술 팀은 이러한 프로세스를 자동화하고 생기를 불어넣는 데 도움을 줍니다. 거시적 수준에서 이는 정치적 담론 및 국제 관계의 일부인 반면 미시적 수준에서는 기업이 데이터 전략을 계획하는 방법의 일부입니다.

데이터 거버넌스의 원칙

데이터 거버넌스는 일반적으로 다음과 같은 여러 요소를 고려합니다.

ㅏ). 다양한 이해 관계자에게 데이터 접근성 보장

비). 데이터 소유권

씨). 더 많은 데이터 소스를 추가하기 위한 새로운 아이디어

디). 데이터 보안 보장 및 액세스 제어 유지

이자형). 데이터 정리 및 데이터 처리 파이프라인을 마련하십시오.

에프). 데이터 액세스 및 저장과 관련된 규칙 및 규정 준수 요구 사항 준수

효과적인 데이터 거버넌스는 회사에서 처리하는 데이터의 모든 측면이 일련의 프로세스, 제작자 및 검사기, 데이터 소유자 및 제어 메커니즘을 통해 관리되도록 합니다. 또한 여러 팀에서 액세스하고 업데이트할 때 데이터의 개인 정보 보호, 무결성, 가용성 및 청결도가 유지되도록 합니다.

오늘날 기업은 수많은 소스에서 방대한 양의 데이터를 수집할 수 있습니다. 그들은 IOT 기술 을 사용하여 기계에서 데이터를 가져오거나 내부 데이터(고객, 클라이언트 및 프로세스에서 생성한 데이터)를 사용할 수 있습니다. 데이터 과학 팀은 외부 데이터 소스를 활용하고 웹 스크래핑 솔루션을 사용할 수도 있습니다.

여러 소스의 데이터를 처리하는 동안 데이터를 집계하기 전에 주의를 기울여야 하며 회사는 위험을 최소화하기 위해 모든 수준에서 데이터 유효성을 확인해야 합니다. 많은 양의 데이터가 자동으로 회사의 성공을 보장하지 않기 때문에 기업은 데이터 거버넌스를 통한 데이터 규율이 필요합니다.

모든 회사의 데이터 거버넌스 팀에는 일반적으로 기술, 비즈니스, 품질 보증 및 규정 준수와 같은 주요 분야의 구성원이 포함됩니다. 팀 r은 다음을 포함하지만 이에 국한되지 않는 중요한 요구 사항에 대해 작업합니다.

ㅏ). 정책 승인

비). 데이터 자문 패널 만들기

씨). 필수 데이터 제품에 대한 소유자 할당

디). 데이터 수정 및 데이터 정규화

이자형). 규칙 엔진 또는 프레임워크

에프). 데이터 인프라

데이터 거버넌스 팀은 어떻게 작동합니까?

데이터 거버넌스에 대한 요구 사항은 일반적으로 비즈니스 팀에서 시작됩니다. 예를 들어, 대학생들에게 소액 대출을 제공하는 회사의 사용 사례를 살펴보겠습니다. 이러한 비즈니스의 경우 대출을 신청하는 사람들의 특정 재무 데이터를 저장해야 할 수 있습니다. 다른 팀과 구성원이 작업해야 하는 데이터 포인트에 대한 액세스를 제한하는 방식으로 정보를 마스킹해야 합니다.

비즈니스 팀이 요구 사항을 제시하면 규정 준수 팀에서 이를 검증해야 합니다. 변경 사항은 회사가 감사 중에 법적 요구 사항을 충족하는 데 도움이 됩니다. 요구 사항, 검증 및 추가 정보가 추가되면 일반적으로 기술 팀에서 솔루션을 구축합니다.

솔루션은 두 부분으로 나뉩니다. a) 데이터를 마스킹하기 위해 작성해야 하는 실제 코드, b) AWS와 같은 클라우드 플랫폼에 필요한 인프라 설정. 변경 사항이 구축되면 품질 및 보증 팀에서 테스트하고 적용하기 전에 규정 준수 팀에서 다시 검증해야 합니다.

여러 팀이 단일 솔루션의 일부인 경우 주요 장애물 중 하나는 용어입니다. 전자 상거래 회사의 경우 창고 팀은 제품이 "배송"될 때 창고에 도착했음을 의미한다고 생각할 수 있지만 배송 팀은 이 용어가 "배송 준비 중"을 의미한다고 생각할 수 있습니다. 모든 사람이 데이터 거버넌스 문제에 대해 작업하는 동안 동일한 페이지를 유지할 수 있도록 공통 용어를 정의해야 합니다.

데이터 거버넌스 대 데이터 관리

데이터 거버넌스와 데이터 관리 는 동의어처럼 보이지만 그렇지 않습니다. 그러나 대부분의 경우 데이터 관리는 데이터 거버넌스의 일부입니다. 데이터 관리는 데이터 처리 및 저장과 관련된 다양한 측면을 다룹니다. 여기에는 비용을 억제하면서 클라우드 인프라를 설정하고 유지 관리하는 작업이 포함될 수 있습니다. 또한 데이터에 액세스하는 사용자가 플러그 앤 플레이 형식으로 데이터를 사용할 수 있도록 여러 소스의 데이터를 정리하고 처리해야 합니다. 데이터 관리 팀은 다음과 같은 몇 가지 특정 요구 사항에 대해 매일 작업합니다.

ㅏ). 데이터 정규화 및 형식화

비). 단계 함수와 같은 서비스를 사용하는 데이터 파이프라인 및 ETL 워크플로

씨). AWS Glue와 같은 서비스를 사용한 데이터 카탈로그 작성

디). 원스톱 데이터 레이크 생성 및 업데이트

반면에 데이터 거버넌스 팀은 데이터 관리 팀이 프로젝트에서 작업할 때 충족해야 하는 정책 및 규정 준수 요구 사항을 정의합니다. 먼저 설계해야 하는 데이터 스트림의 기본 아키텍처도 데이터 거버넌스 팀에서 설정한 표준을 준수해야 합니다.

간단히 말해서 데이터 거버넌스 팀은 회사의 데이터와 관련된 모든 것에 대한 프로세스와 규칙을 설정하는 반면 데이터 관리 팀은 일반적으로 이러한 규칙 및 프로세스를 적용하고 인프라 요구 사항을 설정하는 작업을 합니다.

데이터 거버넌스의 이점

데이터 거버넌스는 단기간에 구현하기 어려울 수 있지만 일단 구축되면 결과를 유지하는 열매 맺는 나무와 같습니다. 데이터 과학 및 분석 팀의 노력을 강화하고 위험을 관리하고 규정을 준수하는 데 도움이 될 수 있습니다.

ㅏ). 데이터 거버넌스를 갖추면 데이터 과학 프로젝트에 참여하고 회사의 데이터 스트림에 액세스해야 하는 모든 사람이 따를 수 있는 표준 규칙 집합이 생깁니다. 이것은 차례로 여러 수준의 의사 소통 및 의사 결정의 필요성을 줄입니다.

비). 목표와 요구 사항을 설정하면 데이터 관리와 관련된 비용이 줄어들고 비용 절감이 더 높아집니다. 이는 특히 회사에 엄청난 양의 데이터가 있지만 적절한 저장, 보관 및 액세스 방법이 있는 경우에 적용됩니다.

씨). 데이터 기반 활동이 더 투명해지고 이를 통해 기업은 이해 관계자 또는 감사자에게 더 빠르게 답변을 제공할 수 있습니다.

디). 적절한 지침이 마련되면 회사는 더 많은 외부 데이터 소스를 목표로 삼아 현재 데이터 소스를 풍부하게 하고 더 광범위한 시장 조사를 생성할 수 있습니다.

이자형). 데이터 거버넌스 팀은 제품 또는 기술이 직면하거나 규정 준수 팀에서 발생할 수 있는 모든 데이터 관련 문제에 대해 더 빠른 해결 방법을 제공할 수 있습니다.

에프). 개선된 모니터링 및 로깅 메커니즘은 데이터 보안을 보장하고 기업이 고객의 신뢰를 얻을 수 있도록 합니다. 최근 몇 년 동안 전 세계적으로 여러 데이터 해킹이 발생하면서 데이터 안전은 제품이 돈을 많이 버는 제품이라 할지라도 모든 고객을 잃는 이유가 될 수 있습니다.

투쟁

데이터 거버넌스의 부상은 여러 사이버 공격과 대중의 신뢰 상실의 여파로 기업이 직면한 어려움 때문이었습니다. 오늘날 이러한 외부 침해, 규제 강화, 비용 절감으로 인해 데이터 거버넌스는 데이터에 손을 대는 크고 작은 기업의 필수 요소가 되었습니다. 캘리포니아 소비자 개인 정보 보호법(CCPA) 및 일반 데이터 보호 규정(GDPR)과 같은 최근 규정은 사전 정의된 표준에 따라 데이터 인프라를 구축하는 회사에 대한 인센티브를 높입니다.

로마가 하루아침에 이루어지지 않은 것처럼 데이터 거버넌스 팀을 만들고 회사 전체가 따를 수 있는 프레임워크를 구축하는 것은 단기간에 실현 가능하지 않을 수 있습니다. 그 이유는 서로 다른 팀의 참가자가 함께 모여 회사에서 사용할 데이터, 데이터 스트림의 소스, 사용할 목적 및 액세스할 사용자를 분석해야 하기 때문입니다. 데이터.

웹 스크래핑 및 거버넌스

웹 스크래핑은 웹에서 사용할 수 있는 정보의 양이 거의 무한하고 실시간 데이터 업데이트로 인해 업계에서 가장 큰 외부 데이터 소스입니다. 그러나 소송 및 규정 준수 요구 사항에 대한 두려움은 웹 스크래핑을 데이터 소스로 사용하는 경로에 장애물을 만듭니다. 새로운 소스가 추가될 때마다 "할 일 목록"을 제시할 수 있는 표준화된 데이터 거버넌스 규칙과 팀을 보유하면 데이터 법칙을 준수하는 데 도움이 될 수 있습니다.

이 블로그를 읽는 것이 마음에 들었다면 데이터 정규화와 데이터 구조화의 차이점 을 읽고 싶을 것입니다. 아래 댓글 섹션에 소중한 피드백을 남겨주세요.