Data Governance und warum Unternehmen sie brauchen

Data Governance umfasst Personen, Prozesse, Regeln, Vorschriften, Richtlinien und Standards, die ein Unternehmen benötigt, um seine Datenverwaltungsziele zu erreichen. Während das Geschäftsteam normalerweise die Verantwortung trägt und hilft, die erforderlichen Prozesse zu erstellen, hilft das Technologieteam dabei, diese Prozesse zu automatisieren und ihnen Leben einzuhauchen. Auf der Makroebene ist es ein Teil des politischen Diskurses und der internationalen Beziehungen, während es auf der Mikroebene ein Teil davon ist, wie Unternehmen ihre Datenstrategien planen.

Prinzipien der Data Governance

Data Governance berücksichtigt in der Regel mehrere Faktoren wie:

a). Gewährleistung des Datenzugriffs für verschiedene Interessengruppen

b). Eigentum an Daten

c). Neue Ideen zum Hinzufügen weiterer Datenquellen

d). Gewährleistung der Datensicherheit und Pflege der Zugriffskontrollen

e). Richten Sie Datenbereinigungs- und Datenverarbeitungspipelines ein

f). Einhaltung von Regeln und Compliance-Anforderungen in Bezug auf Datenzugriff und -speicherung

Eine effektive Data Governance stellt sicher, dass jeder Aspekt der vom Unternehmen verarbeiteten Daten durch eine Reihe von Prozessen, Erstellern und Prüfern, Dateneigentümern und Kontrollmechanismen verwaltet wird. Es stellt auch sicher, dass der Datenschutz, die Integrität, die Verfügbarkeit und die Sauberkeit der Daten gewahrt bleiben, wenn mehrere Teams darauf zugreifen und sie aktualisieren.

Unternehmen haben heute die Möglichkeit, riesige Datenmengen aus zahlreichen Quellen zu sammeln. Sie können Daten von Maschinen mit IOT-Technologie abrufen oder interne Daten verwenden – das sind Daten, die von Kunden, Auftraggebern und Prozessen generiert werden. Das Data-Science-Team kann auch externe Datenquellen anzapfen und Web-Scraping-Lösungen nutzen.

Beim Umgang mit Daten aus mehreren Quellen ist Vorsicht geboten, bevor die Daten aggregiert werden, und Unternehmen müssen die Datenvalidierung auf allen Ebenen überprüfen, um die Risiken zu minimieren. Große Datenmengen sichern nicht automatisch den Erfolg eines Unternehmens, weshalb Unternehmen Datendisziplin durch Data Governance benötigen.

Das Data-Governance-Team eines Unternehmens umfasst normalerweise Mitglieder der wichtigsten Branchen wie Technologie, Business, Qualitätssicherung und Compliance. Das Team r arbeitet an den kritischen Anforderungen, die Folgendes beinhalten, aber nicht darauf beschränkt sein müssen:

a). Richtliniengenehmigung

b). Erstellen eines Datenberatungsgremiums

c). Zuordnung von Eigentümern für benötigte Datenprodukte

d). Datenkorrekturen und Datennormalisierungen

e). Regel-Engine oder Frameworks

f). Dateninfrastruktur

Wie funktioniert ein Data-Governance-Team?

Die Anforderungen an Data Governance beginnen in der Regel beim Geschäftsteam. Nehmen wir zum Beispiel den Anwendungsfall eines Unternehmens, das Mikrokredite an College-Studenten vergibt. Für ein solches Unternehmen kann es erforderlich sein, bestimmte Finanzdaten derjenigen zu speichern, die einen Kredit beantragen. Die Informationen müssen so maskiert werden, dass verschiedene Teams und Mitglieder eingeschränkten Zugriff auf Datenpunkte haben, an denen sie arbeiten müssen.

Sobald das Business-Team die Anforderungen entwickelt hat, müssen sie vom Compliance-Team validiert werden. Die Änderungen sollen dem Unternehmen dabei helfen, seine gesetzlichen Anforderungen bei einer Prüfung zu erfüllen. Sobald die Anforderungen und Validierungen sowie zusätzliche Informationen hinzugefügt wurden, erstellt das Technologieteam normalerweise eine Lösung.

Die Lösung bestünde aus zwei Teilen – a) dem eigentlichen Code, der geschrieben werden muss, um die Daten zu maskieren, b) der Infrastruktureinrichtung, die auf einer Cloud-Plattform wie AWS erforderlich wäre. Sobald die Änderungen erstellt sind, müssen sie vom Qualitäts- und Sicherungsteam getestet und vom Compliance-Team erneut validiert werden, bevor sie live gehen.

Wenn mehrere Teams Teil einer einzigen Lösung sind, ist eines der größten Hindernisse die Terminologie. Bei einem E-Commerce-Unternehmen könnte das Lagerteam glauben, dass ein Produkt „versandt“ bedeutet, dass es das Lager erreicht hat, während das Lieferteam glauben könnte, dass der Begriff für „zur Lieferung bereit“ steht. Gemeinsame Terminologien müssen definiert werden, damit alle auf dem gleichen Stand bleiben, während sie an Data-Governance-Problemen arbeiten.

Data Governance vs. Datenmanagement

Data Governance und Data Management mögen wie Synonyme erscheinen, sind es aber nicht. In den meisten Fällen ist das Datenmanagement jedoch ein Teil der Data Governance. Das Datenmanagement befasst sich mit verschiedenen Aspekten im Zusammenhang mit der Handhabung und Speicherung der Daten. Dies kann den Aufbau einer Cloud-Infrastruktur und deren Wartung bei gleichzeitiger Kostenkontrolle umfassen. Es würde auch die Bereinigung und Verarbeitung von Daten aus mehreren Quellen beinhalten, damit diejenigen, die auf die Daten zugreifen, sie in einem Plug-and-Play-Format verwenden können. Das Datenverwaltungsteam würde täglich an einigen spezifischen Anforderungen arbeiten, wie zum Beispiel:

a). Datennormalisierung und Formatierung

b). Datenpipelines und ETL-Workflows mit Diensten wie Schrittfunktionen

c). Datenkatalogisierung mit Diensten wie AWS Glue

d). Erstellen und Aktualisieren eines Data Lake aus einer Hand

Andererseits würde das Data-Governance-Team die Richtlinien und Compliance-Anforderungen definieren, die erfüllt werden müssen, wenn das Data-Management-Team an einem seiner Projekte arbeitet. Die Basisarchitektur der Datenströme, die zuerst entworfen werden müssen, müsste ebenfalls den vom Data-Governance-Team festgelegten Standards entsprechen.

Kurz gesagt, das Data-Governance-Team würde Prozesse und Regeln für alles festlegen, was mit Daten in einem Unternehmen zu tun hat, während ein Datenmanagement-Team normalerweise an der Anwendung dieser Regeln und Prozesse und der Einrichtung der Infrastrukturanforderungen arbeiten würde.

Vorteile von Data Governance

Data Governance mag kurzfristig schwierig umzusetzen sein, aber sie ist wie ein fruchttragender Baum, der nach seiner Etablierung immer wieder Ergebnisse liefert. Es kann dazu beitragen, die Bemühungen des Data Science and Analytics-Teams zu steigern und auch beim Risikomanagement und der Einhaltung von Vorschriften zu helfen:

a). Mit Data Governance hätten Sie einen Standardsatz von Regeln, denen jeder folgen kann, der an einem Data-Science-Projekt arbeitet und Zugriff auf die Datenströme des Unternehmens benötigt. Dies würde wiederum den Bedarf an mehreren Ebenen der Kommunikation und Entscheidungsfindung verringern

b). Mit festgelegten Zielen und Anforderungen würden die mit der Datenverwaltung verbundenen Kosten sinken und die Kosteneinsparungen wären höher. Dies gilt insbesondere dann, wenn ein Unternehmen über Tonnen von Daten verfügt, aber über geeignete Speicher-, Archivierungs- und Zugriffsmethoden verfügt

c). Datengetriebene Aktivitäten würden transparenter und dies würde es Unternehmen ermöglichen, Stakeholdern oder Prüfern schneller Antworten zu geben

d). Mit geeigneten Richtlinien kann das Unternehmen auf mehr externe Datenquellen abzielen, um die aktuellen Datenquellen zu bereichern und auch breitere Marktstudien zu erstellen

e). Ein Data-Governance-Team kann schnellere Lösungen für alle datenbezogenen Probleme bereitstellen, mit denen das Produkt oder die Technologie konfrontiert sein kann oder auf die das Compliance-Team stößt

f). Verbesserte Überwachungs- und Protokollierungsmechanismen werden die Datensicherheit gewährleisten und es Unternehmen ermöglichen, das Vertrauen der Kunden zu gewinnen. Da in den letzten Jahren weltweit mehrere Datenhacks aufgetreten sind, kann die Datensicherheit der Grund dafür sein, dass Sie alle Ihre Kunden verlieren, selbst wenn Ihr Produkt ein Knaller für das Geld ist

Der Kampf

Der Aufstieg der Data Governance war auf die Probleme zurückzuführen, mit denen Unternehmen nach mehreren Cyberangriffen und dem Verlust des öffentlichen Vertrauens konfrontiert waren. Heutzutage machen solche externen Verstöße, strengere Vorschriften und Kosteneinsparungen Data Governance zu einem Muss für große und kleine Unternehmen, die sich mit Daten beschäftigen. Jüngste Vorschriften wie der California Consumer Privacy Act (CCPA) und die Datenschutz-Grundverordnung (DSGVO) erhöhen die Anreize für Unternehmen, ihre Dateninfrastruktur auf den vordefinierten Standards aufzubauen.

So wie Rom nicht an einem Tag gebaut wurde, ist die Einrichtung eines Data-Governance-Teams und der Aufbau des Rahmens für das gesamte Unternehmen in kurzer Zeit möglicherweise nicht machbar. Der Grund dafür ist, dass Sie Teilnehmer aus verschiedenen Teams benötigen würden, um zusammenzukommen und die Daten zu analysieren, die das Unternehmen verwenden wird, die Quellen der Datenströme, den Zweck, für den sie verwendet werden, und die Benutzer, die darauf zugreifen werden Daten.

Web Scraping und Governance

Aufgrund der nahezu unendlichen Menge an Informationen, die im Internet verfügbar sind, und der Datenaktualisierungen in Echtzeit ist Web Scraping die größte Quelle externer Daten für Branchen gleichermaßen. Die Angst vor Rechtsstreitigkeiten und Compliance-Anforderungen schaffen jedoch Hindernisse auf dem Weg zur Nutzung von Web Scraping als Datenquelle . Ein standardisiertes Data-Governance-Regelwerk und ein Team, das jedes Mal, wenn eine neue Quelle hinzugefügt wird, eine „To-Do-Liste“ erstellen kann, kann Ihnen dabei helfen, auf der richtigen Seite der Datengesetze zu bleiben.

Wenn Ihnen dieser Blog gefallen hat, möchten Sie sicher den Unterschied zwischen Datennormalisierung und Datenstrukturierung lesen. Stellen Sie sicher, dass Sie uns Ihr wertvolles Feedback im Kommentarbereich unten hinterlassen.