Gobierno de datos y por qué las organizaciones lo necesitan

El gobierno de datos incluye personas, procesos, reglas, regulaciones, políticas y estándares que requiere una empresa para lograr sus objetivos de gestión de datos. Si bien el equipo comercial generalmente está a cargo y ayuda a crear los procesos necesarios, el equipo de tecnología ayuda a automatizar estos procesos y les da vida. A nivel macro, es parte del discurso político y las relaciones internacionales, mientras que a nivel micro, es parte de cómo las empresas planifican sus estrategias de datos.

Principios de Gobierno de Datos

El gobierno de datos suele tener en cuenta múltiples factores como:

a). Garantizar la accesibilidad de los datos a las diferentes partes interesadas

b). Propiedad de los datos

C). Nuevas ideas para agregar más fuentes de datos

d). Garantice la seguridad de los datos y mantenga los controles de acceso

mi). Tener canalizaciones de limpieza y procesamiento de datos en su lugar

F). Cumplir con las normas y los requisitos de cumplimiento relacionados con el acceso y el almacenamiento de datos

El gobierno de datos eficaz garantiza que todos los aspectos de los datos que maneja la empresa se gestionen a través de una serie de procesos, creadores y verificadores, propietarios de datos y mecanismos de control. También garantiza que la privacidad, la integridad, la disponibilidad y la limpieza de los datos se mantengan a medida que varios equipos acceden a ellos y los actualizan.

Las empresas de hoy tienen la oportunidad de recopilar cantidades masivas de datos de numerosas fuentes. Pueden obtener datos de máquinas que usan tecnología IOT o usar datos internos, es decir, datos generados por clientes, clientes y procesos. El equipo de Data Science también puede acceder a fuentes externas de datos y utilizar soluciones de web scraping.

Al manejar datos de múltiples fuentes, se debe tener cuidado antes de agregar los datos, y las empresas deben verificar la validación de datos en todos los niveles para minimizar los riesgos. Grandes cantidades de datos no garantizan automáticamente el éxito de una empresa, por lo que las empresas necesitan disciplina de datos a través del gobierno de datos.

El equipo de Gobierno de datos de cualquier empresa generalmente incluye miembros de los verticales clave, como Tecnología, Negocios, Garantía de calidad y Cumplimiento. El equipo trabaja en los requisitos críticos que incluyen, pero no se limitan a:

a). Aprobación de políticas

b). Creación de un panel de asesoramiento de datos

C). Asignación de propietarios para los productos de datos requeridos

d). Correcciones de datos y normalizaciones de datos

mi). Motor de reglas o marcos

F). Infraestructura de datos

¿Cómo funciona un equipo de gobierno de datos?

Los requisitos para el gobierno de datos generalmente comienzan con el equipo comercial. Por ejemplo, tomemos el caso de uso de una empresa que otorga microcréditos a estudiantes universitarios. Para un negocio de este tipo, podría haber un requisito para almacenar ciertos datos financieros de quienes solicitan préstamos. La información debe enmascararse de tal manera que los diferentes equipos y miembros tengan acceso limitado a los puntos de datos en los que necesitan trabajar.

Una vez que el equipo comercial presenta los requisitos, debe ser validado por el equipo de cumplimiento. Los cambios deberían ayudar a la empresa a cumplir con los requisitos legales durante una auditoría. Una vez que se le agregan los requisitos, las validaciones y la información adicional, el equipo de tecnología generalmente crea una solución.

La solución constaría de dos partes: a) el código real que debe escribirse para enmascarar los datos, b) la configuración de la infraestructura que sería necesaria en una plataforma en la nube como AWS. Una vez que se construyen los cambios, el equipo de Calidad y Garantía deberá probarlos y el equipo de Cumplimiento deberá volver a validarlos antes de que se publiquen.

Cuando varios equipos forman parte de una única solución, uno de los principales obstáculos es la terminología. Para una empresa de comercio electrónico, el equipo de almacén puede creer que cuando un producto se "envía", significa que ha llegado al almacén, mientras que el equipo de entrega puede creer que el término significa "fuera de entrega". Es necesario definir terminologías comunes para permitir que todos permanezcan en la misma página mientras trabajan en problemas de gobierno de datos.

Gobierno de datos frente a gestión de datos

Gobierno de datos y gestión de datos pueden parecer sinónimos, pero no lo son. En la mayoría de los casos, sin embargo, la gestión de datos es el resultado de una parte del gobierno de datos. La gestión de datos trata diferentes aspectos relacionados con el manejo y almacenamiento de los datos. Esto puede incluir la configuración de una infraestructura en la nube y su mantenimiento, manteniendo los costos bajo control. También implicaría limpiar y procesar datos de múltiples fuentes para que aquellos que accedan a los datos puedan usarlos en un formato plug and play. El equipo de gestión de datos trabajaría en algunos requisitos específicos día a día, como:

a). Normalización y formateo de datos

b). Canalizaciones de datos y flujos de trabajo de ETL que utilizan servicios como funciones de paso

C). Catalogación de datos utilizando servicios como AWS Glue

d). Creación y actualización de un lago de datos integral

Por otro lado, el equipo de Gobernanza de datos definiría las políticas y los requisitos de cumplimiento que deben cumplirse cuando el equipo de Gestión de datos trabaja en cualquiera de sus proyectos. La arquitectura base de los flujos de datos que deben diseñarse primero, también debe cumplir con los estándares establecidos por el equipo de Gobierno de datos.

En resumen, el equipo de Gobierno de datos establecería procesos y reglas para todo lo relacionado con los datos en una empresa, mientras que un equipo de Gestión de datos generalmente trabajaría aplicando esas reglas y procesos y estableciendo los requisitos de infraestructura.

Beneficios del gobierno de datos

El gobierno de datos puede ser difícil de implementar a corto plazo, pero es como un árbol frutal que sigue dando resultados una vez que se establece. Puede ayudar a impulsar los esfuerzos del equipo de Data Science and Analytics y también ayudar a administrar los riesgos y cumplir con las normas:

a). Con el gobierno de datos implementado, tendría un conjunto estándar de reglas que cualquier persona que trabaje en un proyecto de ciencia de datos y requiera acceso a los flujos de datos de la empresa puede seguir. Esto, a su vez, reduciría la necesidad de múltiples niveles de comunicación y toma de decisiones.

b). Con objetivos y requisitos establecidos, los costos asociados con la gestión de datos se reducirían y el ahorro de costos sería más alto. Esto es aplicable especialmente cuando una empresa tiene toneladas de datos en sus manos pero tiene métodos adecuados de almacenamiento, archivo y acceso.

C). Las actividades basadas en datos serían más transparentes y esto permitiría a las empresas proporcionar respuestas a las partes interesadas o auditores más rápido.

d). Con las pautas adecuadas, la empresa puede apuntar a más fuentes externas de datos para enriquecer las fuentes de datos actuales y también crear estudios de mercado más amplios.

mi). Un equipo de Data Governance puede proporcionar resoluciones más rápidas para todos los problemas relacionados con los datos que pueda enfrentar el producto o la tecnología, o que pueda encontrar el equipo de Cumplimiento.

F). Los mecanismos mejorados de seguimiento y registro garantizarán la seguridad de los datos y permitirán a las empresas ganarse la confianza de los clientes. Con múltiples ataques de datos en todo el mundo en los últimos años, la seguridad de los datos puede ser la razón por la que pierda a todos sus clientes, incluso si su producto es una inversión.

La lucha

El auge del gobierno de datos se debió a las dificultades que enfrentaron las empresas después de múltiples ataques cibernéticos y la pérdida de la confianza del público. Hoy en día, dichas infracciones externas, el aumento de las regulaciones y el ahorro de costos hacen que el gobierno de datos sea imprescindible para las empresas, tanto grandes como pequeñas, que incursionan en los datos. Regulaciones recientes como la Ley de Privacidad del Consumidor de California (CCPA) y el Reglamento General de Protección de Datos (GDPR) aumentan los incentivos para las empresas que construyen su infraestructura de datos en los estándares predefinidos.

Al igual que Roma no se construyó en un día, la creación de un equipo de Gobierno de datos y la construcción del marco para que toda la empresa lo siga podría no ser factible en un período corto. La razón detrás de esto es que necesitaría que participantes de diferentes equipos se reúnan y analicen los datos que utilizará la empresa, las fuentes de los flujos de datos, el propósito para el que se utilizarán y los usuarios que accederán a los mismos. datos.

Web Scraping y Gobernanza

El web scraping es la mayor fuente de datos externos para las industrias por igual, debido a la cantidad casi infinita de información disponible en la web y las actualizaciones de datos en tiempo real. Sin embargo, el temor a los litigios y los requisitos de cumplimiento crean obstáculos en el camino del uso del web scraping como fuente de datos . Tener un libro de reglas de gobierno de datos estandarizado y un equipo que pueda elaborar la "lista de tareas pendientes" cada vez que se agrega una nueva fuente puede ayudarlo a mantenerse en el lado correcto de las leyes de datos.

Si le gustó leer este blog, estamos seguros de que le gustaría leer la Diferencia entre la normalización de datos y la estructuración de datos . Asegúrese de dejarnos sus valiosos comentarios en la sección de comentarios a continuación.