¿Qué son los silos de datos y qué problemas causan?

Los datos son su ventaja competitiva. Le permite mejorar sus procesos, productos y operaciones para crear un negocio mejor que el de la competencia. Pero los datos también son frágiles y, sin un control de datos adecuado, la integridad de los datos puede verse comprometida.

En esta publicación de blog, hablaremos sobre una de las principales razones de los problemas de integridad de datos: los silos de datos. Profundicemos en qué son, por qué existen y cómo desglosarlos.

Conclusiones clave

• Los silos de datos son datos que un individuo o departamento mantiene a los que otros en la organización no pueden acceder.
• Las organizaciones en crecimiento, la mala cultura de datos y la falta de la tecnología adecuada son las principales causas de los datos en silos.
• Los silos de datos son problemáticos porque limitan la visibilidad del negocio, amenazan la integridad de los datos, desperdician los recursos de la empresa, crean un entorno menos colaborativo, conducen a una mala experiencia del cliente y comprometen la seguridad de los datos.
• Algunos síntomas comunes de los datos en silos son la lentitud en el tiempo de comprensión o la frustración de los empleados debido a la falta de visibilidad empresarial.
• Desglosar los silos de datos es un proceso largo y desafiante. Puede hacer que esto sea más sencillo mediante el uso de plataformas de automatización, como una canalización ETL que extrae datos de diferentes fuentes, los transforma y los envía a una única fuente de verdad (SSOT).

¿Qué son los silos de datos?

Piense en los silos de datos como islas de datos empresariales que pertenecen a un departamento o incluso a una persona, y a los que no pueden acceder otras personas de la organización. Esto da como resultado información aislada que eventualmente corrompe la calidad de los datos de la organización.

¿Por qué existen los silos de datos?

Nadie empieza planeando hacer silos de datos. Pero algunas organizaciones son más susceptibles a ellos.

La estructura organizativa se presta a datos en silos

Las empresas a menudo se benefician de una separación de responsabilidades. Pero la división en departamentos puede conducir al aislamiento de algunos datos. Con cada departamento recopilando sus propios datos para su propio propósito, sin darse cuenta crean silos de datos.

La empresa no tiene una buena cultura de calidad de datos.

Las organizaciones con una cultura de datos inmadura tienen más probabilidades de tener problemas de almacenamiento de datos. Estas empresas suelen carecer de documentación y gestión de datos, por lo que no existe una comprensión compartida de la recopilación, la gestión y el almacenamiento de datos.

Esto da como resultado que los empleados no tengan la orientación adecuada para compartir los datos que recopilan.

La tecnología está frenando los esfuerzos de calidad de datos

La tecnología a veces puede sabotear los esfuerzos de una organización para mantener datos de buena calidad.

Cuando una empresa utiliza varios software para ejecutar sus operaciones, es posible que estas diferentes piezas de software no sean compatibles entre sí. Esto complica el intercambio de datos.

Alternativamente, algunas organizaciones carecen de acceso a la tecnología que prioriza la comunicación entre diferentes fuentes de datos, lo que inevitablemente conduce a problemas de silos de datos.

El crecimiento empresarial debilita las prácticas de gestión de datos

El crecimiento del negocio conduce a la formación de nuevos departamentos, nuevos empleados, nuevos procesos y nuevo software para respaldar el negocio en expansión.

Cuando la gestión de datos no es una prioridad, todos estos cambios recientes hacen que las personas inventen cosas a medida que avanzan, lo que casi siempre genera problemas de calidad de los datos, en particular silos de datos.

Ejemplos comunes de silos de datos

Los datos no se sientan en silos por sí mismos. Son las acciones que tomamos las que colocan los datos en silos. Aquí hay una revisión de los casos de uso comunes cuando las organizaciones limitan la accesibilidad a los datos (la mayoría de las veces sin querer).

Uso de hojas de cálculo en la mayoría de las operaciones comerciales

Las hojas de cálculo siguen siendo la herramienta más popular para procesar, consultar y democratizar datos en muchas empresas. Aunque a menudo se convierten en un dolor de cabeza para los equipos de datos.

Los especialistas no técnicos (por ejemplo, especialistas en marketing o funcionarios financieros) dominan las fórmulas de las hojas de cálculo y hacen cosas increíbles con una sola VLOOKUP.

A pesar de su facilidad de uso, las hojas de cálculo a menudo se convierten en un cementerio de datos. Después de realizar las consultas requeridas, los datos se pierden en la nube de alguien y no llegan al almacenamiento centralizado.

Una hoja de cálculo también se convierte en un silo de datos cuando pasa del prototipo a la producción. Si parte de su lógica comercial gira en torno a las hojas de cálculo, es una clara señal de que debe encontrar algo más práctico. Existen múltiples razones para evitar las hojas de cálculo, que van desde límites de datos hasta la incapacidad de incluir cada hoja de cálculo en un proceso de gobierno de datos.

Cómo separar sus datos de las hojas de cálculo: Comience revisando hojas de cálculo gigantescas que son fundamentales para algunas de sus operaciones comerciales. Lo más probable es que sean ineficientes debido a su tamaño y a las numerosas macros y fórmulas que se encuentran encima de ellos.

Encontrar una forma de transferir datos a una arquitectura más sostenible, como un almacén de datos en la nube, mejorará la accesibilidad a los datos y el rendimiento individual de cada empleado que interactúe con los datos.

Consultas de transformación mal estructuradas

Al agregar diferentes tipos de datos, como datos financieros, de marketing y de ventas, para crear una única fuente de verdad, las cosas se complican un poco.

Primero, diferentes datos tienen diferentes convenciones de nomenclatura que deben alinearse para que tengan sentido. Además, debe crear consultas adicionales además de las anteriores para crear informes ad hoc sobre el rendimiento de la campaña, el crecimiento de los ingresos, etc.

Eventualmente, termina teniendo una consulta SQL de tres páginas que solo tiene sentido para su propietario. Sus trabajos de transformación pueden ser tan complejos que una parte de los datos requeridos simplemente no llega a la canalización de datos.

La peor parte es que los analistas pueden detectar la disminución/aumento drástico en las métricas, pero no pueden entender el motivo porque no pueden entender cómo se consultaron estos datos.

Cómo separar sus datos de consultas complejas: el problema se puede abordar de dos maneras diferentes.

Si su empresa realiza transformaciones internamente, divida las consultas complejas en varios puntos de control y guárdelas en tablas para un control intermedio de la calidad de los datos. Los pasos de transformación claramente definidos y la verificación de la calidad de los datos después de cada paso garantizan que ninguno de los datos se escape de la canalización.

Otra opción es utilizar soluciones de transformación automatizada para diferentes tipos de datos. Por ejemplo, Improvado, una canalización de datos de marketing automatizada, transforma todos los datos de acuerdo con recetas predefinidas. Puede elegir cualquier receta y saber exactamente cómo se verán sus datos después del proceso de transformación.

Improvado también le permite crear sus propias consultas de transformación similares a SQL en una interfaz similar a una hoja de cálculo sin código. Puede ver claramente las dependencias entre diferentes entradas de datos y transformar los datos de la forma que necesite, sin escribir consultas SQL.

Soluciones de terceros que mantienen sus datos como rehenes

El mercado actual está lleno de soluciones ETL que pueden extraer sus datos de cualquier fuente, transformarlos en un formato digerible y mostrarlos en paneles informativos. Sin embargo, la mayoría de estas soluciones tienen un gran inconveniente: la dependencia del proveedor.

Tomemos Datorama (Salesforce Marketing Cloud) como ejemplo. Es una solución integral para grandes empresas que automatiza los informes de marketing y optimiza los datos de cientos de fuentes. Desde el primer vistazo, es el sueño de todo vendedor. Cuenta con informes ad-hoc sobre datos de todas las plataformas publicitarias populares.

Las cosas se complican si se ven desde el ángulo de los silos de datos. No puede cargar datos de Datorama a su almacenamiento interno ni combinar estos datos con información de terceros recopilada de su lado. En otras palabras, te quedas bastante bloqueado con los datos disponibles solo en Datorama, y ​​tampoco puedes compartir información útil fuera de la plataforma.

Este bloqueo del proveedor lo hace dependiente del proveedor y vulnerable a cualquier cambio en la política de precios. Si no está de acuerdo con los cambios de precios, no puede simplemente darse por vencido en la plataforma, porque perderá todos los datos históricos que ha acumulado. Es por eso que debe pensar dos veces antes de confiar sus datos a tales plataformas.

Cómo evitar que sus datos queden atrapados: si decide optar por una plataforma de terceros, elija un proveedor que le brinde acceso completo a sus datos.

Una vez más, echemos un vistazo a Improvado. Le ofrece diferentes formas de almacenar sus datos. Puede cargarse en su almacén de datos en la nube, como Google Big Query, o puede consultar sus datos desde el entorno de Improvado. Si no tiene su propio almacén de datos o experiencia para administrar uno, Improvado ofrece servicios de administración de almacenes de datos.

De esta manera, sabe que sus datos permanecerán con usted bajo cualquier circunstancia y puede hacerlos totalmente accesibles para cualquier empleado de su empresa.

¿Por qué son problemáticos los silos de datos?

Los silos de datos son un problema muy común con implicaciones organizacionales y comerciales de gran alcance.

Limitar la visibilidad del negocio

Cuando los datos comerciales relevantes no se pueden conectar a una base de datos central, los conocimientos a los que llegan los tomadores de decisiones no reflejarán el verdadero estado de las operaciones comerciales. Esto puede contribuir a decisiones comerciales que hacen más daño que bien.

Además, cuando los analistas necesitan datos a los que no se puede acceder fácilmente, les llevará mucho tiempo encontrarlos en diferentes lugares. Esto reduce el tiempo de obtención de información, el tiempo promedio que se tarda en obtener información procesable, y ralentiza la agilidad empresarial.

Algunas ideas pueden escaparse por completo del análisis sin el intercambio de datos entre departamentos.

Por ejemplo, ¿cómo atribuirá los clientes potenciales a los ingresos e identificará los canales de mejor rendimiento sin la alineación de ventas y marketing? O, ¿cómo conocerá el LTV de sus clientes sin información del equipo de éxito del cliente?

Socavar la integridad de los datos

Los silos de datos dan como resultado datos comerciales incompletos, lo que pone en peligro la integridad de los datos.

Esto puede conducir a malas decisiones comerciales como mínimo o a grandes desastres en el peor de los casos, como descubrió la NASA después de que perdieron el Mars Climate Orbiter porque dos departamentos no comunicaron que estaban usando diferentes unidades de medida.

Incluso si no trabaja en la industria aeroespacial, sigue siendo vulnerable a los sesgos causados ​​por los silos de datos. Imagine un departamento de marketing que intenta optimizar las campañas para obtener ingresos sin datos de ventas relevantes. Toda la optimización se convierte únicamente en conjeturas.

Desperdiciar recursos comerciales

Los costos de almacenamiento de datos pueden ser prohibitivamente costosos. Debido a que muchos silos de datos almacenan datos similares o desactualizados, su organización está asignando recursos presupuestarios al almacenamiento de datos que ya no sirven a la organización.

Más adelante, las decisiones comerciales basadas en estos datos pueden incluso perjudicar los ingresos comerciales. Por ejemplo, si tiene datos inexactos durante el lanzamiento de un producto, su proveedor de servicios de correo electrónico (EMS) podría enviar el correo electrónico incorrecto a los clientes. O al segmento equivocado, o en el día equivocado. Esto no solo destruye la confianza del cliente, sino que también afecta el ROI.

Reducir la colaboración de los empleados

Los datos que no se comparten libremente pueden crear conflictos entre empleados y departamentos.

Supongamos que desea saber si el nuevo mensaje resuena y llega a los clientes potenciales. Para esto, debe evaluar la calidad del cliente potencial y verificar la tasa de conversión de clientes potenciales a ventas.

¿Qué sucede si lleva mucho tiempo obtener estos datos de las ventas, si es que lo hace, lo que ralentiza sus procesos? Esto puede desencadenar sentimientos terribles entre usted y su punto de contacto en el departamento de ventas.

Del mismo modo, la falta de transparencia de los datos dificulta la colaboración entre los diferentes departamentos. Se convierten en sus propias islitas donde las buenas ideas mueren porque no se fomenta la colaboración y la cooperación.

Amplificar la mala experiencia del cliente

Cada vez que los clientes interactúan con un negocio, hay una pieza de software que puede registrar esa interacción.

Ahora imagine si no hubiera forma de conectar los datos entre estas diferentes herramientas. Muchos de los datos se almacenarían en silos, y le resultaría terrible averiguar qué parte del viaje del cliente optimizar y cómo podría personalizar cada interacción con el cliente.

Esto conduciría aún más a una experiencia del cliente inconexa que los alejaría de su marca.

Comprometer la seguridad de los datos

Cuando los datos se almacenan en la carpeta digital de alguien, a la que no se puede acceder mediante una red de seguridad de datos centralizada, se vuelve difícil para las organizaciones implementar medidas de seguridad en estos archivos. No tendrá control sobre los permisos de los usuarios, lo que aumenta la amenaza de violaciones de datos.

¿Cómo sabe que tiene problemas con el silo de datos?

Los problemas del silo de datos a menudo se manifiestan en las operaciones comerciales diarias. Afectan a todos en todos los niveles, desde los que toman las decisiones hasta los empleados de primera línea.

Los altos ejecutivos tardarán mucho en obtener la información que necesitan para tomar decisiones. No sabrán qué palancas tirar para lograr los objetivos comerciales. Esta falta de visibilidad de las tendencias de la industria significa que a menudo tardan en responder a las necesidades cambiantes de los clientes.

La falta de alineación de ventas y marketing también puede ser un síntoma de problemas de silos de datos. Cuando las personas sienten que no tienen acceso a datos relevantes para realizar su trabajo, es conveniente señalar con el dedo a otros empleados que están "reteniendo" la información. Esto a menudo conduce a una competencia malsana y un ambiente de trabajo tóxico, sin mencionar el bajo rendimiento y la pérdida de ingresos.

Cómo desglosar los silos de datos

Desglosar los silos de datos puede ser una de las tareas más desafiantes para las empresas. Están tan arraigados en la cultura de la empresa que son difíciles de eliminar. Desglosarlos tiene que ser una iniciativa de arriba hacia abajo y un programa de educación de toda la empresa.

acepta que existen

Los silos de datos pueden ocurrirle a cualquier organización. Cuanto antes lo acepte su empresa, antes tomará las medidas necesarias para eliminarlos.

Descubra cómo se toman las decisiones en su organización

El objetivo principal de los datos en cualquier organización es tomar mejores decisiones. Entonces, para comprender el flujo de datos dentro de su empresa, primero debe definir claramente el proceso de toma de decisiones.

Chris Ortega, CEO de Fresh FP&A y una notable influencia financiera, sugiere usar un marco llamado Ciclo de decisión. De acuerdo con este marco, el ciclo de decisión divide las decisiones en cinco pilares básicos:

1. Procesos
2. Datos
3. Información
4. Conocimiento
5. Decisiones comerciales

Estos pilares están interrelacionados entre sí. En otras palabras, los procesos impulsan los datos. Luego, los datos se convierten en información. A su vez, esa información se convierte en conocimiento que influye en todas las decisiones empresariales.

Cuando se da cuenta de cómo se toman las decisiones dentro de su organización, puede identificar los silos de datos en los departamentos y encontrar las tecnologías adecuadas para automatizar el proceso de convertir datos en conocimiento y reducir la fricción en el proceso de toma de decisiones.

Identifique los silos de datos en su organización

Identifique la causa raíz de sus problemas de silo de datos. ¿Es la cultura de la empresa? ¿La tecnología? ¿Los procesos? Luego haga un plan para consolidarlos, reemplazarlos o administrarlos.

Si tiene datos en silos dentro de la organización, es probable que sus departamentos estén funcionando como unidades de negocios separadas. Eso significa que necesita identificar cualquier dato aislado dentro de cada departamento.

Aquí hay algunas señales que indican que estás en el camino correcto:

• Un departamento a menudo se queja de la falta de datos para actividades comerciales particulares.
• No hay datos suficientes para comprender la influencia del departamento en los procesos comerciales de la empresa (imagine que falta una sola pieza del rompecabezas en la imagen holística de los esfuerzos de su empresa).
• Existe incertidumbre sobre las métricas de éxito de un departamento en particular.
• No se puede acceder rápidamente a los datos del departamento.

Además, comuníquese con su equipo de TI para obtener una lista de los sistemas utilizados por cada departamento para comprender mejor dónde se pierden los datos.

Identificar las necesidades de datos de los diferentes departamentos y personas.

Enumere los diferentes equipos que necesitan datos y averigüe qué necesitan y por qué los necesitan. Luego, identifique qué otros departamentos ya registran esos datos y cómo los están registrando.

Integre todos los datos y aplicaciones

Encuentre una manera de hacer que diferentes aplicaciones comerciales se comuniquen entre sí. ¿Se pueden combinar algunas aplicaciones? ¿Hay algún software que dificulte compartir datos? ¿Puedes reemplazar alguna de las herramientas que estás usando actualmente?

Una vez que averigüe esto, cree una fuente de verdad para todos los datos que recopila su organización. Aproveche las herramientas flexibles y escalables, como una plataforma ETL que ayuda a romper los silos de datos, transforma los datos en un formato y carga los datos unificados en un almacén de datos.

Agregue contexto comercial a sus datos

Los datos en sí son un concepto muy técnico. Hay tablas, uniones, uniones y mucha más jerga técnica. Pero cuando se trata de procesos comerciales, sus datos deben tener un contexto comercial.

Imagine una tabla de base de datos llamada "cost-flowchart-1.XML". No suena como algo de gran valor para una persona no técnica. Pero cuando todos saben que esta tabla es una jerarquía de centros de costos o un gráfico de clientes potenciales atraídos durante el trimestre, adquiere cierto significado.

Los datos aislados son un activo de toda la empresa, no solo un conjunto de números para los ingenieros de datos. Por lo tanto, debería ser fácil de leer para cualquiera que interactúe con él.

Como dijo Jagdish Sahasrabudhe, vicepresidente sénior de aplicaciones y plataformas comerciales de SAP, en su charla reciente: “Solo cuando se asigna contexto y semántica a los datos, eso es lo que acerca esos datos a un proceso comercial. Sin eso, es solo un montón de bits y bytes”.

Desarrolle una estrategia para datos no aislados

Hacer que sus datos sean accesibles es genial por defecto. Pero, a mayor escala, debe hacerse una pregunta: "¿Por qué mi empresa lo necesita?"

Podría ser un impulso hacia la innovación, así como una iniciativa que no logró ningún resultado. Y la única diferencia entre estos resultados es la estrategia.

Podría considerar encontrar un socio para llenar los vacíos de experiencia y estrategia cuando se trata de usar sus datos para impulsar la innovación. En lugar de asumir esta responsabilidad sobre usted o sus colegas, ¿por qué no delegarla en un equipo que ha ayudado a varias empresas en diferentes industrias?

A través del marco de servicios profesionales, Improvado pasa de proveedor a socio y ayuda a los equipos de clientes a crear paneles detallados y tomar decisiones informadas en función de los datos disponibles. Es importante contar con orientación y experiencia de su lado desde el principio del proceso para tener una estrategia clara de qué hacer con sus nuevos datos.

Desarrolle y movilice su programa de calidad de datos

La calidad de los datos suele verse como un problema de TI, pero, en realidad, es una responsabilidad compartida. Fomente la propiedad de los datos, para que todos sean responsables de crear y almacenar datos de buena calidad. Para garantizar el éxito de su programa de gobierno de datos, hágalo claro y fácil de entender para todos en la empresa.

Por último, haga que la transparencia de los datos sea un aspecto valioso del negocio. Detenga la cultura de competencia entre departamentos y enfatice la importancia de la colaboración para el crecimiento del negocio.

Administre su nueva cultura de datos

Poner en marcha un nuevo sistema de calidad de datos puede llevar tiempo. Algunos empleados pueden volver a las viejas prácticas o confundirse acerca de lo que deben hacer.

Prepárese para estos inconvenientes. Sea flexible en la forma en que administra los datos en el futuro mientras el equipo se acostumbra a su nuevo enfoque para la administración de datos.

Tu turno

Desglosar los silos de datos debe ser parte de un programa completo de gestión de datos. Cuando tiene regulaciones vigentes sobre cómo su organización recopila, administra y almacena datos exactamente, es menos probable que ocurran silos de datos.