Construir vs. Compre ETL: ¿Vale la pena la molestia de los datos para construir un ETL?

Las necesidades de datos han evolucionado muy rápidamente para las empresas durante la última década, con estimaciones para que el mercado global de datos alcance los 180 zettabytes para 2025.

En esta transformación empresarial, la infraestructura de datos sólida es uno de los elementos clave para garantizar que los grandes volúmenes de datos que recopila una organización no sigan siendo un activo infrautilizado. Al enfrentarse a una barrera tecnológica, las empresas se encuentran con un dilema: construir una canalización de datos, a saber, ETL, internamente o comprar una solución lista para usar.

Comprender los pros y los contras de ambas soluciones y los riesgos de reputación y seguridad que plantean las fallas en las canalizaciones de datos lo ayudará a tomar la decisión correcta para su empresa.

Conclusiones clave

• Las canalizaciones de ETL constan de tres procesos distintos: la extracción de datos, su transformación y la carga de datos en el destino que elija.
• La creación de un ETL requiere amplios recursos humanos, costos iniciales y mantenimiento continuo.
• La compra de un ETL le brinda acceso casi instantáneo a las fuentes de datos más utilizadas con menos aportes de sus equipos.
• Las canalizaciones preconstruidas escalan fácilmente y cumplen con los requisitos de cumplimiento de la industria.
• A medida que aumenta el valor potencial de los datos, las empresas necesitan ganancias rápidas de datos para tomar decisiones comerciales acertadas y seguir siendo competitivas.

Bloques de construcción ETL de marketing

ETL, o extraer, transformar y cargar, es el proceso en el que los datos se extraen de una o varias fuentes, se transforman y luego se cargan en un punto final.

Una guía para principiantes sobre los procesos de ETL: Explicación de las etapas y los beneficios de ETL

Los principales componentes que aseguran el libre flujo de datos a través de cada fase son:

• Conectores de fuentes de datos: para recopilar datos de Google Ads Manager, Shopify, Twitter Ads o cualquier otra fuente de datos, primero debe establecer un conector, generalmente una API abierta. Algunas aplicaciones no proporcionan una API abierta ni utilizan archivos sin procesar. Una solución ETL debe poder procesar múltiples formatos de datos.
• Capa de extracción: una pieza de software complicada que extrae datos de las ubicaciones de origen a un área de preparación, donde espera la siguiente fase de la canalización. La capa de extracción aprovecha la API para obtener datos, pero la dificultad radica en obtener los datos correctamente, a tiempo, de acuerdo con la última versión de la API y los requisitos internos y externos. Lo fundamental aquí es apoyar la capa de extracción con una pila de tecnología duradera. Los grandes departamentos de marketing pueden ingerir 50 000 filas de datos y más. Si el backend no puede procesar esta cantidad de datos, el resultado final podría estar fracturado o contener datos incompletos.
• Motor de transformación: toma datos sin procesar, a menudo en formatos inutilizables o inconexos, y los reformatea en tipos de valores consistentes para prepararlos para el análisis. Los tipos más comunes de transformación de datos incluyen limpieza, deduplicación, estandarización y más. Teniendo en cuenta que la mayoría de los especialistas en marketing no tienen experiencia en SQL (que a menudo se usa para aplicar transformaciones), el motor necesita una interfaz de usuario clara y concisa.
• Lógica de carga: la última parada en la canalización de ETL, donde los datos transformados se cargan en su destino final: una herramienta de BI, visualización o análisis, o un almacén de datos. Es muy útil y debe integrarse fácilmente con la solución de visualización de su elección.

Todos los componentes mencionados anteriormente también deberían escalar a medida que crezcan la empresa y sus necesidades de datos.

Esta es una descripción de alto nivel de los componentes básicos del sistema ETL. La pregunta es si debe codificarlos a mano u optar por comprar una solución lista para usar.

Inversión inicial de compra frente a creación de un ETL

Hay mucho más en el costo de un ETL que solo el precio.

Construyendo un ETL

El ancho de banda de ingeniería y el costo son las primeras cosas a considerar. Un proyecto de este tamaño y complejidad tardará meses en completarse, y los costos se acumularán.

Además, la mayoría de los proyectos ETL requieren una cantidad significativa de almacenamiento en la nube en un almacén de datos, lo cual es un costo tanto en el escenario de construcción como en el de compra. Sin embargo, al crear uno propio, también debe averiguar la logística de adquirir servicios adicionales de administración de almacenamiento de datos, incluida la forma de presupuestar los costos de ampliación y reducción cuando sea necesario.

Después de crear e implementar el sistema, espere dedicar tiempo y presupuesto a materiales de capacitación para mantener a sus equipos actualizados sobre cómo ejecutar transformaciones, conectar fuentes de datos y aprovechar al máximo los datos presentados.

Comprando un ETL

El costo de comprar un ETL es un poco más sencillo. Tiene un precio de plan de servicio mensual o anual, por lo que no necesita contar con personal de desarrollo, actualizaciones de servicios en la nube o capacitación extensa para comprender la infraestructura ETL.

Se incluyen recursos de incorporación, como guías de usuario y documentación técnica. Constantemente se agregan nuevos documentos de capacitación, por lo que no tendrá que utilizar recursos internos adicionales.

Complejidad del desarrollo

La construcción de una canalización de ETL es una tarea técnicamente desafiante que requiere mucha mano de obra en sí misma. Crear un ETL para un departamento de marketing requiere experiencia en marketing, de la que pueden carecer los desarrolladores que provienen de equipos de productos.

Construyendo un ETL

Al crear su ETL, los desarrolladores dedican mucho tiempo y energía a la conexión inicial de las fuentes de datos. Luego, las API a menudo necesitan ajustes para que funcionen en sus sistemas locales, si es que se ofrecen API. También es probable que una plataforma no tenga una API, lo que obligará a sus desarrolladores a extraer datos de otras formas.

¿Qué sucede cuando identifica una fuente de datos para incluirla en su canalización? Las integraciones de datos pueden demorar hasta 6,5 ​​semanas de tiempo de implementación, suponiendo que no ocurran errores y que su infraestructura esté actualizada y sea segura.

A medida que se agregan nuevos conectores API, espere más tiempo esperando esos datos, ya que no son un evento plug-and-play. Espere que algunos datos posiblemente malos se cuelen allí de vez en cuando, ya que la gente comete errores.

Y ese es solo un componente de la canalización de ETL.

Comprando un ETL

La compra de un ETL lo libera a usted y a su equipo de desarrollo de la larga lista de tareas pendientes de crear o adaptar cada API que usa, cada transformación que aplica o el destino que conecta.

Volviendo al ejemplo de la API: una vez que se configura la canalización, puede elegir sus fuentes de datos de la lista y conectarse en cuestión de clics. A medida que se agregan nuevos conectores de fuentes de datos, el acceso y la visualización de datos es casi inmediato.

¿Qué sucede si desea extraer datos de una aplicación que el proveedor no admite? Las empresas de renombre también pueden manejar esto, en mucho menos tiempo que si sus desarrolladores estuvieran creando el conector. Improvado, por ejemplo, tiene un sistema de crédito de Servicios de personalización de extracción de datos (DECS). Un cliente obtiene créditos DECS por valor del 20 % de su plan de facturación y puede utilizar estos créditos en API personalizadas, ingesta de archivos y otras necesidades de extracción.

Costos de mantenimiento

Todo necesita mantenimiento, y su tubería ETL no es una excepción.

Construyendo un ETL

No importa lo que haga, se asumen nuevos costos cada vez que realiza el mantenimiento de su tecnología. Esto sucede cuando:

• Las fuentes de datos cambian la salida o los métodos de conexión, lo que sucede con bastante frecuencia. Por ejemplo, la API de Google Ads se deprecia con el lanzamiento de cada nueva versión, lo que no deja otra opción que migrar a una nueva API. Y la vida media de una versión es de 12 meses.
• La forma en que usas los datos cambia.
• Cómo cambian los datos que utilizas con respecto a otros datos.
• Las medidas de cumplimiento requieren que actualice sus procesos o almacenamiento de datos.

Existe tal necesidad de asistencia para ayudar a las canalizaciones internas a migrar datos que empresas enteras se han construido sobre este tipo de soporte.

Comprando un ETL

¿Qué sucede cuando compra su tubería y hay que arreglar algo? El proveedor lo maneja automáticamente como parte de su proceso de actualización. A medida que cambian las salidas de la fuente de datos, la tecnología se actualiza y las regulaciones de la industria también se mantienen como una prioridad.

La compra de una canalización de datos le brinda acceso a equipos de soporte para ayudarlo con cualquier solicitud técnica o problema que pueda encontrar, lo que reduce los dolores de cabeza de mantenimiento a medida que escala.

Costo de oportunidad

Los datos pierden valor con el tiempo, como se reconoce en este documento sobre el tiempo y la caducidad. Cada momento que pasa creando o modificando canalizaciones y no recopilando datos utilizables conduce a una disminución en el valor de esos datos para su negocio.

Construyendo un ETL

Los largos tiempos de implementación, incluidas las pruebas y la implementación, significan que los datos perecen mientras usted resuelve las cosas. Esto lo dejará menos competitivo que otras empresas en su industria que pueden tener datos listos para usar con solo presionar un botón.

No es raro que un ETL tarde meses, o incluso años, desde la etapa de concepto hasta la generación de datos utilizables. Si otras empresas en su nicho ya están actuando sobre los datos, no tardará mucho en quedarse atrás.

Comprando un ETL

Solo usted puede definir qué significan los datos comerciales para usted, pero el mercado global de software de análisis comercial alcanzó los $ 67 mil millones en 2019. Con tanto invertido en capturar y analizar datos, las empresas que saltan al frente de la línea con una canalización de datos comprados pueden crear más valor que los competidores.

Con una canalización lista para difundir datos, puede utilizarlos de inmediato de la manera que mejor guíe sus decisiones comerciales.

Riesgos y otras preocupaciones de seguridad

Un increíble 21% de los archivos comerciales almacenados en la nube contienen datos confidenciales. Su elección de canalización de datos debe considerar cuántos de sus datos podrían estar en riesgo sin medidas de seguridad rigurosas.

Construyendo un ETL

El cambio continuo en las regulaciones de cumplimiento, como la atención médica o las finanzas, significa actualizaciones continuas de su proceso y una posible pesadilla de mantenimiento para mantenerse legal y proteger los datos importantes de sus clientes y socios. El costo de las auditorías de datos por sí solo puede sesgar el precio del desarrollo de la tubería, pero agregar las multas potenciales por violar las normas de cumplimiento y protección de datos también es un riesgo financiero y de reputación real.

Comprando un ETL

Con una tubería preconstruida, el cumplimiento está integrado y no es necesario que sus desarrolladores aprendan las mejores prácticas regulatorias fuera de sus competencias y luego ajusten las cosas para cumplir.

A medida que cambian los requisitos de la industria, como HIPAA o SOC 2, su canalización se actualiza automáticamente para cumplirlos, incluso en los casos en que usted mismo no está siguiendo los cambios.

La banca, la atención médica y las industrias de servicios sociales son mucho para mantenerse al día. Ni siquiera puede comenzar a anticipar cómo las regulaciones cambiantes ejercen presión sobre sus equipos para cumplir con las normas, pero una canalización preconstruida elimina este estrés.

Rendimiento y escalabilidad

Muchos factores afectan el rendimiento, desde la infraestructura hasta el error humano.

Construyendo un ETL

Cuando crea su propio ETL, el proceso está lleno de oportunidades para el error humano. . Por ejemplo, solo se necesita un error ortográfico para descarrilar una fuente de datos completa.

Además de eso, cada nueva fuente requiere escribir código nuevo, pruebas, implementación y conversión de formato, un uso muy ineficiente del tiempo de sus desarrolladores que podría desalentar el escalado en momentos cruciales.

Es posible que vea retrasos en la obtención de resultados de datos debido a errores de conexión a la nube o recursos de procesamiento de su parte. Usted es el único responsable de que todo funcione bien.

Comprando un ETL

La infraestructura se transfiere al proveedor, por lo que no tiene la tarea de mantener todos los recursos de computación en la nube en el sitio o pagar por múltiples proveedores de la nube. También puede escalar en cualquier momento para recibir acceso a más filas, conectores y más.

Por qué ETL no debería ser bricolaje

Muchos líderes empresariales son innovadores, aptos y están motivados para adoptar un enfoque de bricolaje para las canalizaciones de ETL. Con la incertidumbre de los mercados laborales, el alto costo de los recursos y el hecho indiscutible de que los datos se degradan con el tiempo, esperar para manejar las cosas por su cuenta puede ponerlo en una desventaja significativa en el mercado.

Elegir un ETL prediseñado de Improvado le otorga acceso a datos actualizados, lo que lo coloca en posición de tomar decisiones comerciales importantes sobre los mercados actuales.

Con más de 300 integraciones de datos (y en aumento), puede mezclar y combinar fuentes para obtener una vista completa de los viajes de los clientes, las finanzas, el gasto publicitario y más, todo sin los dolores de cabeza de cumplimiento y los costos de mantenimiento continuos asociados con hacerlo solo.

A medida que cambien los mercados, las regulaciones y las fuentes de datos, Improvado ajustará sus procesos para mantenerse al día con las solicitudes de seguridad e integridad de datos. Es la opción ideal para las empresas que valoran la toma de decisiones basada en datos.