Barreras para el análisis en tiempo real
Publicado: 2016-08-30Big Data proporciona valor a las empresas en múltiples industrias en muchos niveles. Tomemos por ejemplo la industria minorista. El sector se enfrenta a un ecosistema cada vez más complejo con necesidades y preferencias que evolucionan minuto a minuto. Las triples demandas de los clientes de entrega de servicios más rápida, calidad superior y precios más bajos es lo que está dando lugar al big data como arma para contrarrestar estas demandas y satisfacerlas adecuadamente, para evitar la pérdida de ingresos.
El primer paso para satisfacer estas demandas es saber qué dicen los clientes sobre una marca en particular. Esto ayudará a los minoristas a determinar qué necesitan los clientes. Con la ayuda del rastreo web dirigido proporcionado por empresas especializadas en extracción de datos , las empresas ahora tienen el poder de extraer datos de potencialmente millones de páginas web y plataformas de redes sociales con gran efecto.
El análisis de big data generado a partir del rastreo web y la extracción de datos.
El siguiente paso es realizar un análisis de los datos recopilados con el rastreo web. Esto ayudará a los científicos de datos y gerentes de marketing a comprender cuáles son las necesidades, los deseos, las preferencias y las elecciones que exigen los clientes. Como resultado, los responsables de la toma de decisiones en la industria minorista pueden actuar rápidamente para llenar los vacíos en la demanda o modificar su variedad de productos para que coincida con lo que los clientes quieren ver. Sin embargo, el análisis de datos no será fácil cuando tenga millones de filas de datos disponibles para analizar. Según Gartner, los datos crecerán a un ritmo sin precedentes del 800 % durante los próximos 5 años y el 80 % de los datos no estarán estructurados. Por lo tanto, la necesidad de análisis de big data solo va a explotar en los próximos años.
¿Cómo ha evolucionado el análisis de datos a lo largo de los años?
Si bien el análisis de datos ha existido durante muchos años, es la escala y la velocidad a la que ahora ingresan los datos lo que plantea problemas para los científicos y analistas de datos. Como dice Anant Rajaraman, vicepresidente sénior de comercio electrónico global de Walmart y cofundador de @WalmartLabs, " mucha gente sabe cómo trabajar con datos, pero ahora hay muchos más datos, por lo que el tipo de cosas que puede hacer con él y la forma en que trabaja con él pueden ser muy diferentes... Las herramientas [para Big Data] son muy diferentes. Muchos de los algoritmos fundamentales para el análisis predictivo dependen de manera crucial de mantener los datos en la memoria principal con una sola CPU para acceder a ellos. Big Data rompe esa condición. No todos los datos pueden estar en la memoria al mismo tiempo, por lo que deben procesarse de forma distribuida. Eso requiere un nuevo modelo de programación. ”
La necesidad de análisis de datos en tiempo real
Si miramos unos años atrás, la ventaja de los análisis en tiempo real estaba muy perdida en el esquema de cosas de los especialistas en marketing digital. Esta limitación planteó problemas en varios frentes para los anunciantes, gerentes de marketing y tomadores de decisiones . Aunque usaron estadísticas que tenían solo unos pocos días o semanas, este período de tiempo fue suficiente para que los datos quedaran obsoletos, gracias a la tremenda velocidad de los grandes datos. Esto creó la demanda de acceder a la información más rápido y realizar análisis en un período de tiempo más corto.
El valor que ofrece el big data está lo suficientemente razonado como para que las empresas busquen hallazgos e información de análisis de datos más rápidos. Como CTO de Greenplum, propiedad de EMC, Duke Lonergan dice: “Todas las empresas están buscando formas de obtener una conexión más estrecha con sus clientes, para mejorar la predicción y moverlos a lo largo de una trayectoria. Vemos una cierta urgencia en torno a Big Data. ”
Esto muestra que el mundo de los negocios y la tecnología se inclina cada vez más hacia el análisis de big data en tiempo real sobre datos en tiempo real extraídos de las competencias de rastreo web y extracción de datos de expertos en el campo. Con la ayuda del análisis de datos en tiempo real, los gerentes de marketing y la alta gerencia pueden ver en tiempo real varias métricas de rendimiento, como cuántas personas están viendo un producto en particular, cuántas están respondiendo a un producto en línea y cuántas están realmente comprándolo. Para una empresa, ayuda a aumentar o disminuir su gasto digital en función de lo que la gente realmente está hablando y lo que está de moda en ese momento. Optimizar el gasto digital ayuda a una marca a estrechar su relación con los clientes y generar valor de marca a largo plazo.
Desafíos en el análisis de datos en tiempo real
Sin embargo, si bien el análisis de datos en tiempo real puede parecer fabuloso en teoría, se vuelve un poco complicado en el diseño y la entrega reales. El análisis de datos en tiempo real generado con la ayuda del rastreo web ejecutado por las empresas de extracción de datos debería cumplir esencialmente los siguientes objetivos:
- Analice los datos durante un largo período de tiempo, para ayudar a descubrir patrones y descubrir tendencias que vale la pena conocer
- Crear modelos para pronosticar el futuro o diseñar sistemas de control
- Ayuda en la correlación de parámetros aparentemente no relacionados. Por ejemplo, se pueden explorar más conocimientos sobre el comportamiento de conducción examinando parámetros como los datos del sensor IoT sobre la aceleración y la velocidad.
Como es evidente, hay bastantes desafíos importantes que superar antes de que el retorno de la inversión en análisis en tiempo real se vuelva atractivo. A continuación se presentan algunos de los desafíos clave:
- Dependencia de sistemas heredados : Hace unos años, alrededor de 2009, una consulta simple y descubrir datos para responder la consulta tomó MUCHO tiempo. Suponga que tiene una consulta "¿Cuántos clientes están navegando en mis sitios a través de un teléfono Android?", El primer paso para obtener una respuesta a esta consulta sería mejorar el esquema en su almacén de datos. Este paso en sí tomaría un par de meses en promedio.
Por lo tanto, la tendencia común de los administradores de datos fue resolver las preguntas de antemano al diseñar el esquema y el almacén para que responda a las consultas cuando realmente se presenten. Sin embargo, en un entorno dinámico, esto ya no puede ser un caso factible. Por lo tanto, la dependencia de sistemas heredados sin actualizar a herramientas de análisis de datos en tiempo real listas para el futuro, como Vertica, Hive y MapReduce, es una gran barrera para el análisis de datos en tiempo real .
- Qué tan rápido es hoy : la mejora en el panorama tecnológico ha asegurado que los procesos analíticos completos que solían tomar meses, semanas y días, ahora toman minutos, segundos y microsegundos. Los científicos de datos simplemente tienen que pensar en una consulta y ¡viola! Tienen los resultados de sus experimentos e hipótesis delante de ellos en prácticamente nada de tiempo. Los tiempos de procesamiento más cortos para el análisis de datos ahora han llevado a una mayor expectativa.
Como dice Justin Erickson, gerente senior de productos de Cloudera: “ Se trata de moverse con mayor velocidad hacia preguntas previamente desconocidas, definir nuevos conocimientos y reducir el tiempo entre que ocurre un evento en algún lugar del mundo y alguien responde o reacciona a ese evento. Por lo tanto, la creciente demanda de acortar el análisis de datos y el tiempo de generación de información es una barrera para proporcionar valor con el análisis de datos en tiempo real.
- Toma de decisiones: es bastante seguro que las tecnologías, los procesos y las personas ahora están facultados para recopilar datos rápidamente a través de la extracción de datos y el rastreo web . Ahora también pueden consumir y analizar datos en tiempo real. Sin embargo, ¿cómo nos está yendo cuando se trata de tomar acciones y tomar decisiones basadas en el análisis de datos? Aquí hay dos opciones -
- Centrado en el ser humano: el enfoque tradicional en el que una persona de alto nivel o un tomador de decisiones observará los resultados analíticos y luego tomará decisiones basadas en estos conocimientos y visualización.
- Sistema automatizado: un proceso automatizado puede ayudar a tomar la decisión en función de un conjunto de resultados en particular sin esperar a que las personas intervengan.
Es obvio que tener un sistema automatizado ayudará a mejorar la eficacia del análisis de datos en tiempo real y el posterior proceso de toma de decisiones. Sin embargo, su incapacidad para igualar la credibilidad de las acciones tomadas en el proceso de toma de decisiones le da la ventaja a la toma de decisiones centrada en el ser humano. Nuevamente, esto es una barrera para mejorar la efectividad del análisis de datos en tiempo real.
- Cambio cultural : tener análisis en tiempo real disponibles y accesibles también afectará la forma en que las empresas funcionan actualmente. La información en tiempo real inundará a las empresas que están acostumbradas a trabajar en información una o dos veces por semana. Imagínese si una empresa ha construido personas, procesos y métricas de rendimiento en el enfoque de toma de acción de conocimientos una vez a la semana. ¿Qué pasará con las métricas, la productividad y el rendimiento cuando los conocimientos comiencen a llegar diariamente en lugar de semanalmente, gracias al análisis de datos en tiempo real?
El resultado será el caos si la transición no se planifica de manera estratégica. Esto se debe a que recibir y actuar sobre los conocimientos cada segundo diariamente requerirá una cultura y un enfoque diferentes, que el enfoque tradicional de actuar sobre los conocimientos semanalmente. Tales barreras culturales en el lugar de trabajo corporativo en la adopción de análisis de datos en tiempo real tampoco serán infrecuentes.
Para concluir
Para concluir, la inmensa propuesta de valor que ofrece el análisis de big data en tiempo real ayudará a impulsar a los principales sectores de la industria de hoy para superar a la competencia en el servicio a los clientes de manera satisfactoria y obtener una ventaja competitiva. Esto siempre y cuando sean capaces de afrontar los retos satisfactoriamente.
¿Planea adquirir datos de la web? Estamos aquí para ayudar. Háganos saber acerca de sus requisitos.