Barreiras à análise em tempo real

Big Data está fornecendo valor para empresas em vários setores em muitos níveis. Tomemos, por exemplo, o setor de varejo. O setor enfrenta um ecossistema cada vez mais complexo com necessidades e preferências que evoluem a cada minuto. A tripla demanda dos clientes de entrega de serviços mais rápida, qualidade superior e preços mais baixos, é o que está dando origem ao big data como arma para contrariar essas demandas e satisfazê-las adequadamente, para evitar a perda de receitas.

O primeiro passo para atender a essas demandas é saber o que os clientes estão dizendo sobre uma determinada marca. Isso ajudará os varejistas a determinar o que os clientes precisam. Com a ajuda do rastreamento direcionado da Web fornecido por empresas especializadas em extração de dados , as empresas agora têm o poder de extrair dados de potencialmente milhões de páginas da Web e plataformas de mídia social com grande efeito.

A análise de big data gerado a partir de web crawling e extração de dados

O próximo passo é realizar uma análise dos dados coletados com o web crawling. Isso ajudará os cientistas de dados e gerentes de marketing a entender quais são as necessidades, desejos, preferências e escolhas exigidas pelos clientes. Como resultado, os tomadores de decisão no setor de varejo podem agir rapidamente para preencher as lacunas na demanda ou ajustar sua variedade de produtos, para corresponder ao que os clientes desejam ver. No entanto, a análise de dados não será fácil quando você tiver milhões de linhas de dados disponíveis para análise. De acordo com o Gartner, os dados crescerão 800% sem precedentes nos próximos 5 anos e 80% dos dados não serão estruturados. Assim, a necessidade de análise de big data só vai explodir nos próximos anos.

Como a análise de dados evoluiu ao longo dos anos?

Embora a análise de dados exista há muitos anos, é a escala e a velocidade com que os dados estão chegando, que está apresentando problemas para cientistas e analistas de dados. Como Anant Rajaraman, vice-presidente sênior do Walmart Global e-commerce e cofundador @WalmartLabs, diz: “ Muitas pessoas sabem como trabalhar com dados, mas agora há muito mais dados, então os tipos de coisas que você pode fazer com ele e a maneira como você trabalha com ele pode ser muito diferente….. As ferramentas [para Big Data] são muito diferentes. Muitos dos algoritmos fundamentais para análise preditiva dependem crucialmente de manter os dados na memória principal com uma única CPU para acessá-los. Big Data quebra essa condição. Os dados não podem estar todos na memória ao mesmo tempo, por isso precisam ser processados ​​de forma distribuída. Isso requer um novo modelo de programação. ”

A necessidade de análise de dados em tempo real

Se olharmos alguns anos atrás, a vantagem da análise em tempo real estava muito ausente no esquema das coisas dos profissionais de marketing digital. Essa limitação trouxe problemas em várias frentes para os anunciantes, gerentes de marketing e tomadores de decisão . Embora eles usassem estatísticas de apenas alguns dias ou semanas, esse período de tempo foi suficiente para tornar os dados desatualizados, graças à tremenda velocidade do big data. Isso criou a demanda por acessar insights mais rapidamente e fazer análises em um período de tempo menor.

O valor oferecido pelo big data é suficientemente fundamentado para que as empresas busquem descobertas e insights de análise de dados mais rápidos. Como o CTO da Greenplum de propriedade da EMC, Duke Lonergan diz: “Toda empresa está procurando maneiras de obter uma conexão mais estreita com seus clientes, melhorar a previsão e movê-los ao longo de uma trajetória. Vemos uma certa urgência em torno do Big Data. ”

Isso mostra que o mundo dos negócios e da tecnologia está cada vez mais inclinado para a análise de big data em tempo real em dados em tempo real extraídos das proficiências de rastreamento e extração de dados de especialistas na área. Com a ajuda da análise de dados em tempo real, os gerentes de marketing e a gerência sênior podem ver em tempo real várias métricas de desempenho, como quantas pessoas estão vendo um determinado produto, quantas estão respondendo a um produto online e quantas estão realmente comprá-lo. Para uma empresa, ajuda a aumentar ou diminuir seus gastos digitais com base no que as pessoas estão realmente falando e no que está em alta naquele exato momento. Otimizar o gasto digital ajuda uma marca a estreitar seu relacionamento com os clientes e construir valor de marca a longo prazo.

Desafios na análise de dados em tempo real

No entanto, embora a análise de dados em tempo real possa parecer fabulosa em teoria, ela se torna um pouco complicada no design e na entrega reais. A análise de dados em tempo real gerada com a ajuda do rastreamento da Web executado por empresas de extração de dados deve atender essencialmente aos objetivos abaixo:

• Analise os dados por um longo período de tempo, para ajudar a descobrir padrões e desvendar tendências que valem a pena conhecer
• Criar modelos para prever o futuro ou desenvolver sistemas de controle
• Ajuda na correlação de parâmetros aparentemente não relacionados. Por exemplo, mais informações sobre o comportamento de direção podem ser exploradas examinando parâmetros como dados do sensor IoT sobre aceleração e velocidade.

Como é evidente, existem alguns desafios significativos a serem superados antes que o RoI em análises em tempo real se torne atraente. Abaixo estão alguns dos principais desafios –

1. Dependência de sistemas legados : Voltando alguns anos atrás – por volta de 2009, uma simples consulta e a descoberta de dados para responder à consulta levava MUITO tempo. Suponha que você tenha uma consulta “Quantos clientes estão navegando em meus sites por meio de um telefone Android”, o primeiro passo para obter uma resposta a essa consulta seria melhorar o esquema em seu data warehouse. Esta etapa em si levaria alguns meses em média.

Portanto, a tendência comum dos gerentes de dados era descobrir as perguntas de antemão ao projetar o esquema e o warehouse para que ele se adaptasse às consultas quando realmente se deparasse. No entanto, em um ambiente dinâmico, isso não pode mais ser um caso viável. Portanto, a dependência de sistemas legados sem atualização para ferramentas de análise de dados em tempo real prontas para o futuro, como Vertica, Hive e MapReduce, é uma grande barreira para a análise de dados em tempo real .

2. Quão rápido é rápido hoje : A melhoria no cenário de tecnologia garantiu que processos analíticos inteiros que costumavam levar meses, semanas e dias, agora levem minutos, segundos e microssegundos. Os cientistas de dados simplesmente precisam pensar em uma consulta e violar! Eles têm os resultados de seus experimentos e hipóteses na frente deles praticamente em pouco tempo. Tempos de processamento mais curtos para análise de dados agora levaram a um aumento da expectativa.

Como diz Justin Erickson, gerente de produto sênior da Cloudera: “ Trata-se de avançar com maior velocidade em direção a questões anteriormente desconhecidas, definir novos insights e reduzir o tempo entre quando um evento acontece em algum lugar do mundo e alguém responde ou reage a esse evento. ” Portanto, a crescente demanda por reduzir o tempo de análise de dados e geração de insights é uma barreira para fornecer valor com análise de dados em tempo real.

3. Tomada de decisão: é quase certo que as tecnologias, processos e pessoas agora têm o poder de coletar dados rapidamente por meio de extração de dados e rastreamento da Web . Eles também podem agora consumir e analisar dados em tempo real. No entanto, como estamos nos saindo, quando se trata de agir e tomar decisões com base na análise de dados? Há duas opções aqui –

• Centrada no ser humano – A abordagem tradicional em que uma pessoa sênior ou tomador de decisão analisa os resultados da análise e, em seguida, toma decisões com base nesses insights e visualizações
• Sistema automatizado – Um processo automatizado pode ajudar na tomada de decisão com base em um determinado conjunto de resultados sem esperar que as pessoas intervenham.

É óbvio que ter um sistema automatizado ajudará a melhorar a eficácia da análise de dados em tempo real e o processo de tomada de decisão subsequente. No entanto, sua incapacidade de igualar a credibilidade das ações tomadas no processo de tomada de decisão dá vantagem à tomada de decisão centrada no ser humano. Isso novamente é uma barreira para melhorar a eficácia da análise de dados em tempo real.

4. Mudança cultural : ter análises em tempo real disponíveis e acessíveis também afetará a maneira como as empresas funcionam atualmente. Os insights em tempo real inundarão as empresas que estão acostumadas a trabalhar com insights uma ou duas vezes por semana. Imagine se uma empresa construiu pessoas, processos e métricas de desempenho na abordagem de tomada de ação de insights uma vez por semana? O que acontecerá com as métricas, produtividade e desempenho quando os insights começarem a chegar diariamente em vez de semanalmente, graças à análise de dados em tempo real?

O resultado será o caos se a transição não for planejada de forma estratégica. Isso ocorre porque receber e agir com base em insights a cada segundo diariamente exigirá uma cultura e abordagem diferentes da abordagem tradicional de agir com base em insights semanalmente. Essas barreiras culturais no local de trabalho corporativo na adoção da análise de dados em tempo real também não serão incomuns.

Concluir

Para finalizar, a imensa proposta de valor oferecida pela análise de big data em tempo real ajudará a impulsionar os principais setores da indústria de hoje a superar sua concorrência no atendimento aos clientes de forma satisfatória e obter uma vantagem competitiva. Isso desde que sejam capazes de enfrentar os desafios de forma satisfatória.

Planejando adquirir dados da web? Nós estamos aqui para ajudar. Deixe-nos saber sobre suas necessidades.