Sua organização está sofrendo de fadiga de dados?

No mundo das finanças, os gerentes de investimento estão sempre à procura de novas fontes de informação que fornecerão uma fonte anteriormente inexplorada para a criação do Alpha. Essas mesmas fontes de dados são chamadas de dados alternativos ou fadiga de dados. Dados porque, bem, informação. Alternativas porque estão acima e além dos conjuntos de dados típicos da empresa. Correndo o risco de exagerar no clichê, é isso que desencadeia a 'vantagem injusta' que todos continuamos buscando.

O mercado de Dados Alternativos ainda é muito bruto e incipiente. O gasto da empresa está aumentando várias vezes ano a ano. Algumas das fontes mais populares de Dados Alternativos foram transações de cartão de crédito, dados raspados online , dados de geolocalização de celulares, etc. Intuitivamente, você pode dizer que essas fontes ficariam sob o radar por violar sérios problemas de privacidade. Portanto, a necessidade de pontos de dados alternativos menos intrusivos.

Embora o mercado de dados alternativos esteja florescendo atualmente, apesar das preocupações de segurança - e com previsão de valer US$ 350 milhões em 2020, quase o dobro dos US$ 183 milhões em 2016 -, testemunhamos empresas sofrendo de fadiga de dados alternativos em 2019. Fadiga de dados alternativos, você pergunta? Sim, é igualmente auto-explicativo. O velho ditado “Vinho velho em garrafa nova” vem à mente. O mesmo conjunto de conjuntos de dados está sendo reempacotado e vendido para os mesmos grupos de gestores de fundos de hedge, que perdem um tempo valioso preparando os dados em vez de analisá-los. Até então, o mercado fica saturado com novas empresas: todas elas estarão oferecendo a mesma promessa de insights competitivos.

Informações personalizadas seguras

Existem algumas etapas básicas de ordem de higiene que você pode seguir para evitar a fadiga de dados alternativos. O primeiro passo é garantir que você está protegendo informações personalizadas e específicas de negócios que impulsionarão seus negócios. Esse é o grande diferencial se você quiser ir com calma na fadiga. Graças às repercussões do crescente interesse em dados alternativos, há uma infinidade de empresas de pesquisa que oferecem os melhores insights de dados alternativos e/ou vendem conjuntos de dados alternativos para investidores, gestores de dinheiro, agentes de viagens e qualquer outra pessoa que queira aproveitar isso pónei. Imagine os mesmos conjuntos de dados, os mesmos insights extraídos do mesmo conjunto de dados, os mesmos pontos acionáveis ​​baseiam os insights extraídos do mesmo conjunto de dados pela empresa A e pela empresa B. Com apenas uma pequena diferença. Ambos estão completamente inconscientes de que estão usando as mesmas informações um contra o outro.

Os feeds de dados alternativos podem ser qualquer coisa que não seja considerada 'tradicional' por uma determinada empresa. As linhas estão realmente ficando borradas. O que era então considerado não convencional é um dos maiores impulsionadores de decisão de marketing hoje. Deve-se tomar cuidado para que o que é considerado 'alternativo' para você não se torne o padrão da indústria no próximo ano. Isso significa que todos terão acesso igual aos dados que você gastou muita energia coletando.

Letargia de dados alternativos

É tarefa de raspagem e manutenção de dados 'mainstream' como estão. Despender tempo e energia para raspar, manter e lidar com grandes quantidades de dados alternativos é absolutamente tangencial ao principal círculo de preocupação. Então, qual é o grande culpado aqui? Sim, você adivinhou. Letargia.

Conjuntos de dados alternativos geralmente incluem informações extraídas de uma infinidade de fontes e sites. O processo de extração de dados pode impedir você de analisar as descobertas e extrair insights. Sem mencionar o aumento do escopo para erro humano e duplicidade. A raspagem é o primeiro grande passo. Então é padronizá-lo. Tem que estar em um formato 'padrão' para fazer algum sentido. Essa é a única maneira pela qual a máquina pode aprender e automatizar o processo.

Agora que temos o formato no lugar, o próximo é desenhar a verdadeira intenção dos dados coletados. Você sabe como o inglês americano e o inglês britânico diferem muito? Não somos os únicos que acham isso chato. Por exemplo, existem duas maneiras distintas em que uma única data pode ser escrita. 27 de maio de 2021 pode ser escrito como 27/5/2021 ou 27/5/2021, e não precisamos dizer o tipo de repercussão que essa diferença faria nos dados coletados. Portanto, você precisa raspar, padronizar, extrair insights e tomar decisões estratégicas de negócios. Com o mínimo de esforço humano.

Livrando-se da Fadiga de Dados

Nunca mencionamos problemas para os quais não temos soluções. Há um monte de coisas com as quais você pode começar:

• Automação: Este é um acéfalo. Acabamos de explicar os efeitos de erros humanos aparentemente inofensivos. Na maioria das vezes, os dados raspados são deixados como arquivos autônomos que são integrados manualmente. Assim como a padronização automatizada de dados, automatizar o processo de integração reduz drasticamente a fadiga que surge com o trabalho orientado a mão de obra e permite que a equipe canalize todos os seus esforços na análise de dados. A integração de dados pode ser feita sem humanos, preparando dados com APIs para oferecer suporte à integração perfeita com sistemas internos de negócios e criar conjuntos de dados robustos para fins de análise.
• Terceirizar: Sempre faz sentido automatizar as tarefas mundanas. Especialmente onde você precisa de um nível de conhecimento técnico. Apenas certifique-se de incluir uma cláusula de exclusividade de não concorrência. Caso contrário, você encontraria os mesmos dados nas mãos de seus rivais. E isso seria uma chatice.
• Feito sob medida: se você decidir terceirizar toda a ajuda de dados alternativos, faça parceria com uma empresa que tenha recursos para criar conjuntos de dados personalizados para sua marca. Uma abordagem de tamanho único não funcionará aqui. Eles precisam ter os recursos certos de integração de dados da Web. A integração de dados trata todo o ciclo de vida dos dados extraídos da Web como um processo único e coeso, com foco na qualidade e controle dos dados.

Há um zilhão de outras maneiras de evitar absolutamente a fadiga de dados extraindo dados personalizados . É lindo. Análise de sentimento de sua seção de comentários em canais de mídia social, dados de cartão de crédito para quebrar o comportamento de gastos do consumidor (porém desaprovado). Usando imagens de satélite e/ou vigilância para contar carros em estacionamentos. Você só precisa informar ao seu provedor de serviços de web scraper para coletar a natureza exata dos dados que você precisa. Isso é tudo. Mate o cansaço. Você está destinado a coisas melhores.