O que são silos de dados e quais problemas eles causam?

Os dados são sua vantagem competitiva. Ele permite que você aprimore seus processos, produtos e operações para construir um negócio melhor que a concorrência. Mas os dados também são frágeis e, sem uma governança de dados adequada, a integridade dos dados pode ser comprometida.

Nesta postagem do blog, falaremos sobre um dos principais motivos para problemas de integridade de dados: silos de dados. Vamos nos aprofundar no que são, por que existem e como decompô-los.

Principais conclusões

• Silos de dados são dados que um indivíduo ou departamento mantém e que outros na organização não podem acessar.
• Organizações em crescimento, cultura de dados insatisfatória e falta da tecnologia certa são as principais causas de dados isolados.
• Os silos de dados são problemáticos porque limitam a visibilidade dos negócios, ameaçam a integridade dos dados, desperdiçam recursos da empresa, criam um ambiente menos colaborativo, levam a uma experiência ruim do cliente e comprometem a segurança dos dados.
• Alguns sintomas comuns de dados isolados são tempo lento de percepção ou funcionários frustrados devido à falta de visibilidade dos negócios.
• Quebrar silos de dados é um processo longo e desafiador. Você pode tornar isso mais fácil usando plataformas de automação, como um pipeline ETL que extrai dados de diferentes fontes, os transforma e os envia para uma única fonte de verdade (SSOT).

O que são silos de dados?

Pense nos silos de dados como ilhas de dados de negócios que pertencem a um departamento ou mesmo a um indivíduo — e não podem ser acessados ​​por outras pessoas na organização. Isso resulta em informações isoladas que acabam por corromper a qualidade dos dados da organização.

Por que existem silos de dados?

Ninguém começa planejando fazer silos de dados. Mas algumas organizações são mais suscetíveis a eles.

A estrutura organizacional se presta a dados isolados

As empresas geralmente se beneficiam de uma separação de responsabilidades. Mas a departamentalização pode levar ao isolamento de alguns dados. Com cada departamento coletando seus próprios dados para seu próprio propósito, eles inadvertidamente criam silos de dados.

A empresa não tem uma boa cultura de qualidade de dados

Organizações com uma cultura de dados imatura são mais propensas a ter problemas de silos de dados. Essas empresas geralmente carecem de documentação e governança de dados, portanto, não há entendimento compartilhado de coleta, gerenciamento e armazenamento de dados.

Isso resulta em funcionários sem orientação adequada sobre o compartilhamento dos dados que coletam.

A tecnologia está restringindo os esforços de qualidade de dados

Às vezes, a tecnologia pode sabotar os esforços de uma organização para manter dados de boa qualidade.

Quando uma empresa usa vários softwares para executar suas operações, esses diferentes softwares podem não ser compatíveis entre si. Isso complica o compartilhamento de dados.

Alternativamente, algumas organizações não têm acesso à tecnologia que prioriza a comunicação entre diferentes fontes de dados, levando inevitavelmente a problemas de silos de dados.

O crescimento dos negócios enfraquece as práticas de gerenciamento de dados

O crescimento dos negócios leva à formação de novos departamentos, novos funcionários, novos processos e novos softwares para dar suporte à expansão dos negócios.

Quando o gerenciamento de dados não é uma prioridade, todas essas mudanças recentes fazem com que as pessoas inventem as coisas à medida que avançam – o que quase sempre leva a problemas de qualidade de dados, principalmente silos de dados.

Exemplos comuns de silos de dados

Os dados não ficam em silos sozinhos. São as ações que tomamos que colocam os dados em silos. Aqui está uma revisão dos casos de uso comuns quando as organizações limitam a acessibilidade de dados (na maioria das vezes não intencionalmente).

Usando planilhas na maioria das operações de negócios

As planilhas ainda são a ferramenta mais popular para processar, consultar e democratizar dados em muitas empresas. Mesmo que muitas vezes se tornem uma dor de cabeça para as equipes de dados.

Especialistas não técnicos (por exemplo, profissionais de marketing ou diretores financeiros) dominam fórmulas de planilhas e fazem coisas incríveis com um único VLOOKUP.

Apesar de sua facilidade de uso, as planilhas geralmente se tornam um cemitério de dados. Depois de fazer as consultas necessárias, os dados se perdem na nuvem de alguém e não chegam ao armazenamento centralizado.

Uma planilha também se torna um silo de dados quando passa do protótipo para a produção. Se parte da lógica do seu negócio gira em torno de planilhas, é um sinal claro de que você precisa criar algo mais prático. Há vários motivos para evitar planilhas, desde limites de dados até a incapacidade de incluir cada planilha em um processo de governança de dados.

Como separar seus dados de planilhas: Comece revisando planilhas gigantescas que são fundamentais para algumas de suas operações de negócios. Eles provavelmente são ineficientes devido ao seu tamanho e às inúmeras macros e fórmulas sobre eles.

Encontrar uma maneira de transferir dados para uma arquitetura mais sustentável, como um data warehouse na nuvem, melhorará a acessibilidade dos dados e o desempenho individual de cada funcionário que interage com os dados.

Consultas de transformação mal estruturadas

Ao agregar diferentes tipos de dados, como dados financeiros, de marketing e de vendas, para criar uma única fonte de verdade, as coisas ficam um pouco confusas.

Primeiro, dados diferentes têm convenções de nomenclatura diferentes que precisam ser alinhadas para fazer sentido. Além disso, você precisa criar consultas adicionais sobre as anteriores para criar relatórios ad hoc sobre o desempenho da campanha, o crescimento da receita e assim por diante.

Eventualmente, você acaba tendo uma consulta SQL de três páginas que faz sentido apenas para seu proprietário. Seus trabalhos de transformação podem ser tão complexos que uma parte dos dados necessários simplesmente não chega ao pipeline de dados.

A pior parte é que os analistas podem detectar a diminuição/aumento drástico nas métricas, mas não conseguem entender o motivo por trás disso porque não conseguem descobrir como esses dados foram consultados.

Como separar seus dados de consultas complexas: A questão pode ser abordada de duas maneiras diferentes.

Se sua empresa realiza transformações internamente, divida as consultas complexas em vários pontos de verificação e armazene-as em tabelas para uma verificação intermediária da qualidade dos dados. Etapas de transformação claramente definidas e verificação da qualidade dos dados após cada etapa garantem que nenhum dos dados escape do pipeline.

Outra opção é usar soluções de transformação automatizada para diferentes tipos de dados. Por exemplo, o Improvado, um pipeline automatizado de dados de marketing, transforma todos os dados de acordo com receitas predefinidas. Você pode escolher qualquer receita e saber exatamente como seus dados ficarão após o processo de transformação.

O Improvado também permite que você crie suas próprias consultas de transformação semelhantes a SQL em uma interface semelhante a uma planilha sem código. Você pode ver claramente as dependências entre diferentes entradas de dados e transformar os dados da maneira que precisar, sem escrever nenhuma consulta SQL.

Soluções de terceiros que mantêm seus dados como reféns

O mercado atual está cheio de soluções ETL que podem extrair seus dados de qualquer fonte, transformá-los em um formato digerível e exibi-los em painéis perspicazes. No entanto, a maioria dessas soluções tem uma grande desvantagem: a dependência do fornecedor.

Vamos pegar o Datorama (Salesforce Marketing Cloud) como exemplo. É uma solução abrangente para grandes empresas que automatiza relatórios de marketing e simplifica dados de centenas de fontes. À primeira vista, é o sonho de todo profissional de marketing. Ele apresenta relatórios ad hoc sobre dados de todas as plataformas de anúncios populares.

As coisas ficam complicadas se vistas de um ângulo de silos de dados. Você não pode carregar dados do Datorama para seu armazenamento interno ou mesclar esses dados com insights de terceiros coletados por você. Em outras palavras, você fica muito preso aos dados disponíveis apenas no Datorama e também não pode compartilhar insights úteis fora da plataforma.

Esse bloqueio de fornecedor torna você dependente do fornecedor e vulnerável a qualquer alteração na política de preços. Se você não concorda com as alterações de preços, não pode simplesmente desistir da plataforma, pois perderá todos os dados históricos que acumulou. É por isso que você deve pensar duas vezes antes de confiar seus dados a essas plataformas.

Como evitar que seus dados fiquem presos: Se você decidir usar uma plataforma de terceiros, escolha um fornecedor que lhe dê acesso total aos seus dados.

Mais uma vez, vamos dar uma olhada no Improvado. Ele oferece diferentes maneiras de armazenar seus dados. Ele pode ser carregado em seu armazenamento de dados na nuvem, como o Google Big Query, ou você pode consultar seus dados no ambiente do Improvado. Se você não possui seu próprio data warehouse ou experiência para gerenciá-lo, a Improvado oferece serviços de gerenciamento de data warehouse.

Dessa forma, você sabe que seus dados permanecerão com você em qualquer circunstância e pode torná-los totalmente acessíveis a qualquer funcionário de sua empresa.

Por que os silos de dados são problemáticos?

Os silos de dados são um problema muito comum com implicações organizacionais e de negócios de longo alcance.

Limite a visibilidade do negócio

Quando dados de negócios relevantes não podem ser conectados a um banco de dados central, os insights que os tomadores de decisão obtêm não refletem o verdadeiro estado das operações de negócios. Isso pode contribuir para decisões de negócios que fazem mais mal do que bem.

Além disso, quando os analistas precisam de dados que não são facilmente acessíveis, eles levarão muito tempo para encontrá-los em diferentes lugares. Isso reduz o tempo para insights, o tempo médio necessário para obter insights acionáveis ​​e diminui a agilidade dos negócios.

Alguns insights podem escapar completamente da análise sem a troca de dados entre os departamentos.

Por exemplo, como você atribuirá leads à receita e identificará os canais de melhor desempenho sem o alinhamento de vendas e marketing? Ou como você saberá o LTV de seus clientes sem informações da equipe de sucesso do cliente?

Minar a integridade dos dados

Os silos de dados resultam em dados de negócios incompletos, o que compromete a integridade dos dados.

Isso pode levar a decisões de negócios ruins, no mínimo, ou a grandes desastres, na pior das hipóteses - como a NASA descobriu depois que perdeu o Mars Climate Orbiter porque dois departamentos falharam em comunicar que estavam usando diferentes unidades de medida.

Mesmo se você não estiver trabalhando na indústria aeroespacial, ainda estará vulnerável a vieses causados ​​por silos de dados. Imagine um departamento de marketing que tenta otimizar campanhas para receita sem dados de vendas relevantes. Toda a otimização se torna apenas adivinhação.

Desperdiçar recursos de negócios

Os custos de armazenamento de dados podem ser proibitivamente caros. Como muitos silos de dados armazenam dados semelhantes ou desatualizados, sua organização está alocando recursos orçamentários para armazenamento de dados que não atendem mais à organização.

No futuro, as decisões de negócios com base nesses dados podem até prejudicar a receita dos negócios. Por exemplo, se você tiver dados imprecisos durante o lançamento de um produto, seu provedor de serviços de e-mail (EMS) poderá enviar o e-mail errado aos clientes. Ou para o segmento errado, ou no dia errado. Isso não apenas destrói a confiança do cliente, mas também afeta o ROI.

Reduza a colaboração dos funcionários

Os dados que não são compartilhados livremente podem criar conflitos entre funcionários e departamentos.

Digamos que você queira saber se a nova mensagem ressoa e chega aos leads. Para isso, você precisa avaliar a qualidade do lead e verificar a taxa de conversão dos leads em vendas.

E se demorar muito para obter esses dados de vendas, se demorar, tornando seus processos mais lentos? Isso pode desencadear sentimentos terríveis entre você e seu ponto de contato no departamento de vendas.

Da mesma forma, a falta de transparência de dados dificulta a colaboração entre diferentes departamentos. Eles se tornam suas próprias pequenas ilhas onde as boas ideias morrem porque a colaboração e a cooperação não são incentivadas.

Amplifique a má experiência do cliente

Sempre que os clientes interagem com uma empresa, há um software que pode registrar essa interação.

Agora imagine se não houvesse como conectar os dados entre essas diferentes ferramentas. Muitos dados ficariam isolados e você teria muita dificuldade para descobrir qual parte da jornada do cliente otimizar e como personalizar cada interação com o cliente.

Isso levaria ainda mais a uma experiência desarticulada do cliente que os afastaria de sua marca.

Compromete a segurança dos dados

Quando os dados são armazenados na pasta digital de alguém, inacessível por uma rede centralizada de segurança de dados, torna-se difícil para as organizações colocar medidas de segurança nesses arquivos. Você não terá controle sobre as permissões do usuário, o que aumenta a ameaça de violação de dados.

Como você sabe que tem problemas de silo de dados?

Os problemas de silos de dados geralmente se manifestam nas operações comerciais do dia-a-dia. Eles afetam todos em todos os níveis, desde tomadores de decisão até funcionários da linha de frente.

Os altos executivos levarão muito tempo para obter as informações de que precisam para tomar decisões. Eles não saberão quais alavancas usar para atingir as metas de negócios. Essa falta de visibilidade das tendências do setor significa que muitas vezes eles demoram para responder às mudanças nas necessidades dos clientes.

A falta de alinhamento de vendas e marketing também pode ser um sintoma de problemas de silos de dados. Quando os indivíduos sentem que não têm acesso a dados relevantes para realizar seu trabalho, é conveniente apontar o dedo para outros funcionários que estão “retendo” as informações. Isso geralmente leva a uma competição prejudicial e a um ambiente de trabalho tóxico, sem falar no baixo desempenho e na perda de receita.

Como quebrar silos de dados

Quebrar silos de dados pode ser uma das tarefas mais desafiadoras que existem para as empresas. Eles estão tão arraigados na cultura da empresa que são difíceis de eliminar. Decompô-los deve ser uma iniciativa de cima para baixo e um programa de educação em toda a empresa.

Aceite que eles existem

Os silos de dados podem acontecer com qualquer organização. Quanto mais rápido sua empresa aceitar isso, mais cedo você tomará as medidas necessárias para eliminá-los.

Descubra como as decisões são tomadas em sua organização

O principal objetivo dos dados em qualquer organização é tomar melhores decisões. Então, para entender o fluxo de dados dentro da sua empresa, primeiro você precisa definir claramente o processo de tomada de decisão.

Chris Ortega, CEO da Fresh FP&A e um notável influenciador financeiro, sugere o uso de uma estrutura chamada Ciclo de Decisão. De acordo com essa estrutura, o ciclo de decisão divide as decisões em cinco pilares principais:

1. Processos
2. Dados
3. Em formação
4. Conhecimento
5. Decisões de negócios

Esses pilares estão interligados entre si. Em outras palavras, os processos conduzem os dados. Os dados são então transformados em informações. Por sua vez, essa informação se torna conhecimento que influencia todas as decisões de negócios.

Quando você percebe como as decisões são tomadas dentro de sua organização, pode identificar silos de dados entre os departamentos e encontrar as tecnologias certas para automatizar o processo de conversão de dados em conhecimento e reduzir o atrito no processo de tomada de decisão.

Identifique os silos de dados em sua organização

Identifique a causa raiz dos problemas do seu silo de dados. É a cultura da empresa? A tecnologia? Os processos? Em seguida, faça um plano para consolidá-los, substituí-los ou gerenciá-los.

Se você tiver dados isolados dentro da organização, seus departamentos provavelmente estão funcionando como unidades de negócios separadas. Isso significa que você precisa identificar quaisquer dados isolados dentro de cada departamento.

Aqui estão alguns sinais que indicam que você está no caminho certo:

• Um departamento geralmente reclama da falta de dados para atividades comerciais específicas.
• Não há dados suficientes para entender a influência do departamento nos processos de negócios da empresa (imagine uma única peça do quebra-cabeça faltando na imagem holística dos esforços de sua empresa).
• Há incerteza sobre as métricas de sucesso de um determinado departamento.
• Há uma incapacidade de acessar rapidamente os dados do departamento.

Além disso, entre em contato com sua equipe de TI para obter uma lista dos sistemas usados ​​por cada departamento para entender melhor onde os dados estão faltando.

Identificar as necessidades de dados dos diferentes departamentos e indivíduos

Liste as diferentes equipes que precisam de dados e descubra o que precisam e por que precisam. Em seguida, identifique quais outros departamentos já registram esses dados e como os estão registrando.

Integre todos os dados e aplicativos

Descubra uma maneira de fazer com que diferentes aplicativos de negócios se comuniquem entre si. Você pode combinar alguns aplicativos? Existe algum software que dificulte o compartilhamento de dados? Você pode substituir qualquer uma das ferramentas que está usando atualmente?

Depois de descobrir isso, crie uma fonte de verdade para todos os dados que sua organização coleta. Aproveite ferramentas flexíveis e escaláveis, como uma plataforma ETL que ajuda a quebrar silos de dados, transforma os dados em um formato e carrega os dados unificados em um data warehouse.

Adicione contexto de negócios aos seus dados

Os dados em si são um conceito muito técnico. Existem tabelas, junções, uniões e muito mais jargões técnicos. Mas quando se trata de processos de negócios, seus dados devem ter um contexto de negócios.

Imagine uma tabela de banco de dados chamada “cost-flowchart-1.XML”. Não soa como algo de grande valor para uma pessoa não técnica. Mas quando todos sabem que essa tabela é uma hierarquia de centro de custo ou um gráfico de leads atraídos durante o trimestre, ela ganha um certo significado.

Os dados isolados são um ativo de toda a empresa, não apenas um conjunto de números para engenheiros de dados. Portanto, deve ser fácil de ler para qualquer pessoa que interaja com ele.

Como Jagdish Sahasrabudhe, vice-presidente sênior de aplicativos e plataformas de negócios da SAP, disse em sua palestra recente: “Apenas quando você tem contexto e semântica atribuídos aos dados, é isso que os aproxima de um processo de negócios. Sem isso, é apenas um monte de bits e bytes.”

Desenvolva uma estratégia para dados não isolados

Tornar seus dados acessíveis é ótimo por padrão. Mas, em uma escala maior, você precisa se perguntar: “Por que minha empresa precisa disso?”

Pode ser um salto inicial em direção à inovação, bem como uma iniciativa que falhou em entregar qualquer resultado. E a única diferença entre esses resultados é a estratégia.

Você pode considerar encontrar um parceiro para preencher as lacunas de experiência e estratégia quando se trata de usar seus dados para impulsionar a inovação. Em vez de assumir essa responsabilidade sobre você ou seus colegas, por que não delegá-la a uma equipe que ajudou várias empresas em diferentes setores?

Por meio da estrutura de Serviços Profissionais, a Improvado vai de fornecedor a parceiro e ajuda as equipes dos clientes a criar painéis perspicazes e a tomar decisões informadas com base nos dados disponíveis. É importante ter orientação e experiência do seu lado no início do processo para ter uma estratégia clara sobre o que fazer com seus novos dados.

Desenvolva e mobilize seu programa de qualidade de dados

A qualidade dos dados costuma ser vista como um problema de TI, mas, na realidade, é uma responsabilidade compartilhada. Incentive a propriedade dos dados, para que todos sejam responsáveis ​​por criar e armazenar dados de boa qualidade. Para garantir o sucesso do seu programa de governança de dados, torne-o claro e fácil de entender para todos na empresa.

Por fim, torne a transparência dos dados um aspecto valioso do negócio. Acabe com a cultura de competição entre departamentos e enfatize a importância da colaboração para o crescimento dos negócios.

Gerencie sua nova cultura de dados

Fazer um novo sistema de qualidade de dados decolar pode levar tempo. Alguns funcionários podem voltar às práticas antigas ou ficar confusos sobre o que devem fazer.

Prepare-se para essas desvantagens. Seja flexível em como você gerencia os dados daqui para frente enquanto a equipe está se acostumando com sua nova abordagem de gerenciamento de dados.

Sua vez

A quebra de silos de dados deve fazer parte de um programa completo de gerenciamento de dados. Quando você tem regulamentos para exatamente como sua organização coleta, gerencia e armazena dados, é menos provável que os silos de dados aconteçam.