ETL x ELT: qual pipeline de dados é ideal para sua empresa?

ETL e ELT são métodos de mover dados de um lugar para outro e transformá-los ao longo do caminho. Mas qual é o ideal para o seu negócio?

Esta postagem compara ETL e ELT em velocidade, retenção de dados, escalabilidade, gerenciamento de dados não estruturados, conformidade regulatória, manutenção e custos. No final, você deve saber quando usar cada método em seu pipeline de dados e por quê.

Principais conclusões:

• O ETL tem sido o pipeline de dados padrão há décadas devido à sua precisão, eficiência e flexibilidade.
• ELT é uma variante do processo ETL que primeiro carrega dados em um banco de dados de destino e depois o transforma.
• O ELT é mais direto e rápido do que o ETL em muitos casos porque não requer transformação de dados em um servidor autônomo — os dados são transformados no destino.
• Alguns dos principais benefícios de um pipeline ELT incluem análises em tempo real, facilidade de manutenção, escalabilidade, suporte a dados não estruturados e custos gerais mais baixos.

O que é Extrair, Transformar, Carregar (ETL)?

No mundo dos negócios, os dados são muito parecidos com a água. Ele precisa ser extraído de onde foi encontrado, transportado para onde é necessário e armazenado para uso posterior. Esse processo é conhecido como ETL: extrair, transformar e carregar .

Como um encanamento, o ETL move os dados de um lugar para outro, limpando-os ao longo do caminho e armazenando-os em um local central. A etapa de extração corresponde a encontrar água em um rio ou poço. A fase de transformação é quando a água é limpa e transportada através de tubulações. E a fase de carregamento é quando a água é armazenada em um reservatório.

Principais benefícios do pipeline ETL

Há muitas razões pelas quais o ETL tem sido o pipeline de dados padrão por décadas. Em um alto nível, o ETL garante que uma empresa tenha um único ponto de verdade para os dados obtidos de fontes diferentes. Como os dados são transformados antes de serem carregados no destino final para análise, o ETL garante que os dados sejam precisos e de alta qualidade.

Na prática, o ETL melhora a precisão, a eficiência e a flexibilidade dos dados por meio de automação e transformações. O ETL também é crucial para a governança de dados. Um pipeline bem projetado mantém um histórico registrado, o que ajuda no cumprimento de políticas internas e regulamentações externas. Por exemplo, a ferramenta ETL da Improvado é compatível com HIPAA e SOC-2, portanto, pode lidar com dados confidenciais.

Assim, um pipeline de ETL abre portas para experiências de cliente omnicanal, inteligência de negócios e tomada de decisão baseada em dados.

O que é Extrair, Carregar, Transformar (ELT)?

Extrair, carregar, transformar (ELT) é uma variante do processo ETL que primeiro carrega os dados no armazenamento designado e depois os transforma.

Voltando à metáfora da água: ELT é como quando você abre a torneira da sua casa para pegar água. A água já está em casa, basta abrir a torneira que ela sai. ELT é a mesma coisa para dados. Os dados já estão no destino, basta abrir a torneira e eles saem transformados.

O ELT ganhou impulso com a introdução de bancos de dados orientados a colunas, como ClickHouse e jQuery. Anteriormente, as empresas tinham que gastar tempo e recursos antecipadamente na construção da lógica de extração-transformação para economizar recursos de banco de dados. A nova geração de bancos de dados pode processar dados e concluir cálculos muito mais rapidamente e geralmente custam menos. Assim, a necessidade de transformar os dados brutos ao carregá-los foi eliminada.

Essa reversão do processo ETL tradicional pode simplificar o gerenciamento do pipeline de dados e economizar tempo, pois você pode fazer a transformação paralelamente ao carregamento. Ele oferece uma abordagem mais simples e rápida para a transformação de dados, pois não requer a transformação de dados como uma instância separada. Em vez disso, os dados são transformados no destino, que geralmente é um data warehouse.

Principais benefícios de um pipeline ELT

O ELT ganhou popularidade devido à sua simplicidade e flexibilidade. As equipes de dados podem agregar dados brutos de várias fontes, acessá-los para análises adicionais a qualquer momento e criar uma lógica de transformação quando ela for realmente necessária.

O ELT é uma escolha fantástica para análise de dados em tempo real, pois pode carregar e transformar dados mais rapidamente que o ETL. O ELT também é uma escolha melhor se sua empresa opera processos de transformação complexos ou em constante mudança.

Além disso, o ELT é mais fácil de manter do que o ETL, pois não há necessidade de gerenciar um software de transformação separado. E ainda oferece muitos dos mesmos benefícios do ETL, como precisão e eficiência de dados.

Processos ETL e ELT comparados

Depois de examinar os benefícios de ETL e ELT, vamos comparar os dois processos lado a lado.

Velocidade

O ELT é mais rápido que o ETL devido ao tempo da etapa de transformação.

Digamos que você esteja carregando um conjunto de dados com tamanho de um terabyte. Com ETL, todo o conjunto de dados precisaria ser carregado no servidor de transformação antes que a transformação pudesse começar. Mas com o ELT, os dados podem ser carregados e transformados em paralelo, reduzindo significativamente o tempo total necessário para concluir o processo.

Existem, no entanto, alguns casos em que o ETL pode ser mais rápido que o ELT. Isso geralmente ocorre quando o conjunto de dados é pequeno e pode ser facilmente transformado em uma instância autônoma.

Retenção de dados brutos

O processo ELT extrai todos os dados brutos e os armazena indefinidamente em seu data warehouse. As transformações são aplicadas somente posteriormente, conforme necessário, o que significa que você sempre retém o conjunto de dados original, o que é útil para análise histórica e depuração.

Para ETL, antes de carregar os dados no data warehouse de destino ou no banco de dados de sua escolha, os dados passam por extensas transformações. Portanto, o ETL pode transformar dados em um formulário agregado para economizar espaço, dificultando o rastreamento dos valores originais, a menos que você carregue os dados originais e transformados em um destino. Se você quiser alterar os dados de saída ou se a fonte de dados brutos for alterada, será necessário reescrever os scripts de transformação de extração (como eles vêm como um).

Escalabilidade

O ELT é mais flexível porque todas as três etapas (extrair, carregar e transformar) são executadas separadamente. Isso torna mais fácil dimensionar e alterar o que você quiser no processo.

Por outro lado, o ETL é mais rígido porque a camada de transformação tem uma limitação inerente. É mais difícil evoluir à medida que sua empresa cresce - por exemplo, se você deseja adicionar recursos avançados como extrações agendadas, extrações paralelas, lógica de transformação avançada etc. o processo. Afinal, o que um faz afeta o outro.

O mesmo é verdade para os processos de garantia de qualidade. Com o ETL, como a extração e a transformação vêm juntas, é preciso mais trabalho para configurar os processos de controle de qualidade e testar o produto. Comparativamente, a lógica ELT, onde você primeiro extrai e carrega seus dados e só depois os transforma, é muito mais fácil de testar.

dados não estruturados

Os sistemas ETL não são adequados para lidar com dados não estruturados, como arquivos de log, dados de mídia social e mensagens de e-mail — eles são projetados para trabalhar com dados estruturados organizados em linhas e colunas. O ETL pode ser adaptado para lidar com dados não estruturados, mas apenas com um mecanismo de transformação avançado.

Por outro lado, os sistemas ELT estão prontamente disponíveis para lidar com dados não estruturados, pois podem carregar e transformar dados com mais eficiência.

Conformidade regulatória

Algumas indústrias estão sujeitas a regulamentações que exigem o processamento de dados de uma maneira específica. Por exemplo, o setor de saúde está vinculado à HIPAA. Esta legislação de conformidade estabelece como as empresas podem coletar, utilizar ou compartilhar informações protegidas de saúde (PHI) e informações eletrônicas protegidas de saúde (ePHI) para proteger a privacidade dos pacientes.

Uma empresa pode configurar o ETL para atender a esses requisitos regulamentares, pois os dados podem ser limpos e transformados antes de serem carregados no banco de dados de destino.

O ELT, por sua vez, é mais propenso a violações de compliance. O sistema carrega todos os dados, independentemente de sua natureza sensível, e só então é transformado ou removido. A solução alternativa para essas limitações é garantir medidas robustas de segurança e governança de dados.

Manutenção

Nos sistemas ETL e ELT, os custos de manutenção podem ser altos, mas ocorrem em diferentes estágios.

Com o ETL, você precisa atualizar os scripts de transformação de extração constantemente à medida que as fontes de dados brutos mudam com o tempo, o que pode levar a uma maior sobrecarga de manutenção.

Com o ELT, a maior parte da manutenção ocorre durante o carregamento inicial de dados para armazenamento e durante a transformação de dados. O armazenamento de dados de primeira carga pode rapidamente se tornar incontrolável porque atua como um depósito de lixo para os dados brutos recebidos. Limpezas regulares e esforços de documentação são implementados para gerenciar a carga.

Além disso, os pipelines de transformação devem ser reprojetados sempre que uma fonte de dados brutos for alterada. Isso requer trabalho de manutenção, mas oferece aos engenheiros mais flexibilidade, pois nenhum dado é perdido se um script de transformação não se ajustar à nova estrutura de dados de entrada.

custos

Como qualquer pessoa que já passou por um projeto de desenvolvimento de software sabe, os custos podem rapidamente sair do controle. E quando se trata de projetos de dados, o custo de desenvolvimento de uma solução ETL robusta pode ser proibitivo, e é por isso que algumas empresas optam pelo ELT.

Com o ELT, grande parte da etapa de transformação pode ser realizada por ferramentas existentes, como dbt ou com a ajuda de SQL, ambas as quais tendem a ser mais baratas do que as soluções ETL tradicionais. Claro, ainda há necessidade de desenvolvedores experientes que saibam como usar essas ferramentas de forma eficaz. Mas, no geral, o custo de desenvolvimento de uma solução ELT provavelmente é significativamente menor do que o custo de desenvolvimento de uma solução ETL do zero.

Para uma perspectiva, o salário base médio de um engenheiro de back-end de nível médio a sênior nos EUA é de $ 124.397 por ano. Enquanto isso, o salário médio de um engenheiro de dados SQL ou desenvolvedor de BI é de cerca de US$ 91.055 por ano. Portanto, se você precisar contratar vários desenvolvedores para trabalhar em seu pipeline, o ELT é mais econômico.

Vale ressaltar que o custo de armazenamento é menor no ETL, pois não armazena dados brutos, mas essa diferença não é significativa se estiver usando armazenamento em nuvem.

Como decidir entre ETL e ELT

Decidir entre ETL e ELT pode ser difícil, pois cada abordagem tem prós e contras. Nós compilamos algumas perguntas que podem ajudá-lo a tomar a decisão.

Que tipo de dados você precisa processar?

Seus dados são estruturados ou não estruturados ou uma mistura de ambos? O ETL é mais adequado para dados estruturados, enquanto o ELT pode lidar com dados estruturados e não estruturados.

Quanta manutenção é necessária?

Os benefícios do ETL superam os custos de sua manutenção? Por exemplo, você pode precisar de acesso ao histórico de dados brutos, fornecido pelo ETL. Nesse caso, os benefícios do ETL podem compensar os custos extras de manutenção.

Qual é a complexidade do pipeline de processamento de dados?

A sofisticação do seu pipeline de processamento de dados determinará se ETL ou ELT é a melhor solução. Por exemplo, o ETL pode executar uma lógica de transformação complexa, mas funciona melhor com conjuntos de dados menores, enquanto o ELT é ideal para grandes conjuntos de dados, mas pode lidar com qualquer tamanho de dados.

Você precisa de dados em tempo real?

O ETL processa dados em lotes, causando um atraso entre o momento em que os dados são coletados e quando estão disponíveis no banco de dados de destino. O ELT também pode processar dados em lotes, mas também pode fazê-lo em tempo real, o que é útil se você precisar de dados atualizados.

Quão experientes são seus desenvolvedores?

Não há uma resposta única para essa pergunta, pois depende das habilidades e experiências específicas de sua equipe de engenharia. De um modo geral, mais engenheiros são qualificados em abordagens ETL do que em ELT. Depois de ter um pipeline de dados em vigor, os engenheiros de BI/SQL podem fazer alterações no processo ELT, enquanto as alterações ETL exigem desenvolvedores de back-end intermediários/sêniores.

Quer se trate de ETL ou ELT, o Improvado tem cobertura para você

Não importa sua abordagem, o Improvado pode ajudar seu fluxo de dados para onde ele precisa ir com sua ampla variedade de conectores e destinos de fonte de dados. A equipe de engenheiros de dados experientes da Improvado pode ajudar a projetar e implementar uma solução sob medida especificamente para seus regulamentos e necessidades de dados internos e externos.