Para as empresas que estão começando a estruturar os seus dados um Data Warehouse bem atende muito bem, principalmente para as empresas que estão se “afogando” em planilhas, Power BI conectado direto no ERP…
Nesse caso temos o Apache Hop responsável por toda a camada de ETL.
Data Warehouse no Postgres.
E uma vez o DW pronto podemos conectar qualquer ferramenta de Dataviz, e o mais importante independente da ferramenta que for conectar a fonte de dadods será a mesma.
Agora se você já tem essa estrutura e começou a ter alguns problemas de carga no seu etl, problemas na validação de dados, talvez seja o momento de modernizar essa estrutura, ou melhor evoluir.
E para isso não necessariamente migrar tudo para outras plataformas, e sim evoluir, re-aproveitando quase toda a estrutura atual.
E assim evoluir este DW em uma Modern Data Stack:
Só de adicionar ferramentas como dbt e Jenkins, muda o nível da Arquitetura.
O Conceito de Stack Moderna é dividir as responsabilidades, utilizar o melhor de cada tecnologia com base na sua função:
- Apache Hop para ingestão dos dados.
- dbt para qualidade e transformação dos dados.
- Jenkins para Orquestração e CI/CD.
E cada ferramenta em seu respectivo container, ou seja vira praticamente um produto de dados, aonde podemos utilizar essa stack em diversos projetos aonde o que irá mudar de um projeto para o outro em tema de Arquitetura seria aonde esses dados serão armazenados, neste caso estamos falando de uma Stack toda Open Source.
Porém nada impede de replicar essa Arquitetura tanto na AWS quanto na Google, alias temos um artigo detalhando melhor como seria isso na prática.
E ambas as arquiteturas que abordamos neste artigo fazem parte da nossa Formação Data Engineer 360.
Se você estiver procurando um mapa rumo a Engenharia de Dados, aprendendo a implementar diversos projetos, conheça a nossa Formação.
Módulos que fazem parte do conteúdo.
Em cada módulo, você implementa um projeto real e evolui sua visão de arquitetura na prática.
E o mais importante todas as arquiteturas já foiram implementadas e validadas em clientes.
Muito Obrigado
Rafael Arruda
