Ano novo começando e já fizemos a nossa primeira entrega de 2026.
No final do ano passado uma empresa nos procurou para ajuda-los estruturar os seus dados.
E sempre que falo com uma empresa com algumas perguntas eu já tenho uma ideia de qual Arquitetura pode atender aquele cliente, mas como trabalhamos com dados e não com achismo, precisamos ter essa certeza!
E então começamos com um Projeto de Arquitetura, que tem como principal objetivo validar alguns cenários e definir a Arquitetura, uma vez ela definida temos mais velocidade na implementação do projeto em si.
Então utilizamos uma tabela de 20M de registros para poder validar alguns cenários e chegamos nesse cenário aqui:
- Ingestão dos dados na camada bronze com Apache Hop.
- dbt valida os dados na camada bronze.
- dbt transforma os dados e gera a camada silver e bronze.
- dbt atualiza a documentação.
- DW no Bigquery
- Jenkins para Orquestração e também CI/CD.
Todo esse processo demorou um pouco mais de 2 min, um ótimo tempo.
E o mais interessante sem a necessidade de utilizar o Spark, que é algo um pouco mais complexo e utilizando Ferramentas que muitos profissionais já conhecem como Apache Hop(ETL Low-code) e o dbt(Utilizando bastante SQL).
Um BI Tradicional poderia atender nesse cenário? Até poderia mas talvez não por 2 ou 3 anos.
Essa stack além de já ter sido implementada em outros clientes, sabemos que funciona e que tem um custo bem acessível e já está validada.
Se a sua empresa estiver num momento de estar estruturando os dados ou a arquitetura atual está com vários Gaps.
Entre em contato com o nosso time, teremos o maior prazer em ajudá-los.
Muito Obrigado.
Rafael Arruda