Se você já conhece SQL, talvez não tenha percebido ainda, mas você está muito mais perto da Engenharia de Dados do que imagina.
Temos muitas profissioes que tem o SQL como algo diário, Analistas de Sitemas, DBA, Programadores, Analista de Suporte.
E essa Skill na Engenharia é metade do caminho, pode até parecer engraçado isso que estou falando mas a Engenharia vem mudando de uns anos pra cá, há alguns anos para trabalhar na área era necessário ter dominio em tecnologias como:
- Docker.
- Python.
- Apache Spark.
- Airflow.
- Terraform.
Porém desde que surgiu o que chamamos de Data Warehouses Modernos esse jogo foi mudando, ou melhor evoluindo, soluções como:
- AWS Redshift.
- Google Bigquery.
- Postgres.
- Snowflake.
- Databricks.
E todas essas plataformas trabalham com SQL.
A questão que muito provavelmente em algum momento vai ter que trabalhar com as tecnologias que citei acima, porém não precisa ser agora, no nosso último projeto que entregamos implementamos um Lakehouse do zero utilizando somente SQL.
Nessa abordagem as camadas bronze, silver e gold são implementadas com Scripts SQL.
Esses Scripts serão automatizados utilizando procedures.
E a Orquestração é feita via Tasks, que chama as procedures.
Parece familiar? Não parece algo de outro mundo certo?
Um Lakehouse moderno, escalável e robusto e tudo isso em uma das plataformas que mais tem crescido no Brasil e também no exterior.
No vídeo abaixo eu demonstro essa Stack funcionando na prática para que veja o nível da solução que é possível entregar utilizando somente SQL.
Depois de ver essa arquitetura funcionando na prática, dá pra entender por que tantas empresas do Brasil e no exterior, estão migrando para modelos como esse: simples, escaláveis e totalmente baseados em SQL.
E se você já domina SQL, você está realmente a um passo de entrar na Engenharia de Dados.
Conheça o nosso Treinamento de Snowflake, e aprenda a implementar uma Arquitetura de Engenharia de dados do zero, criando um Lakehouse utilizando 100% SQL.
Muito Obrigado.
Rafael Arruda