30
out
Olá, tudo bem contigo?
Nos últimos dois sábados tivemos a 1ª turma do AirDBT – Modern Data Engineer um treinamento totalmente fora da curva oferecido por nós.
Ficamos muito contentes pela confiança mais uma vez dos nossos alunos, maioria da turma estava no seu 4º e até 5º curso.
Isso só comprova o nosso compromisso com uma formação com base na vida real dos projetos, sem firula, direto ao ponto e claro com muito hand-ons.
Confira abaixo quais temas foram abordados nessa incrível formação:
Cronograma:
Dia 1:
- Criação da conta na Google Cloud.
- Criar um Servidor Linux na nuvem.
- Instalar o Docker.
- Subir uma imagem do Postgres já com o banco configurado no Docker.
- Subir o airbyte no Docker.
- Ingestão de 70 tabelas no Bigquery com Airbyte.
- Data Lake Criado na Google.
Dia 2:
- Agora que temos o Data Lake criado, iremos utilizar ele como origem para criar o DW.
- Iremos utilizar o DBT para gerar as dimensões e fatos, usando SQL.
- Validação dos dados pelo DBT.
- Gerando a Documentação de forma automática.
- Gerando a Linhagem dos dados.
- Instalar o Apache Airflow.
- Criar as Dags para orquestrar o pipeline.
- Plataforma de dados Criada e agendada na nuvem.
Tudo isso em 16 horas.
Arquitetura Moderna de dados criada e entregue em 2 sábados, confira a arquitetura que criamos do zero no treinamento.
Muito Obrigado a todos pela confiança.
Rafael Arruda