Automatizando o seu pipeline no Apache Hop.
Olá, tudo bem contigo? A ideia deste artigo é poder te ajudar a implementar o teu pipeline de dados, pois nada adianta você desenvolver todo o ETL, e ficar executando de forma manual, não faz sentido. Como podemos agendar um pipeline desenvolvido no Apache Hop? Bom, temos algumas formas de fazer isso. A forma mais
Leia mais
Removendo acentos com Pentaho /Hop
Olá, Tudo bem contigo? Quantas vezes já tivemos que remover os acentos de alguma palavra específica, utilizando replace, por exemplo ou até mesmo utilizando o próprio SQL para isso. Uma forma bem mais prática de fazer isso é utilizando o step: “User defined Java expression”, este step existe tanto no Pentaho quando no Apache Hop.
Leia mais
Resolvendo erro de data com valores nulos no Hop
Olá, Tudo bem contigo? Recentemente um dos nossos alunos encontrou um problema no Apache Hop, ao ler dados de uma tabela o Hop traz normal os dados porém as colunas com tipo Timestamp ele retorna como dados nulos. Para
Leia mais
Utilizando o Error Handling para minimizar os problemas do seu ETL.
Olá, Tudo bem contigo? Hoje venho trazer uma dica que se soubesse desde o início teria ganho boas horas de sono, pois bem. Quantas vezes você já teve problemas de carga no seu ETL, imagina que está carregando um milhão de registros na sua tabela e por causa de um erro em um registro toda
Leia maisA Importância do Comando EXPLAIN ANALYSE em Sistemas de Gerenciamento de Bancos de Dados
A Importância do Comando EXPLAIN ANALYSE em Sistemas de Gerenciamento de Bancos de Dados Introdução Dentro do universo dos sistemas de gerenciamento de bancos de dados (SGBDs), como PostgreSQL, a ferramenta EXPLAIN ANALYSE desempenha um papel crucial na otimização e eficiência das consultas SQL. Este artigo detalha o uso do EXPLAIN ANALYSE, fornecendo exemplos práticos e
Leia mais
Começou o Treinamento de SQL – Avançado
Olá, tudo bem contigo? Neste último sábado, começou o nosso novo Treinamento – SQL. Uma imersão de 2 sábados, com 100% Hand-ons totalizando 16 horas de muita troca de conhecimento e também muitas experiências. Confira o que abordamos neste primeiro dia. Ativar o WSL no Windows. Instalação do Docker. Subimos o Postgres via Docker. Aprendendo
Leia mais
Você tem dificuldades com Levantamento de Requisito?
Olá, tudo bem contigo? É muito comum nas empresas ter o seu primeiro contato na área de dados com os Dashboards, são os que impressiona os gestores e muitas vezes um Dashboard bem feito vende projetos. E uma vez que o profissional entra na área de dados ele percebe que o Dashboard é a última
Leia mais
Mais de 30 engenheiros de dados Formados
Olá, tudo bem contigo? Nos últimos dois sábados tivemos a 1ª turma do AirDBT – Modern Data Engineer um treinamento totalmente fora da curva oferecido por nós. Ficamos muito contentes pela confiança mais uma vez dos nossos alunos, maioria da turma estava no seu 4º e até 5º curso. Isso só comprova o nosso compromisso
Leia mais
1º Dia – Treinamento Modern Data Stack
Olá, tudo bem contigo? Nesse último sábado começou o nosso novo Treinamento: AirDBT – Modern Data Engineer. Nesse Treinamento o foco é criarmos uma Modern Data Stack, seria muito mais fácil fornecemos uma imagem de um Servidor pronto e totalmente configurado, mas e após os curso, como os alunos irão conseguir replicar no projeto atual
Leia maisAprofundando-se em SQL: Uma Competência Essencial na Era dos Dados
A era digital trouxe consigo um oceano de dados. A cada clique, compra online, interação em mídias sociais e até mesmo cada sensor em nossos dispositivos inteligentes, estamos gerando uma quantidade impressionante de dados. No entanto, esses dados por si só são como um livro escrito em uma língua desconhecida. É preciso uma ferramenta para
Leia mais