Como tratar valores nulos no Apache Hop?
Olá, sempre que falamos de ETL, independente da ferramenta um dos tratamentos mais comuns são os valores nulos, normalmente temos duas abordagens nesse caso: Tratar os dados por coluna. Tratar os dados por tipo de dados. Quando tratamos os dados por coluna, no nosso ETL informamos o valor de cada coluna que iremos substituir, caso
Leia mais
Evite Surpresas no DW: Use o Data Validator do Apache Hop
Olá, O Apache Hop é uma excelente solução para implementar um Data Warehouse ou um Data Lake, seja em um ambiente On-Prem ou na Cloud, e uma etapa importante nessa etapa é a validação dos dados. E é justamente esste tema que iremos abordar nesse artigo. Você já ouviu falar do Step: Data Validator? Próprio
Leia maisO DeepSeek talvez você conheça? Mas e sua API?
Nesses últimos dias, A DeepSeek uma Start-up Chinesa virou o centro dos debates na área de T.I com o seu assistente de IA utrapassou o Chat GPT como o aplicativo mais bem avaliado na App Store dos Estados Unidos, creio que a maioria já criou a sua conta no DeepSeek ou se logou com a
Leia maisLoop com Apache Hop
Neste post compartilho com vocês duas maneiras de criar Loop utilizando o Apache Hop. Objetivo: Criar 2 modelos de loop que percorra uma pasta principal, acesse todas as subpastas dentro dela, e leia todos os arquivos XLSX encontrados em cada subpasta. O loop funcionará independe do número de subpastas que haja na pasta principal. Neste
Leia maisCriando colunas condicionais no Apache Hop
É muito comum a gente criar colunas condicionais no nosso dia a dia, nem sempre teremos a informação já pronta da forma que precisamos. Para quem trabalha com banco de dados deve estar mais acostumado a fazer esta tarefa utilizando If ou Case When, a lógica é exatamente a mesma. Neste Artigo irei mostrar como
Leia maisRecuperando dados da Receita Federal com Apache Hop
Recentemente, explorei o uso do Apache Hop, uma poderosa ferramenta de ETL (Extração, Transformação e Carga) que facilita a automação e gestão de processos complexos de integração de dados. Neste post, quero compartilhar um pouco sobre como o Apache Hop pode transformar seu processo de integração de dados, especialmente quando se trata de automatizar tarefas
Leia mais
Como Conectar SQL Server no Hop?
Olá, Desde o Pentaho o banco de dados que dava um pouco mais de trabalho para conectar era o SQL Server, e isso se manteve no Hop. Portanto, a ideia deste artigo é disponibilizar um tutorial de como fazer esta integração do SQL Server com Apache Hop, este artigo foi feito por um dos nossos
Leia mais
Depoimentos de Alunos – Hopbase
Olá, tudo bem contigo? Compartilhando o depoimento de alguns alunos que finalizaram o nosso Treinamento: Hopbase. Neste treinamento os alunos aprenderam a criar um Produto de BI do zero, abordando as seguintes etapas: Modelagem dos dados. Staging Area. Dimensões e Fatos. Carga Full vs Carga Incremental. Orquestração do ETL. Documentação do DW. Criação dos Relatórios
Leia mais
Aumenta a produtividade do teu ETL com Apache Hop
Imagina que o sistema da tua empresa guarda os dados de pessoa em duas colunas, nome e sobre-nome. E ao criar um DW, provavelmente que iremos ter esse tratamento de dados em alguns etl, como nas seguintes dimensões: Dim_Funcionarios. Dim_Clientes. Dim_Leads. Em todas dimensões mencionadas acima teriamos que fazer um mesmo tratamento, que é concatenar
Leia mais