Olá, sempre que falamos de ETL, independente da ferramenta um dos tratamentos mais comuns são os valores nulos, normalmente temos duas abordagens nesse caso: Tratar os dados por coluna. Tratar os dados por tipo de dados. Quando tratamos os dados por coluna, no nosso ETL informamos o valor…
Olá, O Apache Hop é uma excelente solução para implementar um Data Warehouse ou um Data Lake, seja em um ambiente On-Prem ou na Cloud, e uma etapa importante nessa etapa é a validação dos dados. E é justamente esste tema que iremos abordar nesse artigo. Você já…
Nesses últimos dias, A DeepSeek uma Start-up Chinesa virou o centro dos debates na área de T.I com o seu assistente de IA utrapassou o Chat GPT como o aplicativo mais bem avaliado na App Store dos Estados Unidos, creio que a maioria já criou a sua conta…
Neste post compartilho com vocês duas maneiras de criar Loop utilizando o Apache Hop. Objetivo: Criar 2 modelos de loop que percorra uma pasta principal, acesse todas as subpastas dentro dela, e leia todos os arquivos XLSX encontrados em cada subpasta. O loop funcionará independe do número de…
É muito comum a gente criar colunas condicionais no nosso dia a dia, nem sempre teremos a informação já pronta da forma que precisamos. Para quem trabalha com banco de dados deve estar mais acostumado a fazer esta tarefa utilizando If ou Case When, a lógica é exatamente …
Recentemente, explorei o uso do Apache Hop, uma poderosa ferramenta de ETL (Extração, Transformação e Carga) que facilita a automação e gestão de processos complexos de integração de dados. Neste post, quero compartilhar um pouco sobre como o Apache Hop pode transformar seu processo de integração de dados,…
Olá, Desde o Pentaho o banco de dados que dava um pouco mais de trabalho para conectar era o SQL Server, e isso se manteve no Hop. Portanto, a ideia deste artigo é disponibilizar um tutorial de como fazer esta integração do SQL Server com Apache Hop, este…
Olá, tudo bem contigo? Compartilhando o depoimento de alguns alunos que finalizaram o nosso Treinamento: Hopbase. Neste treinamento os alunos aprenderam a criar um Produto de BI do zero, abordando as seguintes etapas: Modelagem dos dados. Staging Area. Dimensões e Fatos. Carga Full vs Carga Incremental. Orquestração do…
Imagina que o sistema da tua empresa guarda os dados de pessoa em duas colunas, nome e sobre-nome. E ao criar um DW, provavelmente que iremos ter esse tratamento de dados em alguns etl, como nas seguintes dimensões: Dim_Funcionarios. Dim_Clientes. Dim_Leads. Em todas dimensões mencionadas acima teriamos que…
Olá, tudo bem contigo? Hoje o artigo de hoje é compartilhar contigo uma forma de obter o último dia do mês anterior, de uma forma simples, e objetiva. Essa solicitação é muito comum recebermos das áreas de negócios principalmente da área financeira quando ocorre o fechamento. Para este…