Olá, sempre que falamos de ETL, independente da ferramenta um dos tratamentos mais comuns são os valores nulos, normalmente temos duas abordagens nesse caso: Tratar os dados por coluna. Tratar os dados por tipo de dados. Quando tratamos os dados por coluna, no nosso ETL informamos o valor…
No mundo da engenharia de dados e desenvolvimento de software, a automação é indispensável. Seja para executar pipelines, scripts ou rotinas de manutenção, agendar tarefas de forma confiável faz toda a diferença. Embora sistemas operacionais como Linux (com o cron) ou Windows (com o Agendador de Tarefas) ofereçam…
Olá, O Apache Hop é uma excelente solução para implementar um Data Warehouse ou um Data Lake, seja em um ambiente On-Prem ou na Cloud, e uma etapa importante nessa etapa é a validação dos dados. E é justamente esste tema que iremos abordar nesse artigo. Você já…
O KNIME Analytics Platform é uma ferramenta visuale intuitiva para análise de dados, automação de processos e ciência de dados. Ele permite que você crie fluxos de trabalho (workflows) sem precisar programar, o que o torna ideal para quem quer otimizar tarefas repetitivas de análise e transformação de…
O que é KNIME Analytics Platform? O KNIME Analytics Platform é uma poderosa ferramenta de ciência de dados e análise avançada. Esse software de código aberto e gratuito permite processar grandes volumes de dados, criar fluxos de trabalho automatizados e extrair insights valiosos para tomada de decisão. Instalar…
Introdução A análise de dados moderna exige ferramentas que equilibrem automação, flexibilidade e poder computacional. Um cientista de dados que precisa processar grandes volumes de informações pode optar por uma abordagem visual e automatizada no KNIME, simplificando a construção de workflows sem a necessidade de codificação manual. Por…
O papel do Cientista de Dados envolve uma série de tarefas complexas, desde a coleta e preparação das informações até a construção e avaliação de modelos preditivos, culminando no deploy das soluções que impulsionam a tomada de decisão nas empresas. Para isso, é necessário combinar diferentes técnicas, ferramentas…
Olá, Hoje quero compartilhar contigo como criar uma VM na Magalu Cloud, isso mesmo neste artigo não iremos comprar um celular ou uma TV, caso não saiba a Magalu Cloud faz parte do grupo da Magazine Luiza, e neste artigo quero mostrar porque ela pode ser uma opção…
Nesses últimos dias, A DeepSeek uma Start-up Chinesa virou o centro dos debates na área de T.I com o seu assistente de IA utrapassou o Chat GPT como o aplicativo mais bem avaliado na App Store dos Estados Unidos, creio que a maioria já criou a sua conta…
Neste post compartilho com vocês duas maneiras de criar Loop utilizando o Apache Hop. Objetivo: Criar 2 modelos de loop que percorra uma pasta principal, acesse todas as subpastas dentro dela, e leia todos os arquivos XLSX encontrados em cada subpasta. O loop funcionará independe do número de…