Como ler vários arquivos de uma só vez
Olá tudo bem com você?
Você já teve que fazer alguma integração de dados de arquivos separados por data, empresa, categoria?
Muito provável que sim e as vezes deve ter utilizado um step para cada arquivo?
Então se você já fez ou ainda faz esse artigo irá te ajudar a como ler vários arquivos de uma só vez.
Antes de tudo No Pentaho quando trabalhamos com leitura de arquivos temos a opção de trabalhar com regex.
Pois bem…
Temos uma pasta Arquivos com dois arquivos csv.
Em vez de selecionar um arquivo em cada text file input, iremos informar somente a pasta.
No campo regular Experession(Regex) iremos preencher com o valor: .*csve depois clicar em add.
O que isso significa, que o step irá ler todos os arquivos do diretório informado acima com o formato .csv
Hoje pode ter 2 arquivos se amanhá tiver 4 o Pentaho irá ler todos os arquivos por conta da expressão regular.
Para saber se o seu processo funcionou basta clicar em show filenames:
Essa é a melhor parte o seu processo irá ficar dinâmico, mas para o seu processo funcionar os arquivos devem ter as mesmas colunas, ok?
É uma maneira simples mas que evita muito re-trabalho principalmente para quem esta começando com o Pentaho.
Material de Aprofundamento:
Se você quiser aprender tudo sobre Pentaho, como fazer um ETL bem feito e como AUTOMATIZAR seu processo de BI com desempenho altamente robusto, performático e satisfatório então conheça nosso Curso Completo de Pentaho Clicando Aqui.
Você ainda ganha acesso a nossa comunidade de alunos Pentarruda onde ajudamos uns aos outros compartilhando muita informação e resolvendo dúvidas relacionado a Engenharia de Dados e Business Intelligence!
Até o próximo artigo!
Comentário (1)
Carlos Curty
says agosto 12, 2022 at 1:43 amValeu pela dica!
Muito útil para evitar trabalho em dobro.