Olá,
Tudo bem contigo?
Hoje venho trazer uma dica que se soubesse desde o início teria ganho boas horas de sono, pois bem.
Quantas vezes você já teve problemas de carga no seu ETL, imagina que está carregando um milhão de registros na sua tabela e por causa de um erro em um registro toda a carga foi comprometida, é um cenário que principalmente quando estamos começando pode acontecer, se Você utiliza o Pentaho / Apache Hop eu tenho uma boa notícia pra ti…
É possível identificar os registros que tiveram erro, e todos os demais registros serem carregados com sucesso, vamos ver como podemos fazer este process…
No exemplo abaixo estamos implemetando uma dimensão de clientes, estamos lendo os dados da Stage, tratando os dados e carregando para o nosso DW, o famoso ETL.
Ao executar este Pipeline, tivemos o seguinte erro:
Aqui temos um exemplo claro de estouro de caractér, e sorte nossa que o log nos ajuda nisso, informando exatamente qual o campo que temos que aumentar o limite de caractér, essa foi fácil é só aumentar o tamanho do campo e pronto.
Mas imagina que amanha seja outro campo, vai ser mais um dia com erro no ETL, e isso não é legal, então temos uma tratativa para isso, utilizando o Error Handling.
Ao ligar o step Text File output por exemplo, todos os registros que derem erro no step de inserir os dados na dim_customer serão encaminhados para este arquivo
Então neste caso se minha carga for de um milhão de registros e apenas duas linhas estiverem com erro todos os outros registros serão carregados com sucesso, é muito mais simples tratar dois registos do milhões de linhas.
Ao executar o nosso Pipeline percebemos que não tivemos erro e que 90 registros foram inseridos na tabela e um registro foi encaminhado para o arquivo texto.
E aqui temos exatamente o registro que deu erro na carga inicial e sabemos que a palavra “NAO INFORMADO” tem mais de 9 caracteres por isso o estourou o limite do campo.
Espero que essa dica tenha sido útil pra ti!!
Caso queira aprender outros steps do Apache Hop, Assista o nosso Webinar.
Muito Obrigado e até o próximo artigo!!