No mundo da engenharia de dados e desenvolvimento de software, a automação é indispensável. Seja para executar pipelines, scripts ou rotinas de manutenção, agendar tarefas de forma confiável faz toda a diferença.
Embora sistemas operacionais como Linux (com o cron) ou Windows (com o Agendador de Tarefas) ofereçam mecanismos nativos de agendamento, essas abordagens muitas vezes carecem de recursos importantes, como:
-
Controle de histórico de execuções;
-
Logs detalhados e organizados;
-
Facilidade para gerenciar múltiplas tarefas e pipelines em um único painel;
-
Integração com sistemas de versionamento como Git.
É aí que o Jenkins entra como uma excelente alternativa para o agendamento de tarefas de forma robusta e centralizada.
O Jenkins é uma ferramenta open-source amplamente utilizada para automação, integração contínua (CI) e entrega contínua (CD), atuando também como um eficiente agendador de tarefas (jobs). Quando utilizado para agendamento, o Jenkins permite definir rotinas automáticas por meio de expressões cron, facilitando a execução periódica e pontual das tarefas.
No nosso exemplo, como o nosso Apache Hop está num container, o comando iremos chamar o container e executar o comando do Hop-Run.
Seja no Agendador do Windows, ou no Jenkins, podemos utilizar o Hop-run que irá executar um Workflow ou Pipeline por linha de comando, no link abaixo tem um artigo detalhando melhor como funciona o Hop-Run.
Automatizando o seu pipeline no Apache Hop.
Para projetos menores, o agendador do windows irá lhe atender, porém ao projeto crescer vai chegar uma hora que um Orquestrador como o Jenkins começa a ser fundamental.
Além disso, o Jenkins armazena o histórico de cada execução, mantendo logs detalhados sobre os comandos executados. Essa funcionalidade auxilia no monitoramento, auditoria e diagnóstico de eventuais problemas.
Outro diferencial é o controle por usuários. O Jenkins registra quem realizou login no sistema e quem criou ou modificou os jobs, proporcionando maior segurança e controle sobre o ambiente.
Por fim, o Jenkins dispõe de diversos plugins que expandem suas funcionalidades, permitindo adaptar a plataforma às necessidades específicas de cada equipe ou projeto.
Cada vez mais temos vistos projetos que utilizam Apache Hop sendo orquestrados pelo Jenkins, e cada vez mais iremos ver este cenário.
Muito Obrigado e até o próximo artigo.