Olá,
Tudo bem contigo?
O Sonho de várias empresas é ter uma plataforma de dados atualizando quase que em tempo real, mas a pergunta que fica, é a seguinte…
Será que a tua empresa precisa de uma plataforma assim?? Será que um ETL padrão com os dados atualizando D -1 não resolveria…
Mas caso a tua empresa realmente necessite de uma estrutura assim, esse artigo é pra você.
Na imagem acima temos a arquitetura que utilizamos em alguns dos nossos projetos e também faz parte do nosso Treinamento de Pentaho + Google Cloud.
Porém se você preferir fazer isso no Python o conceito é exatamente o mesmo.
Segue o vídeo abaixo com uma rápida demonstração.
O mais interessante é que você pode utilizar a Google Cloud tanto com Pentaho por exemplo quanto com uma linguagem de programação como Python.
Muito Obrigado e até o próximo artigo!!