Bom, na semana passada tivemos mais uma Live dos Sparkanos, e dessa vez com um Hand-ons de 2 horas de Apache Spark. E uma das dúvidas que surgiram, foi entender como o cliente acessa esses dados, uma vez que processamos os dados com o Spark. Para facilitar o…
Recentemente, explorei o uso do Apache Hop, uma poderosa ferramenta de ETL (Extração, Transformação e Carga) que facilita a automação e gestão de processos complexos de integração de dados. Neste post, quero compartilhar um pouco sobre como o Apache Hop pode transformar seu processo de integração de dados,…
Olá, Hoje vamos ter uma Super-Live! Iremos demonstrar um case que implementamos de um Data Lake 100% Open Source em uma grande empresa aqui em Portugal. Para toda a etapa de Processamento e tratamento dos dados utilizamos o Apache Spark para processar, criando uma Solução robusta e escalável.…
Imagina que o sistema da tua empresa guarda os dados de pessoa em duas colunas, nome e sobre-nome. E ao criar um DW, provavelmente que iremos ter esse tratamento de dados em alguns etl, como nas seguintes dimensões: Dim_Funcionarios. Dim_Clientes. Dim_Leads. Em todas dimensões mencionadas acima teriamos que…
Olá, tudo bem contigo? Já imaginou subir o teu ambiente de Desenvolvimento em 1 min na Cloud? Pois bem eu achava que isso era algo muito distante, algo que somente programadores ou profissionais de Devops poderiam fazer, acho que me enganei mais uma vez. Nos últimos 2 anos…
Olá, Tudo bem contigo? Hoje venho trazer uma dica que se soubesse desde o início teria ganho boas horas de sono, pois bem. Quantas vezes você já teve problemas de carga no seu ETL, imagina que está carregando um milhão de registros na sua tabela e por causa…
A Importância do Comando EXPLAIN ANALYSE em Sistemas de Gerenciamento de Bancos de Dados Introdução Dentro do universo dos sistemas de gerenciamento de bancos de dados (SGBDs), como PostgreSQL, a ferramenta EXPLAIN ANALYSE desempenha um papel crucial na otimização e eficiência das consultas SQL. Este artigo detalha o uso…
Olá, tudo bem contigo? Hoje estamos aqui para compartilhar um projeto que estamos desenvolvendo para um dos nossos clientes, e um tema muito importante, automatização de processos. Atualmente é muito comum pensarmos em projetos de BI, Big Data mas o teu cliente já tem os processos automatizados? Pois…
Olá, Todos nós sabemos quantas empresas utilizam Excel, Google Sheets, agora quantas utilizam o melhor dessas planilhas, elas são excelentes para analisar os dados, criar gráficos, explorar de verdade os dados, agora se você faz toda a etapa de preparação dos dados no Excel, você pode ter problemas,…
Olá, Tudo bem contigo? O Sonho de várias empresas é ter uma plataforma de dados atualizando quase que em tempo real, mas a pergunta que fica, é a seguinte... Será que a tua empresa precisa de uma plataforma assim?? Será que um ETL padrão com os dados atualizando…