Imagina que o sistema da tua empresa guarda os dados de pessoa em duas colunas, nome e sobre-nome. E ao criar um DW, provavelmente que iremos ter esse tratamento de dados em alguns etl, como nas seguintes dimensões: Dim_Funcionarios. Dim_Clientes. Dim_Leads. Em todas dimensões mencionadas acima teriamos que…
Olá, tudo bem contigo? Já imaginou subir o teu ambiente de Desenvolvimento em 1 min na Cloud? Pois bem eu achava que isso era algo muito distante, algo que somente programadores ou profissionais de Devops poderiam fazer, acho que me enganei mais uma vez. Nos últimos 2 anos…
Olá, Tudo bem contigo? Hoje venho trazer uma dica que se soubesse desde o início teria ganho boas horas de sono, pois bem. Quantas vezes você já teve problemas de carga no seu ETL, imagina que está carregando um milhão de registros na sua tabela e por causa…
A Importância do Comando EXPLAIN ANALYSE em Sistemas de Gerenciamento de Bancos de Dados Introdução Dentro do universo dos sistemas de gerenciamento de bancos de dados (SGBDs), como PostgreSQL, a ferramenta EXPLAIN ANALYSE desempenha um papel crucial na otimização e eficiência das consultas SQL. Este artigo detalha o uso…
Olá, tudo bem contigo? Hoje estamos aqui para compartilhar um projeto que estamos desenvolvendo para um dos nossos clientes, e um tema muito importante, automatização de processos. Atualmente é muito comum pensarmos em projetos de BI, Big Data mas o teu cliente já tem os processos automatizados? Pois…
Olá, Todos nós sabemos quantas empresas utilizam Excel, Google Sheets, agora quantas utilizam o melhor dessas planilhas, elas são excelentes para analisar os dados, criar gráficos, explorar de verdade os dados, agora se você faz toda a etapa de preparação dos dados no Excel, você pode ter problemas,…
Olá, Tudo bem contigo? O Sonho de várias empresas é ter uma plataforma de dados atualizando quase que em tempo real, mas a pergunta que fica, é a seguinte... Será que a tua empresa precisa de uma plataforma assim?? Será que um ETL padrão com os dados atualizando…
Como criar um teste A/B no Facebook Ads e como isso impacta no Growth da sua empresa? Muito se fala em teste A/B hoje em dia mas na prática você saberia criar um teste A/B? e ainda como esse teste influenciaria no crescimento da sua empresa? Se você…
Olá, Tudo bem contigo? Muito se fala em LGPD, Lei Geral de Proteção dos Dados, mas como implementarmos isso no nosso ETL, ou melhor como proteger dados sensiveis, como Nome, telefone, email. Uma forma bastante simples de se fazer isso no Pentaho é utilizando o step: Add a…
Olá, Tudo bem contigo? Nesse sábado, 20/05/2023, tivemos o 1º dia do nosso mais novo treinamento, Python para Engenheiro de dados, aplicado pelo instrutor Leandro Silva. Neste sábado foram abordados os seguintes temas: Criação da conta na Google Cloud. Utilizamos o IAM para criar as permissões e acessos.…