Como evoluir o seu DW para uma Stack Moderna sem refazer o seu projeto
Para as empresas que estão começando a estruturar os seus dados um Data Warehouse bem atende muito bem, principalmente para as empresas que estão se “afogando” em planilhas, Power BI conectado direto no ERP… Nesse caso temos o Apache Hop responsável por toda a camada de ETL. Data Warehouse no Postgres. E uma vez o
Leia maisQual a melhor arquitetura de dados para sua empresa? Deixe os dados decidirem
Um dos principais problemas que vemos nas empresas que chegam até nós é que suas arquiteturas de dados foram implementadas sem a devida validação de cenários. Em muitos casos, essas decisões são influenciadas por hype de mercado: uma tecnologia funciona bem para uma empresa com 5 mil ou 10 mil funcionários, e automaticamente assume-se que
Leia mais
20 Milhões em 2 minutos, nossa primeira entrega de 2026.
Ano novo começando e já fizemos a nossa primeira entrega de 2026. No final do ano passado uma empresa nos procurou para ajuda-los estruturar os seus dados. E sempre que falo com uma empresa com algumas perguntas eu já tenho uma ideia de qual Arquitetura pode atender aquele cliente, mas como trabalhamos com dados e
Leia maisO que são as Dynamic Tables no Snowflake?
Durante muito tempo, trabalhar com dados significou responder a uma pergunta básica: Com que frequência esses dados serão atualizados? Na prática, essa resposta normalmente era algo como: A partir disso, toda a orquestração era construída definindo quando cada pipeline deveria ser executado. A lógica tradicional: o tempo manda no dado No modelo clássico, definir que
Leia maisConhece SQL? Então você está a um passo da Engenharia de Dados
Se você já conhece SQL, talvez não tenha percebido ainda, mas você está muito mais perto da Engenharia de Dados do que imagina. Temos muitas profissioes que tem o SQL como algo diário, Analistas de Sitemas, DBA, Programadores, Analista de Suporte. E essa Skill na Engenharia é metade do caminho, pode até parecer engraçado isso
Leia maisDo S3 até o Snowflake, utilizando somente SQL
É comum a gente achar que quando temos os dados em algum cloud provider e precisamos levar os dados para um Data Warehouse a primeira coisa é pensar numa ferramenta de integração / ingestão, como Apache Hop, Pentaho, Python entre outras mas quando estamos utilizando Snowflake, é mais simples do que parece. Conseguimos fazer numa
Leia mais
Construindo a Memória dos Agentes de IA: Redis, Vetores e Reflexão
Gerenciando memória para Agentes de IA A capacidade de retenção de informações é um dos maiores desafios na construção de sistemas de agentes de IA colaborativos. Embora esses agentes consigam manter o contexto imediato de uma conversa, eles frequentemente esquecem informações importantes entre sessões. Isso limita a continuidade e a eficácia da colaboração. A complexidade
Leia mais
A Evolução da Engenharia de IA: Da Engenharia de Prompt à Engenharia de Contexto
A era da inteligência artificial generativa, iniciada após o lançamento do ChatGPT em novembro de 2022, abriu um novo leque de possibilidades e, com isso, surgiram novas funções para atender às demandas. Entre elas, destacou-se a Engenharia de IA. Inicialmente conhecida como Engenharia de Prompt ou Engenharia de LLM, essa função foi vista por muitos
Leia mais
Replicando a Stack Data Speed no Snowflake
No mês passado, tivemos a 1ª turma do Data Speed, onde abordamos como implementar uma Stack Moderna de Dados. Mais do que as ferramentas — que são resultado de 3 anos de projetos — o principal ponto é a mudança de paradigma: a cloud será, cada vez mais, apenas o local onde os dados são
Leia mais