20 Milhões em 2 minutos, nossa primeira entrega de 2026.
Ano novo começando e já fizemos a nossa primeira entrega de 2026. No final do ano passado uma empresa nos procurou para ajuda-los estruturar os seus dados. E sempre que falo com uma empresa com algumas perguntas eu já tenho uma ideia de qual Arquitetura pode atender aquele cliente, mas como trabalhamos com dados e
Leia maisO que são as Dynamic Tables no Snowflake?
Durante muito tempo, trabalhar com dados significou responder a uma pergunta básica: Com que frequência esses dados serão atualizados? Na prática, essa resposta normalmente era algo como: A partir disso, toda a orquestração era construída definindo quando cada pipeline deveria ser executado. A lógica tradicional: o tempo manda no dado No modelo clássico, definir que
Leia maisConhece SQL? Então você está a um passo da Engenharia de Dados
Se você já conhece SQL, talvez não tenha percebido ainda, mas você está muito mais perto da Engenharia de Dados do que imagina. Temos muitas profissioes que tem o SQL como algo diário, Analistas de Sitemas, DBA, Programadores, Analista de Suporte. E essa Skill na Engenharia é metade do caminho, pode até parecer engraçado isso
Leia maisDo S3 até o Snowflake, utilizando somente SQL
É comum a gente achar que quando temos os dados em algum cloud provider e precisamos levar os dados para um Data Warehouse a primeira coisa é pensar numa ferramenta de integração / ingestão, como Apache Hop, Pentaho, Python entre outras mas quando estamos utilizando Snowflake, é mais simples do que parece. Conseguimos fazer numa
Leia mais
Construindo a Memória dos Agentes de IA: Redis, Vetores e Reflexão
Gerenciando memória para Agentes de IA A capacidade de retenção de informações é um dos maiores desafios na construção de sistemas de agentes de IA colaborativos. Embora esses agentes consigam manter o contexto imediato de uma conversa, eles frequentemente esquecem informações importantes entre sessões. Isso limita a continuidade e a eficácia da colaboração. A complexidade
Leia mais
A Evolução da Engenharia de IA: Da Engenharia de Prompt à Engenharia de Contexto
A era da inteligência artificial generativa, iniciada após o lançamento do ChatGPT em novembro de 2022, abriu um novo leque de possibilidades e, com isso, surgiram novas funções para atender às demandas. Entre elas, destacou-se a Engenharia de IA. Inicialmente conhecida como Engenharia de Prompt ou Engenharia de LLM, essa função foi vista por muitos
Leia mais
Replicando a Stack Data Speed no Snowflake
No mês passado, tivemos a 1ª turma do Data Speed, onde abordamos como implementar uma Stack Moderna de Dados. Mais do que as ferramentas — que são resultado de 3 anos de projetos — o principal ponto é a mudança de paradigma: a cloud será, cada vez mais, apenas o local onde os dados são
Leia mais
Replicando a Stack Data Speed na AWS
Bom como sabe no mês passado, tivemos a 1ª Turma do Data Speed, abordando como Implementar uma Stack Moderna de Dados, mas talvez mais importante que as ferramentas que utilizamos, que basicamente é um compilado dos últimos 3 anos de projetos, ela muda um paradigma, que a Cloud vai ser basicamente aonde os dados serão
Leia mais
DBT para documentação e validação dos dados.
No artigo anterior (https://arrudaconsulting.com.br/dbt-controle-codigos-sql/), falei um pouco sobre a utilização da ferramenta dbt (Data Build Tool) e sua capacidade de organização e versionamento de códigos SQL. Neste post, vou me aprofundar nas funcionalidades de documentação e testes, que tornam o dbt ainda mais poderoso no gerenciamento de projetos de dados. Na pasta models, podemos inserir
Leia mais