Imagem retirada do site: https://delta.io/ O formato Delta foi desenvolvido para possibilitar na construção de um Lakehouse através do Spark. Um Lakehouse também pode ser construído em outros formatos e abaixo podemos ver os principais: Delta Lake: Delta Lake é uma camada de armazenamento de dados open-source construída…
A história do armazenamento Imagem oficial da Databricks Na história do armazenamento, houveram algumas mudanças até chegarmos no que hoje chamamos de Lakehouse que une o melhor do mundo do Data Warehouse com o Data Lake. O Data Warehouse é um sistema de armezamento aplamente conhecido no…
Imagina que o sistema da tua empresa guarda os dados de pessoa em duas colunas, nome e sobre-nome. E ao criar um DW, provavelmente que iremos ter esse tratamento de dados em alguns etl, como nas seguintes dimensões: Dim_Funcionarios. Dim_Clientes. Dim_Leads. Em todas dimensões mencionadas acima teriamos que…
Olá, tudo bem contigo? Hoje o artigo de hoje é compartilhar contigo uma forma de obter o último dia do mês anterior, de uma forma simples, e objetiva. Essa solicitação é muito comum recebermos das áreas de negócios principalmente da área financeira quando ocorre o fechamento. Para este…
Olá, tudo bem contigo? Há um tempo átras muito tem se falado sobre LGPD. E com os diversos vazamentos de dados que diversas empresas já sofreram, esse tema vem se tornando cada vez mais importante dentro das empresas e especificas nas áreas de dados. Nesse artigo irei trazer…
Olá, tudo bem contigo? Com muita alegria informamos que somos Global Partner do Apache Hop - Know BI. Know-BI foi o berço do Projeto Apache Hop em 2019, e hoje é a empresa responsável pelo suporte empresarial quem procura diretamente o Apache Hop. Mas Afinal o que seria…
Olá, tudo bem contigo? Já imaginou subir o teu ambiente de Desenvolvimento em 1 min na Cloud? Pois bem eu achava que isso era algo muito distante, algo que somente programadores ou profissionais de Devops poderiam fazer, acho que me enganei mais uma vez. Nos últimos 2 anos…
Olá, tudo bem contigo? A ideia deste artigo é poder te ajudar a implementar o teu pipeline de dados, pois nada adianta você desenvolver todo o ETL, e ficar executando de forma manual, não faz sentido. Como podemos agendar um pipeline desenvolvido no Apache Hop? Bom, temos algumas…
Olá, Tudo bem contigo? Quantas vezes já tivemos que remover os acentos de alguma palavra específica, utilizando replace, por exemplo ou até mesmo utilizando o próprio SQL para isso. Uma forma bem mais prática de fazer isso é utilizando o step: "User defined Java expression", este step existe…
Olá, Tudo bem contigo? Recentemente um dos nossos alunos encontrou um problema no Apache Hop, ao ler dados de uma tabela o Hop traz normal os dados porém as colunas com tipo Timestamp ele retorna como dados nulos. …