O que é o Apache Spark?
Apache Spark é um framework open source para computação distribuída, capaz de processar grandes conjuntos de dados. E o que é computação distribuída? A computação distribuída é a forma encontrada de conectar diversos computadores e dividir o processamento entre as máquinas, ou seja, é possível dividir uma grande tarefa em pequenas etapas no seu conjunto
Leia mais
Como Conectar SQL Server no Hop?
Olá, Desde o Pentaho o banco de dados que dava um pouco mais de trabalho para conectar era o SQL Server, e isso se manteve no Hop. Portanto, a ideia deste artigo é disponibilizar um tutorial de como fazer esta integração do SQL Server com Apache Hop, este artigo foi feito por um dos nossos
Leia mais
Depoimentos de Alunos – Hopbase
Olá, tudo bem contigo? Compartilhando o depoimento de alguns alunos que finalizaram o nosso Treinamento: Hopbase. Neste treinamento os alunos aprenderam a criar um Produto de BI do zero, abordando as seguintes etapas: Modelagem dos dados. Staging Area. Dimensões e Fatos. Carga Full vs Carga Incremental. Orquestração do ETL. Documentação do DW. Criação dos Relatórios
Leia maisO que é o formato Delta e quais as vantagens de usar com o Spark
Imagem retirada do site: https://delta.io/ O formato Delta foi desenvolvido para possibilitar na construção de um Lakehouse através do Spark. Um Lakehouse também pode ser construído em outros formatos e abaixo podemos ver os principais: Delta Lake: Delta Lake é uma camada de armazenamento de dados open-source construída sobre o Apache Spark e permite que
Leia maisO que é um Delta Lake / Lakehouse
A história do armazenamento Imagem oficial da Databricks Na história do armazenamento, houveram algumas mudanças até chegarmos no que hoje chamamos de Lakehouse que une o melhor do mundo do Data Warehouse com o Data Lake. O Data Warehouse é um sistema de armezamento aplamente conhecido no mundo do Business Intelligence que tem o
Leia mais
Aumenta a produtividade do teu ETL com Apache Hop
Imagina que o sistema da tua empresa guarda os dados de pessoa em duas colunas, nome e sobre-nome. E ao criar um DW, provavelmente que iremos ter esse tratamento de dados em alguns etl, como nas seguintes dimensões: Dim_Funcionarios. Dim_Clientes. Dim_Leads. Em todas dimensões mencionadas acima teriamos que fazer um mesmo tratamento, que é concatenar
Leia mais
Como obter o último dia do mês anterior no Hop/Pentaho
Olá, tudo bem contigo? Hoje o artigo de hoje é compartilhar contigo uma forma de obter o último dia do mês anterior, de uma forma simples, e objetiva. Essa solicitação é muito comum recebermos das áreas de negócios principalmente da área financeira quando ocorre o fechamento. Para este exemplo, irei trazer 3 steps: Get System
Leia maisProteja dados sensíveis com Hop
Olá, tudo bem contigo? Há um tempo átras muito tem se falado sobre LGPD. E com os diversos vazamentos de dados que diversas empresas já sofreram, esse tema vem se tornando cada vez mais importante dentro das empresas e especificas nas áreas de dados. Nesse artigo irei trazer um exemplo de como podemos proteger os
Leia mais
Somos Global Partner – Apache Hop
Olá, tudo bem contigo? Com muita alegria informamos que somos Global Partner do Apache Hop – Know BI. Know-BI foi o berço do Projeto Apache Hop em 2019, e hoje é a empresa responsável pelo suporte empresarial quem procura diretamente o Apache Hop. Mas Afinal o que seria esta parceria? A equipe da Know BI
Leia maisCriando uma Infra na Google Cloud com Terraform
Olá, tudo bem contigo? Já imaginou subir o teu ambiente de Desenvolvimento em 1 min na Cloud? Pois bem eu achava que isso era algo muito distante, algo que somente programadores ou profissionais de Devops poderiam fazer, acho que me enganei mais uma vez. Nos últimos 2 anos temos tido quase que uma imersão em
Leia mais