Quando trabalhamos com Snowflake, o dado sempre vai entrar ou quase sempre, por algum Storage.
- Amazon S3.
- Google Cloud Storage.
- Azure Blob Storage / ADLS Gen2
Com o External Stage, conseguimos ler os arquivos que estão em qualquer um dos Storages acima com uma simples Query SQL.
O que facilita demais o processo de ingestão de dados, sem precisarmos de uma Ferramenta como Pentaho ou Apache Hop, Python .
No link abaixo tem o Link da documentação para criar este Stage.
https://docs.snowflake.com/en/user-guide/data-load-azure-create-stage
Uma vez que já temos o External Stage configurado, já conseguimos ler esses arquivos do storage via SQL no Snowflake.
Então de exemplo iremos utilizar este arquivo abaixo que tenho no Azure Blob Storage.
Ao acessar o console do Snowflake, a primeira coisa que iremos fazer, é verificar se este arquivo conseguimos visualizar dentro do Snow.
E aqui está o mesmo arquivo da imagem anterior.
Ao utilizar a query abaixo:
select
$1,
metadata$filename,
current_timestamp()
from @POC.PUBLIC.azure_data_lake/north/customers
(FILE_FORMAT => 'PARQUET_FORMAT');
;
Pronto, já estamos manipulando os dados que estão no Storage via SQL, e o mais interessante com uma simples query, o que gera mais velocidade tanto na implementação, quanto na manutenção.
E permitindo a possibilidade de implementar todo o lakehouse utilizando somente SQL, que é uma linguagem que todo mundo na área de dados conhece e já trabalha.
Então dessa forma podemos implementar as camadas Bronze, Silver e Gold utilizando Procedures e Tasks ou utilizando o dbt junto com o Snowflake, sendo que o Snowflake tem o dbt de forma gerenciada na sua plataforma assim como Streamlit.
Vou deixar um artigo do nosso blog aonde demonstramos 3 maneiras de carregar os dados para camada bronze no Snowflake utilizando SQL, que irá complementar bem com este artigo.
Espero que este artigo tenha te ajudado, e se tiver dificuldades para criar o seu External Stage, comenta aqui embaixo pois dependendo do número de comentários podemos gravar um vídeo demonstrando como fazer a criação.
Muito Obrigado.
Rafael Arruda