Workshop BI com Azure e seus componentes
1 - Como faremos isso acontecer?
Com base em projetos trabalhados, irei focar nessa stack do Azure.
Sob um olhar macro:
Mergulhando em seu funcionamento, o fluxo será o seguinte:
Para alcançar o objetivo final do workshop, abordaremos os seguintes assuntos:
1 - Falar sobre a importância dos dados nos dias de hoje;
2 - Conhecer o ecossistema de cloud da Microsoft, o Azure;
3 - Abordar conceitos de modelagem dimensional e arquitetura de dados;
4 - Conhecer e explorar o que é ETL e ELT;
5 - Falar sobre Data Warehouse, Data Lake, Delta Table e Data Lakehouse;
6 - Criar uma conta no Azure;
7 - Provisionar recursos (Resource Group, Azure Storage Account, Azure Data Factory, Azure Key Vault, Azure SQL Database, Azure Databricks);
8 - Conhecer e configurar os tipos de Integration Runtime (IR) e saber como e quando devemos usá-los;
9 - Aprender a trabalhar com recursos externos do Azure, Azure Storage Explorer e Azure Data Studio;
10 - Trabalhar com CI/CD, com Azure DevOps e GitHub. Entender como essas soluções podem auxiliar em um ambiente corporativo;
11 - Explorar o Azure Data Factory, criar Linked Services, DataSets, Pipelines;
12 - Desbravar o Azure Databricks;
13 - Aplicar Data Quality em um projeto de dados, podendo assim conhecer de perto seus benefícios e como ele pode ajudar no dia a dia das empresas;
14 - Trabalhar com o Azure Key Vault para garantir conceitos de segurança;
15 - Explorar um projeto de ponta a ponta.
16 - Além de tudo isso, estarei trazendo experiências de projeto anteriores, abordando principalmente falhas que cometi para que você não faça o mesmo.
Após abordar a parte conceitual do nosso workshop, vamos realizar uma exploração do ambiente de cloud da Microsoft, o famoso Azure!
E para isso ocorrer vamos precisar seguir os seguintes passos:
| Sequência | Objeto | Detalhamento |
|---|---|---|
| SEQ-01 | Criação de Conta no Azure | |
| SEQ-02 | Conhecer o Ecossistema | |
| SEQ-03 | Provisionar os recursos |
O passo seguinte será realizar o aprofundamento nesses recursos criados para poder entender por que estamos usando, abordar o funcionamento e entender o beneficio de cada um deles dentro do projeto.
| Sequência | Objeto | Detalhamento |
|---|---|---|
| SEQ-01 | Subscription | |
| SEQ-02 | Azure Resource Group | |
| SEQ-03 | Azure Storage Account | |
| SEQ-04 | Azure SQL Database | |
| SEQ-05 | Azure Data Factory | |
| SEQ-06 | Azure Key Vault |
Quando o assunto for Azure Data Factory, vamos focar em alguns pontos:
| Sequência | Objeto | Detalhamento |
|---|---|---|
| SEQ-01 | Linked Service | |
| SEQ-02 | DataSet | |
| SEQ-03 | Pipeline | |
| SEQ-04 | Monitoramento | |
| SEQ-05 | Git - GitHub e Azure DevOps | |
| SEQ-06 | Integration Runtime | |
| SEQ-07 | Azure Key Vault |
E quando o assunto for Databricks...
| Sequência | Objeto | Detalhamento |
|---|---|---|
| SEQ-01 | Criação de Cluster | |
| SEQ-02 | Arquitetura Medalhão | |
| SEQ-03 | Notebook | |
| SEQ-04 | Git - GitHub e Azure DevOps | |
| SEQ-05 | Criando uma Repos, uma Branch e uma Pull Request | |
| SEQ-06 | Jobs | |
| SEQ-07 | Execução de Notebooks Via Azure Data Factory | |
| SEQ-08 | Data Quality | |
| SEQ-09 | Monitoramento |