Formação Engenharia de Dados e IA

Introdução, estrutura e primeiros comandos, funções de restrições (WHERE, BETWEEN, LIKE), agregação (GROUP BY, COUNT, HAVING), funções de critérios (CASE), JOIN avançado, funções de string, PRIMARY KEY / FOREIGN KEY, tabelas temporárias, UPDATE/DELETE avançado, RANK + SUBQUERY, Transact-SQL, VIEW e formatos de datas.

Introdução

• Introdução

Estrutura e Primeiros comandos

• Download de instaladores e material
• Instalando programas: SQL Server e SSMS
• Resolvendo erro SQL Server
• Inserindo banco de dados do curso
• Localizando dados públicos da Microsoft
• Conhecendo banco de dados e fazendo primeira consulta (SELECT)
• Agilidade e produtividade ao pesquisar colunas
• Selecionar dados distintos (SELECT DISTINCT)

Vínculo SQL Server com Excel

• Salvando resultados de consultas SQL em Excel
• Conectando banco de dados no Excel (tabelas personalizadas, vínculos e automação)
• Conectando banco de dados no Excel (vínculo de tabelas)
• Renomeando colunas na consulta
• Renomeando tabelas do banco de dados

Funções de Restrições

• Função de restrição WHERE
• Função de restrição WHERE NOT IN
• Dados maior que e menor que (funções matemáticas)
• Função de restrição WHERE entre valores
• Função BETWEEN – entre dois valores
• WHERE IS NULL / IS NOT NULL – excluindo linhas em branco
• ORDER BY – ordenar avançado
• Função IN – restringindo consulta
• Função LIKE – buscar textos em consultas

Funções de Agregação

• GROUP BY – agrupando dados da consulta
• COUNT – contar dados da tabela
• Mínimo, Máximo, Soma e Média (resumo)
• Mínimo, Máximo, Soma e Média (prática)
• Função HAVING – filtrando agrupamento

Funções de Critérios

• Função CASE – criando nova coluna condicional
• Função CASE – coluna condicional com números
• Função CASE avançado – com agregação
• Função CASE avançado – com data

Relacionamentos de Tabelas no Power BI

• Importando arquivo Excel para o SQL Server
• Entendendo relacionamento de tabelas
• Importando tabelas do SQL Server para o Power BI
• Relacionamentos de tabelas no Power BI – Parte 1
• Relacionamentos de tabelas no Power BI – Parte 2

Função JOIN – Vínculos de Tabelas Distintas

• Tudo sobre a função JOIN
• JOIN avançado – vínculo de 5 tabelas (Parte 1)
• JOIN avançado – vínculo de 5 tabelas (Parte 2)
• Importando query para o Power BI
• JOIN avançado – importando Excel para banco de dados
• (Aula prática) JOIN ou INNER JOIN
• (Aula prática) LEFT JOIN
• (Aula prática) RIGHT JOIN
• (Aula prática) FULL JOIN

Funções de String (Textos)

• CONCAT / CONCATENAR – juntar textos
• TRANSLATE e REPLACE – substituir valores
• RTRIM e LTRIM – eliminando espaços
• REPLICATE e REVERSE – textos
• UPPER e LOWER – maiúscula e minúscula

Criando e Modificando Tabelas via Script

• Criando tabela via script (conhecendo projeto)
• Criando tabela de venda (CREATE TABLE, INSERT INTO, TRUNCATE, DROP)
• Criando tabela de produtos
• Criando tabela de categoria
• Inserindo dados na tabela venda

Primary Key e Foreign Key

• O que é chave primária e chave estrangeira
• Criando chave estrangeira com CONSTRAINT
• CONSTRAINT / FOREIGN KEY – criando chaves estrangeiras

Tabelas Temporárias e Comandos Avançados

• Tudo sobre tabelas temporárias (física, local e global)
• Criando tabela temporária na prática
• Utilizando tabela temporária de forma avançada
• Inserindo nova tabela espelho (cópia)
• Inserindo nova tabela espelho – exemplo prático 2
• Inserindo nova coluna via design avançado
• Inserindo e editando coluna via script avançado

Comandos Avançados via Scripts

• UPDATE – manipulando dados (básico)
• UPDATE – parte 2
• UPDATE – avançado
• DELETE – apagando dados
• DELETE – praticando critérios
• DELETE – avançado com DATEDIFF

Rank, Subquery e Tabela Temporária

• RANK e DENSE RANK
• RANK e DENSE RANK avançado com SUBQUERY
• RANK + SUBQUERY + tabela temporária
• RANK + SUBQUERY + PARTITION BY
• RANK + LEFT JOIN SQL avançado
• RANK + LEFT JOIN SQL – relatório avançado

Transact-SQL

• Inserindo PK via script
• Inserindo e apagando FK via script
• BEGIN, ROLLBACK e COMMIT – transações avançadas (exemplo 1)
• BEGIN, ROLLBACK e COMMIT – parte 2
• BEGIN, ROLLBACK e COMMIT – parte 3
• Criando e usando VIEW
• Criando e usando VIEW – exemplo prático

Formatos de Datas

• Formato de data em SQL (data atual)
• GETDATE – data atual
• Formato de data avançado – DATENAME (relatório prático)
• Formato de data avançado – DATEPART
• Formato de data avançado – DATEPART (relatório prático)
• Conversão de data – CAST e CONVERT
• DATEADD – adição de datas
• DATEDIFF – cálculo tempo de empresa
• DATEDIFF – cálculo de idade
• DATEDIFF – cálculo faixa etária
• DATEDIFF + CASE + SUBSELECT
• Tabela de cidade, estado e região – aula completa avançada
• Tabela de cidade, estado e região – tabela física

Comandos básicos, manipulação de arquivos Excel/CSV/TXT, tratamento de dados com Pandas, conexão com SQL Server e SQLAlchemy, merge de tabelas, automação com Selenium, agendador de tarefas, GitHub Desktop e Git Bash, arquivos Parquet, JSON e ZIP.

Introdução

• Introdução
• Recomendações e Avaliação do Curso
• Material para Download – Tudo sobre os Scripts

Orientações e Instalações

• Sobre a Página Web do Governo
• Sobre Versões do Python
• Download – Baixando Python, Anaconda e VS Code
• Instalando Python, Anaconda e VS Code
• Primeiras Configurações e Instalando Extensões no VS Code

Comandos Básicos

• Resolvendo erro: “O sistema não pode encontrar o arquivo especificado”
• Primeiros comandos em Python com Jupyter Notebook
• Tipos de Dados em Python
• Criando e Localizando Itens em Lista
• Editando Itens de Lista
• Criando um Ambiente Virtual

Manipulando Arquivos Excel/CSV/TXT

• Importando e Manipulando Arquivo Excel com Pandas
• Importando Arquivo CSV com Dicas de Programação
• Tratando Nulos e Substituindo Valores com fillna e replace

Tratamento de Dados

• Consolidando Vários Arquivos em Python
• Salvando Arquivos Consolidados
• Convertendo Arquivos Python para uso no Power BI
• Conversão de Dados com Pandas
• Conversão de Datas com Pandas
• Adicionando Novas Colunas em DataFrame

Tratamento de Dados Avançados

• Lendo Arquivos Excel com Várias Abas
• Selecionando Apenas Algumas Colunas
• Removendo Duplicatas com drop_duplicates
• Classificando Dados (Crescente e Decrescente)
• Renomeando Colunas com Pandas

Conexão com Banco de Dados

• Instalando SQL Server e SSMS
• Preparando o Banco de Dados
• Conectando Python com SQL Server
• Carga de Tabela Categoria
• Carga de Tabela Items
• Carga de Tabela de Ordens
• Carga de Tabela de Clientes e Tratamento de Erros CSV
• Carga de Vários DataFrames no Banco de Dados
• Executando Queries SQL Server via Python
• Executando Query Avançada no SQL Server via Python
• Extraindo Dados com SQLAlchemy e SQL Server
• Enviando Dados ao Banco com SQLAlchemy
• Executando Comandos Transact-SQL via Python

Merge – Junção de Tabelas

• Mesclando e Juntando Várias Tabelas em Python
• Método concat para Juntar Dados
• Extraindo Informações de Bancos de Dados Diferentes
• Informações do Curso SQL Server
• Links para Cursos Complementares

Automação de Execução

• Transformando Arquivo Python em Executável
• Transformando Python em Executável com Interface Gráfica
• Executando Script Python com Agendador de Tarefas (schedule)
• Agendamento com o Agendador de Tarefas do Windows

Automação Web – Selenium – Primeiras Configurações

• Scripts de Automação Web
• Corrigindo Erro Chrome Driver – Selenium
• Configurando Chrome Driver no Selenium
• Instalando Chrome Driver Automaticamente via Script
• Localizando Elementos na Web e Preenchendo Dados Automaticamente
• Selecionando Pasta para Download e Ocultando o Navegador
• Como Baixar Vídeo e Áudio do YouTube

Continuação e Acessos

• Trilha de Continuação dos Estudos – Análise de Dados
• Links de Acesso a Outros Cursos
• Como Acessar o Jupyter Notebook

GitHub

• Apresentação do GitHub
• Criando Conta e Baixando Arquivos
• Instalando GitHub Desktop e Git Bash
• Importando e Compartilhando Arquivos no GitHub
• Criando Repositório e Importando Arquivos via GitHub Desktop
• Clonando Repositórios e Projetos Web
• Comandos Básicos do GitHub e Git Bash
• Corrigindo Erro: remote: Repository not found
• Importando Dados para o Git via VS Code
• Ignorando Arquivos com .gitignore no GitHub
• Clonando Arquivos e Projetos GitHub no VS Code

Outras Manipulações de Dados

• Trabalhando com Diferentes Arquivos: CSV, JSON, Parquet e ZIP
• Salvando DataFrame em Diferentes Formatos
• Importando Arquivo Parquet no Power BI com Python
• Manipulando Arquivo ZIP em Python

Excel básico ao avançado: tabelas dinâmicas, gráficos, PROCV/PROCX, formatação condicional, VBA e macros. Power BI: Power Query, DAX, modelagem de dados, Figma para backgrounds personalizados e projetos completos.

Introdução

• Apresentação do Curso

Excel Básico

• Estrutura do Curso
• Download dos Materiais
• Avaliação do Curso
• Sobre o Módulo Excel Básico
• Criando conta e instalando Office 365
• Instalando Pacotes Office 365 versão 2016
• Conhecendo Excel Primeiro contato
• Por que aprender Excel
• Menus do Excel
• Comandos Básicos e Pincel de Formatação
• Barra de Acesso Rápido
• Tipos de Formatações
• Backup Automático
• Preenchimento Rápido e Atalhos
• Congelar Painéis
• Cálculos Matemáticos
• Cálculos Matemáticos – Função Soma-se
• Máximo e Mínimo Média
• Alteração de idioma Excel
• Cálculo de Porcentagem
• Referência de Células (Relativas e Absolutas)
• Referência de Células (Relativas e Absolutas) Aula 2
• Função Data, Mês, Ano e Hoje
• Função Agora
• Funções de hora
• Localizar e Substituir
• Função Maiúscula e Minúscula
• Concatenar

Excel Intermediário

• Começando módulo intermediário
• Função Datam
• Funções Direita, Esquerda, Ext. Texto
• Procv
• Proch
• Procv, Proch x ProcX
• Função Cont-Se e Soma-Se
• Função Cont-Ses e Soma-Ses
• Formatação Condicional (Barra de Dados)
• Formatação Condicional (Escala de Cor)
• Formatação condicional (Maior e Menor)
• Formatação Condicional (Texto que contém e valores duplicados)
• Formatação Condicional (Data que ocorre e entre valores)
• Formatação Condicional (Regra dos 10)
• Formatação Condicional (Conjunto de Ícones)
• Formatação Condicional (Conjunto de Ícones Fixando)

Excel Avançado

• Começando módulo avançado
• Criando Primeira Tabela Dinâmica
• Primeiras Configurações de Tabela Dinâmica
• Principais Configurações de Tabela Dinâmica
• Campos de Valores em Tabela Dinâmica
• Tabela Dinâmica (Campo Calculado)
• Segmentação de Dados em Tabela Dinâmica
• Configurações de Segmentação de Dados em Tabela Dinâmica
• Conhecendo Gráficos Dinâmicos
• Configurações de Gráficos Dinâmicos
• Diferentes Tipos de Gráficos
• Planilhas Buscar por Nome
• Função Se
• Várias Funções Se na Mesma Fórmula
• Função Se com Função E
• Função Se com Função Ou
• Função Se com Função E-Ou na mesma fórmula
• Função Se com Função Média e Soma
• Soma Produto, Cont.Se, Soma.Se
• Soma Produto Avançado
• Índice Corresp. + Corresp.
• Índice Corresp + Corresp Avançado
• Planilha de Macros (Planilha de cadastro VBA)
• Gravando a Primeira Macro
• Macro Atualizar Base Automatizado
• Cadastro automatizado Conhecendo Projeto VBA
• Cadastro automatizado Criando formulário VBA
• Cadastro automatizado Criando Programação VBA
• Senha para Projetos e VBA
• Conhecendo Projeto
• Preparando Tabelas
• Preparando Layout
• Inserindo Informações
• Gráficos de Linhas
• Gráficos de Área
• Gráficos de Barras e Segmentação de Dados

Introdução Power BI – Apresentação do Curso

• Por que escolher Power BI
• Material para Download
• Instalando o Power BI
• Conhecendo Ambiente do Power BI
• Power Query o que é
• Documentação Power BI

Projeto Bikes – Treino na Prática – Sobre Primeiro Projeto

• Importando Base do Projeto
• Transformação de Dados
• Primeiros Visuais
• Parâmetros e Gráficos
• Baixando Figma – Editor de imagem
• Comandos Básicos Figma
• Criando Background Personalizado
• Elementos Personalizados no Figma
• Barra de Menu e Páginas Personalizadas
• Salvando Background e Importando para Power BI
• Finalizando Projeto

Mini Projeto – Vendas – Sobre Projeto 2 Inspiração

• Localizando Dados Públicos para Treino (Kaggle)
• Localizando Dados Públicos para Treino (ANAC)
• Conhecendo Base de Dados
• Importando Base do Projeto

Modelagem de Dados – O que é Linguagem DAX e M

• Ajuste Coluna de Estado
• Tratativas de Texto – Power Query
• Alterando Fonte de Dados
• Tratativas de Data – Power Query
• Tipos de Dados no Power Query
• Modelagem de Dados
• Criando Medidas
• DAX Básico

Ferramentas de Visualização – Cartões do Power BI

• Gráficos de Linhas
• Cartões Personalizados
• Gráficos de Barras e Linhas
• Gráficos de Barras
• Gráficos de Pizza e Rosca
• Melhorando o Layout de Treino
• Interações e Gráfico e Filtros
• Dicas Sobre Gráfico de Pizza
• Tudo sobre Tabelas
• Tabela Matriz
• Recurso de Parâmetros
• Dicas de Parâmetros
• Gráfico de Hierarquia
• Mapa em Power BI
• Tipos de Mapas no Power BI
• Mapa de Forma
• Formatação Condicional
• Tudo sobre Filtros

Figma – Projeto Personalizado

• Plugins Figma – Removendo Fundo de Imagem
• Plugins Figma – Cortando Visuais Personalizados
• Figma – Cores Personalizadas
• Figma – Captura de Cores no Navegador
• Figma – Grids – Grades de Referências
• Figma – Referências de Imagens e Ícones
• Distribuindo Layouts
• Construindo Background
• Configurando Páginas
• Criando Layout Modo Claro
• Configurando Páginas Claras
• Finalizando Projeto

Preparação do ambiente, automação de processos, modelagem de dados com SQL Power Architect, junção de dados, conexões externas (PostgreSQL), LOOKUP, Dimensão de Alteração Lenta, Contêineres FOREACH, Jobs de execução e projeto Data Warehouse com Star Schema.

Preparando Ambiente

• Instalando Visual Studio
• Instalando SSIS – SQL Server Integration Services
• Instalando Programas – SQL Server e SSMS (SQL Management)

Projeto Prático – Criando Estrutura

• Apresentação Primeiro Projeto
• Tipos de Dados no Formato Texto Banco de Dados
• Conversão de Dados no SSIS
• Conhecendo Arquivos do Projeto
• Conectando Servidor SQL no Visual Studio
• Criando Primeira Tabela no Visual Studio
• Criando Tabela de Categoria no Visual Studio
• Criando Tabelas Ordens e Itens CSV
• Criando Tabela de Clientes no Visual Studio
• Publicando Várias Tabelas Simultâneas
• Tudo Sobre Relacionamento de Tabelas
• Criando Chave Estrangeira (Foreign Key)
• Criando Chave Estrangeira Avançado (Foreign Key)
• Diagrama Banco de Dados Avançado

Automação de Processos – Preparando Ambiente SSIS

• Integration Service
• Importando Primeiro Arquivo Excel para Banco de Dados
• Importando Dados Automaticamente para Banco de Dados
• Importando Dados do Excel para Banco de Dados SQL
• Importando Arquivo CSV para Banco de Dados SQL Corrigindo Erro
• Automação de Processo Inserção em Banco de Dados com Visual Studio

Modelagem de Dados

• Modelagem de Dados Básico
• Instalando SQL Power Architect
• Criando Primeiras Tabelas no SQL Power Architect
• Configurações Avançadas de Diagrama de Banco de Dados
• Como Fazer sua Primeira Modelagem de Dados
• Relacionamento de Tabelas Avançado
• Tabelas Associativas Avançadas Power Architect
• Tudo Sobre Tabela Associativa SQL
• Criando Tabela Via Script Avançado

Clonagem de Projeto

• Conexão de Vários Bancos de Dados
• Clonando Script Banco de Dados e Criando Várias Tabelas
• Como Clonar Projeto no Visual Studio
• Projeto Final: Carregar Vários Arquivos em Excel para Bancos de Dados Distintos

Junção de Dados

• Automação Destino Excel
• Origem Destino Excel Fixando
• Classificar e Junção de Mesclagem (Join) Avançado
• Informações de Bancos de Dados Diferentes Avançado – Parte 1
• Informações de Bancos de Dados Diferentes Avançado – Parte 2
• Projeto Avançado
• Tarefa Mesclar
• Tarefa Unir Tudo (Union All)

Diferentes Conexões

• Origem Destino CSV Resolvendo Erros SSIS
• Origem Destino TXT Resolvendo Erros SSIS
• Origem Consulta Personalizada SQL
• Origem Consulta Personalizada SQL Avançado
• Ajustando Erro de Conexão Arquivo TXT e CSV
• MultiCast: Replicando Informações para Várias Bases Distintas (CSV, TXT, EXCEL, OLD)

Comando SQL no Excel

• Comando SQL no Excel Consultas Personalizadas
• Comando SQL no Excel Consultas Personalizadas Avançado
• Comando SQL no Excel Consultas Avançadas – Manipulando Datas
• Comando SQL no Excel Consultas Avançadas – Dados em Locais Diferentes

Transformações de Dados

• Coluna Derivada (Criando Novas Colunas SQL)
• Pivot – Transformando Colunas em Linhas
• Unpivot – Transformando Linhas em Colunas
• LOOKUP – Procv em Bancos de Dados Distintos

Update Avançado

• Dimensão de Alteração Lenta
• Dimensão de Alteração Lenta (Mantendo Histórico)

Contêiner

• Contêiner de Sequência (SEQUENCE CONTAINER)
• Contêiner Carregando Vários Arquivos Excel (FOREACH LOOP CONTAINER)
• Contêiner Carregando Vários Arquivos TXT (FOREACH LOOP CONTAINER)
• Contêiner de Busca Alteração do Nome do Arquivo (FOREACH LOOP CONTAINER)
• Contêiner de Busca Alteração do Nome do Arquivo Fixando (FOREACH LOOP CONTAINER)

Job de Execução

• Executar Vários Fluxos, Processo de Automação (Projetos Internos e Externos)
• Estrutura Básica de Projeto BI
• Principais Configurações JOB – Importando Pacotes ELT
• Criando Job de Execução (Rodando Vários Projetos)
• Vários Projetos em 1 JOB

Projeto 2 – Data Warehouse

• Dica: Baixar Dados da Internet
• Estrutura do Projeto Stage e Data Warehouse
• Restaurando Backup de Banco de Dados
• Carga Tabela de Vendas via Excel
• Carga Vendas para Stage
• Dimensionamento Banco de Dados
• Criando Tabelas Dimensão Data Warehouse
• Criando Tabela Fato Data Warehouse
• Tabela DCalendário Mais Rápida e Completa
• Modelagem de Dados Star-Schema (Modelo Estrela)
• Carga DimCategoria para Data Warehouse DW
• Carga DimProduto para Data Warehouse DW
• Carga Tabela Fato para Data Warehouse DW
• Carga Tabela DimCalendário para Data Warehouse DW
• Relatório Avançado Joins Data Warehouse DW

Consultas SQL + Power BI

• Material NPS
• O que é NPS?
• Calculando NPS em SQL Aula Completa
• Background (Fundo) Personalizado NPS para Power BI Utilizando Figma
• Finalizando Projeto NPS (Indicador em Power BI)

Outras Conexões Externas

• Material para Download
• Download e Instalação PostgreSQL
• Ambiente PGADMIN Postgre
• Instalando e Configurando Driver ODBC Postgre
• Conexão SSIS com Postgre ADO.Net
• Conexão SSIS com Postgre ODBC
• Comando SQL para Deletar Dados ODBC
• Comando SQL para Deletar Dados ADO.Net
• Migração de Banco de Dados Postgre para SQL Server
• Migração de Banco de Dados SQL Server para Postgre

Criação de conta gratuita, estrutura do BigQuery, importação de dados, funções de restrições (WHERE, BETWEEN, CASE), JOIN, funções de agregação, funções matemáticas (ABS, SQRT, ROUND), funções de string e integração com Power BI.

Material para Download

• Download

Estrutura e Primeiros Comandos

• Criando Conta Gratuita
• Conhecendo A Estrutura
• Criando Data Set (Conjunto De Dados)
• Importando Arquivo Excel
• Conhecendo Tabelas do Curso
• Primeira Consulta (Select *)
• Selecionar Dados Distintos (Select Distinct)
• Alterando Nomes de Coluna e Salvando como Tabela
• Salvando Consultas como Tabela e Consulta Personalizada
• Renomeando Tabelas na Consulta

Funções de Restrições

• Funções de Restrições Where + In – Not In
• Where Is Null – Is Not Null (Excluindo Linhas em Branco)
• Dados Maior Que e Menor Que (Funções Matemáticas)
• Função Between – Entre – (Dados entre 2 Valores)
• Função Case (Caso Quando) Criando Nova Coluna Condicional
• Função Case (Caso Quando) Criando Nova Coluna Condicional com Vários Critérios
• Função Case (Caso Quando) Criando Coluna Condicional Região por Estado
• Função Case (Caso Quando) Coluna Condicional com Números
• Função Case (Caso Quando) Coluna Condicional Exemplo Prático

Função JOIN – Junção de Tabelas

• Join – Resolvendo Erro de Importação – String_Fild
• Primeiro Join – Relacionamento de Tabelas
• Join – Relacionamento de Tabelas Exemplo Prático
• Join – Relacionamento de Tabelas Fixando
• Join – Relacionamento de Várias Tabelas

Relacionamentos no Power BI

• Importando Tabelas do Google Big Query para o Power BI
• Relacionamento no Power BI
• Importando Dados SQL para o Power BI

Funções de Agregação Básicas

• Group By – Agrupando Dados da Consulta
• Order By – Ordenando Dados da Consulta
• Count – Format_Timestamp Extração de Data
• Count + Case – Contar Se
• Função Máximo
• Função Mínimo
• Função Média (Avg)

Funções Matemáticas

• ABS – Eliminando Número Negativo
• Rand – Aleatório
• SQRT – Raiz Quadrada
• Round – Média
• Pow – Potenciação

Funções de String (Texto)

• Starts_With – Começa Com
• Split – Extração de Texto
• Lower e Upper – Maiúsculo e Minúsculo
• Trim – Extrair Parte do Texto
• Agendamento Logístico – Funções Date and Time

Configuração de credenciais Google BigQuery, extração e carga de dados, automação com agendador de tarefas, integração Google Sheets, Selenium para automação web e diferentes formatos de arquivo (CSV, JSON, Parquet, ZIP).

Introdução

• Apresentação do Curso
• Recomendações Avaliação do Curso
• Material para Download
• Criando Conta – Google BigQuery
• Criando Projeto e Banco de Dados no BigQuery
• Estrutura Básica de Projeto Google BigQuery

Orientações e Instalações

• Tudo sobre os Scripts – Material para Download
• Sobre Versões do Python
• Download Baixando Python, Anaconda e VS Code
• Instalando Python, Anaconda e VS Code
• Primeiras Configurações e Instalando Extensões no VS Code
• Resolvendo Erro “O sistema não pode encontrar o arquivo especificado”
• Primeiros Comandos Python Jupyter Notebook
• Instalando Bibliotecas de Conexão
• Configurando Credenciais de Acesso ao Google BigQuery

Credenciais Google BigQuery

• Extraindo Dados do Google BigQuery com Python
• Extraindo Dados do Google BigQuery com Python – Informações de Credenciais
• Sobre Página Web do Governo
• Como Achar e Criar Dados Fictícios na Web

Comandos Básicos Python

• Sobre os Próximos Módulos
• Tipos de Dados Python
• Criando e Localizando Itens de Lista Python
• Editando Itens de Lista Python
• Criando um Ambiente Virtual

Manipulando Arquivos Excel/CSV/TXT

• Importando e Manipulando Arquivo Excel em Python com o Módulo Pandas
• Importando Arquivo CSV – Dicas de Programação via Python com o Módulo Pandas
• Tratando Nulos e Substituindo Valores em DataFrame Python (fillna e replace)

Tratamento de Dados

• Consolidando Vários Arquivos em Python
• Formas de Salvar Arquivos Consolidando
• Conectando Python com Power BI
• Conversão de Dados com o Módulo Pandas
• Conversão de Datas com o Módulo Pandas
• Adicionando Novas Colunas em DataFrame

Tratamento de Dados Avançado

• Arquivo em Excel com Várias Abas no Python
• Selecionando Apenas Algumas Colunas de um DataFrame
• Removendo Duplicatas (Drop Duplicates) com o Módulo Pandas
• Classificando Dados de Forma Crescente e Decrescente
• Renomeando Colunas com Python Pandas

Funções Avançadas BigQuery

• Ativando Conta de Faturamento
• Carregando Dados para o Google BigQuery com Python
• Carregando Dados para o Google BigQuery com Python – Parte 2
• Carregando Vários Arquivos de um Projeto BigQuery com Python
• Extraindo Vários Arquivos de um Projeto BigQuery com Python
• Executar Comando de Exclusão Antes da Carga (Função Data Google BigQuery)
• Executar Comando de Exclusão Antes da Carga com Python
• Mantendo Histórico de Base Google BigQuery com Python

Merge – Junção de Tabelas

• Mesclando – Juntando Várias Tabelas em Python
• Método Concat – Juntando Dados

Automação de Execução

• Orientação para Executáveis Python
• Transformando Arquivo Python em Executável
• Transformando Arquivo Python em Executável – Usando Interface Gráfica
• Executar Script Python Automaticamente – Agendador de Tarefas Schedule
• Rodar Script Python Automaticamente – Agendador de Tarefas do Windows

Diferentes Tipos de Arquivos

• Diferentes Arquivos (CSV, JSON, Parquet e ZIP) – Dados Públicos do Governo
• Salvando DataFrame em Formatos Diferentes
• Importando Arquivo Parquet no Power BI com Python e Power BI
• Manipulando Arquivo ZIP em Python

Outras Tratativas de Dados

• Consulta SQL Avançada em DataFrame Python
• Consulta SQL Avançada de Datas em DataFrame Python
• Configurando API Google Drive e Google Sheets para Importar Dados no Python
• Importando Dados do Google Planilhas Online (Google Sheets) com Python
• Conexão Google BigQuery com Google Planilhas (Google Sheets)
• Ajustando Erro de Automação Web – Chrome Driver com Selenium
• Configurando Automação Web – Chrome Driver com Selenium
• Instalando ChromeDriver Automaticamente em Script Python
• Localizando Elementos Web – Preenchimento de Dados Automáticos
• Criando Formulário Grátis do Google
• Preenchendo Formulário Automático com Python Automação
• Preenchendo Formulário com Origem no Excel de Forma Automática com Python Automação
• Selecionando Pasta Específica para Download e Deixando Navegador Oculto
• Como Baixar Vídeo e Áudio do YouTube

Continuando Estudos

• Trilha Análise de Dados
• Links de Acessos a Outros Cursos – Trilha Análise de Dados
• Apresentação GitHub
• Criando Conta no GitHub Grátis e Baixando Arquivos
• Como Instalar GitHub Desktop e GitBash
• Como Importar e Compartilhar Arquivos no GitHub
• Criando Repositório e Importando Arquivos via GitHub Desktop sem Usar Scripts
• Clonando Repositórios e Projetos Web
• Aprendendo Comandos Básicos no GitHub e GitBash
• Resolvendo Erro “remote: Repository not found”
• Importando Dados para Git via VS Code
• Ignorando Arquivos com Gitignore no GitHub – VS Code
• Clonando Arquivos e Projetos no GitHub via VS Code

Conexão Python com PostgreSQL, MySQL e SQLite. Carga incremental, migração entre bancos, SQLAlchemy avançado, DBeaver, interface gráfica com tkinter e projeto prático de cadastro completo.

Introdução

Orientações e Instalações

• Recomendações do Curso
• Tudo sobre os Scripts – Material para Download
• Download Scripts
• Download Arquivos de Origem e Apoio
• Sobre Versões do Python
• Download Baixando Python, Anaconda e VS Code
• Instalando Python, Anaconda e VS Code
• Primeiras Configurações e Instalando Extensões no VS Code

Python – Conexão com PostgreSQL

• Download e Instalação PostgreSQL
• Ambiente PGADMIN PostgreSQL
• Configurando Ambiente Virtual no VS Code
• Instalando Bibliotecas Padrões
• Sobre Página Web do Governo
• Localizando Dados Públicos para Treino – Kaggle
• Localizando Dados Públicos para Treino – ANAC
• Padrão Conexão PostgreSQL com Python
• Manipulando Arquivo JSON em Python
• Entendendo sobre o Projeto – ANAC
• Importando e Preparando Dados DataFrame
• Inserindo Dados em Banco de Dados PostgreSQL
• Configurando Script Python para Deletar Dados Antes de Carga para Banco
• Refatorando Código Python e Salvando no Formato Py
• Mapeando Colunas Diferentes com as do Banco de Dados
• Conectando PostgreSQL com Python – Avançado com SQLAlchemy
• Carga Incremental de Ano com Python e SQLAlchemy
• Carga Incremental de Ano com Python e SQLAlchemy (Refatorando Código)
• Carga Incremental – Últimos 3 Meses com Python e SQLAlchemy
• Importando Consulta SQL para Python
• Salvando DataFrame em Vários Formatos (JSON, CSV, Parquet, Excel)
• Lendo Arquivos de Vários Formatos (JSON, CSV, Parquet, Excel)
• DBeaver – Conexão com Vários Bancos de Dados
• DBeaver – Conexão com Vários Bancos de Dados – Primeiro Contato
• DBeaver – Conexão com Bancos de Dados PostgreSQL
• Extensão VS Code para Conectar PostgreSQL
• Extensão VS Code para Conectar Banco de Dados – Database Client

Python – Conexão com MySQL

• Instalação e Configuração do MySQL [Atualizado]
• Resolvendo Erro de Instalação MySQL – Windows Não Reconhece
• Conhecendo Ambiente MySQL
• Documentação Python – MySQL
• Configurando Ambiente Virtual VS Code – MySQL
• Instalando Bibliotecas Padrões – MySQL
• Padrão Conexão MySQL com Python – mysql-connector-python
• Padrão Conexão MySQL com Python – mysql-connector-python Parâmetro 2
• Importando Dados do MySQL para Python (Rodando Query)
• Comandos Básicos MySQL – CREATE e DROP DATABASE-TABLE
• Executando Comando MySQL em Python
• Sobre as Próximas Aulas – Documentação API do IBGE e Diagrama de Banco de Dados
• Conhecendo Projeto – Diagramas Banco de Dados MySQL
• Ambiente Diagrama Workbench MySQL
• Criando Primeiras Tabelas no Diagrama Workbench MySQL
• Criando Primeiro Relacionamento de Tabelas
• Criando Tabela de Clientes no Workbench MySQL
• Criando Tabela de Ordens e Lojas no Workbench MySQL
• Criando Tabela Auxiliar (Relacionamento Muitos para Muitos)
• Criando Script e Gerando Tabelas do Diagrama Workbench MySQL
• Importando Dados de Categoria
• Inserindo Dados de DataFrame Python no MySQL
• Validando Dados – Chave Primária Antes de Realizar a Carga
• Organizando Código e Criando Funções em Python
• Carga Tabela de Lojas – Funções Avançadas Python MySQL
• Carga Tabela de Clientes – Funções Avançadas Python MySQL
• Script Completo com Carga de 6 Tabelas – Resolvendo Erros
• DBeaver – Conexão com Bancos de Dados MySQL
• Extensão VS Code para Conectar MySQL
• Conexão MySQL com SQLAlchemy
• Conexão MySQL com SQLAlchemy – Enviando Dados para o MySQL – Avançado
• Migração de Bancos de Dados Diferentes – PostgreSQL para MySQL
• Refatorando Código – Migração PostgreSQL para MySQL
• Migração de Bancos de Dados Diferentes – MySQL para PostgreSQL

SQLite – Projeto Prático

• Conhecendo SQLite e Instalando SQLiteStudio
• Resolvendo Erro ao Executar SQLite Studio
• Conhecendo Projeto do Módulo SQLite
• Preparando Ambiente no VS Code – SQLite
• Criando Primeiro Banco e Primeira Tabela SQLite
• Inserindo Primeiros Dados no SQLite – SQLite Studio
• Primeiros Comandos SQLite em Python
• Passos do Projeto – Cadastro de Produtos
• Criando Estrutura Banco de Dados SQLite
• Criando Interface Gráfica Python com tkinter – Comandos Básicos
• Interface Gráfica Python com tkinter – Criando Várias Opções
• Criando Botões no tkinter
• Criando Interação Código com Interface Gráfica Python
• Interação Código com Interface Gráfica Python (Limpando Resultados e Criando Mês)
• Finalizando Projeto – Interface Gráfica Python (SQLite)
• Validação de Número no Projeto SQLite
• DBeaver – Conexão com Bancos de Dados SQLite

MongoDB Compass e Atlas, primeiros comandos (insertOne, insertMany), consultas avançadas, conexão com Python, API IBGE, NoSQLBooster, operadores lógicos e tratamento de objetos JSON aninhados.

Introdução

• Introdução
• Recomendação Para Avaliação do Curso

Preparando Ambiente

• Sobre o MongoDB
• Baixando e instalando MongoDB Community e Compass – Grátis
• MongoDb Resolvendo Erro no Windows
• Primeiro Contato com MongoDB Compass
• Criando Conta MongoDB Online Grátis
• Resolvendo erro de acesso MongoDB Online
• Sobre versões do Python
• Download Baixando Python, Anaconda e VS Code
• Instalando Python, Anaconda e VS Code
• Primeiras configurações e instalando extensões VS Code
• Tudo sobre os Scripts-Material para Download
• Preparando material do Curso no VS Code
• Instalando extensão MongoDB no VS Code e configurando Conexão

Primeiros Comandos

• Primeiras configurações VS Code extensão MongoDB
• Primeiro insert mongoDB com InsertOne e insertMany
• Consultas em MongoDB
• Query MongoDb Usando Inteligencia Artificial
• Selecionando apenas algumas Colunas
• Estruturas dos dados Json aninhados e array
• Sobre página Web do Gov
• Localizando Dados Públicos Para Treino ANAC
• Extensão Json Para VS Code
• Importando Arquivo Json para MongoDB

Conexão com Python – Comandos Avançados

• Primeira Conexão MongoDB – Python
• Selecionando Colunas Filtros Avançados MongoDB
• Transformando dados MongoDB em um DF
• Tratando dados com Objetos Aninhados – Comando avançados
• Tratando dados com Objetos Aninhados Tabela Única
• Instalando e configurando MongoDB Shell – Resolvendo erro e primeiras conexões
• Mongo DB Shell em VS Code
• Operadores Lógicos Filtros Avançados
• Operadores Lógicos Filtros Avançados em Python

API

• Sobre API Com Python
• Primeira conexão com API
• Transformando dados de API IBGE em DataFrame
• Tratativas de dados avançados API formato Json
• Comandos avançados API Json
• Query Builder – API IBGE
• API IBGE inserindo dados MongoDB com Python
• API IBGE inserindo dados MongoDB com Python Dataframe

NoSQL Booster

• NoSQL Booster para que serve?
• Baixando, Instalando e configurando acessos NoSQLBooster – MongoDB
• Conhecendo a interface NoSQLBooster
• Consulta SQL no NoSQLBooster – MongoDB
• Consulta Avançada SQL no NoSQLBooster – MongoDB
• Consulta Escolhendo Colunas SQL no NoSQLBooster – MongoDB
• Comandos do Sistema NoSQLBooster

Configuração gratuita do Databricks, PySpark, tipos de dados, Delta Lake, filtros avançados, conversão de dados, datas, nulos, agregações, conexão com Power BI e projeto completo no Azure Databricks com pipeline automatizado.

Primeiras Configurações e Cadastros

• Criando Conta Gratuita – Databricks
• Conhecendo os Menus Databricks
• Documentação do Databricks
• Criando e Configurando Primeiro Cluster Máquina Virtual Grátis

Primeiros Comandos Manipulação de Arquivos

• Material para Download
• Atualização Catalog
• Importando Scripts e Notebooks para o Databricks
• Manipulação de Dados Databricks dbutils
• Manipulando DataFrame Databricks
• Localizando Dados Públicos para Treino – databricks-datasets + kaggle.com

Comandos SQL

• Criando Banco de Dados e Importando Tabelas para Databricks
• Salvando Consulta SQL em um DataFrame do Databricks
• Salvando Dados em Diferentes Formatos

Tipos de Dados PySpark – Databricks

• Baixando Dados Públicos do Governo – CSV
• Formato CSV Avançado – PySpark Databricks
• Salvando e Lendo Arquivo CSV Compactados
• Baixando Dados Públicos do Governo – JSON
• Manipulando Arquivo no Formato JSON
• Manipulando Arquivo Parquet e Comparação com JSON e CSV
• Arquivos Parquet Particionado – Exemplo Prático
• Sistema Interno de Arquivo

Databricks no Power BI

• Conectando Databricks com Power BI
• Construindo Query Personalizada
• Importando Tabela com Dados Completos para Power BI
• Importando Dados de Origem para Formato Delta no Databricks
• Importando Dados Databricks para Power BI (Resolvendo Erro)

Filtros Avançados de Dados

• Filtros de Textos no Databricks (Método Filter)
• Filtro Composto em DataFrame
• Filtro Avançado – Método where
• Comandos SQL
• Funções Avançadas Spark (Índices e Variáveis)
• Corrigindo Erro de Maiúsculas e Minúsculas
• Como Eliminar Espaços Excessivos em Seus Textos
• Substituindo Dados Avançados – Funções translate, lower e trim
• Função Like – Achando Trechos de Textos
• Filtro de Valores

Manipulação de Colunas

• Schema de Dados (Verificando Tipo de Dados)
• Selecionando Apenas Algumas Colunas do DataFrame
• Criando uma Nova Coluna
• Criando Coluna Condicional
• Criando Coluna Condicional de Valor
• Criando Coluna Condicional entre Valores
• Comando SQL – Criando Coluna Condicional
• Comando SQL – Criando Coluna Condicional entre Valores

Conversão de Dados

• Renomeando Colunas – withColumnRenamed e Alias
• Conversão de Dados – Método cast + withColumn
• Conversões Numéricas Avançadas
• Arredondamento de Números

Trabalhando com Data e Hora

• Trabalhando com Datas – DataFrame
• Comandos e Formatos de Datas – Avançado
• Calculando Diferença entre Datas – Adição e Subtração
• Trabalhando com Datas Avançadas em SQL Databricks

Tratando Dados Nulos

• Tratando Dados Nulos com Método dropna e seus Parâmetros
• Filtrando Dados Nulos
• Substituindo Dados Nulos
• Tratando Nulos Databricks em SQL

Funções de Agregações

• Agregações no Databricks – Contagem, Média, Mínimo e Máximo
• Agregações no Databricks – Contagem, Média, Mínimo e Máximo em SQL
• Databricks Delta Lake – Transações e Controle de Dados
• O que é Delta Lake e seus Benefícios
• Tudo sobre Logs de Tabelas Delta Databricks
• Restaurando Dados usando Tabelas Tipo Delta Databricks
• Otimização de Dados – Salvando em Modo Particionado
• Otimização de Dados – Funções Avançadas

Conta na Microsoft Azure Cloud

• Material para Download – Miniprojeto
• Orientações antes da Criação de Conta
• Custos do Projeto
• Criando Conta na Microsoft Azure
• Definindo Alerta de Gastos
• Arquitetura Básica do Projeto Azure

GitHub

• Dica Plus sobre GitHub Integrado com Databricks
• Recomendações sobre Aulas GitHub
• Criando Conta no GitHub Grátis e Baixando Arquivos
• Como Instalar GitHub Desktop e GitBash
• Como Importar e Compartilhar Arquivos no GitHub
• Criando Repositório e Importando Arquivos via GitHub Desktop sem Usar Scripts
• Clonando Repositórios e Projetos Web
• Aprendendo Comandos Básicos GitHub e GitBash

Preparando Ambiente Azure

• Criando Grupo de Recurso
• Criando Conta de Armazenamento Gen2
• Estruturando Data Lake – Camadas de Armazenamento Bronze, Prata e Ouro
• Criando Autenticação e Autorização
• Atribuindo Permissões ao Data Lake do Projeto
• Azure Storage Explorer

Preparando Ambiente Azure Databricks

• Criando Conta Azure Databricks
• Conhecendo o Ambiente Azure Databricks
• Conectando Databricks com GitHub
• Configurando Cluster (Máquina Virtual de Execução) – Tudo sobre Valores
• Importando e Exportando Notebook para o Azure Databricks – GitHub
• Configurando Acesso Databricks com Azure Data Lake

Projeto Prático Azure Databricks

• Transformando Dados da Camada Bronze para a Silver
• Descrição do Projeto Gold
• Transformando Dados da Camada Silver para a Gold
• Refatorando Notebook Gold
• Organizando Área de Trabalho e Repositório GitHub
• Criando Job de Execução Automática Databricks – Pipeline
• Criando Recurso Data Factory
• Configurando Data Factory no GitHub
• Criando Conexão Pipeline Azure com Databricks
• Testando e Configurando Pipeline para Rodar Automaticamente
• Deletando Recursos do Projeto

Preparação para a certificação oficial Databricks: Delta Lake, Streaming, Auto Loader, Arquitetura Medallion (Bronze/Prata/Ouro), Unity Catalog, Delta Live Tables, Jobs e orquestração de pipelines.

Primeiras Configurações e Cadastros

• Criando Conta Gratuita – Databricks versão Community
• Conhecendo Menus Databricks Community
• Criando e Configurando Primeiro Cluster Máquina Virtual Grátis
• Ativando DBFS – Versão Community

Preparando Ambiente Azure Databricks

• Sobre Ambiente Cloud Databricks
• Orientações Antes da Criação de Conta – Azure
• Custos do Projeto
• Criando Conta na Microsoft Azure
• Definindo Alerta de Gastos
• Criando Conta Azure Databricks
• Conhecendo o Ambiente Azure Databricks
• Configurando Cluster (Máquina Virtual de Execução) – Tudo sobre Valores
• Ativando DBFS Azure Databricks

Comandos Básicos

• Comandos Básicos Notebooks
• Databricks Repos – Integração com GitHub
• Databricks Repos – Integração com GitHub (Várias Branchs)
• Organização do Material para Download
• Sobre Material para Download
• Como Importar Arquivos e Notebooks para Azure Databricks
• Atualização Plataforma
• DBFS Databricks File System – Trabalhando com Arquivos
• Lendo Arquivo CSV e Manipulando Pastas
• Assistente de IA – Inteligência Artificial do Databricks
• DBFS – Manipulando Pastas e Subpastas
• Data Sets – Dados para Treino no Databricks

Lake House Platform

• Documentação Databricks – O que é Delta LakeHouse
• Transações de Logs – Delta Log
• Tabelas em Delta Lake na Prática – Criando Primeira Delta Table
• Sobre Arquivos de Logs – Delta Table
• Históricos de Informações em Delta Table
• Restaurando Versões de Tabela – Comandos Avançados

Otimização de Schema de Tabelas

• Optimize e Otimização Preditiva
• VACUUM – Limpeza de uma Tabela Delta
• MANAGED LOCATION – Controle de Metadados
• Controle de Schemas e Databases Avançado

Tabelas e Views no Databricks

• Criando Tabela Particionada no Databricks
• Create Table As Select (CTAS) – Create Table [Using]
• Tipos de Views e Views Temporárias
• Usabilidade de uma View
• Views e Views Temporárias na Prática

ETL com Arquivos – SQL

• Queries em Arquivos – Teoria
• Query em Arquivo JSON
• Query em Arquivo CSV
• Query em Arquivo CSV – Configurações Completas
• Transformando Arquivos em Tabelas – JSON (Preparando Arquivo)
• Transformando Arquivos em Tabelas – JSON
• Criando Tabela Delta a Partir de Arquivo com CREATE TABLE AS (CTAS)
• Arquivos de Datasets Públicos para Download
• Transformando Arquivos em Tabelas – USING CSV
• Transformando Arquivos em Tabelas Delta – CSV (CTAS com Read Files)
• Escrevendo em Tabelas – Comandos Práticos
• Escrevendo em Tabelas – Selecionando Colunas
• Criando Views com Origem de Arquivos

ETL com Arquivos – Python Avançado

• Preparando Arquivos JSON – API IBGE
• Salvando DataFrame em Tabela – Spark
• Transformando Arquivo JSON em Tabela – Python e Spark
• Consulta Avançada em Tabela Delta – Objetos Aninhados JSON

Dados em Streaming – Carga Incremental

• Estrutura Streaming – Conceito e Documentação
• Sintaxe Streaming – Como Funciona na Prática
• COPY INTO e Auto Loader – Carga Incremental
• Auto Loader – Carga Incremental na Prática
• Arquitetura Medallion – Multi-Hop
• Arquitetura Medallion – Multi-Hop – Dimensionamento

Projeto prático completo no Azure Databricks com Unity Catalog, Delta Lake, Arquitetura Medallion (Bronze/Prata/Ouro), Auto Loader para ingestão contínua e orquestração com Jobs e Workflows.

Unity Catalog

• Introdução Ativar External Location
• O que são os volumes - Unity Catalog
• Volumes Externos X Gerenciados
• Habilitando o Unity Catalog no Azure Databricks - Guia passo a passo
• Arquitetura de projeto
• Volumes e Metadados
• Arquivos formato Delta - Processo de Exemplo
• Criar tabela Comando SQL - External Location

Projeto Prático - Preparando ambiente

• Introdução Projeto
• Trajetória do curso
• Origem de Dados
• Criando Catalog Databricks
• Estrutura de projeto - Container Azure
• Criando volume - Unity Catalog

Camada Bronze

• Primeiro ETL - Camada Bronze
• ETL Camada Bronze
• Criando Pipeline - Job Bronze
• Validação Pipeline - Job Bronze
• Depends on - Dependências de tasks
• Tabelas temporárias em camada Bronze

Camada Silver

• Camada Silver - teste
• Caso 1 Silver Products
• CTE - Common Table Expression na prática
• Refatorar código - Products
• Case 2 Silver Orders
• Mapeamento Case When
• Cálculos de percentual
• Salvando Dataframe em Tabela - Silver Orders
• Refatorar código - Orders
• Case 2 Silver Customers
• Refatorar código - Customers
• Criando Pipeline - Job Silver

Camada Gold

• Preparando ambiente Gold
• Case Orders
• Refatorar Script Case Orders
• Case Order Pending
• Refatorar Script Case Order Pending

Jobs e Pipelines

• Finalizando Pipeline de Dados
• Schedules & Triggers
• Job Notifications
• Gerenciamento de falhas em Job
• Conclusão do Projeto

Preparação para o dia do exame

• Resumo sobre a certificação - Databricks Certified Data Engineer Associate
• Requisitos para testes online - o que você precisa saber
• Agendando Exame Databricks
• Recebendo certificado e orientações por email
• Como iniciar um exame online com supervisão remota (OLP)
• Preparação do ambiente para realizar o exame
• Comportamentos a considerar
• Comemorando a certificação

Engenharia de dados com IA no Databricks: crie pipelines ETL com linguagem natural usando Genie Code e Lakeflow, aplique a Arquitetura Medallion (Bronze/Silver/Gold), use funções de IA, gerencie acessos com Unity Catalog e conecte os dados ao Power BI.

Introdução

• Introdução do Projeto Databricks
• Sobre o curso - Engenharia de Dados Agêntica
• Databricks o que é

Fundamentos

• Material para Download - Databricks IA
• Material sobre fundamentos
• IA no comando ou copiloto
• Criando conta gratuita no Databricks (Free Edition)
• Primeiro acesso e tour pela interface
• Sobre recursos do Free Edition
• IA Databricks onde encontrar
• O que é Lakehouse e por que substituiu Data Lake - DW
• Lakehouse e sua arquitetura de arquivos
• Arquitetura Medallion - Databricks

Preparando Ambiente

• Unity Catalog - criando arquitetura
• Dados do projeto
• Subindo arquivos de exemplo

Genie Code

• O que é o Genie Code e Lakeflow e como acessar
• Sobre IA Databricks e Lakeflow
• Material do Curso importação
• Gerando primeiro pipeline ETL com linguagem natural
• Ajustando e revisando o pipeline gerado pela IA
• Operadores Painel No-Code
• Schedule - Agendamento automático
• Schedule - menu Jobs & Pipelines

Projeto Bakehouse - Caso de Uso Real

• Visão geral do projeto - Entendendo a demanda
• Conceitos do projeto - regras e arquitetura
• Etapa 1 - Conhecendo a Origem
• Etapa 2 - Camada Bronze
• Etapa 3 - Camada Silver
• Etapa 4 - Camada Gold
• Etapa 5 - Validação final do projeto e dicas
• Etapa 6 - Organização dos arquivos
• Bakehouse Schedule - Jobs & Pipelines
• Consideração final do projeto

IA Functions

• Processo Interação com IA
• Funções de IA - Lakeflow

Projeto Bakehouse em Spark - Genie IA

• Material para Download - Projeto 2
• Desafio prático
• Criando pasta do projeto
• Sobre o projeto e IA na geração e correção de código
• Preparando Unity Catalog - Code
• Camada Bronze - Code
• Camada Silver - Code
• Camada Gold - Code
• Criando Job de execução com IA - Databricks
• Desativando Job de execução

Gerenciamento de Acesso Databricks

• Material para Download - Acessos Databricks
• Sobre Acessos Unity Catalog
• Quem acessa o quê no Databricks
• Criando e entendendo Grupos de Acesso
• Gerenciamento de Service Principals - ClientId e Secret
• Gerenciamento de Acesso ao Cluster ou Serverless

Conexão Databricks com Power BI

• Criando Grupo e SP - Leitura Gold
• Conexão Tabelas Databricks Unity Catalog com Power BI
• Consulta Databricks personalizada para Power BI
• Resolvendo erro de Secret vencida Databricks - Power BI
• Acessando dados com Access Tokens

Docker aplicado a engenharia de dados: Apache Spark em containers, integração com MinIO (S3), Azure Storage (Azurite), PostgreSQL via JDBC, Docker Hub, deploy em VPS real e simulação de ambientes DEV e PROD.

Introdução

• Introdução - Sobre o curso
• Objetivo do curso
• Recomendações - O que preciso para continuar
• Material Para Download
• Recomendações e Avaliação do Curso
• Extraindo o máximo do curso
• Performance em sua jornada

Introdução ao Docker

• Sobre o Docker
• VM's X Containers
• Principais Vantagens do Docker
• Instalando o Docker
• Verificando instalação e principais comandos Docker
• Overview Docker Desktop
• Detalhes sobre arquitetura Docker

Docker - VsCode

• Docker Hub - Criando Conta
• Docker Hub - Primeira Imagem e Container
• VsCode IDE
• VsCode - Comandos básicos
• Abrindo Projetos no VsCode
• Extensão Docker VSCode

Primeiro Container na prática

• Criando container Spark via terminal
• Testando container Spark
• spark-submit
• Docker terminal e Guias - Documentação
• Attach to Running Container
• Configuração para rodar Spark em Notebooks Jupyter
• Tipos de arquivos Dev e Prod

Comandos Linux

• Sobre o Linux e suas Distribuições
• Criando Container Linux - Ubuntu
• Hierarquia Linux APT - Advanced Package Tool
• Comandos básicos terminal Linux
• Voltando ao Container do projeto
• Comandos de buscas avançadas

Arquivos Docker

• Dockerfile e Docker-compose
• Config.yml e .env
• docker-compose na prática
• Container PostgreSQL

Apache Spark Container

• Sobre o projeto
• Dockerfile Spark
• docker-compose Spark
• Criando contêineres Spark, Azure, MinIO e PostgreSQL
• Testando spark-master e suas dependências

Apache Spark x MinIO

• Entrando em Conta MinIO
• Comandos MinIO via terminal
• Criando Bucket S3 e Preparando ambiente
• Manipulando Arquivos MinIO S3
• Manipulando Tabelas MinIO S3

Apache Spark x Azure

• Sobre Azurite
• Manipulando arquivos na Azure Storage
• Manipulando Tabelas - Azure Storage

Apache Spark x PostgreSQL

• Documentação Spark x PostgreSQL JDBC
• Write Spark to PostgreSQL
• Read Spark from PostgreSQL
• PostgreSQL x Azure com Spark

Docker Hub

• Sobre repositórios Docker Hub
• Login Docker Hub no terminal
• Docker Hub - Push e Pull

Processamento de big data com Apache Spark: SparkSession, DataFrames, Schema, particionamento, filtros avançados, manipulação de datas, integração com VPS real e deploy em produção.

Projeto em Servidor Real

• VPS (Virtual Private Server) - Servidor
• Servidor VPS na prática
• Terminal do Servidor - Docker
• EasyPanel - Criando Aplicações
• Testando Aplicação PostgreSQL
• Finalizando o curso

Introdução

• Introdução Engenharia de Dados com SPARK
• Material Para Download

O que é o Apache Spark

• Arquivo ilustrativo - Sobre o Spark
• O que é o Apache Spark
• Infraestrutura de Nível Corporativo Global
• Plataforma Unificada com Spark
• Arquitetura Spark
• SparkSession

Arquitetura na prática

• Importando arquivos disponíveis
• Sobre o nosso ambiente SPARK
• SparkSession - primeira sessão
• Entendendo a arquitetura na prática
• Optimized Logical Plan
• Spark Dataframe - Criando primeiros Dataframes
• Spark Functions
• function expr - expressões matemáticas
• Resumo sobre Data Frame
• Definição de Schema no Apache Spark
• Definição de Schema na prática
• StructType

Manipulando Dados

• Gerar Dados com IA
• Referência Para Geração de Dados Treino
• Read e Write arquivos com Spark
• partitionBy - partições no Spark
• partitionBy várias Colunas
• Read Outros tipos de arquivos

Filtros avançados

• Sobre Filtros avançados
• Filtros de Igualdade e negação
• Maior e Menor Que
• Teste de performance em diferentes Filtros
• Isin - Filtrando uma lista de critérios
• Como usar SQL no Spark
• Performance DataFrame API e SQL Query

Manipulando Datas

• Notebook do módulo de Datas
• Conversão String para Data
• Diferença entre datas
• Extraindo Dados de uma coluna de Data
• Subtração e Adição de Dias
• Usando SQL .Select em funções de datas
• Select e withColumn - performance
• Funções Spark x UDF

Do uso da IA Claude ao deploy em VPS com Docker: automação de Excel, web scraping, Claude Code no terminal, extensão para navegador, análise de LinkedIn com IA e projeto completo de servidor do zero ao deploy em produção.

Módulo 1 — Introdução

• Introdução - Sobre Claude IA
• Interface Claude
• Claude Desktop e Extensão Google Chrome
• Material Para Download - Claude IA
• Consumo de modelos Claude
• Console Avançado e Documentação oficial
• Chat IA - Primeiras Interações
• Cowork - manipulação de arquivos
• Gerando relatórios automáticos

Módulo 2 — Claude IA no Excel

• Claude IA no Excel
• Manipulando Fórmulas no Excel com Claude
• Chamada IA Excel
• Formatação condicional de ícones
• Formatação Condicional avançada
• Limpando Formatação
• Teste em entrevista de emprego
• Gerando Arquivo Entrevista de Emprego
• Support Claude
• Auditoria arquivos Excel
• Web scraping - extração automatizada
• Web scraping - conexão IBGE

Módulo 3 — Claude Code

• O que é Claude Code
• Baixando VSCode
• Importando Pasta do módulo no VSCode
• Claude Code Desktop
• Claude Code no Terminal
• Claude Code - cloud environment
• Claude Code - environment local
• Claude IDE VsCode
• Gerando Documentação de projeto
• Revisão de Documentação

Módulo 4 — Extensão Navegador Claude

• Instalando Extensão Claude no Navegador
• Análise completa do perfil LinkedIn com IA Claude
• Automação Web - preenchimento de formulário
• Criando seu próprio formulário em HTML Avançado

Módulo 5 — VPS: Servidor do Zero ao Deploy

• Tudo sobre o projeto prático
• Material do Projeto
• VPS vs Máquina Local
• Sobre Linux
• Sobre Docker
• Benefícios Docker - VPS
• Planejamento do Projeto
• VPS - Servidores de referência
• Servidor VPS na prática
• Terminal do Servidor - Docker
• EasyPanel - Criando Aplicações
• Testando Aplicação PostgreSQL
• Acesso VPS via terminal
• VSCode Remote-SSH

Módulo 6 — Claude MCP - Power BI

• Material Para Download - MCP Power BI
• O que é MCP
• Configuração MCP Power BI
• Resolvendo Erro Conexão MCP Power BI
• Resolvendo Erro de Versionamento Extensão VsCode
• Conectando Claude IA com Power BI MCP

Módulo 7 — Claude Artifacts

• Claude Artifacts - introdução
• Material Para Download - Claude Artifacts
• Caso de uso - Dashboard Com Claude
• Criando Dashboard Personalizado com Claude IA
• Personalizando Artefatos públicos

Módulo 8 — OpenClaude

• OpenClaude + DeepSeek
• Material para Download - OpenClaude
• Criando API Key DeepSeek
• OpenClaude instalação e configuração
• Caso de Uso DeepSeek

Módulo 9 — OpenRouter

• Modelos grátis de IA - Claude Code

Automação e agentes de IA na prática com N8N: servidor VPS com EasyPanel, triggers e webhooks, condicionais e tratamento de textos, conexão com WhatsApp via Evolution API e projeto completo de Agente de IA integrado a banco de dados.

Módulo 1 — Introdução

• Sobre o Curso N8N
• Como será nossa jornada
• Extraindo o máximo do curso - método Pomodoro
• Avaliação do curso
• N8N o que é
• Formas de acessar N8N

Módulo 2 — VPS

• Servidor VPS na prática - Criando Conta
• Sobre Easypanel
• Criando projeto N8N
• Primeiro Acesso N8N

Módulo 3 — Comandos Básicos

• Menu Geral
• Configurações do usuário
• Primeiros comandos
• Material para Download - N8N
• Tipos de Trigger - manual, Schedule e Webhook
• Tipos de Trigger - form, chat e workflow
• Webhook - entendendo eventos
• Entendendo sobre API
• Tasks de código no N8N
• Criando fluxo N8N com IA

Módulo 4 — Condicionais e tratativas de textos

• IF - Fluxos de validações
• SWITCH - Fluxo de regras
• Função split e junção de textos
• Merge - Conceito básico
• Merge - Exemplo avançado

Módulo 5 — Conexão WhatsApp

• Sobre Evolution API - conexão WhatsApp
• Instalando node Evolution no N8N
• Instalando node Evolution na VPS
• Configurando instância WhatsApp na Evolution API
• Teste de envio WhatsApp N8N
• Eventos de mensagens WhatsApp - Evolution API x N8N
• Webhook WhatsApp Evolution API x N8N em produção

Módulo 6 — Projeto prático

• Sobre o projeto Agente de IA
• Primeiras configurações
• Configurando Chave API - IA
• Configuração de memória da IA-Agent
• Integração Agente de IA com Banco de Dados
• Inserindo informações em banco de dados com IA
• Atualizando informações em banco de dados com IA
• Desafio prático