🏅 Certificação MEC | ⚙️ Metodologia Exclusiva | ⏰ Carga: 180 Horas
Formação Engenharia de Dados
Saia do zero e se torne um Profissional na área de Dados de Nível Avançado.
Transforme-se em um Especialista em Dados, uma das áreas mais bem remuneradas atualmente. Utilize as melhores ferramentas de análise e tratamento de dados e torne-se um profissional desejado pelo mercado.
Certificado MEC
Válido em território nacional
Aulas Práticas
Projetos com situações do dia a dia
Scripts e Projetos
Todo material disponível para Download
Formação Completa
Capacitação para o mercado em poucos meses
- +10.600 ALUNOS: Já são mais de 10.600 alunos em nossa plataforma. Você estará conectado com o instrutor e alunos de toda parte do mundo.
- +650 Aulas liberadas: Acesso completo e ilimitado em mais de 180 horas de conteúdo
- Suporte em até 24h: Garantimos um compromisso real de suporte, proporcionando atendimento rápido para esclarecer todas as dúvidas dos alunos em até 24h. O Prof. Edmilson está comprometido com o sucesso dos seus alunos.
Basic
De R$ 789,00
Por 12x de
R$ 38,50
Ou R$ 379,90 à vista
- ✖ Área de membros exclusiva
- Trilha 1 - Datada engineer fundamentals
- Trilha 2 - Python ETL avançado + Cloud
- ✖ Trilha 3 - Databricks plataform
- ✖ Simulado certificação Databricks Enginner
- Atualizações frequentes
- ✖ Suporte exclusivo no Discord
- ✖ Comunidade de alunos no Discord
- ✖ Suporte a plataforma pelo Whatsapp
- ✖ Certificado reconhecido pelo MEC
- Certificados emitidos para cada curso
- ✖ Acesso à plataforma por 2 anos
- Acesso a plataforma por 1 ano
Premium
De R$ 1.960,90
Por 12x de
R$ 134,35
Ou R$ 1.299,00 à vista
- Área de membros exclusiva
- Trilha 1 - Datada engineer fundamentals
- Trilha 2 - Python ETL avançado + Cloud
- Trilha 3 - Databricks plataform
- Simulado certificação Databricks engineer
- Atualizações frequentes
- Suporte exclusivo no Discord
- Comunidade de alunos no Discord
- Suporte a plataforma pelo Whatsapp
- Certificado reconhecido pelo MEC
- Certificados extras por trilhas
- Acesso a plataforma por 2 anos
Free
GRÁTIS
- Área de membros exclusiva
- Trilha 1 - Datada enginner fundamentals
- ✖ Trilha 2 - Python ETL avançado + Cloud
- ✖ Trilha 3 - Databricks plataform
- ✖ Simulado certificação databricks engineer
- Atualizações frequentes
- ✖ Suporte exclusivo no Discord
- ✖ Comunidade de alunos no Discord
- ✖ Suporte a plataforma pelo Whatsapp
- ✖ Certificado reconhecido pelo MEC
- Certificado da trilha 1 com 80 horas
- ✖ Acesso a plataforma por 2 anos
- Acesso a plataforma por 3 meses
Ementas & Videoaulas
SQL
Python
Excel
Power Bi
BigQuery
ETL
NoSQL
Databricks
MongoDB
GitHub
MySQL
PostgeeSQL
SQL Server
SSIS
Spark
- 180 HORAS
01. SQL - Banco de dados Relacionais
Carga horária 20 horas
Introdução
– Introdução
Estrutura e Primeiros comandos
– Download de instaladores e material
– Instalando programas: SQL Server e SSMS
– Resolvendo erro SQL Server
– Inserindo banco de dados do curso
– Localizando dados públicos da Microsoft
– Conhecendo banco de dados e fazendo primeira consulta (SELECT)
– Agilidade e produtividade ao pesquisar colunas
– Selecionar dados distintos (SELECT DISTINCT)
Vínculo SQL Server com Excel
– Salvando resultados de consultas SQL em Excel
– Conectando banco de dados no Excel (tabelas personalizadas, vínculos e automação)
– Conectando banco de dados no Excel (vínculo de tabelas)
– Renomeando colunas na consulta
– Renomeando tabelas do banco de dados
Funções de Restrições
– Função de restrição WHERE
– Função de restrição WHERE NOT IN
– Dados maior que e menor que (funções matemáticas)
– Função de restrição WHERE entre valores
– Função BETWEEN – entre dois valores
– WHERE IS NULL / IS NOT NULL – excluindo linhas em branco
– ORDER BY – ordenar avançado
– Função IN – restringindo consulta
– Função LIKE – buscar textos em consultas
Funções de Agregação
– GROUP BY – agrupando dados da consulta
– COUNT – contar dados da tabela
– Mínimo, Máximo, Soma e Média (resumo)
– Mínimo, Máximo, Soma e Média (prática)
– Função HAVING – filtrando agrupamento
Funções de Critérios
– Função CASE – criando nova coluna condicional
– Função CASE – coluna condicional com números
– Função CASE avançado – com agregação
– Função CASE avançado – com data
Relacionamentos de Tabelas no Power BI
– Importando arquivo Excel para o SQL Server
– Entendendo relacionamento de tabelas
– Importando tabelas do SQL Server para o Power BI
– Relacionamentos de tabelas no Power BI – Parte 1
– Relacionamentos de tabelas no Power BI – Parte 2
Função JOIN – Vínculos de Tabelas Distintas
– Tudo sobre a função JOIN
– JOIN avançado – vínculo de 5 tabelas (Parte 1)
– JOIN avançado – vínculo de 5 tabelas (Parte 2)
– Importando query para o Power BI
– JOIN avançado – importando Excel para banco de dados
– (Aula prática) JOIN ou INNER JOIN
– (Aula prática) LEFT JOIN
– (Aula prática) RIGHT JOIN
– (Aula prática) FULL JOIN
Funções de String (Textos)
– CONCAT / CONCATENAR – juntar textos
– TRANSLATE e REPLACE – substituir valores
– RTRIM e LTRIM – eliminando espaços
– REPLICATE e REVERSE – textos
– UPPER e LOWER – maiúscula e minúscula
Criando e Modificando Tabelas via Script
– Criando tabela via script (conhecendo projeto)
– Criando tabela de venda (CREATE TABLE, INSERT INTO, TRUNCATE, DROP)
– Criando tabela de produtos
– Criando tabela de categoria
– Inserindo dados na tabela venda
Primary Key e Foreign Key
– O que é chave primária e chave estrangeira
– Criando chave estrangeira com CONSTRAINT
– CONSTRAINT / FOREIGN KEY – criando chaves estrangeiras
Tabelas Temporárias e Comandos Avançados
– Tudo sobre tabelas temporárias (física, local e global)
– Criando tabela temporária na prática
– Utilizando tabela temporária de forma avançada
– Inserindo nova tabela espelho (cópia)
– Inserindo nova tabela espelho – exemplo prático 2
– Inserindo nova coluna via design avançado
– Inserindo e editando coluna via script avançado
Comandos Avançados via Scripts
– UPDATE – manipulando dados (básico)
– UPDATE – parte 2
– UPDATE – avançado
– DELETE – apagando dados
– DELETE – praticando critérios
– DELETE – avançado com DATEDIFF
Rank, Subquery e Tabela Temporária
– RANK e DENSE RANK
– RANK e DENSE RANK avançado com SUBQUERY
– RANK + SUBQUERY + tabela temporária
– RANK + SUBQUERY + PARTITION BY
– RANK + LEFT JOIN SQL avançado
– RANK + LEFT JOIN SQL – relatório avançado
Transact-SQL
– Inserindo PK via script
– Inserindo e apagando FK via script
– BEGIN, ROLLBACK e COMMIT – transações avançadas (exemplo 1)
– BEGIN, ROLLBACK e COMMIT – parte 2
– BEGIN, ROLLBACK e COMMIT – parte 3
– Criando e usando VIEW
– Criando e usando VIEW – exemplo prático
Formatos de Datas
– Formato de data em SQL (data atual)
– GETDATE – data atual
– Formato de data avançado – DATENAME (relatório prático)
– Formato de data avançado – DATEPART
– Formato de data avançado – DATEPART (relatório prático)
– Conversão de data – CAST e CONVERT
– DATEADD – adição de datas
– DATEDIFF – cálculo tempo de empresa
– DATEDIFF – cálculo de idade
– DATEDIFF – cálculo faixa etária
– DATEDIFF + CASE + SUBSELECT
– Tabela de cidade, estado e região – aula completa avançada
– Tabela de cidade, estado e região – tabela física
02 - Python-Banco de Dados, ETL Avançado e Automação Web + GitHub
Carga horária 16 horas
Introdução
– Introdução
– Recomendações e Avaliação do Curso
– Material para Download – Tudo sobre os Scripts
Orientações e Instalações
– Sobre a Página Web do Governo
– Sobre Versões do Python
– Download – Baixando Python, Anaconda e VS Code
– Instalando Python, Anaconda e VS Code
– Primeiras Configurações e Instalando Extensões no VS Code
Comandos Básicos
– Resolvendo erro: “O sistema não pode encontrar o arquivo especificado”
– Primeiros comandos em Python com Jupyter Notebook
– Tipos de Dados em Python
– Criando e Localizando Itens em Lista
– Editando Itens de Lista
– Criando um Ambiente Virtual
Manipulando Arquivos Excel/CSV/TXT
– Importando e Manipulando Arquivo Excel com Pandas
– Importando Arquivo CSV com Dicas de Programação
– Tratando Nulos e Substituindo Valores com fillna e replace
Tratamento de Dados
– Consolidando Vários Arquivos em Python
– Salvando Arquivos Consolidados
– Convertendo Arquivos Python para uso no Power BI
– Conversão de Dados com Pandas
– Conversão de Datas com Pandas
– Adicionando Novas Colunas em DataFrame
Tratamento de Dados Avançados
– Lendo Arquivos Excel com Várias Abas
– Selecionando Apenas Algumas Colunas
– Removendo Duplicatas com drop_duplicates
– Classificando Dados (Crescente e Decrescente)
– Renomeando Colunas com Pandas
Conexão com Banco de Dados
– Instalando SQL Server e SSMS
– Preparando o Banco de Dados
– Conectando Python com SQL Server
– Carga de Tabela Categoria
– Carga de Tabela Items
– Carga de Tabela de Ordens
– Carga de Tabela de Clientes e Tratamento de Erros CSV
– Carga de Vários DataFrames no Banco de Dados
– Executando Queries SQL Server via Python
– Executando Query Avançada no SQL Server via Python
– Extraindo Dados com SQLAlchemy e SQL Server
– Enviando Dados ao Banco com SQLAlchemy
– Executando Comandos Transact-SQL via Python
Merge – Junção de Tabelas
– Mesclando e Juntando Várias Tabelas em Python
– Método concat para Juntar Dados
– Extraindo Informações de Bancos de Dados Diferentes
– Informações do Curso SQL Server
– Links para Cursos Complementares
Automação de Execução
– Transformando Arquivo Python em Executável
– Transformando Python em Executável com Interface Gráfica
– Executando Script Python com Agendador de Tarefas (schedule)
– Agendamento com o Agendador de Tarefas do Windows
Automação Web – Selenium – Primeiras Configurações
– Scripts de Automação Web
– Corrigindo Erro Chrome Driver – Selenium
– Configurando Chrome Driver no Selenium
– Instalando Chrome Driver Automaticamente via Script
– Localizando Elementos na Web e Preenchendo Dados Automaticamente
– Selecionando Pasta para Download e Ocultando o Navegador
– Como Baixar Vídeo e Áudio do YouTube
Continuação e Acessos
– Trilha de Continuação dos Estudos – Análise de Dados
– Links de Acesso a Outros Cursos
– Como Acessar o Jupyter Notebook
GitHub
– Apresentação do GitHub
– Criando Conta e Baixando Arquivos
– Instalando GitHub Desktop e Git Bash
– Importando e Compartilhando Arquivos no GitHub
– Criando Repositório e Importando Arquivos via GitHub Desktop
– Clonando Repositórios e Projetos Web
– Comandos Básicos do GitHub e Git Bash
– Corrigindo Erro: remote: Repository not found
– Importando Dados para o Git via VS Code
– Ignorando Arquivos com .gitignore no GitHub
– Clonando Arquivos e Projetos GitHub no VS Code
Outras Manipulações de Dados
– Trabalhando com Diferentes Arquivos: CSV, JSON, Parquet e ZIP
– Salvando DataFrame em Diferentes Formatos
– Importando Arquivo Parquet no Power BI com Python
– Manipulando Arquivo ZIP em Python
03 - Excel do Básico ao Avançado + Dashboards com Power BI
Carga horária: 20 horas
Introdução Apresentação do Curso
Excel Básico – Estrutura do Curso
– Download dos Materiais
– Avaliação do Curso
– Sobre o Módulo Excel Básico
– Criando conta e instalando Office 365
– Instalando Pacotes Office 365 versão 2016
– Conhecendo Excel Primeiro contato
– Por que aprender Excel
– Menus do Excel
– Comandos Básicos e Pincel de Formatação
– Barra de Acesso Rápido
– Tipos de Formatações
– Backup Automático
– Preenchimento Rápido e Atalhos
– Congelar Painéis
– Cálculos Matemáticos
– Cálculos Matemáticos – Função Soma-se
– Máximo e Mínimo Média
– Alteração de idioma Excel
– Cálculo de Porcentagem
– Referência de Células (Relativas e Absolutas)
– Referência de Células (Relativas e Absolutas) Aula 2
– Função Data, Mês, Ano e Hoje
– Função Agora
– Funções de hora
– Localizar e Substituir
– Função Maiúscula e Minúscula
– Concatenar
Excel Intermediário – Começando módulo intermediário
– Função Datam
– Funções Direita, Esquerda, Ext. Texto
– Procv
– Proch
– Procv, Proch x ProcX
– Função Cont-Se e Soma-Se
– Função Cont-Ses e Soma-Ses
– Formatação Condicional (Barra de Dados)
– Formatação Condicional (Escala de Cor)
– Formatação condicional (Maior e Menor)
– Formatação Condicional (Texto que contém e valores duplicados)
– Formatação Condicional (Data que ocorre e entre valores)
– Formatação Condicional (Regra dos 10)
– Formatação Condicional (Conjunto de Ícones)
– Formatação Condicional (Conjunto de Ícones Fixando)
Excel Avançado – Começando módulo avançado
– Criando Primeira Tabela Dinâmica
– Primeiras Configurações de Tabela Dinâmica
– Principais Configurações de Tabela Dinâmica
– Campos de Valores em Tabela Dinâmica
– Tabela Dinâmica (Campo Calculado)
– Segmentação de Dados em Tabela Dinâmica
– Configurações de Segmentação de Dados em Tabela Dinâmica
– Conhecendo Gráficos Dinâmicos
– Configurações de Gráficos Dinâmicos
– Diferentes Tipos de Gráficos
– Planilhas Buscar por Nome
– Função Se
– Várias Funções Se na Mesma Fórmula
– Função Se com Função E
– Função Se com Função Ou
– Função Se com Função E-Ou na mesma fórmula
– Função Se com Função Média e Soma
– Soma Produto, Cont.Se, Soma.Se
– Soma Produto Avançado
– Índice Corresp. + Corresp.
– Índice Corresp + Corresp Avançado
– Planilha de Macros (Planilha de cadastro VBA)
– Gravando a Primeira Macro
– Macro Atualizar Base Automatizado
– Cadastro automatizado Conhecendo Projeto VBA
– Cadastro automatizado Criando formulário VBA
– Cadastro automatizado Criando Programação VBA
– Senha para Projetos e VBA
– Conhecendo Projeto
– Preparando Tabelas
– Preparando Layout
– Inserindo Informações
– Gráficos de Linhas
– Gráficos de Área
– Gráficos de Barras e Segmentação de Dados
Introdução Power BI – Apresentação do Curso
– Por que escolher Power BI
– Material para Download
– Instalando o Power BI
– Conhecendo Ambiente do Power BI
– Power Query o que é
– Documentação Power BI
Projeto Bikes – Treino na Prática – Sobre Primeiro Projeto
– Importando Base do Projeto
– Transformação de Dados
– Primeiros Visuais
– Parâmetros e Gráficos
– Baixando Figma – Editor de imagem
– Comandos Básicos Figma
– Criando Background Personalizado
– Elementos Personalizados no Figma
– Barra de Menu e Páginas Personalizadas
– Salvando Background e Importando para Power BI
– Finalizando Projeto
Mini Projeto – Vendas – Sobre Projeto 2 Inspiração
– Localizando Dados Públicos para Treino (Kaggle)
– Localizando Dados Públicos para Treino (ANAC)
– Conhecendo Base de Dados
– Importando Base do Projeto
Modelagem de Dados – O que é Linguagem DAX e M
– Ajuste Coluna de Estado
– Tratativas de Texto – Power Query
– Alterando Fonte de Dados
– Tratativas de Data – Power Query
– Tipos de Dados no Power Query
– Modelagem de Dados
– Criando Medidas
– DAX Básico
Ferramentas de Visualização – Cartões do Power BI
– Gráficos de Linhas
– Cartões Personalizados
– Gráficos de Barras e Linhas
– Gráficos de Barras
– Gráficos de Pizza e Rosca
– Melhorando o Layout de Treino
– Interações e Gráfico e Filtros
– Dicas Sobre Gráfico de Pizza
– Tudo sobre Tabelas
– Tabela Matriz
– Recurso de Parâmetros
– Dicas de Parâmetros
– Gráfico de Hierarquia
– Mapa em Power BI
– Tipos de Mapas no Power BI
– Mapa de Forma
– Formatação Condicional
– Tudo sobre Filtros
Figma – Projeto Personalizado – Plugins Figma – Removendo Fundo de Imagem
– Plugins Figma – Cortando Visuais Personalizados
– Figma – Cores Personalizadas
– Figma – Captura de Cores no Navegador
– Figma – Grids – Grades de Referências
– Figma – Referências de Imagens e Ícones
– Distribuindo Layouts
– Construindo Background
– Configurando Páginas
– Criando Layout Modo Claro
– Configurando Páginas Claras
– Finalizando Projeto
04 - SQL Server Integration Services (SSIS) - ETL Avançado
Carga horária: 20 horas
Preparando Ambiente
– Instalando Visual Studio
– Instalando SSIS – SQL Server Integration Services
– Instalando Programas – SQL Server e SSMS (SQL Management)
Projeto Prático – Criando Estrutura
– Apresentação Primeiro Projeto
– Tipos de Dados no Formato Texto Banco de Dados
– Conversão de Dados no SSIS
– Conhecendo Arquivos do Projeto
– Conectando Servidor SQL no Visual Studio
– Criando Primeira Tabela no Visual Studio
– Criando Tabela de Categoria no Visual Studio
– Criando Tabelas Ordens e Itens CSV
– Criando Tabela de Clientes no Visual Studio
– Publicando Várias Tabelas Simultâneas
– Tudo Sobre Relacionamento de Tabelas
– Criando Chave Estrangeira (Foreign Key)
– Criando Chave Estrangeira Avançado (Foreign Key)
– Diagrama Banco de Dados Avançado
Automação de Processos – Preparando Ambiente SSIS
– Integration Service
– Importando Primeiro Arquivo Excel para Banco de Dados
– Importando Dados Automaticamente para Banco de Dados
– Importando Dados do Excel para Banco de Dados SQL
– Importando Arquivo CSV para Banco de Dados SQL Corrigindo Erro
– Automação de Processo Inserção em Banco de Dados com Visual Studio
Modelagem de Dados
– Modelagem de Dados Básico
– Instalando SQL Power Architect
– Criando Primeiras Tabelas no SQL Power Architect
– Configurações Avançadas de Diagrama de Banco de Dados
– Como Fazer sua Primeira Modelagem de Dados
– Relacionamento de Tabelas Avançado
– Tabelas Associativas Avançadas Power Architect
– Tudo Sobre Tabela Associativa SQL
– Criando Tabela Via Script Avançado
Clonagem de Projeto
– Conexão de Vários Bancos de Dados
– Clonando Script Banco de Dados e Criando Várias Tabelas
– Como Clonar Projeto no Visual Studio
– Projeto Final: Carregar Vários Arquivos em Excel para Bancos de Dados Distintos
Junção de Dados
– Automação Destino Excel
– Origem Destino Excel Fixando
– Classificar e Junção de Mesclagem (Join) Avançado
– Informações de Bancos de Dados Diferentes Avançado – Parte 1
– Informações de Bancos de Dados Diferentes Avançado – Parte 2
– Projeto Avançado
– Tarefa Mesclar
– Tarefa Unir Tudo (Union All)
Diferentes Conexões
– Origem Destino CSV Resolvendo Erros SSIS
– Origem Destino TXT Resolvendo Erros SSIS
– Origem Consulta Personalizada SQL
– Origem Consulta Personalizada SQL Avançado
– Ajustando Erro de Conexão Arquivo TXT e CSV
– MultiCast: Replicando Informações para Várias Bases Distintas (CSV, TXT, EXCEL, OLD)
Comando SQL no Excel
– Comando SQL no Excel Consultas Personalizadas
– Comando SQL no Excel Consultas Personalizadas Avançado
– Comando SQL no Excel Consultas Avançadas – Manipulando Datas
– Comando SQL no Excel Consultas Avançadas – Dados em Locais Diferentes
Transformações de Dados
– Coluna Derivada (Criando Novas Colunas SQL)
– Pivot – Transformando Colunas em Linhas
– Unpivot – Transformando Linhas em Colunas
– LOOKUP – Procv em Bancos de Dados Distintos
Update Avançado
– Dimensão de Alteração Lenta
– Dimensão de Alteração Lenta (Mantendo Histórico)
Contêiner
– Contêiner de Sequência (SEQUENCE CONTAINER)
– Contêiner Carregando Vários Arquivos Excel (FOREACH LOOP CONTAINER)
– Contêiner Carregando Vários Arquivos TXT (FOREACH LOOP CONTAINER)
– Contêiner de Busca Alteração do Nome do Arquivo (FOREACH LOOP CONTAINER)
– Contêiner de Busca Alteração do Nome do Arquivo Fixando (FOREACH LOOP CONTAINER)
Job de Execução
– Executar Vários Fluxos, Processo de Automação (Projetos Internos e Externos)
– Estrutura Básica de Projeto BI
– Principais Configurações JOB – Importando Pacotes ELT
– Criando Job de Execução (Rodando Vários Projetos)
– Vários Projetos em 1 JOB
Projeto 2 – Data Warehouse
– Dica: Baixar Dados da Internet
– Estrutura do Projeto Stage e Data Warehouse
– Restaurando Backup de Banco de Dados
– Carga Tabela de Vendas via Excel
– Carga Vendas para Stage
– Dimensionamento Banco de Dados
– Criando Tabelas Dimensão Data Warehouse
– Criando Tabela Fato Data Warehouse
– Tabela DCalendário Mais Rápida e Completa
– Modelagem de Dados Star-Schema (Modelo Estrela)
– Carga DimCategoria para Data Warehouse DW
– Carga DimProduto para Data Warehouse DW
– Carga Tabela Fato para Data Warehouse DW
– Carga Tabela DimCalendário para Data Warehouse DW
– Relatório Avançado Joins Data Warehouse DW
Consultas SQL + Power BI
– Material NPS
– O que é NPS?
– Calculando NPS em SQL Aula Completa
– Background (Fundo) Personalizado NPS para Power BI Utilizando Figma
– Finalizando Projeto NPS (Indicador em Power BI)
Outras Conexões Externas
– Material para Download
– Download e Instalação PostgreSQL
– Ambiente PGADMIN Postgre
– Instalando e Configurando Driver ODBC Postgre
– Conexão SSIS com Postgre ADO.Net
– Conexão SSIS com Postgre ODBC
– Comando SQL para Deletar Dados ODBC
– Comando SQL para Deletar Dados ADO.Net
– Migração de Banco de Dados Postgre para SQL Server
– Migração de Banco de Dados SQL Server para Postgre
05 - SQL Completo com Google BigQuery Para Análise de Dados
Carga horária 10 horas
Material para Download
– Download
Estrutura e Primeiros Comandos
– Criando Conta Gratuita
– Conhecendo A Estrutura
– Criando Data Set (Conjunto De Dados)
– Importando Arquivo Excel
– Conhecendo Tabelas do Curso
– Primeira Consulta (Select *)
– Selecionar Dados Distintos (Select Distinct)
– Alterando Nomes de Coluna e Salvando como Tabela
– Salvando Consultas como Tabela e Consulta Personalizada
– Renomeando Tabelas na Consulta
Funções de Restrições
– Funções de Restrições Where + In – Not In
– Where Is Null – Is Not Null (Excluindo Linhas em Branco)
– Dados Maior Que e Menor Que (Funções Matemáticas)
– Função Between – Entre – (Dados entre 2 Valores)
– Função Case (Caso Quando) Criando Nova Coluna Condicional
– Função Case (Caso Quando) Criando Nova Coluna Condicional com Vários Critérios
– Função Case (Caso Quando) Criando Coluna Condicional Região por Estado
– Função Case (Caso Quando) Coluna Condicional com Números
– Função Case (Caso Quando) Coluna Condicional Exemplo Prático
Função JOIN – Junção de Tabelas
– Join – Resolvendo Erro de Importação – String_Fild
– Primeiro Join – Relacionamento de Tabelas
– Join – Relacionamento de Tabelas Exemplo Prático
– Join – Relacionamento de Tabelas Fixando
– Join – Relacionamento de Várias Tabelas
Relacionamentos no Power BI
– Importando Tabelas do Google Big Query para o Power BI
– Relacionamento no Power BI
– Importando Dados SQL para o Power BI
Funções de Agregação Básicas
– Group By – Agrupando Dados da Consulta
– Order By – Ordenando Dados da Consulta
– Count – Format_Timestamp Extração de Data
– Count + Case – Contar Se
– Função Máximo
– Função Mínimo
– Função Média (Avg)
Funções Matemáticas
– ABS – Eliminando Número Negativo
– Rand – Aleatório
– SQRT – Raiz Quadrada
– Round – Média
– Pow – Potenciação
Funções de String (Texto)
– Starts_With – Começa Com
– Split – Extração de Texto
– Lower e Upper – Maiúsculo e Minúsculo
– Trim – Extrair Parte do Texto
– Agendamento Logístico – Funções Date and Time
06 - Python - ETL Avançado Com Google BigQuery Cloud + GitHub
Carga horária 12 horas
Introdução
– Apresentação do Curso
– Recomendações Avaliação do Curso
– Material para Download
– Criando Conta – Google BigQuery
– Criando Projeto e Banco de Dados no BigQuery
– Estrutura Básica de Projeto Google BigQuery
Orientações e Instalações
– Tudo sobre os Scripts – Material para Download
– Sobre Versões do Python
– Download Baixando Python, Anaconda e VS Code
– Instalando Python, Anaconda e VS Code
– Primeiras Configurações e Instalando Extensões no VS Code
– Resolvendo Erro “O sistema não pode encontrar o arquivo especificado”
– Primeiros Comandos Python Jupyter Notebook
– Instalando Bibliotecas de Conexão
– Configurando Credenciais de Acesso ao Google BigQuery
Credenciais Google BigQuery
– Extraindo Dados do Google BigQuery com Python
– Extraindo Dados do Google BigQuery com Python – Informações de Credenciais
– Sobre Página Web do Governo
– Como Achar e Criar Dados Fictícios na Web
Comandos Básicos Python
– Sobre os Próximos Módulos
– Tipos de Dados Python
– Criando e Localizando Itens de Lista Python
– Editando Itens de Lista Python
– Criando um Ambiente Virtual
Manipulando Arquivos Excel/CSV/TXT
– Importando e Manipulando Arquivo Excel em Python com o Módulo Pandas
– Importando Arquivo CSV – Dicas de Programação via Python com o Módulo Pandas
– Tratando Nulos e Substituindo Valores em DataFrame Python (fillna e replace)
Tratamento de Dados
– Consolidando Vários Arquivos em Python
– Formas de Salvar Arquivos Consolidando
– Conectando Python com Power BI
– Conversão de Dados com o Módulo Pandas
– Conversão de Datas com o Módulo Pandas
– Adicionando Novas Colunas em DataFrame
Tratamento de Dados Avançado
– Arquivo em Excel com Várias Abas no Python
– Selecionando Apenas Algumas Colunas de um DataFrame
– Removendo Duplicatas (Drop Duplicates) com o Módulo Pandas
– Classificando Dados de Forma Crescente e Decrescente
– Renomeando Colunas com Python Pandas
Funções Avançadas BigQuery
– Ativando Conta de Faturamento
– Carregando Dados para o Google BigQuery com Python
– Carregando Dados para o Google BigQuery com Python – Parte 2
– Carregando Vários Arquivos de um Projeto BigQuery com Python
– Extraindo Vários Arquivos de um Projeto BigQuery com Python
– Executar Comando de Exclusão Antes da Carga (Função Data Google BigQuery)
– Executar Comando de Exclusão Antes da Carga com Python
– Mantendo Histórico de Base Google BigQuery com Python
Merge – Junção de Tabelas
– Mesclando – Juntando Várias Tabelas em Python
– Método Concat – Juntando Dados
Automação de Execução
– Orientação para Executáveis Python
– Transformando Arquivo Python em Executável
– Transformando Arquivo Python em Executável – Usando Interface Gráfica
– Executar Script Python Automaticamente – Agendador de Tarefas Schedule
– Rodar Script Python Automaticamente – Agendador de Tarefas do Windows
Diferentes Tipos de Arquivos
– Diferentes Arquivos (CSV, JSON, Parquet e ZIP) – Dados Públicos do Governo
– Salvando DataFrame em Formatos Diferentes
– Importando Arquivo Parquet no Power BI com Python e Power BI
– Manipulando Arquivo ZIP em Python
Outras Tratativas de Dados
– Consulta SQL Avançada em DataFrame Python
– Consulta SQL Avançada de Datas em DataFrame Python
– Configurando API Google Drive e Google Sheets para Importar Dados no Python
– Importando Dados do Google Planilhas Online (Google Sheets) com Python
– Conexão Google BigQuery com Google Planilhas (Google Sheets)
– Ajustando Erro de Automação Web – Chrome Driver com Selenium
– Configurando Automação Web – Chrome Driver com Selenium
– Instalando ChromeDriver Automaticamente em Script Python
– Localizando Elementos Web – Preenchimento de Dados Automáticos
– Criando Formulário Grátis do Google
– Preenchendo Formulário Automático com Python Automação
– Preenchendo Formulário com Origem no Excel de Forma Automática com Python Automação
– Selecionando Pasta Específica para Download e Deixando Navegador Oculto
– Como Baixar Vídeo e Áudio do YouTube
Continuando Estudos
– Trilha Análise de Dados
– Links de Acessos a Outros Cursos – Trilha Análise de Dados
– Apresentação GitHub
– Criando Conta no GitHub Grátis e Baixando Arquivos
– Como Instalar GitHub Desktop e GitBash
– Como Importar e Compartilhar Arquivos no GitHub
– Criando Repositório e Importando Arquivos via GitHub Desktop sem Usar Scripts
– Clonando Repositórios e Projetos Web
– Aprendendo Comandos Básicos no GitHub e GitBash
– Resolvendo Erro “remote: Repository not found”
– Importando Dados para Git via VS Code
– Ignorando Arquivos com Gitignore no GitHub – VS Code
– Clonando Arquivos e Projetos no GitHub via VS Code
07 - Engenharia de Dados com Python e Bancos de Dados SQL e NoSQL
Carga horária 19 horas
Introdução
Orientações e Instalações
– Recomendações do Curso
– Tudo sobre os Scripts – Material para Download
– Download Scripts
– Download Arquivos de Origem e Apoio
– Sobre Versões do Python
– Download Baixando Python, Anaconda e VS Code
– Instalando Python, Anaconda e VS Code
– Primeiras Configurações e Instalando Extensões no VS Code
Python – Conexão com PostgreSQL
– Download e Instalação PostgreSQL
– Ambiente PGADMIN PostgreSQL
– Configurando Ambiente Virtual no VS Code
– Instalando Bibliotecas Padrões
– Sobre Página Web do Governo
– Localizando Dados Públicos para Treino – Kaggle
– Localizando Dados Públicos para Treino – ANAC
– Padrão Conexão PostgreSQL com Python
– Manipulando Arquivo JSON em Python
– Entendendo sobre o Projeto – ANAC
– Importando e Preparando Dados DataFrame
– Inserindo Dados em Banco de Dados PostgreSQL
– Configurando Script Python para Deletar Dados Antes de Carga para Banco
– Refatorando Código Python e Salvando no Formato Py
– Mapeando Colunas Diferentes com as do Banco de Dados
– Conectando PostgreSQL com Python – Avançado com SQLAlchemy
– Carga Incremental de Ano com Python e SQLAlchemy
– Carga Incremental de Ano com Python e SQLAlchemy (Refatorando Código)
– Carga Incremental – Últimos 3 Meses com Python e SQLAlchemy
– Importando Consulta SQL para Python
– Salvando DataFrame em Vários Formatos (JSON, CSV, Parquet, Excel)
– Lendo Arquivos de Vários Formatos (JSON, CSV, Parquet, Excel)
– DBeaver – Conexão com Vários Bancos de Dados
– DBeaver – Conexão com Vários Bancos de Dados – Primeiro Contato
– DBeaver – Conexão com Bancos de Dados PostgreSQL
– Extensão VS Code para Conectar PostgreSQL
– Extensão VS Code para Conectar Banco de Dados – Database Client
Python – Conexão com MySQL
– Instalação e Configuração do MySQL [Atualizado]
– Resolvendo Erro de Instalação MySQL – Windows Não Reconhece
– Conhecendo Ambiente MySQL
– Documentação Python – MySQL
– Configurando Ambiente Virtual VS Code – MySQL
– Instalando Bibliotecas Padrões – MySQL
– Padrão Conexão MySQL com Python – mysql-connector-python
– Padrão Conexão MySQL com Python – mysql-connector-python Parâmetro 2
– Importando Dados do MySQL para Python (Rodando Query)
– Comandos Básicos MySQL – CREATE e DROP DATABASE-TABLE
– Executando Comando MySQL em Python
– Sobre as Próximas Aulas – Documentação API do IBGE e Diagrama de Banco de Dados
– Conhecendo Projeto – Diagramas Banco de Dados MySQL
– Ambiente Diagrama Workbench MySQL
– Criando Primeiras Tabelas no Diagrama Workbench MySQL
– Criando Primeiro Relacionamento de Tabelas
– Criando Tabela de Clientes no Workbench MySQL
– Criando Tabela de Ordens e Lojas no Workbench MySQL
– Criando Tabela Auxiliar (Relacionamento Muitos para Muitos)
– Criando Script e Gerando Tabelas do Diagrama Workbench MySQL
– Importando Dados de Categoria
– Inserindo Dados de DataFrame Python no MySQL
– Validando Dados – Chave Primária Antes de Realizar a Carga
– Organizando Código e Criando Funções em Python
– Carga Tabela de Lojas – Funções Avançadas Python MySQL
– Carga Tabela de Clientes – Funções Avançadas Python MySQL
– Script Completo com Carga de 6 Tabelas – Resolvendo Erros
– DBeaver – Conexão com Bancos de Dados MySQL
– Extensão VS Code para Conectar MySQL
– Conexão MySQL com SQLAlchemy
– Conexão MySQL com SQLAlchemy – Enviando Dados para o MySQL – Avançado
– Migração de Bancos de Dados Diferentes – PostgreSQL para MySQL
– Refatorando Código – Migração PostgreSQL para MySQL
– Migração de Bancos de Dados Diferentes – MySQL para PostgreSQL
SQLite – Projeto Prático
– Conhecendo SQLite e Instalando SQLiteStudio
– Resolvendo Erro ao Executar SQLite Studio
– Conhecendo Projeto do Módulo SQLite
– Preparando Ambiente no VS Code – SQLite
– Criando Primeiro Banco e Primeira Tabela SQLite
– Inserindo Primeiros Dados no SQLite – SQLite Studio
– Primeiros Comandos SQLite em Python
– Passos do Projeto – Cadastro de Produtos
– Criando Estrutura Banco de Dados SQLite
– Criando Interface Gráfica Python com tkinter – Comandos Básicos
– Interface Gráfica Python com tkinter – Criando Várias Opções
– Criando Botões no tkinter
– Criando Interação Código com Interface Gráfica Python
– Interação Código com Interface Gráfica Python (Limpando Resultados e Criando Mês)
– Finalizando Projeto – Interface Gráfica Python (SQLite)
– Validação de Número no Projeto SQLite
– DBeaver – Conexão com Bancos de Dados SQLite
08 - MongoDB Bancos de Dados NoSQL e ETL com Python + GitHUb
Carga horária 12 horas
Introdução
– Introdução
– Recomendação Para Avaliação do Curso
Preparando Ambiente
– Sobre o MongoDB
– Baixando e instalando MongoDB Community e Compass – Grátis
– MongoDb Resolvendo Erro no Windows
– Primeiro Contato com MongoDB Compass
– Criando Conta MongoDB Online Grátis
– Resolvendo erro de acesso MongoDB Online
– Sobre versões do Python
– Download Baixando Python, Anaconda e VS Code
– Instalando Python, Anaconda e VS Code
– Primeiras configurações e instalando extensões VS Code
– Tudo sobre os Scripts-Material para Download
– Preparando material do Curso no VS Code
– Instalando extensão MongoDB no VS Code e configurando Conexão
Primeiros Comandos
– Primeiras configurações VS Code extensão MongoDB
– Primeiro insert mongoDB com InsertOne e insertMany
– Consultas em MongoDB
– Query MongoDb Usando Inteligencia Artificial
– Selecionando apenas algumas Colunas
– Estruturas dos dados Json aninhados e array
– Sobre página Web do Gov
– Localizando Dados Públicos Para Treino ANAC
– Extensão Json Para VS Code
– Importando Arquivo Json para MongoDB
Conexão com Python – Comandos Avançados
– Primeira Conexão MongoDB – Python
– Selecionando Colunas Filtros Avançados MongoDB
– Transformando dados MongoDB em um DF
– Tratando dados com Objetos Aninhados – Comando avançados
– Tratando dados com Objetos Aninhados Tabela Única
– Instalando e configurando MongoDB Shell – Resolvendo erro e primeiras conexões
– Mongo DB Shell em VS Code
– Operadores Lógicos Filtros Avançados
– Operadores Lógicos Filtros Avançados em Python
API
– Sobre API Com Python
– Primeira conexão com API
– Transformando dados de API IBGE em DataFrame
– Tratativas de dados avançados API formato Json
– Comandos avançados API Json
– Query Builder – API IBGE
– API IBGE inserindo dados MongoDB com Python
– API IBGE inserindo dados MongoDB com Python Dataframe
NoSQL Booster
– NoSQL Booster para que serve?
– Baixando, Instalando e configurando acessos NoSQLBooster – MongoDB
– Conhecendo a interface NoSQLBooster
– Consulta SQL no NoSQLBooster – MongoDB
– Consulta Avançada SQL no NoSQLBooster – MongoDB
– Consulta Escolhendo Colunas SQL no NoSQLBooster – MongoDB
– Comandos do Sistema NoSQLBooster
09 - Databricks Developer SQL e Python Para Análise de Dados
Carga horária 24 horas
Primeiras Configurações e Cadastros
– Criando Conta Gratuita – Databricks
– Conhecendo os Menus Databricks
– Documentação do Databricks
– Criando e Configurando Primeiro Cluster Máquina Virtual Grátis
Primeiros Comandos Manipulação de Arquivos
– Material para Download
– Atualização Catalog
– Importando Scripts e Notebooks para o Databricks
– Manipulação de Dados Databricks dbutils
– Manipulando DataFrame Databricks
– Localizando Dados Públicos para Treino – databricks-datasets + kaggle.com
Comandos SQL
– Criando Banco de Dados e Importando Tabelas para Databricks
– Salvando Consulta SQL em um DataFrame do Databricks
– Salvando Dados em Diferentes Formatos
Tipos de Dados PySpark – Databricks
– Baixando Dados Públicos do Governo – CSV
– Formato CSV Avançado – PySpark Databricks
– Salvando e Lendo Arquivo CSV Compactados
– Baixando Dados Públicos do Governo – JSON
– Manipulando Arquivo no Formato JSON
– Manipulando Arquivo Parquet e Comparação com JSON e CSV
– Arquivos Parquet Particionado – Exemplo Prático
– Sistema Interno de Arquivo
Databricks no Power BI
– Conectando Databricks com Power BI
– Construindo Query Personalizada
– Importando Tabela com Dados Completos para Power BI
– Importando Dados de Origem para Formato Delta no Databricks
– Importando Dados Databricks para Power BI (Resolvendo Erro)
Filtros Avançados de Dados
– Filtros de Textos no Databricks (Método Filter)
– Filtro Composto em DataFrame
– Filtro Avançado – Método where
– Comandos SQL
– Funções Avançadas Spark (Índices e Variáveis)
– Corrigindo Erro de Maiúsculas e Minúsculas
– Como Eliminar Espaços Excessivos em Seus Textos
– Substituindo Dados Avançados – Funções translate, lower e trim
– Função Like – Achando Trechos de Textos
– Filtro de Valores
Manipulação de Colunas
– Schema de Dados (Verificando Tipo de Dados)
– Selecionando Apenas Algumas Colunas do DataFrame
– Criando uma Nova Coluna
– Criando Coluna Condicional
– Criando Coluna Condicional de Valor
– Criando Coluna Condicional entre Valores
– Comando SQL – Criando Coluna Condicional
– Comando SQL – Criando Coluna Condicional entre Valores
Conversão de Dados
– Renomeando Colunas – withColumnRenamed e Alias
– Conversão de Dados – Método cast + withColumn
– Conversões Numéricas Avançadas
– Arredondamento de Números
Trabalhando com Data e Hora
– Trabalhando com Datas – DataFrame
– Comandos e Formatos de Datas – Avançado
– Calculando Diferença entre Datas – Adição e Subtração
– Trabalhando com Datas Avançadas em SQL Databricks
Tratando Dados Nulos
– Tratando Dados Nulos com Método dropna e seus Parâmetros
– Filtrando Dados Nulos
– Substituindo Dados Nulos
– Tratando Nulos Databricks em SQL
Funções de Agregações
– Agregações no Databricks – Contagem, Média, Mínimo e Máximo
– Agregações no Databricks – Contagem, Média, Mínimo e Máximo em SQL
– Databricks Delta Lake – Transações e Controle de Dados
– O que é Delta Lake e seus Benefícios
– Tudo sobre Logs de Tabelas Delta Databricks
– Restaurando Dados usando Tabelas Tipo Delta Databricks
– Otimização de Dados – Salvando em Modo Particionado
– Otimização de Dados – Funções Avançadas
Conta na Microsoft Azure Cloud
– Material para Download – Miniprojeto
– Orientações antes da Criação de Conta
– Custos do Projeto
– Criando Conta na Microsoft Azure
– Definindo Alerta de Gastos
– Arquitetura Básica do Projeto Azure
GitHub
– Dica Plus sobre GitHub Integrado com Databricks
– Recomendações sobre Aulas GitHub
– Criando Conta no GitHub Grátis e Baixando Arquivos
– Como Instalar GitHub Desktop e GitBash
– Como Importar e Compartilhar Arquivos no GitHub
– Criando Repositório e Importando Arquivos via GitHub Desktop sem Usar Scripts
– Clonando Repositórios e Projetos Web
– Aprendendo Comandos Básicos GitHub e GitBash
Preparando Ambiente Azure
– Criando Grupo de Recurso
– Criando Conta de Armazenamento Gen2
– Estruturando Data Lake – Camadas de Armazenamento Bronze, Prata e Ouro
– Criando Autenticação e Autorização
– Atribuindo Permissões ao Data Lake do Projeto
– Azure Storage Explorer
Preparando Ambiente Azure Databricks
– Criando Conta Azure Databricks
– Conhecendo o Ambiente Azure Databricks
– Conectando Databricks com GitHub
– Configurando Cluster (Máquina Virtual de Execução) – Tudo sobre Valores
– Importando e Exportando Notebook para o Azure Databricks – GitHub
– Configurando Acesso Databricks com Azure Data Lake
Projeto Prático Azure Databricks
– Transformando Dados da Camada Bronze para a Silver
– Descrição do Projeto Gold
– Transformando Dados da Camada Silver para a Gold
– Refatorando Notebook Gold
– Organizando Área de Trabalho e Repositório GitHub
– Criando Job de Execução Automática Databricks – Pipeline
– Criando Recurso Data Factory
– Configurando Data Factory no GitHub
– Criando Conexão Pipeline Azure com Databricks
– Testando e Configurando Pipeline para Rodar Automaticamente
– Deletando Recursos do Projeto
10 - Databricks Certified Data Engineer Associate
Carga horária 23 horas
Primeiras Configurações e Cadastros
– Criando Conta Gratuita – Databricks versão Community
– Conhecendo Menus Databricks Community
– Criando e Configurando Primeiro Cluster Máquina Virtual Grátis
– Ativando DBFS – Versão Community
Preparando Ambiente Azure Databricks
– Sobre Ambiente Cloud Databricks
– Orientações Antes da Criação de Conta – Azure
– Custos do Projeto
– Criando Conta na Microsoft Azure
– Definindo Alerta de Gastos
– Criando Conta Azure Databricks
– Conhecendo o Ambiente Azure Databricks
– Configurando Cluster (Máquina Virtual de Execução) – Tudo sobre Valores
– Ativando DBFS Azure Databricks
Comandos Básicos
– Comandos Básicos Notebooks
– Databricks Repos – Integração com GitHub
– Databricks Repos – Integração com GitHub (Várias Branchs)
– Organização do Material para Download
– Sobre Material para Download
– Como Importar Arquivos e Notebooks para Azure Databricks
– Atualização Plataforma
– DBFS Databricks File System – Trabalhando com Arquivos
– Lendo Arquivo CSV e Manipulando Pastas
– Assistente de IA – Inteligência Artificial do Databricks
– DBFS – Manipulando Pastas e Subpastas
– Data Sets – Dados para Treino no Databricks
Lake House Platform
– Documentação Databricks – O que é Delta LakeHouse
– Transações de Logs – Delta Log
– Tabelas em Delta Lake na Prática – Criando Primeira Delta Table
– Sobre Arquivos de Logs – Delta Table
– Históricos de Informações em Delta Table
– Restaurando Versões de Tabela – Comandos Avançados
Otimização de Schema de Tabelas
– Optimize e Otimização Preditiva
– VACUUM – Limpeza de uma Tabela Delta
– MANAGED LOCATION – Controle de Metadados
– Controle de Schemas e Databases Avançado
Tabelas e Views no Databricks
– Criando Tabela Particionada no Databricks
– Create Table As Select (CTAS) – Create Table [Using]
– Tipos de Views e Views Temporárias
– Usabilidade de uma View
– Views e Views Temporárias na Prática
ETL com Arquivos – SQL
– Queries em Arquivos – Teoria
– Query em Arquivo JSON
– Query em Arquivo CSV
– Query em Arquivo CSV – Configurações Completas
– Transformando Arquivos em Tabelas – JSON (Preparando Arquivo)
– Transformando Arquivos em Tabelas – JSON
– Criando Tabela Delta a Partir de Arquivo com CREATE TABLE AS (CTAS)
– Arquivos de Datasets Públicos para Download
– Transformando Arquivos em Tabelas – USING CSV
– Transformando Arquivos em Tabelas Delta – CSV (CTAS com Read Files)
– Escrevendo em Tabelas – Comandos Práticos
– Escrevendo em Tabelas – Selecionando Colunas
– Criando Views com Origem de Arquivos
ETL com Arquivos – Python Avançado
– Preparando Arquivos JSON – API IBGE
– Salvando DataFrame em Tabela – Spark
– Transformando Arquivo JSON em Tabela – Python e Spark
– Consulta Avançada em Tabela Delta – Objetos Aninhados JSON
Dados em Streaming – Carga Incremental
– Estrutura Streaming – Conceito e Documentação
– Sintaxe Streaming – Como Funciona na Prática
– COPY INTO e Auto Loader – Carga Incremental
– Auto Loader – Carga Incremental na Prática
– Arquitetura Medallion – Multi-Hop
– Arquitetura Medallion – Multi-Hop – Dimensionamento
11 - Databricks Certified Data Engineer Associate - Simulado
Testes práticos para o exame de certificação Databricks Data Engineer Associate.
Preparei um excelente material com perguntas e explicações detalhadas além de links de referências para estudo que estão disponíveis para prepará-lo para o exame real
Duração
Os testes terão 45 minutos para concluir cada exame prático, podendo repetir quantas vezes quiser.
Questões
Há várias questões de múltipla escolha em cada exame prático. As questões serão distribuídas por tópico de alto nível para chegar ao mais próximo possível do exame real que é destribuido da seguinte maneira:
Distribuição do exame real:
Plataforma Databricks Lakehouse – 24% (11/45)
ELT com Spark SQL e Python – 29% (13/45)
Processamento de Dados Incremental – 24% (11/45)
Pipelines de produção – 16% (7/45)
Governança de Dados – 7% (3/45)
Depois de passar nesses exames práticos, você estará pronto para fazer o exame de certificação.
Temas Abordados
Os testes práticos abrangem os seguintes tópicos do exame com explicações detalhadas:
Entenda como utilizar e os benefícios de utilizar a Plataforma Databricks Lakehouse e suas ferramentas, incluindo:
Data Lakehouse (arquitetura, descrições, benefícios)
Espaço de trabalho de Ciência e Engenharia de Dados (clusters, notebooks, armazenamento de dados)
Delta Lake (conceitos gerais, gerenciamento e manipulação de tabelas, otimizações)
Crie pipelines ETL usando Apache Spark SQL e Python, incluindo:
Entidades relacionais (bancos de dados, tabelas, visualizações)
ELT (criação de tabelas, gravação de dados em tabelas, limpeza de dados, combinação e remodelação de tabelas, SQL UDFs)
Python (facilitando Spark SQL com manipulação de strings e fluxo de controle, passando dados entre PySpark e Spark SQL)
Processar dados de forma incremental, incluindo:
Streaming estruturado (conceitos gerais, gatilhos, marcas d’água)
Carregador automático (leituras em fluxo contínuo)
Arquitetura multi-hop (bronze-prata-ouro, aplicações de streaming)
Delta Live Tables (benefícios e recursos)
Crie pipelines de produção para aplicativos de engenharia de dados e consultas e painéis SQL do Databricks, incluindo:
Trabalhos (agendamento, orquestração de tarefas, IU)
Painéis (endpoints, agendamento, alertas, atualização)
Entenda e siga as melhores práticas de segurança, incluindo:
Permissões de entidade (privilégios de objetos de dados)
- Seu Mentor
Edmilson Alves é Analista de BI, Engenheiro de Dados, Consultor e Instrutor em automação ETL e pipelines de dados, com MBA em Ciência de Dados e Big Data pela PUC Minas.
Possui sólida experiência em processos de ETL e manipulação de dados, abrangendo diversas bases de dados para análise, extração e modelagem.
Desenvolve projetos completos de Business Intelligence, desde a coleta e estruturação de dados até a criação de dashboards personalizados, utilizando ferramentas como Python, Databricks, SSIS, Apache Spark, Power BI, SQL Server, MySQL, PostgreSQL, Google BigQuery, MongoDB e Google Looker Studio.
Também é entusiasta em compartilhar conhecimento, ministrando treinamentos e cursos para capacitar novos profissionais da área de dados.
Suas formações incluem, além do MBA em Ciência de Dados e Big Data, MBA em Logística e Gestão de Marketing, além de especializações em Engenharia de Produção e Supply Chain Management.
FeedBack de Alunos
Quanto ganha um Analista de Dados e Desenvolvedor Big Data?
R$4.700/Mês
Analista de Dados Junior
R$6.500/Mês
Analista de Dados Pleno
R$11.000/Mês
Analista de Dados Senior
R$11.000/Mês Por que devo aprender sobre ÁREA DE DADOS?
Grandes empresas estão com dificuldades em encontrar mão de obra qualificada.
Vou te ajudar a dar os primeiros passos até você chegar aos níveis mais avançados para se destacar em pouco tempo.
Além de tudo isso, a maioria das vagas são remotas. Já pensou em consultar sua liberdade financeira e poder trabalhar de casa?
Vale a pena o investimento no curso de capacitação?
Sim, é uma decisão inteligente e estratégica.
A demanda por profissionais qualificados está em alta, especialmente na área de tecnologia da informação (TI).
Certamente, você poderá recuperar 5X o valor do investimento na primeira oportunidade após a capacitação.
As empresas estão reconhecendo, cada vez mais, a importância dos dados e a necessidade de profissionais capacitados.
Ou seja, a demanda é infinita, onde tiver dados vão precisar de alguém para fazer o gerenciamento , automação e tratamento destes dados , você pode desenvolver projetos para várias áreas desde empresas pequenas até multinacionais
Preciso de faculdade para conseguir meu primeiro emprego na área?
A resposta é Não!!!
Não é um requisito absoluto, muitas empresas estão mais interessadas nas habilidades práticas e na capacidade de análise de dados do que no diploma específico.
Você terá todo o suporte e aulas focadas no que
realmente importa
Após conseguir sua sonhada vaga, irá trabalhar ao lado de profissionais mais capacitados e assim poderá aprimorar cada vez mais suas habilidades e, futuramente, fazer a faculdade na área que irá te levar a cargos e salários mais altos.
Este curso tem Tudo que Você Precisa Para entrar no mercado de trabalho
- Método com muita prática e projetos completos
- Suporte exclusivo
- Tudo sobre banco de dados SQL, Python,Databricks, Power BI, Excel e as ferramentas que o mercado exige
- Fundamentos do básico ao avançado para entrar no mercado mesmo saindo do absoluto zero
- Desenvolvimento em projetos Cloud (Nuvem) em diversas plataformas
- Material disponível para auxílio em seu trabalho ou consultorias
- Mais de 650 vídeo aulas e mais de 170 horas de conteúdo original
- Aplicabilidade de tratamentos de dados para performance no dia a dia
- Todos os fundamentos necessários para criar seus projetos de ETL: Extração, Transformação e Carga de dados
- Atualizações regulares do conteúdo do curso
- Material para construir seu portfólio
- Certificação MEC
Ao final do curso, você receberá o certificado
Será capaz de criar rotinas ETL do zero dando conta de suprir todas as demandas do seu futuro emprego
Você vai sair do curso com muita experiência e vários projetos no currículo!!
A principal conquista do curso não é apenas o certificado, mas sim a construção de um portfólio sólido. Durante o curso, você terá a oportunidade de trabalhar em projetos práticos e lidar com situações reais, o que é fundamental para se destacar no mercado
- A velocidade de entrada no mercado é relativa e pode variar entre 5 a 10 meses depende do seu empenho. As aulas são com conteúdos simples e didáticos e chegaremos a níveis avançados em pouco tempo.
- Atualmente, a área de tecnologia está em constante crescimento. Muitas empresas estão aprendendo a valorizar as informações que têm, desta forma, dependem de alguém capaz de fazer esse gerenciamento. Porém, ainda não há profissionais capacitados o bastante, assim, a oferta de vagas é muito maior que a quantidade de profissionais.
- Sendo Assim , com o seu empenho e dedicação vai se tornar um profissional desejado em poucos meses
O Mercado de Dados Precisa de Profissionais Completos. Você Está Pronto?
A área de dados cresce em ritmo acelerado, e o mercado está em busca de profissionais que vão além do básico — gente que domina ferramentas como SQL, Python, Databricks, Dados em nuvem, Power BI, Excel e sabe aplicar esse conhecimento em situações reais.
Na Infinity Big Data, você desenvolve exatamente esse perfil: técnico, estratégico e pronto para atuar desde os primeiros módulos.
Se você quer transformar sua carreira e ocupar seu espaço no mercado de tecnologia, essa é a hora de se capacitar com quem entende do assunto.
Para Quem é essa Formação
Se você deseja aprender na prática e se tornar referência no mercado de dados, essa formação é para você!
Iniciantes Absolutos
Mesmo que você nunca tenha programado antes, nosso curso te guia passo a passo desde os fundamentos até projetos práticos com ferramentas do mercado.
Profissionais de TI
Se você já trabalha com tecnologia e quer migrar ou se destacar na área de dados, aqui você aprende com foco prático e apoio para acelerar sua transição.
Avanço de Carreira
Com conhecimento técnico sólido e certificado reconhecido, você aumenta suas chances de conquistar vagas disputadas na área de dados
- Ainda não acabou
Conteúdos Complementares para maximizar seus resultados
Acessos aos códigos Material de apoio e templates
Acesso a scripts e material para montar seu portfólio
Suporte exclusivo no Discod
Suporte da plataforma pelo Wathaspp
Certificado compartilhavel com Linkedin
- Ainda não acabou
Conteúdos Complementares para maximizar seus resultados
Acessos aos códigos Material de apoio e templates
Acesso a scripts e material para montar seu portfólio
Suporte exclusivo no Discod
Suporte da plataforma pelo Wathaspp
Certificado compartilhavel com Linkedin
Premium
De R$ 1.960,90
Por 12x de
R$ 134,35
Ou R$ 1.299,00 à vista
- Área de membros exclusiva
- Trilha 1 - Datada Engineer Fundamentals
- Trilha 2 - Python ETL avançado + Cloud
- Trilha 3 - Databricks plataform
- Simulado certificação Databricks Engineer
- Atualizações frequentes
- Suporte exclusivo no Discord
- Comunidade de alunos no Discord
- Suporte a plataforma pelo Whatsapp
- Certificado reconhecido pelo MEC
- Certificados extras por trilhas
- Acesso a plataforma por 2 anos
Basic
De R$ 789,00
Por 12x de
R$ 38,50
Ou R$ 379,90 à vista
- ✖ Área de membros exclusiva
- Trilha 1 - Datada Engineer Fundamentals
- Trilha 2 - Python ETL avançado + Cloud
- ✖ Trilha 3 - Databricks plataform
- ✖ Simulado certificação Databricks Enginner
- Atualizações frequentes
- ✖ Suporte exclusivo no Discord
- ✖ Comunidade de alunos no Discord
- ✖ Suporte a plataforma pelo Whatsapp
- ✖ Certificado reconhecido pelo MEC
- Certificados emitidos para cada curso
- ✖ Acesso à plataforma por 2 anos
- Acesso a plataforma por 1 ano
Free
GRÁTIS
- Área de membros exclusiva
- Trilha 1 - Datada Engineer Fundamentals
- ✖ Trilha 2 - Python ETL avançado + Cloud
- ✖ Trilha 3 - Databricks plataform
- ✖ Simulado certificação Databricks Engineer
- Atualizações frequentes
- ✖ Suporte exclusivo no Discord
- ✖ Comunidade de alunos no Discord
- ✖ Suporte a plataforma pelo Whatsapp
- ✖ Certificado reconhecido pelo MEC
- Certificado da trilha 1 com 80 horas
- ✖ Acesso a plataforma por 2 anos
- Acesso a plataforma por 3 meses
PERSONALIZADO
Planos especiais para equipes e empresas
Converse com um de nossos consultores e iremos encontrar a melhor forma de atender as necessidades da sua empresa.
Redireciona para o whatsapp
- Chegou a hora
Garanta Sua Vaga com Vantagens Exclusivas!
Tudo o que você vai receber ao se matricular agora:
- Formação completa em Engenharia de Dados (180+ horas de conteúdo)
- Acesso imediato a mais de 650 aulas gravadas e atualizadas
- Certificado de Conclusão reconhecido nacionalmente
- Projetos reais para construir seu portfólio profissional
- Suporte técnico individual com resposta em até 24h
- Acesso vitalício ao conteúdo e atualizações constantes
- Aprendizado com ferramentas essenciais: SQL, Python, Power BI, Excel e Databricks
- Flexibilidade total para estudar no seu ritmo
- Comunidade exclusiva para networking e trocas com outros alunos
- Templates prontos para facilitar seu desenvolvimento
- Repositório no GitHub com códigos dos projetos
- Formação focada no que o mercado realmente exige
Infinity BigData
🏅 Certificação MEC | ⚙️ Metodologia Exclusiva | ⏰ Carga: 180 Horas
🏅 Certificação MEC
⚙️ Metodologia Exclusiva⏰ Carga: 180 Horas
⚠️ Vagas Abertas Até: XX/XX ⚠️
APENAS 12X DE
R$ 38,50
Ou R$379,90 a vista!
Preencha o formulário para ir para a tela de pagamento
- Você não corre nenhum risco
100% de Satisfação ou Seu Dinheiro de Volta
Confiamos tanto em nosso curso que assumimos o risco por você e oferecemos uma garantia total de 7 dias!
- FAQ
Perguntas Frequentes
Ainda ficou com dúvidas?
Entre em contato com nosso suporte pelo WhatsApp e vamos te ajudar
A formação tem certificado de conclusão?
Sim, ao finalizar a formação completa, você receberá um certificado aprovado pelo MEC comprovando suas habilidades técnicas, bem como a carga horária de cada curso, além de certificados personalizados por módulos
Qual a carga horária dos cursos?
São mais de 180 horas de videoaulas, além do tempo necessário para as atividades práticas e projetos.Sim, é uma decisão inteligente e estratégica.
A demanda por profissionais qualificados está em alta, especialmente na área de tecnologia da informação (TI).
Certamente, você poderá recuperar 5X o valor do investimento na primeira oportunidade após a capacitação.
As empresas estão reconhecendo, cada vez mais, a importância dos dados e a necessidade de profissionais capacitados.
Ou seja, a demanda é infinita, onde tiver dados vão precisar de alguém para fazer o gerenciamento , automação e tratamento destes dados , você pode desenvolver projetos para várias áreas desde empresas pequenas até multinacionais
Quais as formas de pagamento?
Aceitamos cartão de crédito, cartão de débito , boleto bancário ou PIX, proporcionando segurança em transações
Como posso obter ajuda/suporte caso necessite?
Em caso de dúvidas ou necessidade de suporte, estamos aqui para ajudar. Cada um dos cursos dispõe de um fórum dedicado, onde os alunos podem fazer perguntas a qualquer momento. O Prof. Edmilson se compromete a responder a todas as dúvidas em um prazo máximo de 24 horas.
Não conheço a área , consigo fazer o curso?
Sim, saímos do absoluto zero com instruções do básico até o mais avançado com toda orientação para a instalação de programas, criação de contas e organização do material para Download