Destino Dev

Cursos

Engenharia de Dados: Pipelines e ETL com Python

Código do curso: github.com/johnpires/engenharia-de-dados-pipelines-etl-python

Domine a Engenharia de Dados com Python e construa pipelines robustos de coleta, transformação e entrega de dados em larga escala. Neste curso avançado, você aprenderá a arquitetar soluções ETL (Extract, Transform, Load) profissionais utilizando as ferramentas mais utilizadas no mercado, incluindo Apache Airflow, dbt, Pandas, PySpark e muito mais.

Você entenderá como projetar data pipelines resilientes com tratamento de falhas, reprocessamento e monitoramento. Aprenderá a trabalhar com diferentes fontes de dados (bancos relacionais, APIs REST, arquivos CSV/JSON/Parquet, streams Kafka), aplicar transformações complexas e carregar dados em data warehouses como BigQuery, Redshift e Snowflake.

Ao final do curso, você terá construído um pipeline ETL completo em produção, com orquestração via Apache Airflow, qualidade de dados com Great Expectations, armazenamento em camadas (Bronze/Silver/Gold), CI/CD automatizado e deploy em ambiente cloud. Um projeto completo e real para seu portfólio de engenheiro de dados.

Conteúdo do curso

Módulo 1: Fundamentos de Engenharia de Dados e Arquitetura de Pipelines

  1. O Papel do Engenheiro de Dados e o Ecossistema Atual (15 min)
  2. Arquitetura Medallion: Bronze, Silver e Gold (15 min)
  3. ETL vs ELT e Batch vs Streaming (15 min)
  4. Formatos de Dados: Parquet, Delta Lake e Boas Práticas (15 min)
  5. Configurando o Ambiente com Docker e Python (15 min)
  6. PySpark: DataFrames, Lazy Evaluation e Otimizações (20 min)
  7. Qualidade de Dados com Great Expectations (20 min)

Módulo 2: Extração de Dados: Bancos Relacionais, APIs e Arquivos

  1. Extração de Dados de Bancos Relacionais com SQLAlchemy (20 min)
  2. Extração de APIs REST: Paginação, Retry e Rate Limiting (20 min)
  3. Leitura de Arquivos: CSV, JSON, Parquet e Excel (15 min)
  4. Extração Incremental e Change Data Capture (20 min)
  5. Conectando a Múltiplas Fontes: MongoDB e Redis (15 min)
  6. Web Scraping com BeautifulSoup e Scrapy (15 min)
  7. Validando e Salvando Dados na Camada Bronze (20 min)

Módulo 3: Transformação de Dados com Pandas e PySpark

  1. Transformações Avançadas com Pandas (20 min)
  2. PySpark: Joins, Window Functions e Otimização (25 min)
  3. dbt: Transformações SQL Versionadas (20 min)
  4. Tratamento de Erros e Resiliência em Pipelines (20 min)
  5. Bronze para Silver: Implementando a Transformação Completa (25 min)
  6. Silver para Gold: Modelos Analíticos (20 min)
  7. Testes de Transformações com pytest (15 min)

Módulo 4: Carregamento e Armazenamento: Data Warehouses e Data Lakes

  1. Data Warehouses: BigQuery, Snowflake e Redshift (20 min)
  2. Data Lakes com MinIO e AWS S3 (20 min)
  3. Estratégias de Carga: Full, Incremental e MERGE (20 min)
  4. Apache Iceberg: Tabelas Abertas para Data Lakes (15 min)
  5. Particionamento e Indexação para Performance (15 min)
  6. Carregando Dados em PostgreSQL e Redshift com PySpark (15 min)
  7. Governança e Catálogo de Dados (15 min)

Módulo 5: Orquestração com Apache Airflow

  1. Apache Airflow: Conceitos, Arquitetura e DAGs (20 min)
  2. Operators, Sensors e XCom no Airflow (20 min)
  3. Conexões, Variáveis e Monitoramento no Airflow (20 min)
  4. DAGs Avançados: TaskGroups, Dinâmicos e Dependências Externas (20 min)
  5. Airflow com Docker e Deploy em Produção (20 min)
  6. Boas Práticas: Idempotência, Performance e Debugging (20 min)
  7. Pipeline Completo Orquestrado com Airflow (25 min)

Módulo 6: Projeto Final: Pipeline ETL Completo em Producao

  1. Arquitetura do Projeto Final: E-Commerce Data Platform (12 min)
  2. Setup do Ambiente com Docker Compose (14 min)
  3. Pipeline de Ingestão Incremental (16 min)
  4. Transformações Bronze → Silver → Gold com PySpark (18 min)
  5. Validação de Dados com Great Expectations (14 min)
  6. Monitoramento, Alertas e Boas Práticas em Produção (13 min)
  7. Deploy Final, CI/CD e Próximos Passos (12 min)