Este repositório reúne minhas atividades, projetos e estudos em Engenharia de Dados — da base à especialização.
| Módulo | Descrição curta | Status |
|---|---|---|
| Bootcamp Intensivo Python | Percurso completo do básico ao avançado em Python, desenvolvendo habilidades para manipulação de dados, orientação a objetos, automação, criação de APIs e integração de sistemas através de projetos práticos que conectam backend, frontend e banco de dados. | ✅ Concluído |
| Bootcamp Intensivo SQL + DBT Core | Formação prática em SQL e dbt para transformar dados brutos em informações confiáveis, cobrindo desde consultas, modelagem, desempenho e automação até a construção de pipelines de dados modernos e testes em ambientes produtivos | ⏳ Em andamento |
| Workshop de Engenharia de Dados + IA | Capacitação prática para construir, orquestrar e escalar pipelines modernos de dados e inteligência artificial, cobrindo infraestrutura, automação, bancos, agentes de IA, processamento em tempo real, observabilidade, DevOps e gerenciamento de projetos ponta a ponta. | 🎯 Em breve |
- Projetos de Dados: Estruturação do zero, boas práticas, organização de processos e versionamento (GitHub).
- Pipelines e Orquestração: Airflow, DAGs, deployment de workflows, ETL multi-engine (Databricks, DuckDB, PySpark) e pipelines com DBT.
- Cloud e Infraestrutura: AWS, Azure, infraestrutura como código (Terraform), Docker, Linux, Kubernetes, DevOps.
- APIs e Integrações: REST API com FastAPI, event-driven com AWS SQS/Lambda, scraping web com Python e requests.
- Armazenamento e Bancos: Data Warehouses, bancos NoSQL (Redis, MongoDB), integração e extração de dados modernos.
- Streaming e Tempo Real: Arquitetura com Kafka, dashboards de streaming com Streamlit.
- Data Quality e Testes: TDD, validação com Pydantic, monitoramento de pipelines, observabilidade.
- Extração Avançada de Dados: PDF, Regex, automação e integração.
- Visualização e Deploy: Jupyter para deploy, construção de painéis interativos.
Para mais detalhes, explore os READMEs específicos dentro de cada pasta/módulo.