Data Modeling & Pipelines — Catálogo
Escolha um curso ou um pack para começar.
As profissões de Data Engineering incluem Data Engineers, Analytics Engineers, Data Platform Engineers, programadores Data e profissionais encarregados de alimentar a BI, o Analytics e a IA com dados fiáveis. A necessidade de formação resulta da passagem de um simples script de transformação para uma verdadeira cadeia de dados: ingestão, modelo analítico, qualidade, orquestração, historização, observabilidade, governação e recuperação têm de funcionar em conjunto.
Os 15 cursos abrangem arquiteturas de dados, modelação analítica, armazenamento e formatos, ingestão multifonte, ETL/ELT, carregamentos incrementais, dbt, Airflow, qualidade e contratos de dados, catálogo e lineage, batch e eventos, desempenho e custos, governação, CI e preparação de um pipeline Analytics completo para produção. No final do percurso, saberá construir e operar uma plataforma de dados fiável, testada, rastreável, governada e pronta para a BI e a IA.
🎓 15 cursos • 📘 120 lições interativas • ⏱️ de 45 a 75 horas de formação através do diálogo
Melhor oferta
Pack Completo — Data Modeling & Pipelines
142,90 € s/ IVA
Poupança : 104,60 €
29,70 €
22,90 s/ IVA
Poupança : 6,80 €
Compreender as arquiteturas de dados e os pipelines
Compreender como os dados circulam dos sistemas de origem até às utilizações de BI, analytics e IA
Informações sobre a formação
Data Engineers, Analytics Engineers, programadores Data e profissionais encarregados de alimentar a BI, o Analytics ou a IA com dados fiáveis e preparados para utilização em produção.
Nenhum pré-requisito técnico avançado. Uma utilização corrente do computador e a capacidade de seguir instruções técnicas são suficientes para começar.
- Compreender o papel do Data Engineering numa organização
- Distinguir ingestão, transformação, orquestração e consumo
- Distinguir data warehouse, data lake e lakehouse
- Workshop: mapear uma cadeia de dados de ponta a ponta
- Aplicar os métodos e as ferramentas do curso numa situação típica de trabalho.
- Obter um resultado concreto e útil, aplicando os conhecimentos adquiridos: mapear uma cadeia de dados de ponta a ponta
- Verificar a coerência e a qualidade do resultado e avaliar os riscos antes da validação.
- Aplicar as competências adquiridas em situações profissionais semelhantes e justificar as decisões tomadas.
3 a 5 h
9,90 € s/ IVA
Modelar os dados para analytics
Conceber um modelo analítico coerente a partir de uma necessidade de negócio, de indicadores e de dados de origem
Informações sobre a formação
Data Engineers, Analytics Engineers, programadores Data e profissionais encarregados de alimentar a BI, o Analytics ou a IA com dados fiáveis e preparados para utilização em produção.
Nenhum pré-requisito técnico avançado. Uma utilização corrente do computador e a capacidade de seguir instruções técnicas são suficientes para começar.
- Partir das utilizações de negócio e definir o grão analítico
- Escolher chaves de negócio e chaves substitutas
- Gerir a historização com as Slowly Changing Dimensions
- Workshop: modelar as vendas de uma empresa para a BI
- Aplicar os métodos e as ferramentas do curso numa situação típica de trabalho.
- Obter um resultado concreto e útil, aplicando os conhecimentos adquiridos: modelar as vendas de uma empresa para a BI
- Verificar a coerência e a qualidade do resultado e avaliar os riscos antes da validação.
- Aplicar as competências adquiridas em situações profissionais semelhantes e justificar as decisões tomadas.
3 a 5 h
9,90 € s/ IVA
Organizar o armazenamento analítico e os formatos de dados
Escolher uma organização de armazenamento e formatos adequados ao volume, aos processamentos e às utilizações analíticas
Informações sobre a formação
Data Engineers, Analytics Engineers, programadores Data e profissionais encarregados de alimentar a BI, o Analytics ou a IA com dados fiáveis e preparados para utilização em produção.
Nenhum pré-requisito técnico avançado. Uma utilização corrente do computador e a capacidade de seguir instruções técnicas são suficientes para começar.
- Comparar data warehouse, data lake e lakehouse
- Escolher entre CSV, JSON e Parquet
- Gerir esquema, compatibilidade e evolução de estrutura
- Workshop: conceber a organização física de um espaço analítico
- Aplicar os métodos e as ferramentas do curso numa situação típica de trabalho.
- Obter um resultado concreto e útil, aplicando os conhecimentos adquiridos: conceber a organização física de um espaço analítico
- Verificar a coerência e a qualidade do resultado e avaliar os riscos antes da validação.
- Aplicar as competências adquiridas em situações profissionais semelhantes e justificar as decisões tomadas.
3 a 5 h
9,90 € s/ IVA
38,70 €
28,90 s/ IVA
Poupança : 9,80 €
Ingerir dados de várias fontes de forma fiável
Extrair dados de ficheiros, bases SQL, API e armazenamentos Cloud, controlando erros e a capacidade de reexecução
Informações sobre a formação
Data Engineers, Analytics Engineers, programadores Data e profissionais encarregados de alimentar a BI, o Analytics ou a IA com dados fiáveis e preparados para utilização em produção.
Conhecer os fundamentos introduzidos nos primeiros cursos do percurso ou ter uma experiência prática equivalente.
- Ingerir ficheiros CSV e JSON
- Consumir uma API paginada para alimentar um pipeline
- Proteger identificadores, chaves e segredos de acesso
- Workshop: consolidar três fontes numa zona de staging
- Aplicar os métodos e as ferramentas do curso numa situação típica de trabalho.
- Obter um resultado concreto e útil, aplicando os conhecimentos adquiridos: consolidar três fontes numa zona de staging
- Verificar a coerência e a qualidade do resultado e avaliar os riscos antes da validação.
- Aplicar as competências adquiridas em situações profissionais semelhantes e justificar as decisões tomadas.
3 a 5 h
12,90 € s/ IVA
Conceber transformações ETL e ELT
Organizar transformações legíveis, testáveis e rastreáveis entre dados brutos e modelos analíticos
Informações sobre a formação
Data Engineers, Analytics Engineers, programadores Data e profissionais encarregados de alimentar a BI, o Analytics ou a IA com dados fiáveis e preparados para utilização em produção.
Conhecer os fundamentos introduzidos nos primeiros cursos do percurso ou ter uma experiência prática equivalente.
- Conceber as camadas raw, staging, intermediate e marts
- Normalizar tipos, datas e convenções
- Formalizar as regras de negócio nas transformações
- Workshop: transformar dados brutos num modelo utilizável
- Aplicar os métodos e as ferramentas do curso numa situação típica de trabalho.
- Obter um resultado concreto e útil, aplicando os conhecimentos adquiridos: transformar dados brutos num modelo utilizável
- Verificar a coerência e a qualidade do resultado e avaliar os riscos antes da validação.
- Aplicar as competências adquiridas em situações profissionais semelhantes e justificar as decisões tomadas.
3 a 5 h
12,90 € s/ IVA
Construir carregamentos incrementais e recuperações fiáveis
Atualizar os dados de forma eficiente, sem duplicados nem perdas, e saber reexecutar os processamentos após um incidente
Informações sobre a formação
Data Engineers, Analytics Engineers, programadores Data e profissionais encarregados de alimentar a BI, o Analytics ou a IA com dados fiáveis e preparados para utilização em produção.
Conhecer os fundamentos introduzidos nos primeiros cursos do percurso ou ter uma experiência prática equivalente.
- Comparar carregamento completo e carregamento incremental
- Implementar upsert e lógica MERGE
- Conceber um processamento idempotente
- Workshop: tornar um carregamento incremental reexecutável sem duplicados
- Aplicar os métodos e as ferramentas do curso numa situação típica de trabalho.
- Obter um resultado concreto e útil, aplicando os conhecimentos adquiridos: tornar um carregamento incremental reexecutável sem duplicados
- Verificar a coerência e a qualidade do resultado e avaliar os riscos antes da validação.
- Aplicar as competências adquiridas em situações profissionais semelhantes e justificar as decisões tomadas.
3 a 5 h
12,90 € s/ IVA
47,70 €
35,90 s/ IVA
Poupança : 11,80 €
Transformar, testar e documentar os dados com dbt
Preparar as transformações analíticas para produção com dependências explícitas, testes, documentação e lineage
Informações sobre a formação
Data Engineers, Analytics Engineers, programadores Data e profissionais encarregados de alimentar a BI, o Analytics ou a IA com dados fiáveis e preparados para utilização em produção.
Conhecer os fundamentos introduzidos nos primeiros cursos do percurso ou ter uma experiência prática equivalente.
- Compreender o papel do dbt numa arquitetura ELT
- Construir modelos com source() e ref()
- Adicionar testes genéricos e controlos de negócio
- Workshop: construir um mini-projeto dbt testado e documentado
- Aplicar os métodos e as ferramentas do curso numa situação típica de trabalho.
- Obter um resultado concreto e útil, aplicando os conhecimentos adquiridos: construir um mini-projeto dbt testado e documentado
- Verificar a coerência e a qualidade do resultado e avaliar os riscos antes da validação.
- Aplicar as competências adquiridas em situações profissionais semelhantes e justificar as decisões tomadas.
3 a 5 h
15,90 € s/ IVA
Orquestrar os pipelines com Apache Airflow
Agendar, encadear, reexecutar e supervisionar processamentos de dados com uma orquestração explícita
Informações sobre a formação
Data Engineers, Analytics Engineers, programadores Data e profissionais encarregados de alimentar a BI, o Analytics ou a IA com dados fiáveis e preparados para utilização em produção.
Dominar os fundamentos do percurso ou ter uma experiência equivalente. As noções avançadas assentam nas competências adquiridas nos cursos anteriores.
- Compreender DAG, Task e dependências no Airflow 3.x
- Agendar as execuções e parametrizar as tarefas
- Reexecutar os períodos com um backfill controlado
- Workshop: orquestrar e supervisionar um pipeline com várias etapas
- Aplicar os métodos e as ferramentas do curso numa situação típica de trabalho.
- Obter um resultado concreto e útil, aplicando os conhecimentos adquiridos: orquestrar e supervisionar um pipeline com várias etapas
- Verificar a coerência e a qualidade do resultado e avaliar os riscos antes da validação.
- Aplicar as competências adquiridas em situações profissionais semelhantes e justificar as decisões tomadas.
3 a 5 h
15,90 € s/ IVA
Garantir qualidade, contratos e evolução dos dados
Detetar os dados incorretos e proteger os consumidores contra alterações de estrutura não controladas
Informações sobre a formação
Data Engineers, Analytics Engineers, programadores Data e profissionais encarregados de alimentar a BI, o Analytics ou a IA com dados fiáveis e preparados para utilização em produção.
Dominar os fundamentos do percurso ou ter uma experiência equivalente. As noções avançadas assentam nas competências adquiridas nos cursos anteriores.
- Definir as dimensões de qualidade dos dados
- Controlar frescura, volumes e desvios
- Gerir schema evolution e alterações incompatíveis
- Workshop: bloquear a publicação de um dataset não conforme
- Aplicar os métodos e as ferramentas do curso numa situação típica de trabalho.
- Obter um resultado concreto e útil, aplicando os conhecimentos adquiridos: bloquear a publicação de um dataset não conforme
- Verificar a coerência e a qualidade do resultado e avaliar os riscos antes da validação.
- Aplicar as competências adquiridas em situações profissionais semelhantes e justificar as decisões tomadas.
3 a 5 h
15,90 € s/ IVA
56,70 €
42,90 s/ IVA
Poupança : 13,80 €
Gerir metadados, catálogo, lineage e análise de impacto
Tornar os dados compreensíveis, rastreáveis e governáveis desde a origem até às utilizações
Informações sobre a formação
Data Engineers, Analytics Engineers, programadores Data e profissionais encarregados de alimentar a BI, o Analytics ou a IA com dados fiáveis e preparados para utilização em produção.
Dominar os fundamentos do percurso ou ter uma experiência equivalente. As noções avançadas assentam nas competências adquiridas nos cursos anteriores.
- Compreender metadados técnicos e de negócio
- Compreender o papel de um catálogo de dados
- Analisar o impacto de uma evolução de esquema
- Workshop: realizar a análise de impacto de uma alteração crítica
- Aplicar os métodos e as ferramentas do curso numa situação típica de trabalho.
- Obter um resultado concreto e útil, aplicando os conhecimentos adquiridos: realizar a análise de impacto de uma alteração crítica
- Verificar a coerência e a qualidade do resultado e avaliar os riscos antes da validação.
- Aplicar as competências adquiridas em situações profissionais semelhantes e justificar as decisões tomadas.
3 a 5 h
18,90 € s/ IVA
Conceber pipelines batch, micro-batch e orientados a eventos
Escolher o modo de processamento certo de acordo com latência, volume, complexidade, custo e requisitos de negócio
Informações sobre a formação
Data Engineers, Analytics Engineers, programadores Data e profissionais encarregados de alimentar a BI, o Analytics ou a IA com dados fiáveis e preparados para utilização em produção.
Dominar os fundamentos do percurso ou ter uma experiência equivalente. As noções avançadas assentam nas competências adquiridas nos cursos anteriores.
- Comparar batch, micro-batch e streaming
- Compreender fila, log de eventos e offsets
- Compreender entrega at-least-once e objetivo exactly-once
- Workshop: decidir se uma necessidade justifica realmente o tempo real
- Aplicar os métodos e as ferramentas do curso numa situação típica de trabalho.
- Obter um resultado concreto e útil, aplicando os conhecimentos adquiridos: decidir se uma necessidade justifica realmente o tempo real
- Verificar a coerência e a qualidade do resultado e avaliar os riscos antes da validação.
- Aplicar as competências adquiridas em situações profissionais semelhantes e justificar as decisões tomadas.
3 a 5 h
18,90 € s/ IVA
Otimizar armazenamento, processamentos, desempenho e custos
Reduzir o tempo de processamento e o consumo de recursos sem degradar a qualidade nem a facilidade de manutenção
Informações sobre a formação
Data Engineers, Analytics Engineers, programadores Data e profissionais encarregados de alimentar a BI, o Analytics ou a IA com dados fiáveis e preparados para utilização em produção.
Dominar os fundamentos do percurso ou ter uma experiência equivalente. As noções avançadas assentam nas competências adquiridas nos cursos anteriores.
- Medir volumes, tempos de processamento e custos
- Utilizar formatos colunares e compressão
- Explorar paralelismo e pushdown quando disponíveis
- Workshop: diagnosticar e otimizar um pipeline demasiado lento
- Aplicar os métodos e as ferramentas do curso numa situação típica de trabalho.
- Obter um resultado concreto e útil, aplicando os conhecimentos adquiridos: diagnosticar e otimizar um pipeline demasiado lento
- Verificar a coerência e a qualidade do resultado e avaliar os riscos antes da validação.
- Aplicar as competências adquiridas em situações profissionais semelhantes e justificar as decisões tomadas.
3 a 5 h
18,90 € s/ IVA
74,70 €
48,90 s/ IVA
Poupança : 25,80 €
Conceber uma plataforma de dados fiável e governada
Reunir ingestão, armazenamento, transformações, qualidade, orquestração, segurança e governação numa arquitetura operável
Informações sobre a formação
Data Engineers, Analytics Engineers, programadores Data e profissionais encarregados de alimentar a BI, o Analytics ou a IA com dados fiáveis e preparados para utilização em produção.
Dominar os fundamentos do percurso ou ter uma experiência equivalente. As noções avançadas assentam nas competências adquiridas nos cursos anteriores.
- Definir os componentes de uma plataforma de dados
- Organizar identidades, funções, segredos e acessos aos dados
- Integrar catálogo, lineage e observabilidade
- Workshop: produzir a arquitetura de uma plataforma governada
- Aplicar os métodos e as ferramentas do curso numa situação típica de trabalho.
- Obter um resultado concreto e útil, aplicando os conhecimentos adquiridos: produzir a arquitetura de uma plataforma governada
- Verificar a coerência e a qualidade do resultado e avaliar os riscos antes da validação.
- Aplicar as competências adquiridas em situações profissionais semelhantes e justificar as decisões tomadas.
3 a 5 h
24,90 € s/ IVA
Preparar um pipeline Analytics completo para produção
Construir e operar um pipeline multifonte até um dataset BI fiável com Git, CI, testes e supervisão
Informações sobre a formação
Data Engineers, Analytics Engineers, programadores Data e profissionais encarregados de alimentar a BI, o Analytics ou a IA com dados fiáveis e preparados para utilização em produção.
Dominar os fundamentos do percurso ou ter uma experiência equivalente. As noções avançadas assentam nas competências adquiridas nos cursos anteriores.
- Enquadrar o dataset Analytics e os requisitos de serviço
- Construir staging e transformações dbt
- Orquestrar, reexecutar e supervisionar com Airflow
- Workshop: publicar um dataset BI pronto para produção e com monitorização
- Aplicar os métodos e as ferramentas do curso numa situação típica de trabalho.
- Obter um resultado concreto e útil, aplicando os conhecimentos adquiridos: publicar um dataset BI pronto para produção e com monitorização
- Verificar a coerência e a qualidade do resultado e avaliar os riscos antes da validação.
- Aplicar as competências adquiridas em situações profissionais semelhantes e justificar as decisões tomadas.
3 a 5 h
24,90 € s/ IVA
Projeto profissional completo de Data Engineering
Conceber, construir, operar e defender uma cadeia de dados profissional de ponta a ponta
Informações sobre a formação
Data Engineers, Analytics Engineers, programadores Data e profissionais encarregados de alimentar a BI, o Analytics ou a IA com dados fiáveis e preparados para utilização em produção.
Dominar os fundamentos do percurso ou ter uma experiência equivalente. As noções avançadas assentam nas competências adquiridas nos cursos anteriores.
- Enquadrar necessidades, fontes, consumidores e níveis de serviço
- Construir as ingestões e a zona de staging
- Orquestrar, monitorizar, gerir lineage e recuperações
- Workshop final: apresentar e defender a plataforma de Data Engineering
- Aplicar os métodos e as ferramentas do curso numa situação típica de trabalho.
- Obter um resultado concreto e útil, aplicando os conhecimentos adquiridos: apresentar e defender a plataforma de Data Engineering
- Verificar a coerência e a qualidade do resultado e avaliar os riscos antes da validação.
- Aplicar as competências adquiridas em situações profissionais semelhantes e justificar as decisões tomadas.
3 a 5 h
24,90 € s/ IVA