Mandragore Learning Academy
DE EN ES FR IT NL PT PT-BR
Profissões e carreiras

Segurança da IA: proteger modelos, dados, agentes e usos

A segurança da IA abrange os riscos criados ou ampliados pelas aplicações que utilizam modelos: fuga de dados, prompt injection, saídas perigosas, permissões excessivas dos agentes, componentes de terceiros e governança inadequada.

A quem se destina este artigo?

Este artigo destina-se a profissionais e a aprendizes que desejam compreender esta competência antes de a praticarem ou de escolherem uma capacitação.

O que é necessário compreender

O assunto deve ser entendido como uma competência profissional estruturada, não como uma simples lista de ferramentas. Os fundamentos incluem, entre outros, AI Security, Prompt Injection, RAG, Agents.

O domínio se desenvolve progressivamente: compreender os princípios, praticar em um caso real, verificar os resultados e depois saber utilizar e manter a solução.

Por que esta competência é importante hoje

Esta competência intervém diretamente nos projetos digitais atuais e na capacidade das equipes de produzir sistemas confiáveis, integráveis e fáceis de manter.

O valor profissional vem da combinação de compreensão, prática, controle de qualidade, segurança e capacidade de explicar as escolhas.

O que se faz na prática com esta competência

Limitar os dados expostosReduzir os dados enviados ao modelo, filtrar as fontes RAG e aplicar os mesmos direitos de acesso que nos sistemas originais.
Resistir à prompt injectionTratar documentos, páginas web ou e-mails recuperados como conteúdo não confiável e impedir que eles redefinam as instruções do sistema.
Segurança dos agentesLimitar cada ferramenta a ações mínimas, controlar parâmetros e exigir confirmação humana antes de uma operação irreversível ou sensível.
Avaliação dos comportamentosConstruir cenários de abuso — exfiltração, contornamento, conteúdo malicioso, escalada — e medir a resistência do sistema.
Supervisionar os usosRegistrar chamadas, ferramentas, erros, decisões sensíveis e sinais de segurança, evitando o armazenamento desnecessário de dados confidenciais.

Exemplo concreto: Secure um agente ligado a ferramentas

Usuários, dados, sistemas existentes, restrições de segurança, qualidade e operação.

Problema : Tornar um processo ou um sistema mais confiável, mais sustentável e menos dependente de operações manuais.

Contexto : Usuários, dados, sistemas existentes, restrições de segurança, qualidade e operação.

Competências : Segurança da IA, prompt injection, RAG, agentes, RBAC.

Exemplo : Construir uma solução limitada, observável e testável antes de a generalizar.

Aplicação prática : Testar casos nominais e erros, documentar o resultado e definir os controles de manutenção.

Competências a dominar

O domínio se desenvolve progressivamente: compreender os princípios, praticar em um caso real, verificar os resultados e depois saber utilizar e manter a solução.

InicianteCompreender os fundamentos, o vocabulário e as primeiras operações.
IntermediárioConstruir fluxos de trabalho estruturados, integrados e testados.
Avançado / autonomiaProjetar, proteger, operar e melhorar a solução em um ambiente profissional.

Erros, limites e pontos de atenção

  • Omitir os controles e os testes.
  • Usar permissões ou segredos mal controlados.
  • Modificar sem rastrear.
  • Negligenciar documentação e manutenção.
  • Dependência em uma ferramenta sem compreender os seus limites.

Como progredir

InicianteCompreender os fundamentos, o vocabulário e as primeiras operações.
IntermediárioConstruir fluxos de trabalho estruturados, integrados e testados.
Avançado / autonomiaProjetar, proteger, operar e melhorar a solução em um ambiente profissional.
Mandragore Learning Academy

Capacite-se com a Mandragore Learning Academy

A Mandragore Learning Academy associa este artigo às capacitações efetivamente presentes em seu catálogo, de acordo com as configurações de produção.

O objetivo é passar da compreensão para uma competência prática, controlada e reutilizável em um contexto profissional.

Ver a capacitação correspondente →
Trilha de competências associada

Trilha de competências associada

O percurso de competências associado coloca esta competência em um objetivo profissional mais amplo e mostra os elementos essenciais, recomendados e complementares.

Ver a trilha de competências →
Fontes e referências

Fonte Mandragore: os arquivos config do catálogo continuam sendo a fonte de referência para as capacitações efetivamente oferecidas.

  • OWASP — OWASP Top 10 para Aplicações LLM
  • Microsoft Learn — Segurança para a inteligência artificial