Mandragore Learning Academy
Profesiones & carreras

Seguridad de la IA: proteger modelos, datos, agentes y acciones

La seguridad de la IA trata riesgos como fuga de datos, prompt injection, salidas peligrosas, permisos excesivos de agentes, componentes de terceros y una gobernanza insuficiente.

¿A quién se dirige este artículo?

Este artículo se dirige a profesionales y alumnos que quieren comprender la competencia antes de aplicarla o elegir una formación.

Lo que hay que comprender

Se trata de una competencia profesional, no de una simple lista de herramientas. Las bases incluyen AI Security, Prompt injection, RAG, Agents.

El dominio se construye de forma progresiva: comprender los principios, practicar con un caso real, verificar el resultado y saber operar y mantener la solución.

Por qué esta competencia es importante hoy

Esta competencia interviene directamente en proyectos digitales actuales y en la capacidad de los equipos para construir sistemas fiables e integrados.

El valor profesional combina comprensión, práctica, controles de calidad, seguridad y capacidad para explicar las decisiones.

Qué se hace realmente con esta competencia

Limiter les données exposéesReducir los datos enviados al modelo, filtrar fuentes RAG y aplicar los mismos permisos que en los sistemas originales.
Résister à la prompt injectionTratar documentos, páginas Web o correos recuperados como contenido no fiable e impedir que redefinan instrucciones del sistema.
Sécuriser les agentsDar a cada herramienta solo los permisos necesarios, validar parámetros y exigir confirmación humana antes de acciones sensibles.
Évaluer les comportementsConstruir escenarios de abuso —exfiltración, bypass, contenido malicioso o escalada— y medir la resistencia del sistema.
Superviser les usagesRegistrar llamadas, herramientas, errores, decisiones sensibles y señales de seguridad evitando almacenar datos confidenciales innecesarios.

Ejemplo concreto: Sécuriser un agent connecté à des outils

Usuarios, datos, sistemas existentes y restricciones de seguridad, calidad y operación.

Problema : Hacer un proceso o sistema más fiable, mantenible y menos dependiente de tareas manuales.

Contexto : Usuarios, datos, sistemas existentes y restricciones de seguridad, calidad y operación.

Competencias : AI Security, Prompt injection, RAG, Agents, RBAC.

Ejemplo : Construir una solución pequeña, observable y verificable antes de ampliarla.

Puesta en práctica : Probar casos normales y de error, documentar el resultado y definir controles de mantenimiento.

Competencias que hay que dominar

El dominio se construye de forma progresiva: comprender los principios, practicar con un caso real, verificar el resultado y saber operar y mantener la solución.

PrincipianteComprender fundamentos, vocabulario y primeras operaciones.
IntermedioConstruir workflows estructurados, integrados y probados.
Avanzado / autónomoDiseñar, proteger, operar y mejorar la solución en un entorno profesional.

Errores, límites y puntos de vigilancia

  • Omitir controles y pruebas.
  • Usar permisos excesivos o secretos expuestos.
  • Cambiar sistemas sin trazabilidad.
  • Ignorar documentación y mantenimiento.
  • Depender de una herramienta sin conocer sus límites.

Cómo progresar

PrincipianteComprender fundamentos, vocabulario y primeras operaciones.
IntermedioConstruir workflows estructurados, integrados y probados.
Avanzado / autónomoDiseñar, proteger, operar y mejorar la solución en un entorno profesional.
Mandragore Learning Academy

Fórmate con Mandragore Learning Academy

Mandragore Learning Academy conecta este artículo con los itinerarios de formación realmente presentes en su catálogo.

El objetivo es pasar de la comprensión a competencias prácticas, controladas y reutilizables profesionalmente.

Itinerario de competencias asociado

Itinerario de competencias asociado

El itinerario de competencias asociado sitúa esta competencia en un objetivo profesional más amplio y muestra capacidades esenciales, recomendadas y complementarias.

Fuentes y referencias

Fuente Mandragore: los archivos de configuración del catálogo siguen siendo la fuente de verdad sobre las formaciones realmente ofrecidas.