Mandragore Learning Academy
DE EN ES FR IT NL PT PT-BR
Berufe & Karriere

KI-Sicherheit: Modelle, Daten, Agenten und Anwendungen schützen

KI-Sicherheit umfasst Risiken, die durch modellbasierte Anwendungen entstehen oder verstärkt werden: Datenlecks, Prompt Injection, gefährliche Ausgaben, übermäßige Agentenberechtigungen, Drittanbieterkomponenten und unzureichende Governance.

Für wen ist dieser Artikel gedacht?

Dieser Artikel richtet sich an Fachkräfte und Lernende, die diese Kompetenz verstehen möchten, bevor sie sie praktisch einsetzen oder eine Weiterbildung auswählen.

Was man verstehen muss

Das Thema ist als strukturierte berufliche Kompetenz zu verstehen. Zu den Grundlagen gehören insbesondere AI Security, Prompt Injection, RAG und Agenten.

Professionelle Beherrschung entsteht schrittweise: Prinzipien verstehen, an einem realen Fall üben, Ergebnisse prüfen und anschließend die Lösung betreiben und warten können.

Warum diese Kompetenz heute wichtig ist

Diese Kompetenz ist unmittelbar relevant für moderne Digitalprojekte und für die Fähigkeit von Teams, verlässliche, integrierbare und wartbare Systeme zu entwickeln.

Der berufliche Wert entsteht aus der Kombination von Verständnis, praktischer Umsetzung, Qualitätskontrolle, Security und der Fähigkeit, getroffene Entscheidungen zu erklären.

Was man mit dieser Kompetenz in der Praxis tatsächlich macht

Exponierte Daten begrenzenDie an das Modell gesendeten Daten minimieren, RAG-Quellen filtern und dieselben Zugriffsrechte wie in den Ursprungssystemen anwenden.
Prompt Injection abwehrenAbgerufene Dokumente, Webseiten oder E-Mails als nicht vertrauenswürdigen Inhalt behandeln und verhindern, dass sie Systemanweisungen überschreiben.
Agenten absichernJedes Tool auf minimale Aktionen beschränken, Parameter kontrollieren und vor irreversiblen oder sensiblen Operationen menschliche Bestätigung verlangen.
Verhalten evaluierenMissbrauchsszenarien – Exfiltration, Umgehung, schädliche Inhalte, Eskalation – entwickeln und die Widerstandsfähigkeit des Systems messen.
Nutzung überwachenAufrufe, Tools, Fehler, sensible Entscheidungen und Sicherheitssignale protokollieren und zugleich unnötige Speicherung vertraulicher Daten vermeiden.

Praxisbeispiel: einen mit Tools verbundenen Agenten absichern

Nutzer, Daten, bestehende Systeme sowie Anforderungen an Security, Qualität und Betrieb.

Problem : Einen Prozess oder ein System verlässlicher, wartbarer und weniger abhängig von manuellen Tätigkeiten machen.

Kontext : Nutzer, Daten, bestehende Systeme sowie Anforderungen an Security, Qualität und Betrieb.

Kompetenzen : AI Security, Prompt Injection, RAG, Agenten, RBAC.

Beispiel : Zunächst eine begrenzte, beobachtbare und testbare Lösung entwickeln, bevor sie skaliert wird.

Praktische Umsetzung : Normalfälle und Fehlerfälle testen, Ergebnisse dokumentieren und Wartungskontrollen definieren.

Zu beherrschende Kompetenzen

Professionelle Beherrschung entsteht schrittweise: Prinzipien verstehen, an einem realen Fall üben, Ergebnisse prüfen und anschließend die Lösung betreiben und warten können.

EinsteigerGrundlagen, Fachbegriffe und erste Arbeitsschritte verstehen.
FortgeschrittenStrukturierte, integrierte und getestete Workflows entwickeln.
Fortgeschritten / selbstständigDie Lösung in einem professionellen Umfeld konzipieren, absichern, betreiben und verbessern.

Fehler, Grenzen und wichtige Punkte

  • Kontrollen und Tests weglassen.
  • Unzureichend kontrollierte Berechtigungen oder Secrets verwenden.
  • Änderungen ohne Nachvollziehbarkeit durchführen.
  • Dokumentation und Wartung vernachlässigen.
  • Von einem Werkzeug abhängig sein, ohne dessen Grenzen zu verstehen.

So entwickeln Sie sich weiter

EinsteigerGrundlagen, Fachbegriffe und erste Arbeitsschritte verstehen.
FortgeschrittenStrukturierte, integrierte und getestete Workflows entwickeln.
Fortgeschritten / selbstständigDie Lösung in einem professionellen Umfeld konzipieren, absichern, betreiben und verbessern.
Mandragore Learning Academy

Mit der Mandragore Learning Academy weiterbilden

Die Mandragore Learning Academy verknüpft diesen Artikel mit den Weiterbildungen, die gemäß der Produktkonfiguration tatsächlich im Katalog verfügbar sind.

Ziel ist der Übergang vom Verständnis zu einer praktischen, kontrollierten und im Berufsalltag wiederverwendbaren Kompetenz.

Passende Weiterbildung ansehen →
Zugehöriger Kompetenzpfad

Zugehöriger Kompetenzpfad

Der zugehörige Kompetenzpfad ordnet diese Fähigkeit in ein übergeordnetes berufliches Ziel ein und zeigt wesentliche, empfohlene und ergänzende Kompetenzbausteine.

Kompetenzpfad ansehen →
Quellen und Referenzen

Mandragore-Quelle: Die Konfigurationsdateien des Katalogs bleiben die maßgebliche Quelle für die tatsächlich angebotenen Weiterbildungen.

  • OWASP — OWASP Top 10 for LLM Applications
  • Microsoft Learn — Sicherheit für künstliche Intelligenz