Bei einer Prompt Injection versteckt jemand Anweisungen in Inhalten, die ein Modell verarbeitet, etwa in einer E-Mail, einer Webseite oder einem Dokument. Das Modell kann diese Anweisungen für legitim halten. Besonders gefährdet sind Agenten mit Zugriff auf Systeme.
Maßnahmen, die das Risiko senken:
- Rechte begrenzen: Der Agent darf nur, was seine Aufgabe erfordert. Versand, Löschen und Zahlen erfordern eine menschliche Bestätigung.
- Eingaben trennen: Fremde Inhalte werden als Daten gekennzeichnet, nicht als Anweisung behandelt.
- Ausgaben prüfen: Antworten und Werkzeugaufrufe laufen durch Regeln, etwa erlaubte Empfänger oder Wertegrenzen.
- Keine Geheimnisse im Kontext: Zugangsdaten gehören nicht in die Anweisung des Modells.
- Datenabfluss verhindern: Begrenzen Sie ausgehende Verbindungen und das Einbetten externer Bilder oder Links in Antworten.
- Testen: Spielen Sie Angriffe mit präparierten Dokumenten gezielt durch.
- Protokollieren: Jeder Werkzeugaufruf ist nachvollziehbar.
Einen vollständigen Schutz gibt es nicht. Planen Sie deshalb so, dass ein erfolgreicher Angriff nur begrenzten Schaden anrichten kann.
