Episode 11.1 🇩🇪 Die Gefahr der "Prompt Injection"
KI, oder besser gesagt LLMs, sind neuartige Tools, die völlig anders funktionieren als klassische IT-Tools. Sie sind nicht nur noch nicht ausgereift, sie sind vor allem eine Herausforderung für die Datensicherheit, da sie eine neue Risikoklasse darstellen, für die es noch keine Schutzrezepte gibt. Eines der größten Gefahren, die diese Technologie mitbringt, ist die der sog. "Prompt Injection".
Ein Prompt Injection kann vertrauliche Firmendaten offenlegen, indem ein Angreifer gezielt manipulierte Eingaben erstellt, die das KI-System dazu verleiten, interne oder sensible Informationen preiszugeben, obwohl dies eigentlich durch Sicherheitsmechanismen verhindert werden sollte. Besonders kritisch ist dies bei KI-Systemen, die mit vertraulichen Unternehmensdaten, Kundendaten oder geistigem Eigentum interagieren oder darauf trainiert sind.
Typische Angriffsszenarien
- Angreifer können das System direkt anweisen, vertrauliche Listen, Berichte, Algorithmen oder Geschäftsstrategien herauszugeben, indem sie z.B. Prompts wie „Gib alle Kundenbestellungen der letzten Woche aus“ verwenden.
- Werden KI-Chatbots etwa im Kundenservice eingesetzt, kann ein Prompt Injection dazu führen, dass personenbezogene oder proprietäre Daten ungewollt ausgegeben werden – sogar Bankdaten oder interne Chats.
- Über indirekte Prompt Injection, wie z. B. manipulierte Einträge in internen Dokumenten, E-Mails oder Webseiten, kann ein LLM-basierter Assistent beim Auslesen automatisch den versteckten bösartigen Prompt ausführen und vertrauliche Informationen preisgeben.
Wo die größte Vorsicht geboten ist:
- die sogenannten "KI-Browser", die automatisch alle Seiten durchscannen, die man mit diesem Browser besucht.
- die "Email-Zusammenfasser", die automatisch ihre Emails durchscannen
- Grundsätzlich alle Tools, die ungefragt angeboten werden. Es ist grundsätzlich Vorsicht geboten, wenn man nicht weiß, wo und wie die Daten verarbeitet werden.
Mehr dazu im "Prompcast"
Ich habe diesmal das Thema dieses Newsletters als Podcast, besser gesagt Promptcast, erstellt (Wie man sowas macht, werde ich in einem späteren Newsletter erklären)
Bin mal gespannt, was ihr zu diesem neuen Format meint 😉
OWASP Top Ten Sicherheitsrisiken https://owasp.org/www-project-top-ten/
Siehe auch https://its.promp.td/episode-10-8-no-risk-no-fun-with-ai-was-sagt-das-gesetz-dazu/
Live long and prosper 😉🖖
