KI-Bedrohungen in wenigen Schritten modellieren

KI-Bedrohungsmodellierung in 4 Schritten

OWASP empfiehlt, den Prozess der Bedrohungsmodellierung anhand der folgenden vierstufigen Methodik mit vier Fragen anzugehen:

• Umfang abschätzen. Woran arbeiten wir?
• Bedrohungen erkennen. Was kann schief gehen?
• Gegenmaßnahmen identifizieren oder das Risiko kontrollieren. Was werden wir dagegen tun?
• Die Ergebnisse beurteilen. Wurde gute Arbeit geleistet?

Überlegen Sie, wie Sicherheitsteams diese Schritte bei der Modellierung von KI-Bedrohungen anwenden können.

1. Bewertung des Umfangs des KI-Bedrohungsmodells

Bei der Modellierung von KI-Bedrohungen kann eine Umfangsbewertung die Erstellung eines Schemas des betreffenden KI-Systems oder der Anwendung beinhalten, um zu ermitteln, wo Sicherheitslücken und mögliche Angriffsvektoren bestehen.

Um effektiv zu sein, müssen die Bemühungen zur Modellierung von KI-Bedrohungen alle Bereiche der KI abdecken: die KI-Nutzung, die KI-Anwendungen und das KI-Modell - das heißt, die Plattform - selbst.

In dieser Phase müssen auch die über das System oder die App erreichbaren digitalen Assets identifiziert und klassifiziert werden, und es muss festgelegt werden, welche Benutzer und Entitäten auf sie zugreifen können. Legen Sie fest, welche Daten, Systeme und Komponenten je nach Sensibilität und Bedeutung für das Unternehmen am wichtigsten zu schützen sind.

Um effektiv zu sein, müssen die Bemühungen zur Modellierung von KI-Bedrohungen alle Bereiche der KI abdecken: die KI-Nutzung, die KI-Anwendungen und das KI-Modell - das heißt, die Plattform - selbst.

2. Identifizierung von KI-Sicherheitsbedrohungen

Untersuchen Sie als Nächstes die möglichen Bedrohungen und ordnen Sie sie nach ihrem Risiko ein. Welche potenziellen Angriffe sind am wahrscheinlichsten, und welche würden dem Unternehmen am meisten schaden, wenn sie auftreten?

Diese Phase kann laut OWASP ein informelles Brainstorming oder einen strukturierteren Ansatz beinhalten, bei dem Kill Chains, Angriffsbäume oder ein Framework wie STRIDE verwendet werden, das Bedrohungen in sechs Kategorien gruppiert: Spoofing, Manipulation, Repudiation, Offenlegung von Informationen, Denial of Service und Erhöhung von Privilegien. Unabhängig davon sollten Sie sowohl die breitere KI-Bedrohungslandschaft als auch die Angriffsfläche des jeweiligen Systems untersuchen.

Betrachten Sie die folgenden Beispiele für auftretende und sich entwickelnde Bedrohungen für große Sprachmodelle (LLM):

Prompt Injection. Prompt-Injection-Angriffe gehören zu den häufigsten Arten von KI-Cyberangriffen. Dabei wird ein LLM von einem Bedrohungsakteur so manipuliert, dass es böswilligen Aufforderungen nachkommt, zum Beispiel sensible Daten weitergibt oder Malware erstellt.

Data Poisoning. Bei Data-Poisoning-Angriffen manipulieren Cyberkriminelle die Trainingsdaten, auf die sich die KI für ihre Intelligenz stützt, was zu potenziell schädlichen und trügerischen Ergebnissen führt. Je nach Anwendung, die von der KI unterstützt wird - zum Beispiel in der Gesundheitsdiagnostik oder der pharmazeutischen Entwicklung - können falsche Antworten verheerende Folgen haben.

Diebstahl von KI-Modellen. Beim Diebstahl von KI-Modellen verschaffen sich Angreifer Zugriff auf die proprietären Informationen, die den KI-Systemen und -Anwendungen des Unternehmens selbst zugrunde liegen. Sie könnten diese Informationen nutzen, um sensible Daten zu stehlen, Ergebnisse zu manipulieren und sogar KI-Modellklone zu erstellen und umzugestalten, um KI-gestützte Angriffe durchzuführen.

3. Gegenmaßnahmen zur Eindämmung von KI-Bedrohungen definieren

In dieser Phase muss das Team entscheiden, welche Sicherheitskontrollen eingesetzt werden sollen, um das Risiko einer Bedrohung zu beseitigen oder zu verringern.

In manchen Fällen übertragen sie ein Sicherheitsrisiko auch auf einen Dritten – zum Beispiel einen Managed Service Provider (MSP) – oder akzeptieren es sogar, wenn die Auswirkungen auf das Geschäft minimal wären oder eine Minderung nicht praktikabel wäre.

KI-Sicherheitskontrollen variieren je nach Bedrohung und können sowohl bekannte als auch neuartige Gegenmaßnahmen umfassen. Eine Eindämmung der Prompt Injection könnte beispielsweise Folgendes umfassen:

• Verwendung von Identitäts- und Zugriffsverwaltung (IAM), um zu kontrollieren, wer auf eine interne GenAI-App zugreifen kann.
• Begrenzung der Länge von Benutzeranweisungen (Prompts).
• Hinzufügen von systemgenerierten Informationen am Ende von Benutzeraufforderungen, um böswillige Anweisungen zu überschreiben.
• Änderungen an kritischen Betriebseinstellungen eines LLM werden ohne Genehmigung eines menschlichen Systembetreuers blockiert.

4. Bewertung des KI-Bedrohungsmodells

Schließlich sollten Sie die Wirksamkeit der KI-Bedrohungsmodellierung bewerten und eine Dokumentation als Referenz für zukünftige Bemühungen erstellen.