Getty Images/iStockphoto
Künstliche Intelligenz und der Umgang mit den Risiken
Wird KI in Security-Lösungen eingesetzt, dann muss die Technologie nicht nur effektiv, sondern auch sicher genutzt werden. Dabei können einige Richtlinien helfen.
Wer sich jahrelang mit dem Thema IT-Sicherheit beschäftigt und Lösungen in diesem Bereich entwickelt, ist gezwungen, sich in die Denkweise der Angreifer hineinzuversetzen und wird sich in diesem Zusammenhang zwangsläufig mit dieser beschäftigen. Schließlich können nur durch diesen Perspektivwechsel überhaupt erst effektive Lösungen zur Verteidigung gegen immer ausgefeilter werdende Angriffe entwickelt werden.
Wenn Hersteller von IT-Sicherheitslösungen die Technologie der künstlichen Intelligenz in ihre Produkte integrieren, besteht die größte Herausforderung darin, sicherzustellen, dass der Einsatz von KI in gegnerischen Umgebungen sicher funktioniert. Schließlich gibt es eine Vielzahl von Angreifern, die viel Zeit und Aufwand in das Verstehen der jeweiligen Lösungen investieren und sich an sie anpassen, Trainingsdaten verunreinigen und versuchen, sich durch Sicherheitsmechanismen zu schleichen.
In den letzten Jahren hat die Technologie der künstlichen Intelligenz in fast allen Bereichen unseres Lebens Einzug gehalten. Nachdem bereits bemerkenswerte Fortschritte in Bereichen wie der visuellen Objekterkennung, der semantischen Segmentierung und Spracherkennung gemacht wurden, liegt die Tatsache nahe, dass andere Branchen um die Einführung von KI als ihre Lösung für eine Vielzahl von verschiedenen Problemen rivalisieren.
Der Security Lifecycle
Es ist an dieser Stelle wichtig zu betonen, dass auch die Technologie der künstlichen Intelligenz dem sogenannten „Security Lifecycle“ unterliegt. Unter diesem Begriff versteht man den leider unvermeidlichen Sicherheitslebenszyklus neuer Technologien, der eng gekoppelt ist mit dem Gartner Hype-Cycle. Zu Beginn, im Stadium des Aufkommens einer neuen Technologie stehen für die IT-(Sicherheits-)-Community die Vorteile im Vordergrund; von Innovation und Chancen ist die Rede und die Erwartungen könnten kaum höher sein. Auf diese Phase folgt allerdings unweigerlich die Phase der Ernüchterung. Sobald es Sicherheitsforschern gelingt, die Technologie dazu zu bringen, Dinge zu tun, die dieses nicht tun sollte und die nicht vorgesehen sind, wandelt sich die anfängliche Euphorie in Angst, Unsicherheit und Zweifel über die möglichen Risiken. Dies gilt insbesondere dann, wenn mit der Zeit immer mehr potenzielle Schwachstellen aufgedeckt werden.
Was das Thema Sicherheit anbelangt, unterscheidet sich die künstliche Intelligenz nicht von anderen Technologien. Schaut man sich ein System an, welches ohne Rücksicht darauf entwickelt wurde, wonach Angreifer suchen, ist es wahrscheinlich, dass der Angreifer Wege findet, dieses System dazu zu bringen, Dinge zu tun, die es nicht tun soll. Als Beispiel sei hier ein Forschungsexperiment von Google aus dem Jahre 2015 erwähnt, bei dem ein Bild eines Schulbusses mit einem für das menschliche Gehör nicht wahrnehmbaren Geräusch unterlegt wurde. Die künstliche Intelligenz klassifizierte dieses Geräusch daraufhin als den Laut eines Vogelstraußes – in der letzten Zeit förderten Untersuchungen in diesem Bereich einige sehr interessante neue Anwendungen zutage, die auf diesem Experiment beruhten.
Das Houdini-Framework war bereits in der Lage, KI-Technologien zu täuschen, welche für Spracherkennung, Lagebestimmung und semantische Segmentierung eingesetzt wurde. Die Gesichtserkennung, die in vielen Kontroll- und Überwachungssystemen wie zum Beispiel Flughäfen zum Einsatz kommt, wurde mithilfe farbiger Gläser mit bewusst eingebetteten Mustern völlig verwirrt. Antivirus-Software der nächsten Generation, welche KI zur Malware-Erkennung verwendet, wurde von einer anderen KI in einem Bot-gegen-Bot-Forschungsexperiment hinters Licht geführt, welches 2017 auf der Black-Hat-Konferenz vorgestellt wurde.
Mehrere Forschungseinrichtungen konnten in der Vergangenheit zeigen, dass sich die Täuschung der künstlichen Intelligenz in vielen Fällen übertragen lässt, nämlich an Stellen, an denen irreführende Samples für Modell A gefunden werden, um wirksam zu sein gegen ein anderes Modell "A", welches das gleiche Problem löst.
Es ist nicht alles „doom and gloom“
Die gute Nachricht in diesem Zusammenhang lautet, dass die künstliche Intelligenz sicher verwendet werden kann. Viele Anbieter von IT-Sicherheitslösungen nutzen KI, um Webanwendungen und Datensysteme vor einer Vielzahl von Bedrohungen zu schützen und das Schutzniveau signifikant zu verbessern. Wichtig ist hierbei, die Technologie effektiv, vor allem aber sicher, zu nutzen.
Basierend auf bisherigen Erfahrungen lassen sich einige Richtlinien für den sicheren Umgang mit KI ableiten. Obwohl dies keine binären Regeln sind, haben sich diese Richtlinien wirksam gezeigt bei der Abschätzung des Risikos, das mit der Verwendung von KI verbunden ist. Der erste wichtige Punkt lautet: Im Idealfall sollten Entwickler sich für robuste Modelle entscheiden. Bei der Verwendung von nicht-robusten Modellen im Bereich der künstlichen Intelligenz können bereits kleine, scheinbar unbedeutende Unterschiede bezüglich des Inputs einen signifikanten Einfluss auf die Modellentscheidung haben. Weiterhin ermöglicht die Verwendung eines nicht-robusten Modells den Angreifern, „same essence different look“ Input zu generieren, was für die meisten Angriffe unerlässlich ist.
„Sobald es Sicherheitsforschern gelingt, die Technologie dazu zu bringen, Dinge zu tun, die dieses nicht tun sollte, wandelt sich die anfängliche Euphorie in Angst, Unsicherheit und Zweifel über die möglichen Risiken“
Piotr Kluczwajd, Imperva
Ein weiterer wichtiger Punkt ist die Bereinigung von Trainingsdaten. Die Daten, die für das Training des Modells verwendet werden, müssen in jedem Falle bereinigt werden. Der Grund liegt auf der Hand: es besteht die Möglichkeit, dass ein Angreifer die Kontrolle über einen Teil dieser hat. Desinfektion bedeutet in den meisten Fällen das Herausfiltern verdächtiger Daten.
Die nächsten Punkte betreffen die interne Verwendung. Bezüglich des Inputs sollte der Einfluss des Angreifers auf die Daten reduziert werden. Hinsichtlich des Outputs sollte auf KI zurückgegriffen werden, bei denen der Output nicht für die Angreifer sichtbar ist. Dies nimmt, beziehungsweise reduziert zumindest die Möglichkeit für den Angreifer zu lernen und zu erfahren, ob ein Täuschungsversuch erfolgreich war.
In Bezug auf die Bedrohungserkennung ist es essentiell, sich für positive Sicherheit zu entscheiden. Dies bedeutet vereinfacht gesagt: Wird die Technologie zur Erkennung von Bedrohungen eingesetzt, sollte ein positives Sicherheitsmodell gewählt werden. Negative Sicherheitsmodelle „entlasten“ zunächst alles, außer dem, was als ein bekannter Angriff identifiziert wurde; dies basiert meistens auf spezifischen Angriffsmustern. Aus diesem Grunde ist dieses Modell anfällig für Täuschung, wenn der Angreifer in der Lage ist, das Aussehen des Inputs zu verändern, ohne dabei dessen Wesen zu beeinflussen. Positive Sicherheitsmodelle sind von Natur aus robuster, was dem Angreifer viel weniger Spielraum lässt und seine Chancen verringert, einen gleichwertigen, anders aussehenden Input zu finden, der unentdeckt bleibt.
Zu guter Letzt sollte beim Thema Bedrohungserkennung beachtet werden, dass sich diese gut mit anderen Mechanismen kombinieren lässt. Bei der Verwendung von KI in einem negativen Sicherheitsmodell macht es Sinn, KI als weitere Erkennungsschicht zu nutzen, die dazu dient, Bedrohungen zu erkennen, welche als „weniger intelligente“ Sicherheitsmaßnahmen durchgehen, und nicht als die einzige Maßnahme.
Mithilfe dieser Richtlinien für die sichere Verwendung der Technologie der künstlichen Intelligenz können Hersteller das damit assoziierte Risiko effektiver einschätzen, um die Vorzüge von KI auf ideale Weise nutzen zu können.
Über den Autor:
Piotr Kluczwajd ist AVP Central Europe bei Imperva.
Folgen Sie SearchSecurity.de auch auf Twitter, Google+, Xing und Facebook!
