Forschungsprojekt sicheres und robustes maschinelles Lernen

Die Cyberagentur des Bundes, oder genauer die Agentur für Innovation in der Cybersicherheit, hat ein neues Forschungsprojekt namens „Robustem und Sicherem Maschinellen Lernen“ (RSML) gestartet. Das maschinelle Lernen habe sich in verschiedenen Ausprägungen zu einem wichtigen Werkzeug für immer komplexere und größere Datenmodelle entwickelt. Ganz am Anfang stünde hingegen noch die Erforschung beweisbarer Sicherheit und deren Grenzen sowie die Robustheit gegenüber Angriffen. So sei die größte Schwachstelle des maschinellen Lernens die große Abhängigkeit von den Trainingsdaten und die Intransparenz der trainierten Modelle. Unerwartete Eingaben führten mitunter zu unvorhergesehenen und schwer nachvollziehbaren Ergebnissen. Und diese könnten wiederrum schwerwiegende Folgen nach sich ziehen. In diesem Zusammenhang verweist die Agentur auch auf die aktuelle Diskussion um KI-Chatbots. So könnten Sprachmodelle über manipulierte Befehle, als „Prompt Injection“ bezeichnet, zu potenziell folgenschweren Aussagen verleitet werden.

Das neue Forschungsvorhaben ist von Wissenschaftlerinnen und Wissenschaftlern der Cyberagentur entwickelt worden. „Ziel ist die Erforschung und Entwicklung neuer, potenziell bahnbrechender Ansätze zur Steigerung der Robustheit und Sicherheit verschiedener KI-Ansätze in den Domänen der inneren und äußeren Sicherheit“, so Dr. Daniel Gille, Projektleiter und Leiter „Sicherheit durch KI und Sicherheit für KI“ in der Cyberagentur, den Ansatz der Ausschreibung des Forschungsprojektes.

Die Nachweisbarkeit von Sicherheit und Robustheit gegenüber gezielten Angriffen und Manipulation sei gerade auch bei kritischen Infrastrukturen von Bedeutung. So hätten viele Systeme künftig direkte Auswirkungen auf das Leben einer potenziell großen Anzahl von Menschen. Daher sei ein Maximum an Sicherheit beim Einsatz von Maschinellem Lernen unabdingbar. „Das kann momentan nicht gewährleistet werden“, so Dr. Gille. „Die geplante Beauftragung soll dabei helfen, die wissenschaftlichen Grundlagen für dieses anzustrebende Maximum an Cybersicherheit von KI-Systemen zu schaffen und auszubauen.“

So soll sich das Forschungsprojekt unter anderem damit beschäftigen, wie sich Sicherheit und Robustheit für spezifische Anwendungsdomänen und Systeme nachweisen lassen. Und, wo in diesem Zuge die Grenzen der Nachweisbarkeit liegen und wie sich Systeme mit wünschenswerten Sicherheitseigenschaften als Prototyp realisieren lassen. Insgesamt gibt es fünf Forschungsschwerpunkte: Datenabsicherung, Modellverifikation, Systemeinbettung, Hybridmodelle aus neuronalen und symbolischen Komponenten sowie Ende-zu-Ende-Verifikation.

Die Projektlaufzeit beträgt fünf Jahre. Währenddessen soll sowohl Grundlagenforschung stattfinden wie auch die Entstehung von Prototypen umgesetzt werden. Daher plane die Cyberagentur entlang der Forschungsschwerpunkte die parallele Beauftragung mehrerer Bieterinnen und Bieter beziehungsweise Bietergemeinschaften.