AIgenCY: Generative KI und die Sache mit der Cybersicherheit

In einem gemeinsamen Forschungsprojekt von Wissenschaft und Industrie sollen die Auswirkungen der generativen KI (künstliche Intelligenz) auf die Cybersicherheit untersucht werden. Das Forschungsprojekt namens „AIgenCY – Chancen und Risiken generativer KI in der Cybersicherheit“ wird vom Bundesministerium für Bildung und Forschung (BMBF) unterstützt. Die Federführung übernimmt das Fraunhofer-Instituts für Angewandte und Integrierte Sicherheit AISEC mit Spezialistinnen und Spezialisten des CISPA – Helmholtz-Zentrums für Informationssicherheit, der Technischen Universität Berlin und der Freien Universität Berlin. Dabei wird mit dem hiesigen KI-Unternehmen Aleph Alpha kooperiert.

Im Rahmen des Forschungsprojekts soll analysiert werden, welche Effekte generative KI auf die Cybersicherheit ausübt. Dabei werden insbesondere die Folgen für die nationale kritische Infrastruktur berücksichtigt. So soll AIgenCY zum Schutz kritischer Infrastrukturen beitragen und die Expertise im Bereich der Cybersicherheit verstärken, sowie die lokale Wirtschaft fördern. Das Projekt soll dazu beitragen, die Herausforderungen, die durch KI entstehen können, besser zu bewältigen.

Dafür soll ein Experimentierlabor eingerichtet werden, in dem sich praxisnahe Szenarien im Hinblick auf die Anwendbarkeit generativer KI erforschen lassen. Folgende Kernthemen sollen dabei Berücksichtigung finden:

• Bekämpfung von Schadsoftware: Wie lässt sich fortschrittliche Malware durch KI generieren und wie lassen sich entsprechende Gegenmaßnahmen entwickeln?
• Social Engineering, Desinformation und betrügerischen Kampagnen richtig begegnen: Die Wachsamkeit steigern und die Erkennung automatisierter Angriffe verbessern.
• Watermarking und Anomalieerkennung: Die Datenherkunft rückverfolgen und ungewöhnliche Muster erkennen, die auf mögliche Angriffe hinweisen.
• Erklärbarkeit und Inferenz: Die Entscheidungsfindung generativer KI-Modell interpretieren und systemische Schwachstellen identifizieren.
• Informationssammlung und -aufbereitung (Reconnaissance): präventive Angriffsstrategien und deren Abwehr verstehen.

„Mit dem Projekt AIgenCY haben wir die Chance, die Weichen für eine sichere digitale Zukunft zu stellen und KI-Innovationen im Sinne einer resilienten Gesellschaft voranzutreiben“, betont Prof. Dr. Claudia Eckert, Institutsleiterin des Fraunhofer AISEC.