Ein rechtswissenschaftliches Projektteam der Universität zu Köln beteiligt sich unter der Leitung von Prof. Dr. Dr. Frauke Rostalski und Dr. Erik Weiss an dem zukunftsweisenden Forschungsprogramm „Forensik intelligenter Systeme (FIS)“ der Agentur für Innovation in der Cybersicherheit GmbH (Cyberagentur). Ziel des Programms ist es, Manipulationen an kontinuierlich lernenden KI-Systemen zu erkennen sowie die Verwertbarkeit etwaiger Ergebnisse der digitalen Forensik abzusichern.
Im Rahmen dieses Forschungsprogramms hat sich die Universität zu Köln in einem kompetitiven, mehrstufigen Auswahlverfahren gemeinsam mit den Partnern Fraunhofer-Institut für Angewandte und Integrierte Sicherheit (AISEC), Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme (IAIS), Institut für Internet-Sicherheit – if(is) und Atos mit dem Forschungsprojekt namens „EMAS-KI – Intelligente Bild- und Videoverarbeitung“ qualifiziert.
Das Konsortium erarbeitet prototypische Methoden und Tools, die eine gerichtsfeste Detektion von Manipulationen an kontinuierlich lernenden KI-Systemen aus dem Bereich der Bild- und Videoverarbeitung ermöglichen sollen. Dazu wird in einem Forschungslabor eine Simulationsumgebung eingerichtet, in der Software für forensische Methoden getestet werden kann. Vorhandene KI-Modelle werden simulierten Angriffen ausgesetzt, um zu untersuchen, welche juristisch verwertbaren Spuren gesichert werden können. Zusätzlich sollen KI-Algorithmen so angepasst werden, dass eine frühzeitige Erkennung möglich wird.
Das rechtswissenschaftliche Projektteam der Universität zu Köln übernimmt die juristische Begleitung des Forschungsvorhabens. Im Mittelpunkt der Forschung steht die Frage, unter welchen rechtlichen Voraussetzungen cyberforensische Methoden zum Nachweis von Manipulationen an KI-Systemen eingesetzt werden dürfen und ob die so gewonnenen Erkenntnisse im Strafverfahren verwertbar sind. Dazu werden einschlägige Vorgaben des nationalen und europäischen Rechts, insbesondere der Strafprozessordnung, der europäischen KI-Verordnung und des europäischen Datenschutzrechts im Hinblick auf ihre Anforderungen an Beweiserhebung und -verwertung untersucht. Weiterhin wird die materielle Strafbarkeit etwaiger Manipulationsangriffe auf KI-Systeme umfassend evaluiert. Ziel ist es, Kriterien für die gerichtsfeste Anwendung cyberforensischer Methoden zu entwickeln, ggf. bestehende Regelungslücken aufzudecken sowie geeignete Anpassungsvorschläge zu unterbreiten.