Dank steigender Rechenleistung, neuen Algorithmen und wachsenden Datenmengen konnten sich Künstliche Intelligenz (KI) beziehungsweise KI-Systeme in den letzten Jahren in etlichen Anwendungsfällen durchsetzen. Auf Textanalyse, Übersetzung, Bild- und Spracherkennung folgten sicherheitskritische Bereiche wie etwa das autonome Fahren. Das Bundesamt für Sicherheit in der Informationstechnik (BSI) leistet Grundlagenforschung und entwickelt bedarfsorientierte wie praxisnahe Anforderungen, Prüfkriterien und Prüfmethodologien, um den Einsatz von KI zum Wohle der Allgemeinheit sicher zu gestalten.

Chance und Bedrohung

Drei wesentliche Berührungspunkte von KI und IT-Sicherheit sind momentan Gegenstand intensiver Forschung:

• IT-Sicherheit für KI: Wie können KI-Systeme angegriffen werden? Welche Angriffsszenarien entstehen durch den Einsatz von KI und welche Auswirkungen haben diese? Wie können KI-Systeme gegen KI-spezifische Angriffe nachweisbar geschützt werden?
• IT-Sicherheit durch KI: Wie können KI-Systeme die IT-Sicherheit verbessern? Welche Maßnahmen zur Verteidigung können effizienter gestaltet, welche neu entwickelt werden?
• Angriffe durch KI: Welche neuen Bedrohungen für IT-Systeme schaffen KI-Methoden in Angriffswerkzeugen? Welche bekannten Angriffe können durch KI verbessert werden? Wie können solche Angriffe erkannt und abgewehrt werden?

Diese Fragestellungen stehen sowohl innerhalb des BSI als auch in Standardisierungsgremien und Expertengruppen weltweit im Fokus. Dazu gehören DIN, ETSI, ITU, ENISA und die HLEG der Europäischen Kommission. Als Cyber-Sicherheitsbehörde des Bundes bringt das BSI hier seine Expertise ein.

Schwerpunkt Künstliche Intelligenz im BSI

Mehrere Referate bearbeiten das Thema KI mit unterschiedlichen inhaltlichen Schwerpunkten. Dabei geht es sowohl um konkrete KI-Systeme, etwa zur Verkehrsschildererkennung, als auch um allgemeine KI-Methoden wie tiefe neuronale Netze. Als gemeinsames Resultat seiner KI-Aktivitäten hat das BSI ein Überblicksdokument erstellt, das Probleme, Maßnahmen und Handlungsbedarfe für den sicheren, robusten und nachvollziehbaren Einsatz von KI präsentiert.

Sicherer, robuster und nachvollziehbarer Einsatz von KI

Secure, robust and transparent application of AI

Das BSI, der TÜV-Verband und das Fraunhofer Heinrich-Hertz-Institut (HHI) führen gemeinsam eine jährlich stattfindende Workshopreihe zur Prüfbarkeit von KI-Systemen mit international renommierten Expertinnen und Experten durch. In den Workshops wird der aktuelle Stand der Prüfbarkeit von KI-Systemen in sicherheitskritischen Bereichen als Grundlage für die Priorisierung von zukünftigen Arbeiten erfasst. Die Ergebnisse der Workshops hat das BSI mit den Expertinnen und Experten von TÜV-Verband, Fraunhofer und allen Vortragenden jeweils in einem Whitepaper zusammengefasst:

Towards Auditable AI Systems (2021)

Towards Auditable AI Systems (2022)

Die Erklärbarkeit Künstlicher Intelligenz untersucht das BSI ebenfalls. Thema einer Veröffentlichung von Anfang 2022 ist die Machbarkeit der Erstellung deterministischer, robuster Modelle des Deep Lerning (DL) und die Realisierbarkeit deterministisch erklärbarer Künstlicher Intelligenz (XAI) in der Praxis. Reproduzierbarkeit trägt als Voraussetzung zur Herleitung von Kausalität aus DL-Modellergebnissen zur Schaffung von Vertrauen in KI-System-Anwendungen bei. Die englischsprachige Arbeit untersucht die auf dem Weg zur Reproduzierbarkeit zu lösenden Probleme und den möglichen Umgang mit einigen davon.

Deep Learning Reproducibility and Explainable AI (XAI)

Der Begriff Formale Methoden (FM) fasst die Techniken der Modellierung und mathematischer, rigoroser Überprüfung von Computersystemen zusammen, um deren Stabilität und Zuverlässigkeit mathematisch nachweisen zu können. Überwiegend werden FM verwendet, um die Fehlerfreiheit von möglichst vollständig spezifizierten Modellen zu analysieren. Die Spezifizierung von KI-Modellen stellt die Gesamtheit der FM vor besondere Herausforderungen, die im Dokument beschrieben werden. KI-Modelle sollen bezüglich Erklärbarkeit, Robustheit und Sicherheit verifiziert werden. Es gibt gute Ansätze für den Nachweis der Korrektheit durch automatisierte Deduktion. Dies wird anhand eines exemplarischen Vorgehens in der Publikation beschrieben.

Formale Methoden und erklärbare künstliche Intelligenz

Kompetenzzentrum Künstliche Intelligenz

Existierende Standards für klassische IT-Systeme lassen sich aufgrund der besonderen Struktur moderner KI-Systeme nicht unmittelbar übertragen. So besteht eine weitere Schwierigkeit für VerbraucherInnen, Unternehmen oder Behörden darin, die Sicherheit von KI-Systemen im jeweiligen Anwendungsfall zu bewerten. Um geeignete Sicherheitsnachweise für eine Bewertbarkeit ausstellen zu können, benötigen qualifizierte Prüfer hinreichend geeignete und verlässliche Prüfkriterien, -methodologien und -werkzeuge.

Deren Erstellung zu koordinieren, ist Aufgabe des 2019 ins Leben gerufenen Kompetenzzentrums Künstliche Intelligenz im BSI. Dabei berücksichtigt es mehrere Aspekte der KI wie beispielsweise Robustheit, Sicherheit, Verlässlichkeit, Integrität, Transparenz, Erklärbarkeit, Interpretierbarkeit und Fairness beziehungsweise Nichtdiskriminierung von KI-Systemen sowie die Qualität der Daten, die eine zentrale Rolle für das maschinelle Lernen spielen. Das Kompetenzzentrum dient der Bundesverwaltung als zentraler KI-Ansprechpartner.

Ein erstes Ergebnis seiner Arbeit ist der AI Cloud Service Compliance Criteria Catalogue (AIC4). Er gibt professionellen Anwendern eine erste Basis, um die Sicherheit von KI-Diensten in einer Cloud für ihren Anwendungsfall hinsichtlich ausgewählter Aspekte zu bewerten. Diese Kriterien werden regelmäßig überarbeitet, um die Aussagekraft stetig zu erhöhen und den aktuellen Stand der Technik abzubilden. Kriterien für weitere Anwendungsfälle werden folgen.

KI in sicherheitskritischen Bereichen wie Automotive und Biometrie

KI-Methoden werden zunehmend und im großen Maßstab für sicherheitskritische Aufgaben eingesetzt. Dazu zählen biometrische Identifikation und Verifikation von Personen, aber auch Kernfunktionalitäten des autonomen Fahrens. Die spezifischen Rahmenbedingungen dieser praktischen Anwendungen unterscheiden sich erheblich.

So gilt es insbesondere, die Robustheit der Verfahren gegenüber zufälligen Änderungen in den Eingabedaten zu bewerten. Beim automatisierten Fahren muss beispielsweise die Erkennung von Verkehrsschildern auch bei widrigen Wetterbedingungen oder Verschmutzungen der Kamera oder der Schilder zuverlässig funktionieren. Zu diesem Zweck entwickelt das BSI gemeinsam mit dem Verband der Technischen Überwachungs-Vereine (VdTÜV) seit Mitte 2019 Anforderungen an KI-Systeme im Mobilitätsbereich.

Fachartikel des BSI zu grundsätzlichen Fragestellungen der IT-Sicherheit von KI-Anwendungen (Juli 2020, Frontiers in big data, engl.)

Beispiel Kryptografie: KI unterstützt technische Evaluierung

KI-Techniken wendet das BSI auch auf kryptografische Fragestellungen an. Mit Blick auf neue Angriffsmöglichkeiten werden kryptografische Verfahren und Implementierungen neu bewertet und bestehende Anforderungen wo nötig angepasst.

Unter Beweis stellen konnte das BSI seine Fähigkeiten bereits auf der Kryptografietagung CHES. Unter Zuhilfenahme von KI-Methoden belegte ein BSI-Team 2018 in zwei Einzeldisziplinen den ersten Platz in der CHES, 2020 trug es den Gesamtsieg davon.

Studien des BSI zum Thema KI

Das BSI beschäftigt sich im Bereich der Künstlichen Intelligenz bereits heute mit Zukunftstechnologien wie dem „Quantum Machine Learning“. Dieses analysiert und erprobt die Potentiale des Quantencomputings im Kontext des maschinellen Lernens. In einer Grundlagenstudie hat das BSI den aktuellen Forschungsstand zum Quantum Machine Learning erfasst und Chancen und Risiken hinsichtlich der IT-Sicherheit beleuchtet.

In einem weiteren Projekt untersucht das BSI, wie Verfahren des maschinellen Lernens genutzt werden können, um Methoden der statischen Codeanalyse zu verbessern. Die Ergebnisse zum Stand der Forschung auf diesem Gebiet wurden in der Studie Machine Learning in the Context of Static Application Security Testing - ML-SAST zusammengefasst.

Im Projekt 464 "Security of AI-Systems: Fundamentals" hat das BSI in mehreren Studien den aktuellen Stand der Forschung im Bereich der „Sicherheit von KI-Systemen“ erfasst:

• Security of AI-Systems: Fundamentals - Adversarial Deep Learning Die Studie untersucht grundlegende Fragestellungen zur Sicherheit von Neuronalen Netzen.
• Security of AI-Systems: Fundamentals - Provision or use of external data or trained models Die Studie beschäftigt sich mit Sicherheitsaspekten, die darin begründet sind, dass KI-Ressourcen geteilt werden.
• Security of AI-Systems: Fundamentals Security Considerations for Symbolic and Hybrid AI Die Publikation beschäftigt sich mit Sicherheitseigenschaften von symbolischer KI und hybriden KI-Systemen, bei denen symbolische KI mit anderen KI-Methoden (zum Beispiel Neuronalen Netzen) verknüpft wird.

Definitionen: Künstliche Intelligenz und KI-Systeme

Das BSI versteht unter dem Begriff "Künstliche Intelligenz" die Technologie und die wissenschaftliche Disziplin, die mehrere Ansätze und Techniken wie zum Beispiel maschinelles Lernen, maschinelles Schließen und die Robotik umfassen.

KI-Systeme sind Software- und Hardwaresysteme, die Künstliche Intelligenz nutzen, um in der physischen oder digitalen Welt "rational" zu handeln. Auf Grundlage von Wahrnehmung und Analyse ihrer Umgebung agieren sie mit einem gewissen Grad an Autonomie, um bestimmte Ziele zu erreichen.

Diese Definitionen sind angelehnt an die der High-Level Expert Group on AI (HLEG) der Europäischen Kommission.

Leitfaden für Entwickelnde

Das BSI schafft mit der Beschreibung von praxisrelevanten Angriffen auf KI Bewusstsein bei Entwickelnden für mögliche Schwachstellen von KI Anwendungen. Die Publikation "AI Security Concerns in a Nutshell" enthält eine kurze und anschauliche Darstellung des aktuellen Stands der Forschung im Bereich Angriffe auf KI. Es werden den Entwickelnden auch mögliche Verteidigungen gegen Angriffe vorgestellt.

AI security concerns in a nutshell - Practical AI-Security guide

Das BSI hat 2023 in Kooperation mit internationalen Cybersicherheitsbehörden einen Leitfaden zur Entwicklung sicherer KI-Systeme entwickelt. Die Publikation "Guidelines for secure AI system development" gibt spezifische Empfehlungen in Bezug auf Design, Entwicklung, Einsatz und den Betrieb von KI-Systemen.

Guidelines for secure AI system development

Die Publikation 'Reinforcement Learning Security in a Nutshell' aus dem Jahr 2023 folgt dem Vorbild von 'AI Security in a Nutshell', und erweitert die Betrachtung um den spezifischen Fall von Reinforcement Learning Systemen. Die Veröffentlichung wendet sich an Entwicklerinnen und Entwickler von KI-Systemen und stellt den Stand der Forschung im Bereich Cybersecurity für Reinforcement Learning Systeme kompakt dar.
Das Ziel der Publikation ist, die Entwicklerinnen und Entwickler für mögliche Angriffsvektoren zu sensibilisieren und über vorhandene Verteidigungsmaßnahmen zu informieren, damit diese im Rahmen einer Risikoanalyse berücksichtigt werden können.

Reinforcement Learning Security in a Nutshell

Generative KI

Generative KI-Modelle sind in der Lage, eine Vielzahl an Aufgaben durchzuführen, die traditionell Kreativität und menschliches Verständnis erfordern. Sie erlernen während des Trainings Muster aus vorhandenen Daten und können in der Folge neue Inhalte wie Texte, Bilder, Musik und Videos erzeugen, die ebenfalls diesen Mustern folgen. Große Sprachmodelle (engl. Large Language Model/LLM) stellen ein Teilgebiet der generativen KI dar und können in einer Vielzahl von Anwendungsfällen genutzt werden. Dazu gehören Anwendungen, in denen Text verarbeitet und darauf basierend Textausgaben erzeugt werden sollen, z.B. im Rahmen der Übersetzung, Generierung und Klassifikation von Texten. Neben Chancen birgt die Verwendung von LLMs neuartige IT-Sicherheitsrisiken und kann bekannte IT-Sicherheitsbedrohungen verstärken.

Die Publikation Generative KI-Modelle - Chancen und Risiken für Industrie und Behörden stellt in der aktuellen Fassung eine Übersicht dieser Chancen und Risiken von LLMs als Teilmenge der generativen KI dar. Sie zeigt mögliche Gegenmaßnahmen auf, um den Risiken zu begegnen. Die Publikation richtet sich an Unternehmen und Behörden, die über die Integration von LLMs in ihren Arbeitsabläufen nachdenken, um ein grundlegendes Sicherheitsbewusstsein für diese Modelle zu schaffen und ihren sicheren Einsatz zu fördern; dabei kann sie als Grundlage für eine systematische Risikoanalyse dienen. Mit der angestrebten Erschließung weiterer Teilgebiete in der generativen KI, wie Bild- oder Videogeneratoren, wird die Publikation kontinuierlich erweitert.