Kontakt

Sie haben Fragen oder Anregungen? Wir freuen uns auf Ihr Feedback!

tel +49 89 991950-0
fax +49 89 991950-999
info@genua.de

» Kontaktformular

Hoffnungsträger Künstliche Intelligenz

Insights | 21.08.2019
Roter Roboter im Büro

In Künstliche Intelligenz (KI) werden in der IT-Sicherheit viele Hoffnungen gesetzt, um die Komplexität zu reduzieren und Aufgaben zu automatisieren. KI macht aber auch Fehler und ist angreifbar – welche Erwartungen kann sie in sicherheitskritischen Bereichen erfüllen?

Vernetzte Computer spielen eine zunehmend kritische Rolle in unserem Leben. Entsprechend hohe Anforderungen zum Schutz von Daten und Verfügbarkeit werden an die Betreiber sensitiver Infrastrukturen gestellt. Diese können jedoch wegen der steigenden Komplexität der Netze, unzureichender Verfügbarkeit von kosteneffektiven Lösungen zum Management dieser Komplexität und Mangel an erfahrenem Personal im Bereich der IT-Sicherheit oft nicht erfüllt werden.

Von Künstlicher Intelligenz wird in der IT-Security erwartet, dass sie hochkomplexe Zusammenhänge automatisch erkennt, auf eine für den Menschen verständliche Komplexität reduziert sowie wiederkehrende Aufgaben weitgehend automatisiert ausführt. So soll die Produktivität des Fachpersonals gesteigert, das Einsatzspektrum weniger erfahrenen Personals erweitert wie auch schneller und präziser auf Gefahren reagiert werden können.

Klassische Herangehensweisen an KI in der IT-Sicherheit

Zu den bekanntesten und ältesten Anwendungen von KI-Techniken in der IT-Sicherheit gehören Spamfilter. Diese arbeiten typischerweise mit überwachtem (supervised) Lernen. Dabei wird ein Teil der Mails vom Menschen oder anhand externer Kriterien wie Blacklists explizit als Spam oder Ham markiert. Mittels KI wird daraus ein Datenmodell erstellt und dieses zur Klassifizierung unbekannter Mails als Spam oder Ham genutzt.

Ein klassisches Beispiel für unüberwachtes (unsupervised) Lernen wiederum ist die Anomalieerkennung: Hierbei wird ein Modell des aktuellen typischen Systemverhaltens gelernt und später auftretende Abweichungen davon als untypisch deklariert. Unüberwachtes Lernen wird weiterhin zum automatischen Clustering von Malware benutzt, um ähnliche Malware auf die wahrscheinlich gleichen Autoren zurückzuführen.

Supervised Learning vs. unsupervised Learning

Abb. 1: Supervised Learning (links) erstellt ein näherungsweises Modell von vorab klassifizierten Daten, welches nachfolgend zur Klassifikation unbekannter Daten (offene Kreise) genutzt wird. Unsupervised Learning ermöglicht Clustering unklassifizierter Daten (rechts), wobei Abweichungen von den Clustern je nach Abstand als mehr oder weniger anomal gesehen werden.

Herausforderungen an KI in der IT-Sicherheit

Die Anwendung von KI in der IT-Sicherheit bedeutet in vieler Hinsicht andere Herausforderungen als die Nutzung von KI z. B. in Empfehlungssystemen wie Spotify, der automatischen Kategorisierung von Bildern oder Sprachassistenten wie Siri oder Alexa. So hat man es in der IT-Sicherheit oftmals mit vergleichsweise wenig Daten zu tun, welche zusätzlich stark verzerrt sind und deren Charakteristika sich häufig ändern können.

Beispielsweise kommen selbst in einem größeren Unternehmen verhältnismäßig wenig Mails an, und von diesen stellt nur ein kleiner Bruchteil wirklich Angriffe da. Außerdem ändern sich über die Zeit sowohl die gutartigen E-Mails als auch das Vorgehen der Angreifer. In diesem Umfeld scheitern typische Big-Data-Methoden, bei denen Algorithmen komplexe Korrelationen finden, solange man ihnen nur genug Daten und genug Rechenzeit gibt. Menschliche Domainexperten hingegen sind durch ihre fundierte Kenntnis des Problemfelds besser in der Lage, aus den Daten Merkmale zu generieren und zu kombinieren sowie auch bei wenigen und dynamischen Daten sinnvolle Ergebnisse zu erzielen.

Im Gegensatz zur Anwendung von KI in vielen anderen Bereichen muss in der IT-Sicherheit explizit davon ausgegangen werden, dass ein Angreifer versucht, inhärente Schwächen der Systeme zu erkennen und auszunutzen. Diese Schwächen existieren, weil ein KI-System basierend auf den Trainingsdaten nur Korrelationen und keine wirklichen Kausalzusammenhänge erlernt. So hatte z. B. ein Modell zur Analyse von PDF-Dateien aus den verfügbaren Trainingsdaten „gelernt“, dass bösartige PDFs typischerweise nur eine Seite haben. Damit reichte bereits das Hinzufügen einer weiteren Seite, um die Erkennung zu umgehen. Entsprechend sind erneut Domainexperten gefragt, um die Merkmale und Modelle hinsichtlich Angreifbarkeit zu untersuchen und robustere Verfahren zu entwickeln. Zusätzlich kann versucht werden, den Zugriff des Angreifers auf die Modelle zu erschweren, z. B. durch kundenspezifische statt globale Modelle und durch Beschränkung der Interaktionsmöglichkeiten des Angreifers mit den Modellen.

Und wie der Mensch, so ist auch KI nicht perfekt und macht Fehler. Dies sind eventuell aber andere Fehler, als sie ein Mensch machen würde und daher für diesen nicht verständlich und erwartbar. Solange KI-Systeme nur Empfehlungen geben, ist das nicht so schlimm. Kritischer wird es bei autonomen Entscheidungen. So kann es passieren, dass wichtige Mails abgelehnt und gefährliche Mails als gutartig markiert werden. Oder dass die Bewegungen eines Angreifers im Netz als normal gesehen, dagegen aber eine kritische, selten genutzte Datenverbindung blockiert wird. Entsprechend zurückhaltend ist man derzeit mit dem Einsatz autonom entscheidender KI-Systeme. Eine große Herausforderung ist daher die Entwicklung einer KI, deren Verhalten für den Menschen nachvollziehbar genug ist, dass er ihr für autonome Entscheidungen ausreichend vertraut. Dazu ist es wichtig zu verstehen, was eigentlich gelernt wurde, um auf dieser Basis Fehler im Modell korrigieren zu können.

Auswahl der passenden Merkmale entscheidend für die Trennschärfe eines ModellsAbb. 2: Die Auswahl der passenden Merkmale kann entscheidend für die Trennschärfe des Modells sein. Eine hohe Domainexpertise ist daher gerade bei wenigen Daten oder einem starken Ungleichgewicht zwischen den verschiedenen Klassen – z. B. Menge an gutartigen (grün) und bösartigen (rot) Mails – essentiell.

 KI bei genua

Die ersten Schritte mit KI haben wir bei genua im Forschungsprojekt Padiofire (2011-2013) gemacht, bei dem wir KI-Methoden zur Erkennung von eingeschleustem bösartigen JavaScript verwendet haben.

Im darauf folgenden Forschungsprojekt APT-Sweeper (2014-2018) haben wir uns mit der besseren Erkennung über Web und Mail erfolgender, gezielter Angriffe befasst. Dabei war KI die zentrale Technologie, um gefälschte Absender in Mails zu erkennen oder Phishing-Webseiten von gutartigen zu unterscheiden.

Verhältnis False-Positive-Rate (FPR) und True-Positive-Rate (TPR) bei AngreifernAbb 3: Forschungsprojekt APT-Sweeper: Verhältnis der Erkennung von Absenderspoofing hinsichtlich False-Positive-Rate (FPR) und True-Positive-Rate (TPR) bei Angreifern mit verschiedenen Kenntnissen über die Infrastruktur des zu fälschenden Senders.

 genua war in diesen vom Bundesministerium für Bildung und Forschung (BMBF) geförderten Projekten als Domainexperte primär für Design und Extraktion von Merkmalen, einer privacy-freundlichen Datenerfassung und der Verifikation der Modelle in der Praxis zuständig und legte so die Grundlagen für die Erstellung leistungsfähiger Modelle durch die KI-Algorithmen.

Im Forschungsprojekt INDI (2014-2018) wiederum wurde KI zur Anomalieerkennung in Industrieprotokollen benutzt, wobei sich genua hier primär mit der garantiert nebenwirkungsfreien, sicheren Datenerfassung und -analyse in Industrienetzen befasste.

Zunehmend werden bei genua auch KI-Algorithmen selber angewendet, sowohl im Kontext von mehreren Bachelor- und Masterarbeiten als auch in Forschungsprojekten. So wurde z. B. im Kontext des Forschungsprojektes APT-Sweeper eine Masterarbeit zur intelligenteren Analyse von Mails durchgeführt, in der es uns durch den Einsatz von Künstlicher Intelligenz gelungen ist, bisher unbekannte Variationen bösartiger Mails besser zu detektieren.

Aus unserer Sicht kann KI in der IT-Sicherheit viele der in sie gesetzten Hoffnungen erfüllen, sofern man sich der Probleme und Herausforderungen bewusst ist und diese gezielt angeht. Auch wenn keine Wunder zu erwarten sind, kann mittels KI die Komplexität reduziert und das Wissen einzelner Domainexperten vielen Anwendern nutzbar gemacht werden. Deshalb haben wir uns auch am aktuellen Forschungsvorhaben "Künstliche Intelligenz für IT-Sicherheit" des BMBF mit einem Forschungsantrag beteiligt und werden in naher Zukunft KI-Technologien zum Nutzen unserer Kunden in eigene Produkte integrieren.

Mehr genua Insights

Quantencomputer: Ist die Kryptografie für die Zukunft gewappnet?

 

Bildquelle: rawpixel.com / Pexels

Steffen Ullrich Software-Entwickler, Forschung und Entwicklung, genua GmbH
Um für Sie unsere Webseite zu optimieren, verwenden wir Cookies.
Klicken Sie auf "Cookies zulassen", falls Sie der Nutzung von diesen Cookies zustimmen.
Weitere Informationen dazu finden Sie in unserer Datenschutzerklärung, in der Sie auch jederzeit Ihre Cookie-Einstellungen einsehen und anpassen können.
Datenschutz