Zusammenfassung
Die Verwendung von KI bei der Erkennung von Schwachstellen bringt sowohl erhebliche Vorteile als auch Risiken mit sich, insbesondere das Potenzial, falsch positive und ungenaue Berichte über Schwachstellen zu erstellen.
Ein Zustrom nicht verifizierter, KI-generierter CVEs kann Sicherheitsdatenbanken überfordern, das Vertrauen in den Forschungsprozess untergraben und die Aufmerksamkeit von echten Bedrohungen ablenken.
Fälle aus der Praxis, wie die Abschaltung des Bug-Bounty-Programms von Curl, heben die betrieblichen Herausforderungen und negativen Auswirkungen von qualitativ schwachen KI-gesteuerten Einreichungen hervor.
Die menschliche Aufsicht ist entscheidend, um KI-Erkenntnisse zu validieren, sicherzustellen, dass nur legitime Schwachstellen gemeldet werden, und um die Integrität des CVE-Systems zu erhalten.
In der sich ständig weiterentwickelnden Cybersicherheitslandschaft hat sich die Anwendung von künstlicher Intelligenz (KI) bei der Ermittlung von Schwachstellen als leistungsstarkes Tool herausgestellt. Dieses Tool birgt jedoch, wie jede Technologie, Risiken, die sorgfältig verwaltet werden müssen.
Ein wesentliches Problem ist die Möglichkeit, dass KI-Systeme False Positives generieren, was zu einer Flut von (Unsinns-)Berichten über falsche Schwachstellen führt. Wenn diese nicht verifizierten Ergebnisse ohne ordnungsgemäße Validierung eingereicht werden, können sie zu einer Fülle falscher CVE-IDs führen, die die Identifizierung echter Sicherheitsbedrohungen erschweren würden.
Die Art von KI bei der Schwachstellenerkennung
KI-Tools können Code und Systeme analysieren, um potenzielle Schwachstellen zu identifizieren, häufig durch die Nutzung von Mustern und Daten aus vergangenen CVEs. Obwohl diese Tools effektiv sein können, sind sie nicht unfehlbar. Sie können Codeausschnitte falsch interpretieren, ein Muster, das nicht mit tatsächlichen Exploits in Verbindung steht, falsch identifizieren oder Nichtprobleme fälschlicherweise als Schwachstellen kennzeichnen (d. h. eine Datei als anfällig kennzeichnen, wenn sie gutartig ist), was zu False Positives führen kann.
Das Problem von False Positives
False Positives bei der KI-basierten Schwachstellenerkennung können sich auf verschiedene Weise manifestieren. Ein KI-Tool erkennt möglicherweise ein Muster, das einem bekannten Exploit ähnelt, prüft jedoch nicht, ob es tatsächlich ein Risiko darstellt.
Dieser Fehler kann zur Schaffung eines neuen CVE führen, selbst wenn keine tatsächliche Schwachstelle vorhanden ist. Solche False Positives können dann an MITRE übermittelt werden, was zur Zuweisung von CVE-IDs führt, die möglicherweise keine echte Bedeutung haben.
Die Folgen ungeprüfter Einreichungen
Die Verbreitung falscher CVEs kann schwerwiegende Folgen haben. Diese IDs können die CVE-Datenbank überladen, wodurch es schwieriger wird, tatsächliche Sicherheitsprobleme zu erkennen und zu beheben. Dies würde zu einer Informationsflut führen und die Effizienz bei der Bekämpfung von echten Schwachstellen verringern. Schlimmer noch: Cyberkriminelle könnten dieses System ausnutzen, um CVE-IDs für ihre eigenen Zwecke zu generieren, was die Sicherheitslandschaft noch komplizierter macht.
Es besteht auch die Möglichkeit, dass eine Flut von falsch-positiven Schwachstellen den Ruf und das Vertrauen der Verbraucher in eine Marke oder einen Anbieter schädigen kann. Wenn ein Produkt oder eine Plattform als gefährlich und mit vielen Bugs behaftet wahrgenommen wird, könnte ein Kunde das Gefühl haben, dass es für sein Unternehmen ein zu hohes Risiko darstellt, und nach Alternativen suchen.
Wenn eine Welle unverifizierter Schwachstellen ohne vorherige Koordination oder Validierung mit dem Anbieter veröffentlicht wird, kann dies zu einer großen Menge unnötiger Arbeit führen und die Ressourcen eines Unternehmens überlasten. Beispielsweise muss die PR-Abteilung schnell Aussagen zur Situation ausstellen, und die Ingenieure am Backend müssen sich beeilen, um die zahlreichen Behauptungen zu untersuchen und zu validieren.
Ein Beispiel aus der Praxis
Das Curl-Dienstprogramm schließt sein Bug-Bounty-Programm aufgrund von KI-Slop-Fehlerberichten. Wir glauben, dass dies zu einem größeren Problem werden wird, da Schwachstellenforscher bei der Entdeckung neuer Schwachstellen KI nutzen. Diese neue KI-Technologie wird auch sicher zur Entdeckung von überprüfbaren und legitimen Bugs führen, aber diese werden langsamer überprüft werden, da Entwickler und Anbieter alle Bug-Berichte durcharbeiten müssen, legitim oder nicht.
Die Schließung des Bug-Bounty-Programms von Curl aufgrund eines Zustroms von qualitativ minderwertigen KI-generierten Bug-Berichten verdeutlicht die Herausforderungen, denen Entwickler und Anbieter bei der Überprüfung und Behebung legitimer Schwachstellen gegenüberstehen. Diese Situation hat zu einem langsameren Verifizierungsprozess geführt, da Menschen zahlreiche, oft ungenaue, KI-gesteuerte Berichte durchsuchen.
Die Abschaltung birgt auch die Gefahr, dass Beitragende demotiviert und andere Unternehmen möglicherweise dazu bewegt werden, diesem Beispiel zu folgen. Das würde die Gesamtsumme der zur Identifizierung von Sicherheitsproblemen verfügbaren Ressourcen verringern.
Um dieses Problem zu beheben, sind verbesserte Systeme zum Filtern und Validieren von Berichten erforderlich. Verbesserte Systeme können zu Änderungen bei der Verwaltung von KI-Beiträgen durch Bug-Bounty-Programme führen und dazu beitragen, die Qualität und Zuverlässigkeit der Einreichungen zu gewährleisten.
Ein KI-generiertes Beispiel
Die folgende Abbildung zeigt ein Beispiel, das von Claude Code mit Vivotek Firmware generiert wurde, das ich zurückentwickelt hatte. Die Schwachstelle kann nicht ausgenutzt werden, da die vom Nutzer angegebene Eingabe eine Ganzzahl und keine Zeichenfolge ist. Daher ist das Einfügen von Befehlen nicht möglich.
OS Command Injection in apply_ipfilter_rule()
CVSS score: 9.8 (CRITICAL)
CWE: CWE-78
Location: 0x0000a0cc
Description
Complex iptables rule construction with unsanitized IP range parameters passed to shell commands via popen().
Vulnerable code
// Constructs command like: /usr/sbin/confclient -s ipfilter_ipv4list_0_"0;malicious;echo"
snprintf(PTR_DAT_0000a4fc, 0xff, PTR_s__sipfilter_ipv4list_i_d__s__s_____0000a530, PTR_DAT_0000a4dc, // confclient script
param_3, // List index (user controlled)
param_1, // IP range START (unvalidated)
param_2); // IP range END (unvalidated)
pFVar5 = popen(PTR_DAT_0000a4fc, "r"); // Passes to shellDie Rolle des Forschers: Die menschliche Aufsicht ist von entscheidender Bedeutung
KI ist ein wertvolles Werkzeug, aber es muss mit menschlichem Fachwissen kombiniert werden. Forscher, die KI-Tools verwenden, ohne ihre zugrunde liegende Logik zu verstehen, laufen Gefahr, Fehler zu übersehen und unzuverlässige Ergebnisse zu erzeugen.
Es ist nicht verantwortungsvoll, sich ausschließlich auf KI zu verlassen. Die Überprüfung und Validierung der Ergebnisse durch Menschen ist unerlässlich, um sicherzustellen, dass nur echte Schwachstellen gemeldet werden und die Ergebnisse zuverlässig sind.
Mindern der Risiken
Um diese Risiken zu mindern, muss die Sicherheitscommunity einen vorsichtigen Ansatz verfolgen. Forscher sollten KI-Befunde vor der Einreichung durch manuelle Analysen und Experimente überprüfen.
Darüber hinaus sollten Richtlinien für den verantwortungsvollen Einsatz von KI bei der Schwachstellenforschung aufgestellt werden. Diese Richtlinien sollten obligatorische Überprüfungsschritte und Schulungen für Forscher beinhalten, um ihr Verständnis der Einschränkungen von KI zu verbessern.
Die umfassenderen Auswirkungen
Die Community steht nicht nur vor technischen Herausforderungen durch den Einsatz von KI bei der Erkennung von Schwachstellen, sondern muss sich auch umfassenderen Auswirkungen stellen. Eine Flut von qualitativ hochwertigen CVEs kann das Vertrauen in den Sicherheitsforschungsprozess mindern und die Aufmerksamkeit von kritischen Schwachstellen ablenken. Es ist unerlässlich, die Integrität des CVE-Systems zu wahren, indem sichergestellt wird, dass es eine zuverlässige Ressource für Entwickler und Organisationen bleibt.
Viele Organisationen bieten Schwachstellenforschern Zahlungen in Form von Bug-Prämien nach der Entdeckung und der verantwortungsbewussten Offenlegung einer Schwachstelle im Produkt eines Anbieters an. Obwohl diese Programme für beide Parteien einen großen Wert haben, können sie manchmal durch falsch-positive Berichte behindert werden.
KI-Tools: Mehr Geschwindigkeit und Zugänglichkeit bei wenig bis gar keiner Validierung
Die Forscher, die an diesen Programmen teilnehmen, haben einen großen finanziellen Anreiz, so viele Schwachstellenberichte wie möglich zu erstellen. Durch den Einsatz von KI-Tools steigt die Geschwindigkeit, mit der sie diese Berichte erstellen können, exponentiell an.
Personen mit wenig bis gar keiner Erfahrung in der Programmierung entwickeln bereits Anwendungen und Dienste durch „Vibe-Coding“ (KI-unterstützte Codegenerierung), was in der Theorie gut klingt, aber bei unsachgemäßer Verwendung zu Sicherheitsmängeln und Effizienzproblemen führen kann.
Und die gleichen Gefahren bestehen auch für die KI-gestützte Schwachstellenforschung. Personen mit wenig oder gar keinem Wissen über Schwachstellenforschung neigen möglicherweise dazu, das Forschungsäquivalent von Vibe-Coding zu verwenden und KI-Tools auszulagern, um die gesamte Arbeit für sie zu erledigen – mit wenig bis gar keiner Validierung.
Wen interessiert es, ob der von KI generierte Schwachstellenbericht genau ist, wenn Ihr tatsächlicher Aufwand gering ist und Sie Berichte viel schneller ausgeben können als manuell? Es reicht aus, wenn einige davon valide sind, um schnell Geld zu erhalten.
Gleichzeitig behindern diese Vorfälle die Zyklen für die Anbieter und Organisationen, die diese Bug-Bounty-Programme durchführen. Sie verringern ihr Vertrauen und verringern ihren Anreiz, sich auf Berichte von externen Forschern zu verlassen.
Ein Aufruf zu Vorsicht und Verantwortung
KI birgt enormes Potenzial zur Verbesserung der Cybersicherheit, muss aber umsichtig eingesetzt werden. Durch die Integration menschlicher Aufsicht und die Übernahme verantwortungsvoller Praktiken kann die Sicherheitscommunity die Möglichkeiten von KI nutzen, ohne die Genauigkeit und Zuverlässigkeit der Berichte zu Schwachstellen zu beeinträchtigen.
Lassen Sie uns in Zukunft mit einem ausgewogenen Ansatz agieren, der die Stärken von KI mit menschlicher Expertise kombiniert, um durch die komplexe Landschaft der Cybersicherheit zu navigieren.
Tags
