Synthèse
L'utilisation de l'IA dans la découverte des vulnérabilités apporte à la fois des avantages et des risques importants, en particulier celui de générer des faux positifs et des rapports de vulnérabilité inexacts.
Un afflux de CVE générées par l'IA et non vérifiées peut submerger les bases de données de sécurité, éroder la confiance dans le processus de recherche et détourner l'attention des menaces réelles.
Des cas concrets, comme la fermeture du programme de chasse aux bugs de curl, mettent en lumière les défis opérationnels et les impacts négatifs des soumissions de faible qualité générées par l'IA.
La supervision humaine est essentielle pour valider les résultats produits par l'IA, garantir que seules les vulnérabilités légitimes sont signalées et préserver l'intégrité du système CVE.
Dans un paysage de la cybersécurité en constante évolution, l'application de l'intelligence artificielle (IA) à la découverte des vulnérabilités s'est imposée comme un outil puissant. Cependant, comme toute technologie, cet outil comporte des risques qui doivent être soigneusement maîtrisés.
Un point en particulier suscite des préoccupations majeures : les systèmes d'IA génèrent parfois des faux positifs, ce qui entraîne une profusion de rapports de vulnérabilités erronées ou dénuées de sens. Si ces résultats sont soumis sans avoir été vérifiés et validés avec soin au préalable, ils peuvent conduire à une multitude de faux identifiants CVE, compliquant l'identification des véritables menaces.
La nature de l'IA dans la détection des vulnérabilités
Les outils d'IA peuvent analyser le code et les systèmes pour repérer les vulnérabilités potentielles, souvent en s'appuyant sur des modèles et des données issus de CVE précédentes. Bien que ces outils puissent être efficaces, ils ne sont pas infaillibles. Ils peuvent mal interpréter des extraits de code, identifier à tort un modèle sans lien avec une exploitation réelle ou qualifier de vulnérabilité un élément qui ne pose aucun problème (c'est-à-dire, signaler un fichier comme vulnérable alors qu'il est parfaitement sain), ce qui donne lieu à des faux positifs.
Le problème des faux positifs
Les faux positifs dans la détection des vulnérabilités pilotée par l'IA peuvent prendre différentes formes. Un outil d'IA peut reconnaître un modèle qui ressemble à celui d'une exploitation connue, sans pour autant confirmer qu'il présente effectivement un risque.
Ce manque de vérification peut aboutir à la création d'une nouvelle CVE, alors même qu'aucune vulnérabilité n'existe. Ces faux positifs peuvent ensuite être soumis à MITRE, puis se voir attribuer des identifiants CVE qui peuvent donc manquer de réelle pertinence.
Les conséquences des soumissions non vérifiées
La prolifération de CVE erronées peut avoir de graves conséquences. Ces identifiants peuvent encombrer la base de données CVE et ainsi entraver l'identification et la correction des véritables failles de sécurité. Cela se traduit par une surcharge d'informations et une baisse d'efficacité dans le traitement des vulnérabilités réelles. Pire encore, des acteurs malveillants pourraient exploiter ce système pour générer des identifiants CVE à leurs propres fins, ce qui compliquerait davantage le paysage de la sécurité.
Une vague de faux positifs peut aussi nuire à la réputation d'une marque ou d'un fournisseur, ainsi qu'à la confiance de ses clients. Si un produit ou une plateforme est perçu comme étant truffé de bugs dangereux, un client peut estimer qu'il représente un risque trop élevé pour son entreprise et envisager de changer de fournisseur.
En outre, lorsqu'une vague de vulnérabilités non vérifiées est publiée sans coordination ni validation avec l'éditeur concerné, cela peut engendrer une charge de travail inutile et mobiliser excessivement les ressources d'une entreprise. Par exemple, le service des relations publiques peut être contraint de publier rapidement des communiqués pour répondre à la situation, tandis que les ingénieurs back-end doivent déployer en urgence des cycles d'analyse pour examiner et valider les nombreuses allégations.
Un cas réel
L'outil curl ferme actuellement son programme de chasse aux bugs en raison d'un afflux de rapports de bugs de mauvaise qualité générés par l'IA. Nous pensons que ce problème va s'aggraver à mesure que les chercheurs en sécurité se tournent vers l'IA pour découvrir de nouvelles vulnérabilités. Cette nouvelle technologie permettra certes de détecter des bugs vérifiables et légitimes, mais les vérifier prendra plus de temps, car les développeurs et les fournisseurs devront passer au crible tous les rapports, qu'ils soient fondés ou non.
La fermeture du programme de chasse aux bugs de curl, précipitée par l'afflux de rapports de bugs de mauvaise qualité générés par l'IA, révèle les défis auxquels sont confrontés les développeurs et les fournisseurs pour vérifier et résoudre les vulnérabilités légitimes. Cette situation a ralenti le processus de vérification, les humains devant trier un grand nombre de rapports souvent inexacts issus de l'IA.
Cette fermeture risque également de décourager les contributeurs et d'influencer potentiellement d'autres entreprises à suivre le mouvement, ce qui réduirait les ressources globales disponibles pour l'identification des failles de sécurité.
Pour résoudre ce problème, de meilleurs mécanismes de tri et de validation des rapports doivent être mis en place. Ces améliorations pourraient contribuer à transformer la manière dont les programmes de chasse aux bugs gèrent les contributions produites par l'IA, et à garantir la qualité et la fiabilité des soumissions.
Un exemple généré par l'IA
Sur la figure suivante, vous pouvez voir un exemple généré à partir de Claude Code avec le micrologiciel Vivotek que j'étais en train de rétro-concevoir. La vulnérabilité n'est pas exploitable, car l'entrée fournie par l'utilisateur est un entier et non une chaîne de caractères. L'injection de commandes n'est donc pas possible.
OS Command Injection in apply_ipfilter_rule()
CVSS score: 9.8 (CRITICAL)
CWE: CWE-78
Location: 0x0000a0cc
Description
Complex iptables rule construction with unsanitized IP range parameters passed to shell commands via popen().
Vulnerable code
// Constructs command like: /usr/sbin/confclient -s ipfilter_ipv4list_0_"0;malicious;echo"
snprintf(PTR_DAT_0000a4fc, 0xff, PTR_s__sipfilter_ipv4list_i_d__s__s_____0000a530, PTR_DAT_0000a4dc, // confclient script
param_3, // List index (user controlled)
param_1, // IP range START (unvalidated)
param_2); // IP range END (unvalidated)
pFVar5 = popen(PTR_DAT_0000a4fc, "r"); // Passes to shellLe rôle du chercheur : la supervision humaine est essentielle
L'IA est un outil précieux, mais elle doit être tempérée par l'expertise humaine. Les chercheurs qui utilisent des outils d'IA sans comprendre leur logique sous-jacente courent le risque de manquer des erreurs et de produire des résultats peu fiables.
Il n'est pas responsable de se fier uniquement à l'IA. La supervision humaine est indispensable pour vérifier et valider les résultats, afin de s'assurer que seules les vulnérabilités authentiques sont signalées.
Atténuation des risques
Pour réduire ces risques, la communauté de sécurité doit faire preuve de prudence. Les chercheurs doivent vérifier les résultats fournis par l'IA en procédant à des analyses et expérimentations manuelles avant toute soumission.
En outre, des directives encadrant l'utilisation responsable de l'IA dans la recherche des vulnérabilités doivent être établies. Ces directives doivent inclure des étapes de vérification obligatoires ainsi que des formations destinées aux chercheurs, afin de les sensibiliser aux limites de l'IA.
Des implications plus larges
La communauté est confrontée non seulement à des défis techniques liés à l'utilisation de l'IA dans la découverte des vulnérabilités, mais aussi à des enjeux globaux. Un afflux de CVE de faible qualité peut éroder la confiance dans le processus de recherche sur la sécurité et détourner l'attention des vulnérabilités critiques. Il est impératif de préserver l'intégrité du système CVE afin qu'il demeure une ressource fiable pour les développeurs et les organisations.
De nombreuses entreprises proposent des rémunérations aux chercheurs en sécurité, sous forme de programmes de chasse aux bugs, après la détection et la divulgation responsable d'une vulnérabilité dans le produit d'un éditeur. Ces programmes, pourtant bénéfiques pour les deux parties, peuvent parfois être freinés par des rapports de faux positifs.
Outils d'IA : une vitesse et une accessibilité accrues, avec peu voire aucune validation
Les chercheurs participant à ces programmes ont tout intérêt, sur le plan financier, à multiplier les rapports de vulnérabilité ; et le recours aux outils d'IA augmente de manière exponentielle leur vitesse de production.
Des personnes ayant peu ou aucune expérience en programmation créent déjà des applications et des services par le biais du « vibe coding » (génération de code assistée par l'IA). Cela peut sembler prometteur en théorie, mais une utilisation inappropriée introduira des failles de sécurité et des problèmes d'efficacité.
Il en va de même pour la recherche de vulnérabilités assistée par l'IA. Des personnes n'ayant qu'une connaissance très limitée de la recherche de vulnérabilités peuvent être tentées d'adopter une approche équivalente au vibe coding, en laissant les outils d'IA faire tout le travail, avec peu ou aucune validation.
Peu importe si le rapport de vulnérabilité généré par l'IA est exact, si l'effort réel est minime et que l'on peut multiplier les soumissions bien plus rapidement qu'en travaillant manuellement. Il suffit que quelques rapports soient valides pour obtenir un paiement rapide.
Pendant ce temps, cela encombre les processus des éditeurs et des organisations qui gèrent ces programmes de chasse aux bugs, entame leur confiance et les rend moins enclins à se fier aux rapports des chercheurs tiers.
Un appel à la prudence et à la responsabilité
L'IA recèle un immense potentiel pour renforcer la cybersécurité, mais elle doit être utilisée avec discernement. En incluant une supervision humaine et en adoptant des pratiques responsables, la communauté de sécurité peut exploiter la puissance de l'IA sans compromettre la précision ni la fiabilité des rapports de vulnérabilités.
Avançons avec une approche équilibrée, qui combine les atouts de l'IA et la sagesse de l'expertise humaine pour évoluer dans l'écosystème complexe de la cybersécurité.
Mots-clés
