Analisi riassuntiva
L'uso dell'intelligenza artificiale per individuare le vulnerabilità comporta vantaggi e rischi significativi, in particolare la possibilità di generare falsi positivi e rapporti imprecisi sulle vulnerabilità.
Un numero eccessivo di CVE generate dall'intelligenza artificiale e non verificate può sovraccaricare i database della sicurezza, erodere la fiducia nel processo di ricerca e distogliere l'attenzione dalle minacce reali.
Alcuni casi reali, come, ad esempio, l'interruzione del programma Bug Bounty di curl, evidenziano le sfide operative e gli impatti negativi correlati alle richieste di informazioni basate sull'intelligenza artificiale di bassa qualità.
La supervisione umana è fondamentale per verificare i risultati forniti dall'intelligenza artificiale, garantire che vengano segnalate solo le vulnerabilità legittime e mantenere l'integrità del sistema delle CVE.
Nel panorama della cybersecurity in continua evoluzione, l'utilizzo dell'intelligenza artificiale (AI) per individuare le vulnerabilità è emerso come uno strumento potente, che, tuttavia, come qualsiasi tecnologia, comporta rischi da dover gestire con attenzione.
Una preoccupazione significativa è la possibilità che i sistemi basati sull'intelligenza artificiale generino falsi positivi, portando ad un numero eccessivo di segnalazioni di false vulnerabilità (senza senso). Se questi risultati non verificati vengono inviati senza un controllo corretto, possono comportare un numero eccessivo di ID falsi delle CVE, complicando l'identificazione delle reali minacce alla sicurezza.
La natura dell'intelligenza artificiale nel rilevamento delle vulnerabilità
Gli strumenti basati sull'intelligenza artificiale possono analizzare codice e sistemi per identificare potenziali vulnerabilità, spesso sfruttando modelli e dati ricavati dalle CVE precedenti. Sebbene questi strumenti possano risultare efficaci, non sono infallibili; infatti, potrebbero interpretare erroneamente gli snippet di codice, identificare erroneamente un modello non correlato agli exploit effettivi o classificare erroneamente questioni non preoccupanti come vulnerabilità (ad esempio, segnalare un file come vulnerabile quando è legittimo), che possono portare a falsi positivi.
Il problema dei falsi positivi
I falsi positivi nel rilevamento delle vulnerabilità basato sull'intelligenza artificiale possono manifestarsi in vari modi. Uno strumento basato sull'intelligenza artificiale potrebbe rilevare uno schema simile a un exploit noto, ma non riuscire a verificare se rappresenta effettivamente un rischio.
Questa "svista" può portare alla creazione di un nuova CVE, anche quando non esiste un'effettiva vulnerabilità. Tali falsi positivi possono quindi essere inviati al MITER, portando all'assegnazione di ID delle CVE che potrebbero non avere un significato reale.
Le conseguenze di una mancata verifica
La proliferazione di falsi CVE può avere gravi implicazioni perché gli ID così generati possono creare disordine nel database delle CVE, rendendo più difficile identificare e risolvere i problemi di sicurezza reali. In tal modo, si potrebbe arrivare ad un sovraccarico di informazioni e ad una riduzione dell'efficienza nella risoluzione delle vulnerabilità reali. Ancora peggio, i criminali potrebbero sfruttare questo sistema per generare ID delle CVE per propri scopi, complicando ulteriormente il panorama della sicurezza.
Inoltre, una raffica di vulnerabilità che sono, in realtà, falsi positivi, potrebbe danneggiare la reputazione e la fiducia dei consumatori in un brand o in un fornitore. Se un prodotto o una piattaforma viene percepito come potenzialmente pericoloso, un cliente potrebbe pensare di assumersi un rischio troppo elevato per la propria organizzazione e considerare la possibilità di cambiare fornitore.
Inoltre, se vengono pubblicate tante vulnerabilità non verificate senza coordinarsi con un fornitore né effettuare gli appropriati controlli, potrebbero aumentare le operazioni non necessarie e bloccare le risorse di un'azienda. Ad esempio, il reparto addetto alle pubbliche relazioni potrebbe avere la necessità di emettere rapidamente una dichiarazione per affrontare la situazione, mentre i tecnici del back-end dovranno eseguire rapidamente varie operazioni per indagare e verificare le numerose richieste di rimborso effettuate.
Un esempio reale
L'utilità curl sta interrompendo il proprio programma Bug Bounty a causa dei rapporti negativi forniti dall'intelligenza artificiale. Riteniamo che questo problema si amplificherà sempre più man mano che i ricercatori si rivolgono all'intelligenza artificiale quando scoprono nuove vulnerabilità. Questa nuova tecnologia basata sull'intelligenza artificiale porterà sicuramente anche alla scoperta di bug verificabili e legittimi, che, tuttavia, saranno più lenti da verificare perché sviluppatori e fornitori dovranno analizzare tutti i rapporti relativi ai bug, legittimi o meno.
L'interruzione del programma Bug Bounty di curl a causa di un numero eccessivo di rapporti sui bug generati dall'intelligenza artificiale di bassa qualità evidenzia le sfide affrontate da sviluppatori e fornitori per verificare e mitigare le vulnerabilità legittime. Questa situazione ha portato ad un rallentamento del processo di verifica perché è necessario esaminare manualmente numerosi rapporti basati sull'intelligenza artificiale, spesso imprecisi.
Questa interruzione comporta anche il rischio di demotivare i collaboratori e, potenzialmente, di influenzare altre aziende a seguire l'esempio, riducendo l'accumulo complessivo di risorse disponibili per l'identificazione dei problemi di sicurezza.
Per affrontare questo fenomeno, sono necessari migliori sistemi in grado di filtrare e verificare i rapporti. Questi sistemi migliorati potrebbero portare a cambiamenti nel modo in cui i programmi Bug Bounty gestiscono i contributi apportati dall'intelligenza artificiale e contribuiscono a garantire la qualità e l'affidabilità delle segnalazioni.
Un esempio generato dall'intelligenza artificiale
La figura seguente è un esempio generato da Claude Code con il firmware Vivotek, di cui è stata eseguita la reverse engineering. La vulnerabilità non può essere sfruttata perché l'input fornito dall'utente è un numero intero, non una stringa, quindi non è possibile iniettare i comandi.
OS Command Injection in apply_ipfilter_rule()
CVSS score: 9.8 (CRITICAL)
CWE: CWE-78
Location: 0x0000a0cc
Description
Complex iptables rule construction with unsanitized IP range parameters passed to shell commands via popen().
Vulnerable code
// Constructs command like: /usr/sbin/confclient -s ipfilter_ipv4list_0_"0;malicious;echo"
snprintf(PTR_DAT_0000a4fc, 0xff, PTR_s__sipfilter_ipv4list_i_d__s__s_____0000a530, PTR_DAT_0000a4dc, // confclient script
param_3, // List index (user controlled)
param_1, // IP range START (unvalidated)
param_2); // IP range END (unvalidated)
pFVar5 = popen(PTR_DAT_0000a4fc, "r"); // Passes to shellIl ruolo del ricercatore: la supervisione umana è fondamentale
L'intelligenza artificiale è uno strumento prezioso, ma deve essere mitigata dall'esperienza dell'uomo. I ricercatori che utilizzano strumenti basati sull'intelligenza artificiale senza comprendere la loro logica sottostante rischiano di trascurare gli errori e di creare risultati inaffidabili.
Non è prudente affidarsi esclusivamente all'intelligenza artificiale: la supervisione umana è essenziale per verificare e convalidare i risultati allo scopo di garantire che vengano segnalate solo le reali vulnerabilità.
Mitigazione dei rischi
Per mitigare questi rischi, la comunità per la sicurezza deve adottare un approccio prudente. I ricercatori devono verificare i risultati forniti dall'intelligenza artificiale tramite esperimenti ed analisi manuali prima di generare i rapporti.
Inoltre, è necessario stabilire apposite linee guida per l'uso responsabile dell'intelligenza artificiale nella ricerca sulle vulnerabilità. Queste linee guida devono includere corsi di addestramento e passaggi di verifica obbligatori per i ricercatori al fine di migliorare la loro comprensione delle limitazioni dell'intelligenza artificiale.
Le implicazioni più ampie
La comunità per la sicurezza deve affrontare non solo le sfide tecniche derivanti dall'uso dell'intelligenza artificiale per individuare le vulnerabilità, ma anche le implicazioni più ampie. Un numero eccessivo di CVE di bassa qualità può erodere la fiducia nel processo della ricerca sulla sicurezza e distogliere l'attenzione dalle vulnerabilità critiche. È fondamentale mantenere l'integrità del sistema delle CVE allo scopo di garantire che rimanga una risorsa affidabile per sviluppatori e organizzazioni.
Molte organizzazioni pagano i ricercatori delle vulnerabilità sotto forma di programmi Bug Bounty se riescono ad individuare e divulgare in modo responsabile una vulnerabilità presente nel prodotto di un fornitore. Sebbene questi programmi siano molto significativi per entrambe le parti, a volte possono essere ostacolati dalla creazione di rapporti con falsi positivi.
Strumenti basati sull'intelligenza artificiale: un maggior livello di velocità e accessibilità con verifiche minime o nulle
I ricercatori che partecipano a questi programmi sono incentivati con forti somme di denaro ad eliminare il maggior numero possibile di rapporti sulle vulnerabilità e, grazie agli strumenti basati sull'intelligenza artificiale, la velocità con cui riescono a creare questi rapporti aumenta in modo esponenziale.
Coloro che hanno poca o nessuna esperienza nella programmazione stanno già creando app e servizi tramite il "vibe coding" (generazione di codice assistita dall'intelligenza artificiale), che potrebbe sembrare ottimo in teoria, ma che, se utilizzato in modo improprio, introduce problemi di sicurezza e di efficienza.
Inoltre, gli stessi pericoli esistono nella ricerca sulle vulnerabilità assistita dall'intelligenza artificiale. Anche in questo caso, coloro che hanno poca o nessuna competenza nella ricerca sulle vulnerabilità possono essere inclini a fare ricerca in modo equivalente al vibe coding e ad affidare in outsourcing gli strumenti basati sull'intelligenza artificiale in modo che svolgano tutto il lavoro per loro con poca o nessuna verifica.
Chi si preoccupa se i rapporti sulle vulnerabilità generati dall'intelligenza artificiale sono accurati quando ci vuole una ridotta quantità di tempo e di impegno rispetto alle operazioni manuali? Tutto ciò che serve è sapere che alcuni di questi rapporti sono validi per ottenere pagamenti rapidi e,
nel contempo, questo fenomeno blocca i cicli per i fornitori e le organizzazioni che eseguono questi programmi Bug Bounty, diminuisce la loro fiducia e si riduce il loro incentivo a fare affidamento sui rapporti creati dai ricercatori di terze parti.
Una richiesta di attenzione e responsabilità
L'intelligenza artificiale ha l'enorme potenziale di migliorare la cybersecurity, ma deve essere utilizzata con giudizio. Integrando la supervisione umana e adottando pratiche responsabili, la comunità per la sicurezza può sfruttare il potere offerto dall'intelligenza artificiale senza compromettere l'accuratezza e l'affidabilità nella creazione dei rapporti sulle vulnerabilità.
Procediamo con un approccio bilanciato, che combina i punti di forza dell'intelligenza artificiale con la saggezza delle competenze dell'uomo per muoverci all'interno del complesso panorama della cybersecurity.
Tag
