Resumo executivo
O uso de IA na descoberta de vulnerabilidades traz benefícios e riscos significativos, particularmente o potencial de gerar falsos positivos e relatórios de vulnerabilidade imprecisos.
Uma grande quantidade de CVEs não verificadas geradas por IA pode sobrecarregar bancos de dados de segurança, comprometer a confiança no processo de pesquisa e desviar a atenção de ameaças genuínas.
Casos reais, como o encerramento do programa de recompensas por bugs do curl, destacam os desafios operacionais e os impactos negativos de submissões de baixa qualidade orientadas por IA.
A supervisão humana é essencial para validar descobertas de IA, garantir que apenas vulnerabilidades legítimas sejam relatadas e manter a integridade do sistema de CVE.
No cenário em constante evolução da cibersegurança, a aplicação da IA (inteligência artificial) na descoberta de vulnerabilidades emergiu como uma ferramenta poderosa. No entanto, essa ferramenta, como qualquer tecnologia, apresenta riscos que devem ser cuidadosamente gerenciados.
Uma preocupação significativa é o potencial de os sistemas de IA gerarem falsos positivos, levando a uma grande quantidade de relatórios de vulnerabilidade falsos (sem sentido). Se essas descobertas não verificadas forem submetidas sem validação adequada, podem resultar em uma abundância de IDs de CVE falsos, o que dificultaria a identificação de ameaças reais à segurança.
A natureza da IA na detecção de vulnerabilidades
As ferramentas de IA podem analisar códigos e sistemas para identificar possíveis vulnerabilidades, muitas vezes aproveitando padrões e dados de CVEs anteriores. Embora essas ferramentas possam ser eficazes, elas não são infalíveis. Elas podem interpretar trechos de código incorretamente, identificar erroneamente um padrão não relacionado a explorações reais ou classificar indevidamente falsos problemas como vulnerabilidades (ou seja, sinalizar um arquivo como vulnerável quando for benigno), o que pode levar a falsos positivos.
O problema dos falsos positivos
Os falsos positivos na detecção de vulnerabilidades orientada por IA podem se manifestar de várias maneiras. Uma ferramenta de IA pode detectar um padrão semelhante a uma exploração conhecida, mas falhar ao validar se ela realmente representa um risco.
Essa falha pode resultar na criação de uma nova CVE, mesmo quando não existe nenhuma vulnerabilidade real. Esses falsos positivos podem então ser submetidos ao MITRE, levando à atribuição de IDs de CVE que podem não ter significado genuíno.
As consequências de submissões não verificadas
A proliferação de falsas CVEs pode ter implicações graves. Esses IDs podem sobrecarregar o banco de dados CVE, dificultando a identificação e a resolução de problemas reais de segurança. Isso levaria à sobrecarga de informações e à diminuição da eficiência na resolução de vulnerabilidades reais. Pior ainda, agentes mal-intencionados podem explorar esse sistema para gerar IDs de CVE para seus próprios fins, complicando ainda mais o cenário de segurança.
Há também o potencial de uma enxurrada de vulnerabilidades falsas positivas prejudicar a reputação e a confiança do consumidor em uma marca ou fornecedor. Se um produto ou plataforma for considerado como repleto de bugs perigosos, então um cliente poderá sentir que ele apresenta um risco muito alto para sua organização e procurar mudar de fornecedor.
Além disso, se uma onda de vulnerabilidades não verificadas for publicada sem coordenação ou validação com um fornecedor, isso poderá gerar muito trabalho desnecessário e sobrecarregar os recursos de uma empresa. Por exemplo, o departamento de relações públicas pode ter que emitir rapidamente declarações para lidar com a situação, e os engenheiros no back-end terão que correr contra o tempo para investigar e validar as inúmeras alegações que estão sendo feitas.
Um exemplo real
O utilitário curl está encerrando seu programa de recompensas por bugs devido a relatórios de bugs gerados por IA. Acreditamos que isso se tornará um problema ainda maior à medida que os pesquisadores de vulnerabilidade recorrem à IA na descoberta de novas vulnerabilidades. Essa nova tecnologia de IA certamente também levará à descoberta de bugs verificáveis e legítimos, mas a verificação desses bugs será mais lenta, pois desenvolvedores e fornecedores precisarão examinar todos os relatórios de bugs, legítimos ou não.
O encerramento do programa de recompensas por bugs do curl devido a uma grande quantidade de relatórios de bugs de baixa qualidade gerados por IA destaca os desafios enfrentados pelos desenvolvedores e fornecedores na verificação e resolução de vulnerabilidades legítimas. Essa situação resultou em um processo de verificação mais lento, já que humanos precisam analisar inúmeros relatórios, muitas vezes imprecisos, gerados por IA.
O encerramento também corre o risco de desmotivar colaboradores e potencialmente influenciar outras empresas a seguir o exemplo, o que reduziria o acúmulo geral de recursos disponíveis para identificação de problemas de segurança.
Para solucionar esse problema, são necessários sistemas aprimorados para filtrar e validar relatórios. Sistemas aprimorados podem levar a mudanças na forma como os programas de recompensas por bugs gerenciam contribuições de IA e ajudar a garantir a qualidade e a confiabilidade das submissões.
Um exemplo gerado por IA
A figura a seguir é um exemplo gerado pelo Claude Code com o firmware Vivotek que eu estava fazendo engenharia reversa. A vulnerabilidade não é explorável, pois a entrada fornecida pelo usuário é um número inteiro e não uma string, portanto, não é possível injetar comandos.
OS Command Injection in apply_ipfilter_rule()
CVSS score: 9.8 (CRITICAL)
CWE: CWE-78
Location: 0x0000a0cc
Description
Complex iptables rule construction with unsanitized IP range parameters passed to shell commands via popen().
Vulnerable code
// Constructs command like: /usr/sbin/confclient -s ipfilter_ipv4list_0_"0;malicious;echo"
snprintf(PTR_DAT_0000a4fc, 0xff, PTR_s__sipfilter_ipv4list_i_d__s__s_____0000a530, PTR_DAT_0000a4dc, // confclient script
param_3, // List index (user controlled)
param_1, // IP range START (unvalidated)
param_2); // IP range END (unvalidated)
pFVar5 = popen(PTR_DAT_0000a4fc, "r"); // Passes to shellO papel do pesquisador: a supervisão humana é essencial
A IA é uma ferramenta valiosa, mas deve ser acompanhada pela experiência humana. Os pesquisadores que usam ferramentas de IA sem entender sua lógica subjacente correm o risco de não identificar erros e gerar resultados não confiáveis.
Não é responsável confiar somente na IA; a supervisão humana é essencial para verificar e validar os resultados, garantindo que apenas vulnerabilidades genuínas sejam relatadas.
Mitigação de riscos
Para mitigar esses riscos, a comunidade de segurança deve adotar uma abordagem cautelosa. Os pesquisadores devem verificar os resultados da IA por meio de análise manual e experimentação antes da submissão.
Além disso, devem ser estabelecidas diretrizes para o uso responsável da IA em pesquisas de vulnerabilidade. Essas diretrizes devem incluir etapas obrigatórias de verificação e treinamento para que os pesquisadores aprimorem sua compreensão das limitações da IA.
As implicações mais amplas
A comunidade enfrenta não apenas desafios técnicos decorrentes do uso da IA na descoberta de vulnerabilidades, mas também implicações mais amplas. Uma grande quantidade de CVEs de baixa qualidade pode comprometer a confiança no processo de pesquisa de segurança e desviar a atenção de vulnerabilidades críticas. É fundamental manter a integridade do sistema CVE, garantindo que ele continue sendo um recurso confiável para desenvolvedores e organizações.
Muitas organizações oferecem pagamentos a pesquisadores de vulnerabilidade na forma de recompensas por bugs após a descoberta e divulgação responsável de uma vulnerabilidade no produto de um fornecedor. Embora esses programas tenham muito valor para ambas as partes, às vezes podem ser prejudicados por relatórios falsos positivos.
Ferramentas de IA: mais velocidade e acessibilidade com pouca ou nenhuma validação
Os pesquisadores que participam desses programas têm um grande incentivo financeiro para gerar o máximo possível de relatórios de vulnerabilidade e, usando ferramentas de IA, a velocidade com que podem criar esses relatórios aumenta exponencialmente.
Indivíduos com pouca ou nenhuma experiência em programação já estão criando aplicativos e serviços por meio de "vibe coding" (geração de código assistida por IA), o que pode parecer ótimo na teoria, mas, se usado de forma inadequada, introduzirá falhas de segurança e problemas de eficiência.
E os mesmos perigos existem para a pesquisa de vulnerabilidade assistida por IA. Indivíduos com pouco ou nenhum conhecimento em pesquisa de vulnerabilidades podem se sentir inclinados a fazer o equivalente ao vibe coding na pesquisa, terceirizando ferramentas de IA para fazer todo o trabalho por eles, com pouca ou nenhuma validação.
Quem se importa se o relatório de vulnerabilidades gerado por IA é preciso quando seu esforço real é baixo e você pode gerar relatórios muito mais rapidamente do que fazendo isso de forma manual? Basta que alguns deles sejam válidos para você obter um pagamento rápido.
Entretanto, isso congestiona os ciclos dos fornecedores e organizações que executam esses programas de recompensas por bugs, diminui sua confiança e reduz seu incentivo para confiar em relatórios de pesquisadores terceirizados.
Um apelo à cautela e à responsabilidade
A IA tem um imenso potencial para aprimorar a segurança cibernética, mas deve ser usada de maneira criteriosa. Ao integrar a supervisão humana e adotar práticas responsáveis, a comunidade de segurança pode aproveitar o poder da IA sem comprometer a precisão e a confiabilidade dos relatórios de vulnerabilidades.
Vamos avançar com uma abordagem equilibrada, combinando os pontos fortes da IA com a sabedoria da experiência humana para navegar pelo complexo cenário da cibersegurança.
Tags
