Resumen ejecutivo
El uso de la IA en la detección de vulnerabilidades conlleva importantes beneficios y riesgos, especialmente la posibilidad de generar falsos positivos e informes de vulnerabilidades imprecisos.
La afluencia de CVE no verificadas y generadas por IA puede saturar las bases de datos de seguridad, erosionar la confianza en el proceso de investigación y desviar la atención de las amenazas reales.
Casos reales, como el cierre del programa de recompensas por hallar errores Bug Bounty de curl, ponen de manifiesto los desafíos operativos y el impacto negativo de las notificaciones basadas en IA de baja calidad.
La supervisión humana es crucial para validar los hallazgos de la IA, garantizar que solo se informe de auténticas vulnerabilidades y mantener la integridad del sistema CVE.
En el panorama en constante evolución de la ciberseguridad, la aplicación de la inteligencia artificial (IA) en el descubrimiento de vulnerabilidades ha surgido como una potente herramienta. Sin embargo, esta herramienta, al igual que cualquier otra tecnología, conlleva riesgos que deben gestionarse con cuidado.
Un problema importante es la posibilidad de que los sistemas de IA generen falsos positivos, lo que provoca una gran afluencia de notificaciones de vulnerabilidad falsas (notificaciones sin sentido). Si estos resultados no verificados se envían sin la validación adecuada, pueden dar lugar a una gran cantidad de ID de CVE falsos, lo que complica la identificación de amenazas de seguridad reales.
La naturaleza de la IA en la detección de vulnerabilidades
Las herramientas de IA pueden analizar código y sistemas para identificar posibles vulnerabilidades, aprovechando a menudo patrones y datos de CVE anteriores. Aunque estas herramientas pueden ser eficaces, no son infalibles. Pueden malinterpretar fragmentos de código, identificar incorrectamente un patrón no relacionado con vulnerabilidades reales o etiquetar erróneamente lo que no son problemas como vulnerabilidades (es decir, marcar un archivo como vulnerable cuando es benigno), lo que puede dar lugar a falsos positivos.
El problema de los falsos positivos
Los falsos positivos en la detección de vulnerabilidades basada en IA pueden manifestarse de varias formas. Una herramienta de IA podría detectar un patrón parecido a una explotación conocida, pero no validar si realmente supone un riesgo.
Pasar esto por alto puede dar lugar a la creación de una nueva CVE, incluso aunque no exista ninguna vulnerabilidad real. Estos falsos positivos se pueden notificar a MITRE, lo que da lugar a la asignación de ID de CVE que pueden carecer de un significado auténtico.
Las consecuencias de las notificaciones no verificadas
La proliferación de CVE falsas puede tener graves implicaciones. Estos identificadores pueden saturar la base de datos CVE, lo que hace que sea más difícil identificar y solucionar problemas de seguridad reales. Esto daría lugar a una sobrecarga de información y a una reducción de la eficiencia a la hora de abordar las vulnerabilidades reales. Y lo que es peor: los atacantes podrían explotar este sistema para generar ID de CVE para sus propios fines, lo que complica aún más el panorama de la seguridad.
También existe la posibilidad de que un aluvión de vulnerabilidades de falsos positivos dañe la reputación y la confianza de los consumidores en una marca o proveedor. Si se percibe que un producto o una plataforma están plagados de errores peligrosos, el cliente puede sentir que presenta un riesgo demasiado alto para su organización y plantearse cambiar de proveedor.
Además, si se publica una ola de vulnerabilidades no verificadas sin coordinarse ni validarse con un proveedor, puede generar una gran cantidad de trabajo innecesario y sobrecargar los recursos de una empresa. Por ejemplo, el departamento de relaciones públicas puede tener que publicar rápidamente declaraciones para abordar la situación, y los ingenieros de back-end tendrán que apresurarse a través de ciclos para investigar y validar las numerosas reclamaciones que se realicen.
Un ejemplo real
La utilidad curl está cerrando su programa de recompensas por hallar errores debido a los deslices en los informes de errores de la IA. Creemos que esto se convertirá en un problema mayor a medida que los investigadores de vulnerabilidades recurran a la IA para descubrir nuevas vulnerabilidades. Esta nueva tecnología de IA también llevará seguramente al descubrimiento de errores verificables y auténticos, pero estos serán más lentos de verificar, ya que los desarrolladores y proveedores deben examinar todos los informes de errores, tanto los auténticos como los no auténticos.
El cierre del programa de recompensas por hallar errores de curl debido a la gran cantidad de informes de errores de baja calidad generados por IA pone de relieve los desafíos a los que se enfrentan los desarrolladores y proveedores a la hora de verificar y abordar las auténticas vulnerabilidades. Esta situación ha llevado a un proceso de verificación más lento, ya que los humanos tienen que clasificar numerosos informes, a menudo imprecisos, basados en IA.
El cierre también corre el riesgo de desmotivar a los contribuyentes y potencialmente influir en otras empresas para que sigan el ejemplo, lo que reduciría la acumulación general de recursos disponibles para la identificación de problemas de seguridad.
Para solucionar este problema se necesitan sistemas mejorados de filtración y validación de informes. Los sistemas mejorados pueden dar lugar a cambios en la forma en que los programas de recompensas por hallar errores gestionan las contribuciones de la IA y ayudan a garantizar la calidad y fiabilidad de las notificaciones.
Ejemplo generado por IA
La siguiente figura es un ejemplo generado a partir de Claude Code con firmware Vivotek al que he aplicado ingeniería inversa. La vulnerabilidad no se puede explotar, ya que la entrada suministrada por el usuario es un entero, no una cadena, por lo que no es posible inyectar comandos.
OS Command Injection in apply_ipfilter_rule()
CVSS score: 9.8 (CRITICAL)
CWE: CWE-78
Location: 0x0000a0cc
Description
Complex iptables rule construction with unsanitized IP range parameters passed to shell commands via popen().
Vulnerable code
// Constructs command like: /usr/sbin/confclient -s ipfilter_ipv4list_0_"0;malicious;echo"
snprintf(PTR_DAT_0000a4fc, 0xff, PTR_s__sipfilter_ipv4list_i_d__s__s_____0000a530, PTR_DAT_0000a4dc, // confclient script
param_3, // List index (user controlled)
param_1, // IP range START (unvalidated)
param_2); // IP range END (unvalidated)
pFVar5 = popen(PTR_DAT_0000a4fc, "r"); // Passes to shellEl papel del investigador: la supervisión humana es crucial
La IA es una herramienta valiosa, pero debe ser complementada con la experiencia humana. Los investigadores que utilizan herramientas de IA sin comprender su lógica subyacente corren el riesgo de perderse errores y crear resultados poco fiables.
No es responsable confiar únicamente en la IA; la supervisión humana es esencial para verificar y validar los resultados con el fin de garantizar que solo se informe de las vulnerabilidades reales.
Mitigar los riesgos
Para mitigar estos riesgos, la comunidad de seguridad debe adoptar un enfoque cauteloso. Los investigadores deben verificar los hallazgos de la IA a través de análisis y de experimentación manuales antes de la notificación.
Además, deberían establecerse directrices para el uso responsable de la IA en la investigación de vulnerabilidades. Estas directrices deben incluir pasos de verificación obligatorios y formación para que los investigadores mejoren su comprensión de las limitaciones de la IA.
Implicaciones más amplias
La comunidad no solo se enfrenta a desafíos técnicos derivados del uso de la IA en el descubrimiento de vulnerabilidades, sino que también debe afrontar otras implicaciones más amplias. Una avalancha de CVE de baja calidad puede erosionar la confianza en el proceso de investigación de seguridad y desviar la atención de las vulnerabilidades críticas. Es imprescindible mantener la integridad del sistema CVE garantizando que siga siendo un recurso fiable para desarrolladores y organizaciones.
Muchas organizaciones ofrecen recompensas a los investigadores de vulnerabilidades por el descubrimiento y la divulgación responsable de una vulnerabilidad en un producto de un proveedor. Aunque estos programas tienen mucho valor para ambas partes, a veces pueden verse afectados por informes de falsos positivos.
Herramientas de IA: más velocidad y accesibilidad con poca o ninguna validación
Los investigadores que participan en estos programas tienen un gran incentivo financiero para generar tantos informes de vulnerabilidad como puedan y, mediante el uso de herramientas de IA, la velocidad a la que pueden crear estos informes aumenta exponencialmente.
Las personas con poca o ninguna experiencia en programación ya están creando aplicaciones y servicios a través del “vibe coding” (generación de código asistida por IA), lo que puede sonar genial en teoría, pero si se utiliza de forma incorrecta introducirá defectos de seguridad y problemas de eficiencia.
Y existen los mismos peligros para la investigación de vulnerabilidades asistida por IA. Las personas con poco o ningún conocimiento en investigación de vulnerabilidades pueden verse tentadas a realizar la investigación equivalente al vibe coding, a generar código según sus buenas vibraciones, y externalizar todo el trabajo a las herramientas de IA para que lo hagan ellas, con poca o ninguna validación.
¿A quién le importa si el informe de vulnerabilidades generado por la IA es preciso cuando su esfuerzo real es bajo y puede emitir informes mucho más rápido que si lo hace manualmente? Lo único que se necesita es que algunos de ellos sean válidos para obtener una recompensa rápida.
Mientras tanto, esto obstruye los ciclos para los proveedores y las organizaciones que ejecutan estos programas de recompensas por hallar errores, reduce su confianza y disminuye su incentivo de confiar en informes de investigadores externos.
Un llamamiento a la cautela y la responsabilidad
La IA tiene un inmenso potencial de mejorar la ciberseguridad, pero debe utilizarse con prudencia. Al integrar la supervisión humana y adoptar prácticas responsables, la comunidad de seguridad puede aprovechar la potencia de la IA sin comprometer la precisión y fiabilidad de los informes de vulnerabilidades.
Avancemos con un enfoque equilibrado, que combine los puntos fuertes de la IA con la sabiduría de la experiencia humana para desenvolvernos en el complejo panorama de la ciberseguridad.
Etiquetas
