Muchos de nosotros ahora usamos chatbots de IA para planificar comidas y escribir correos electrónicos, navegadores web mejorados con IA para reservar viajes y comprar boletos, e IA en el lugar de trabajo para generar facturas e informes de desempeño.
Sin embargo, un nuevo estudio del “ecosistema de agentes de IA” sugiere que, a medida que estos robots de IA se convierten rápidamente en parte de la vida cotidiana, la divulgación de seguridad básica está “peligrosamente retrasada”.
Un equipo de investigación dirigido por la Universidad de Cambridge ha descubierto que los desarrolladores de IA comparten gran cantidad de datos sobre lo que estos agentes pueden hacer, mientras ocultan evidencia de las prácticas de seguridad necesarias para evaluar los riesgos que plantea la IA.
El AI Agent Index , un proyecto que incluye investigadores del MIT, Stanford y la Universidad Hebrea de Jerusalén, investigó las capacidades, la transparencia y la seguridad de treinta agentes de IA “de última generación”, basándose en información pública y correspondencia con los desarrolladores.
La última actualización del Índice está a cargo de Leon Staufer, investigador que cursa un máster en el Centro Leverhulme para el Futuro de la Inteligencia de Cambridge. El estudio analizó los datos disponibles sobre una gama de bots de IA líderes en chat, navegadores y flujos de trabajo, desarrollados principalmente en EE. UU. y China.
El equipo detectó una importante brecha de transparencia. Los desarrolladores de tan solo cuatro bots de IA del Índice publican fichas de sistema específicas para cada agente: documentos formales de seguridad y evaluación que abarcan desde los niveles de autonomía y el comportamiento hasta los análisis de riesgos en situaciones reales. *
Además, 25 de los 30 agentes de IA del Índice no revelan resultados de seguridad internos, mientras que 23 de los 30 agentes no proporcionan datos de pruebas de terceros, a pesar de que esta es la evidencia empírica necesaria para evaluar rigurosamente el riesgo.
Solo se han publicado incidentes o preocupaciones de seguridad conocidos para cinco agentes de IA, mientras que las “vulnerabilidades de inyección rápida” (cuando instrucciones maliciosas manipulan al agente para que ignore las medidas de seguridad) están documentadas para dos de esos agentes.
De los cinco agentes de IA chinos analizados para el Índice, solo uno había publicado algún tipo de marco de seguridad o estándares de cumplimiento.
“Muchos desarrolladores cumplen con los requisitos de seguridad de la IA al centrarse en el gran modelo de lenguaje subyacente, mientras que brindan poca o ninguna información sobre la seguridad de los agentes creados sobre él”, dijo Leon Staufer, autor principal de la actualización del índice de la Universidad de Cambridge.
“Los comportamientos críticos para la seguridad de la IA surgen de la planificación, las herramientas, la memoria y las políticas del propio agente, no solo del modelo subyacente, y muy pocos desarrolladores comparten estas evaluaciones”.
De hecho, los investigadores identifican 13 agentes de IA que exhiben “niveles fronterizos” de autonomía, pero solo cuatro de ellos revelan alguna evaluación de seguridad del bot en sí.
“Los desarrolladores publican marcos éticos y de seguridad amplios y de alto nivel que suenan tranquilizadores, pero publican evidencia empírica limitada, necesaria para comprender realmente los riesgos”, dijo Staufer.
Los desarrolladores son mucho más transparentes sobre las capacidades de su agente de IA. Esta asimetría de transparencia sugiere una forma más débil de lavado de seguridad.
La última actualización anual proporciona información verificada en 1.350 campos para los treinta bots de IA más destacados, disponible hasta el último día de 2025.
Los criterios para su inclusión en el Índice incluyeron la disponibilidad pública y la facilidad de uso, así como desarrolladores con una valoración de mercado superior a los mil millones de dólares estadounidenses. Alrededor del 80 % de los bots del Índice se lanzaron o se actualizaron significativamente en los últimos dos años.
La actualización del índice muestra que, fuera de los bots de IA chinos, casi todos los agentes dependen de unos pocos modelos básicos (GPT, Claude, Gemini), una concentración significativa de poder de plataforma detrás de la revolución de la IA, así como posibles puntos de estrangulamiento sistémicos.
“Esta dependencia compartida crea posibles puntos únicos de fallo”, afirmó Staufer. “Un cambio de precio, una interrupción del servicio o una regresión de la seguridad en un modelo podría repercutir en cientos de agentes de IA. También genera oportunidades para la evaluación y el monitoreo de la seguridad”.
Muchos de los agentes menos transparentes son navegadores web mejorados con IA, diseñados para realizar tareas en la web abierta en nombre de un usuario: hacer clic, desplazarse y completar formularios para tareas que van desde comprar entradas de lanzamiento limitado hasta monitorear ofertas de eBay.
Los agentes de navegador tienen la tasa más alta de información de seguridad faltante: el 64 % de los campos relacionados con la seguridad no se reportan. Además, operan con los niveles más altos de autonomía. **
Le siguen de cerca los agentes empresariales, una IA de gestión empresarial destinada a automatizar tareas laborales de forma fiable, con un 63 % de campos relacionados con la seguridad omitidos. Los agentes de chat presentan un 43 % de omisión en el índice. ***
Fuente: Universidad de Cambridge
Mas noticias
Elon Musk lanza predicción sobre el año en el que la IA podría superar a los humanos
OpenAI presenta ChatGPT Salud, herramienta que responde preguntas médicas, analiza resultados y ofrece consejos
Detectan un paquete npm malicioso que roba mensajes de WhatsApp y ya suma 56.000 descargas