Poniendo a prueba los límites de lo que es posible (y lo que no lo es) con la IA.

Los investigadores, de la Universidad de Cambridge y la Universidad de California en Santa Bárbara, diseñaron sistemas matemáticos “adversarios” concebidos para engañar a cualquier algoritmo de IA. Al igual que los hackers éticos someten a prueba la seguridad de una red, estos sistemas adversarios se diseñaron para determinar con precisión dónde y por qué falla la predicción de la IA. 

Muchos sistemas del mundo real, como los de los océanos, el cerebro humano o la robótica, son demasiado complejos para describirlos con precisión mediante ecuaciones, por lo que los investigadores suelen aprender su comportamiento utilizando el aprendizaje automático. Sin embargo, estos métodos de IA no siempre funcionan bien, arrojando resultados poco fiables o predicciones erróneas. 

Sin embargo, en ocasiones, proporcionar soluciones fiables resulta prácticamente imposible, incluso con datos ilimitados. Los sistemas adversarios desarrollados por los investigadores pueden ayudar a los desarrolladores y usuarios de sistemas de IA a determinar si están trabajando en un problema resoluble o irresoluble, a crear métodos eficaces y a evitar el desperdicio de tiempo, esfuerzo o recursos de IA cuando un problema escapa a todos los límites de lo posible. 

Sus resultados, publicados en la revista Nature Communications , también podrían ayudar a explicar por qué los chatbots de IA populares como ChatGPT o Claude pueden ser precisos a corto plazo, pero pueden desviarse o tener errores con el tiempo. 

“Estamos explorando los límites de lo que se puede y no se puede hacer con la IA”, afirmó el autor principal, el Dr. Matthew Colbrook, del Departamento de Matemáticas Aplicadas y Física Teórica de Cambridge. “Es fundamental comprender qué problemas no se pueden resolver con estos métodos, porque de lo contrario se acaba desperdiciando mucho tiempo y dinero”. 

Colbrook y sus coautores utilizaron un método llamado aprendizaje del operador de Koopman, que transforma comportamientos no lineales complejos en una forma lineal más fácil de analizar. 

“Lo que estábamos haciendo con estos ‘adversarios’ era intentar averiguar qué tipos de sistemas son difíciles o imposibles de predecir, y qué tipos de sistemas podrían adaptarse para ofrecer resultados fiables”, dijo Colbrook. 

Los investigadores identificaron dos razones principales por las que el aprendizaje automático falla al analizar sistemas complejos: o bien el algoritmo no puede determinar cuándo ha visto suficientes datos para devolver un resultado fiable, o bien los patrones del sistema pueden estar ocultos o ser difíciles de distinguir. 

“En muchas investigaciones sobre IA, se suele asumir que si recopilamos más datos, el aprendizaje acabará funcionando”, afirmó Colbrook. “Pero hemos descubierto que esto suele ser erróneo. El aprendizaje suele ser un proceso por etapas y requiere varios pasos en el orden correcto para que funcione”.

Cuando un sistema es caótico —es decir, pequeñas diferencias en las condiciones iniciales dan lugar a trayectorias muy distintas, como en un libro interactivo—, el operador de Koopman suele generar una dispersión continua  de frecuencias en lugar de modos definidos y claros. La predicción a corto plazo era precisa, pero la predicción a largo plazo se volvió fundamentalmente poco fiable, ya que la sensibilidad a las condiciones iniciales se acumula con el tiempo.

La misma inestabilidad matemática que frustra los algoritmos de predicción también puede explicar por qué los chatbots de IA fabrican hechos con tanta seguridad: pequeños cambios en una pregunta pueden llevar al chatbot por un camino completamente diferente, uno que parece plausible palabra por palabra, pero que pierde el contacto con la realidad en respuestas más largas.

Los investigadores desarrollaron un método para clasificar estos problemas según la cantidad de pasos necesarios para resolverlos. Cuando los datos no están suficientemente organizados o en el orden correcto, lo mejor que puede hacer un algoritmo, incluso con datos infinitos, es un resultado de 50/50, lo que básicamente clasifica el problema como irresoluble.  

El equipo también desarrolló un nuevo algoritmo, de fiabilidad demostrable y altamente eficiente, con límites de error incorporados: en esencia, esto proporciona a los investigadores de IA una forma de saber cuándo pueden confiar en la respuesta, a una fracción del coste de la mayoría de las supercomputadoras. 

Los investigadores probaron su método con datos de hielo marino del Ártico de más de 40 años. Mediante su algoritmo, descubrieron patrones ocultos en la disminución del hielo y lograron superar a los principales modelos de IA actuales a una fracción del costo, utilizando una computadora portátil estándar. 

“Estamos en una etapa en la que hemos visto muchos ejemplos llamativos e historias de éxito en IA, pero es vital que también nos preguntemos cuán fiables son los modelos y cómo podemos saber si lo son”, dijo Colbrook. “De lo contrario, estaremos construyendo sobre bases muy inestables”.

Fuente: Universidad de Cambridge