Investigadores desarrollan IA que reconoce cuándo no sabe la respuesta

La inteligencia artificial (IA) ha demostrado una capacidad asombrosa para generar respuestas y realizar tareas complejas, pero un desafío persistente es su tendencia a inventar información cuando no conoce la respuesta. Investigadores de KAIST han desarrollado una técnica innovadora para abordar este problema, buscando que la IA sea capaz de reconocer y comunicar su propia incertidumbre.

El problema surge, según los investigadores, porque los sistemas de IA aprenden patrones durante su entrenamiento sin desarrollar una comprensión real de los límites de su conocimiento. Esto lleva a que, incluso cuando no saben algo, puedan generar respuestas con un alto nivel de confianza, un fenómeno conocido como 'alucinación'. Los autores del estudio enfatizan la necesidad de que 'la IA debería ser capaz de decir ‘no estoy segura’ por sí sola’.

Durante las etapas iniciales del aprendizaje profundo, un método clave para entrenar redes neuronales, los modelos comienzan a establecer conexiones sin discernir entre información correcta e incorrecta. Esta 'inicialización aleatoria' puede llevar a que la IA desarrolle una confianza excesiva en respuestas erróneas, una tendencia que se perpetúa a medida que avanza el entrenamiento.

“La IA debería ser capaz de decir ‘no estoy segura’ por sí sola”, explicaron los autores del trabajo.

Para contrarrestar esto, el equipo coreano se inspiró en la 'actividad neuronal espontánea' del cerebro humano. En nuestro cerebro, las neuronas generan señales incluso sin estímulos externos, lo cual es crucial para el desarrollo temprano de circuitos neuronales. Los investigadores aplicaron un concepto similar al añadir una fase previa al entrenamiento convencional de la IA.

En esta nueva etapa, el modelo de IA se expone únicamente a ruido aleatorio y datos sin sentido aparente. La premisa es que, antes de aprender información real, la inteligencia artificial primero 'aprende' que aún no sabe nada. Al experimentar con datos caóticos y resultados arbitrarios, el sistema desarrolla niveles de confianza mucho más bajos, cercanos al azar. Esto, según los autores, mejora la correlación entre la precisión real del modelo y la seguridad con la que presenta sus respuestas.

Las aplicaciones de esta investigación van mucho más allá de los chatbots como ChatGPT o Google Gemini, que a menudo son el foco del debate sobre las alucinaciones. Los sistemas de IA se utilizan en vehículos autónomos, drones, sistemas de vigilancia industrial y herramientas médicas de apoyo al diagnóstico. En estos campos, la capacidad de reconocer la incertidumbre es tan vital como la precisión de la respuesta.

Esta nueva técnica también abre la puerta al desarrollo de capacidades metacognitivas en la IA, permitiendo que el sistema sea consciente de las limitaciones de su propio conocimiento. El profesor Se-Bum Paik, autor principal del estudio, destacó que los principios inspirados en el desarrollo cerebral pueden ser fundamentales para crear sistemas de IA que razonen de manera más similar a los humanos.

La industria tecnológica, incluyendo gigantes como Apple, Microsoft, Anthropic y Google, ha estado trabajando incansablemente para mejorar la precisión y fiabilidad de sus modelos de IA. Sin embargo, la solución definitiva para las alucinaciones sigue siendo un desafío. La propuesta de KAIST ofrece un enfoque prometedor, enseñando a la IA no solo a responder, sino también a identificar cuándo una respuesta no es segura.