Preguntarle a ChatGPT o Gemini es recibir una respuesta segura, pero no por ello cierta. Las alucinaciones son uno de los principales riesgos de la inteligencia artificial, para las cuales aún no hay una solución definitiva y que plantean un peligro importante a la hora de aplicar esta tecnología en robots, vehículos autónomos o medicina, por ejemplo.
“Solo sé que no sé nada”, pocas personas son tan francas como lo fue Sócrates. Reconocer nuestra propia ignorancia en multitud de temas es una cuenta pendiente de una sociedad que tiende al mal endémico llamado comúnmente como “cuñadismo”. La inteligencia artificial también peca de ser un ‘cuñado’.
“La IA debería ser capaz de decir “No estoy segura” por sí sola”, afirman los investigadores de KAIST (Instituto Avanzado de Ciencia y Tecnología de Corea) que han desarrollado un método de entrenamiento que permite a la IA reconocer situaciones en las que el modelo no cuenta con información suficiente. El objetivo principal es reducir el exceso de confianza que presentan la mayoría de los chatbots y mejorar la fiabilidad de sus respuestas.
Los modelos de lenguaje natural que nutren a ChatGPT o Gemini tienden a dar respuestas incorrectas con gran confianza, incluso para datos que no han encontrado durante el entrenamiento. Este problema no solo se presenta cuando se le pregunta a un chatbot por quién tiene razón en una discusión de pareja, esta IA también se usa en otros sistemas que exigen una alta fiabilidad como la conducción autónoma o la robótica. Como solución, el equipo se inspiró en el funcionamiento del cerebro biológico
Exceso de confianza
La discrepancia entre la precisión de las predicciones de un sistema de IA y la confianza que este deposita en ellas puede resultar muy problemática. Según este trabajo, publicado en Nature Machine Intelligence, la causa fundamental de ese exceso de confianza que sufren los modelos de lenguaje natural se debe a la inicialización aleatoria, una primera etapa de entrenamiento que se utiliza en el aprendizaje profundo.
Si el aprendizaje automático es un subconjunto de la Inteligencia Artificial, el aprendizaje profundo es un subconjunto del primero, como las muñecas Matrioshka. El aprendizaje automático es un enfoque de entrenamiento que permite a los modelos descubrir patrones en los datos para que acaben realizando las futuras predicciones. El sistema aprende y mejora de forma autónoma con redes neuronales, el proceso es continuo a medida que se acumulan más experiencias.
El aprendizaje automático también está impulsando la emocionante innovación del mañana, como los vehículos autónomos, los drones, los aviones, la realidad aumentada y virtual, y la robótica. Las peculiaridades de esta tecnología hacen que el aprendizaje automático sea una aplicación de la IA que implica entrenar máquinas para que ejecuten una tarea sin estar programadas específicamente para ella.
Muchos sistemas de IA entrenados con estos métodos también generan puntuaciones de confianza para sus predicciones. Estas puntuaciones son, en esencia, estimaciones de la probabilidad de que una predicción específica sea correcta. Estudios anteriores sugieren que, en muchos casos, los sistemas de IA pecan de exceso de confianza y asignan puntuaciones altas a respuestas erróneas, o incluso presentan información inexacta como si fuera un hecho.
Aseguran los investigadores que esta característica puede dar lugar a alucinaciones y seguir provocando esos errores durante las siguientes fases de entrenamiento. Para frenar este problema desde la raíz, la estrategia es añadir una nueva fase
Su estrategia consiste en entrenar brevemente redes neuronales artificiales con ruido aleatorio (es decir, datos sin patrones significativos) y resultados arbitrarios, para que aprendan a producir estimaciones de confianza más realistas antes de aprender tareas específicas. Al introducir datos aleatorios en una red neuronal en un inicio, el modelo mostró una gran confianza a pesar de no haber aprendido nada, dicen los investigadores.
Nuevo aprendizaje
Como solución, el equipo se inspiró en el funcionamiento del cerebro biológico. El cerebro humano forma circuitos neuronales a través de la “actividad neuronal espontánea”, es decir, señales cerebrales generadas sin estímulos externos, incluso antes del nacimiento.
Siguiendo este concepto, desde KAIST proponen introducir una “fase de calentamiento” en la que la IA se familiariza con su propia incertidumbre antes de comenzar el aprendizaje de datos propiamente dicho. En otras palabras, antes de aprender de datos reales, el modelo aprende primero el estado de “aún no sé nada”.
La red se somete a un breve preentrenamiento con entradas de ruido aleatorio en esta fase inicial. Después la confianza inicial del modelo se alinea con un nivel bajo, cercano al azar. De esta forma, la precisión del modelo (la frecuencia en la que las respuestas son correctas) y la confianza del modelo (cuánto cree que va acertar) se alinean de forma natural.
El profesor Se-Bum Paik, principal autor del trabajo, afirmó que “este estudio demuestra que, al incorporar principios clave del desarrollo cerebral, la IA puede reconocer su propio estado de conocimiento de una manera más similar a la de los humanos”. El proyecto no solo persigue que herramientas como ChatGPT reduzcan sus alucinaciones, también sugiere la posibilidad de que la IA pueda desarrollar la capacidad de distinguir sobre su propio conocimiento o estado cognitivo, lo que se conoce como metacognición.
