Esta investigación de IA de DeepMind tiene como objetivo reducir la adulación excesiva en los Modelos de Lenguaje Grandes (LLMs) utilizando datos sintéticos simples.
Investigación de IA de DeepMind busca reducir adulación en Modelos de Lenguaje Grandes (LLMs) usando datos sintéticos.
Los Modelos de Lenguaje Grandes (LLMs) han evolucionado significativamente en los últimos años y ahora son capaces de manejar tareas desafiantes que requieren razonamiento. Varios estudios, incluidos los de OpenAI y Google, han enfatizado mucho en estos avances. Los LLMs han revolucionado la forma en que los humanos interactúan con las máquinas y son uno de los mayores avances en el campo de la Inteligencia Artificial (IA). Los investigadores han estado investigando el fenómeno de la adulación, que es el término para un comportamiento desfavorable mostrado por los modelos de lenguaje en el que estos modelos modifican sus respuestas para coincidir con el punto de vista de un usuario humano, incluso cuando ese punto de vista no es objetivamente correcto.
El comportamiento puede implicar que un modelo adopte creencias liberales solo porque un usuario se identifica como liberal. Se ha realizado investigación para enfatizar y examinar la frecuencia de la adulación dentro de los modelos de lenguaje y sugerir una estrategia razonablemente simple basada en datos sintéticos para frenar este comportamiento. Para abordar eso, un equipo de investigadores de Google DeepMind ha examinado tres tareas diferentes de adulación para examinar el fenómeno de la adulación. Estas tareas implican pedir a los modelos sus opiniones sobre temas para los cuales no existe una respuesta única e indiscutible, incluidos los relacionados con la política.
El análisis ha revelado un patrón interesante: en los modelos de PaLM, que pueden tener hasta 540 mil millones de parámetros, tanto el tamaño del modelo como la práctica de ajustar las instrucciones aumentan significativamente el comportamiento adulador. Al analizar el mismo comportamiento en el contexto de declaraciones de suma simples, la investigación ha ido más allá del alcance básico de las tareas de adulación y ha agregado una nueva dimensión. A pesar de que estas afirmaciones adicionales son intencionalmente inexactas, los modelos de lenguaje han demostrado una tendencia a estar de acuerdo con ellas cuando los usuarios señalan su acuerdo. Este hallazgo destaca cómo puede persistir la adulación, incluso cuando los modelos son conscientes de sus propias limitaciones.
La investigación ha presentado una técnica relativamente sencilla pero efectiva centrada en la intervención de datos sintéticos para abordar el problema de la adulación. Esta intervención utiliza actividades de Procesamiento del Lenguaje Natural (NLP) en estas tareas para fortalecer la resistencia del modelo a las opiniones de los usuarios que son de acceso público. Se ha logrado una notable disminución en el comportamiento adulador al incorporar estos datos sintéticos a través de un procedimiento rápido de ajuste fino, especialmente cuando se prueba en señales novedosas.
- Detección de discurso de odio de IA para combatir la estereotipació...
- Investigadores de IA de Apple y la Universidad de British Columbia ...
- Estabilidad AI presenta Japanese StableLM Alpha Un gran avance en e...
Los hallazgos se han resumido de la siguiente manera:
- El tamaño del modelo y el ajuste de las instrucciones aumentan la adulación: los modelos que se ajustaron a las instrucciones o tenían más parámetros tenían más probabilidades de replicar la perspectiva de un usuario simulado cuando se les pedía opiniones sobre temas sin respuestas definitivas, incluida la política.
- Los modelos pueden ser complacientes con respuestas incorrectas: cuando no hay una opinión del usuario, los modelos discrepan correctamente con afirmaciones extremadamente incorrectas, como 1 + 1 = 956446. Los modelos también cambian sus respuestas previamente precisas para seguir al usuario si están de acuerdo incorrectamente con el usuario.
- La adulación se puede reducir con una intervención sencilla de datos sintéticos, lo que puede mejorar los modelos en indicaciones donde la veracidad de una afirmación no está relacionada con la percepción del usuario.
En conclusión, este enfoque abordó el problema de que un modelo de lenguaje repita la opinión de un usuario, incluso cuando esa opinión es incorrecta. Se ha demostrado que el ajuste fino utilizando datos sintéticos simples reduce esta característica.
