¿De quiénes son las opiniones reflejadas por los LLM? Este artículo de IA de Stanford examina las opiniones reflejadas por los modelos de lenguaje LMs a través del prisma de las encuestas de opinión pública.
Este artículo de IA de Stanford examina las opiniones reflejadas por los modelos de lenguaje LMs en encuestas de opinión pública.
En los últimos años, se ha observado que los modelos de lenguaje, o LMs, han sido extremadamente útiles para acelerar el ritmo de las aplicaciones de procesamiento de lenguaje natural en una variedad de industrias, como la salud, el desarrollo de software, las finanzas y muchas más. El uso de LMs en la escritura de código de software, en ayudar a los autores a mejorar su estilo de escritura y su trama, etc., es una de las aplicaciones más exitosas y populares de los modelos basados en transformadores. ¡Pero eso no es todo! Las investigaciones han demostrado que los LMs se utilizan cada vez más en contextos abiertos en lo que respecta a sus aplicaciones en chatbots y asistentes de diálogo al hacerles preguntas subjetivas. Por ejemplo, algunos ejemplos de estas preguntas subjetivas incluyen preguntarle a un agente de diálogo si la IA tomará el control del mundo en los próximos años o si legalizar la eutanasia es una buena idea. En esta situación, las opiniones expresadas por los LMs en respuesta a preguntas subjetivas pueden tener un impacto significativo no solo en determinar si un LM sucumbe a prejuicios y sesgos particulares, sino también en dar forma a las opiniones generales de la sociedad.
En la actualidad, es bastante difícil predecir con precisión cómo responderán los LMs a este tipo de preguntas subjetivas a fin de evaluar su rendimiento en tareas abiertas. La razón principal de esto es que las personas responsables del diseño y ajuste de estos modelos provienen de diferentes ámbitos de la vida y tienen diferentes puntos de vista. Además, en lo que respecta a las preguntas subjetivas, no existe una respuesta “correcta” que se pueda utilizar para juzgar un modelo. Como resultado, cualquier tipo de punto de vista exhibido por el modelo puede afectar significativamente la satisfacción del usuario y la forma en que forman sus opiniones. Por lo tanto, para evaluar correctamente los LMs en tareas abiertas, es crucial identificar exactamente cuyas opiniones están siendo reflejadas por los LMs y cómo se alinean con la mayoría de la población en general. Con este propósito, un equipo de investigadores postdoctorales de la Universidad de Stanford y la Universidad de Columbia ha desarrollado un extenso marco cuantitativo para estudiar el espectro de opiniones generadas por los LMs y su alineación con diferentes grupos de población humana. Para analizar las opiniones humanas, el equipo utilizó encuestas de opinión pública seleccionadas por expertos y sus respuestas, que se recopilaron de personas pertenecientes a diferentes grupos demográficos. Además, el equipo desarrolló un nuevo conjunto de datos llamado OpinionQA para evaluar qué tan cerca corresponden las ideas de un LM con otros grupos demográficos en una variedad de temas, incluyendo el aborto y la violencia armada.
Para su caso de uso, los investigadores se basaron en encuestas de opinión pública cuidadosamente diseñadas cuyos temas fueron elegidos por expertos. Además, las preguntas se diseñaron en un formato de opción múltiple para superar los desafíos asociados con las respuestas abiertas y para adaptarse fácilmente a un estímulo de LM. Estas encuestas recopilaron opiniones de personas pertenecientes a diferentes grupos demográficos en los Estados Unidos y ayudaron a los investigadores de Stanford y Columbia a crear métricas de evaluación para cuantificar la alineación de las respuestas de los LMs con respecto a las opiniones humanas. El fundamento básico detrás del marco propuesto por los investigadores es convertir las encuestas de opinión pública de opción múltiple en conjuntos de datos para evaluar las opiniones de los LMs. Cada encuesta consiste en varias preguntas, en las que cada pregunta puede tener varias posibles respuestas pertenecientes a una amplia gama de temas. Como parte de su estudio, los investigadores tuvieron que crear una distribución de opiniones humanas con la que se pudieran comparar las respuestas de los LMs. Luego, el equipo aplicó esta metodología a las encuestas de los Paneles de Tendencias Estadounidenses de Pew Research para construir el conjunto de datos OpinionQA. La encuesta consta de 1498 preguntas de opción múltiple y sus respuestas recopiladas de diferentes grupos demográficos en los Estados Unidos que abarcan diversos temas como ciencia, política, relaciones personales, atención médica, etc.
El equipo evaluó 9 LMs de AI21 Labs y OpenAI con parámetros que van desde 350M hasta 178B utilizando el conjunto de datos OpinionQA resultante, contrastando la opinión del modelo con la de la población general de los Estados Unidos y 60 grupos demográficos diferentes (que incluían demócratas, personas mayores de 65 años, viudos, etc.). Los investigadores se enfocaron principalmente en tres aspectos de los hallazgos: representatividad, orientabilidad y consistencia. La “representatividad” se refiere a qué tan cerca se corresponden las creencias predeterminadas de los LMs con las de la población de los Estados Unidos en su conjunto o de un segmento en particular. Se descubrió que existe una divergencia significativa entre las opiniones de los LMs contemporáneos y las de los grupos demográficos estadounidenses en varios temas como el cambio climático, etc. Además, esta falta de alineación parecía amplificarse al utilizar la retroalimentación humana para ajustar los modelos y hacerlos más alineados con los humanos. También se encontró que los LMs actuales no representan adecuadamente los puntos de vista de algunos grupos, como las personas mayores de 65 años y los viudos. En cuanto a la orientabilidad (si un LM sigue la distribución de opiniones de un grupo cuando se le incita adecuadamente), se ha encontrado que la mayoría de los LMs tienden a alinearse más con un grupo cuando se les anima a actuar de cierta manera. Los investigadores pusieron mucho énfasis en determinar si las opiniones de los diferentes grupos demográficos son consistentes con los LMs en una variedad de temas. En este aspecto, se encontró que si bien algunos LMs se alineaban bien con grupos particulares, la distribución no se mantenía en todos los temas.
- Construye aplicaciones de búsqueda semántica utilizando la base de ...
- Conoce a xTuring una herramienta de código abierto que te permite c...
- Por qué el backtesting es importante y cómo hacerlo correctamente
En resumen, un grupo de investigadores de las universidades de Stanford y Columbia ha propuesto un marco notable que puede analizar las opiniones reflejadas por los LMs con la ayuda de encuestas de opinión pública. Su marco resultó en un nuevo conjunto de datos llamado OpinionQA que ayudó a identificar las formas en que los LMs no se alinean con las opiniones humanas en varios aspectos, incluyendo la representatividad general con respecto a la mayoría de la población de EE. UU., la representatividad de subgrupos en diferentes grupos (que incluyen a los mayores de 65 años y viudos) y la capacidad de maniobra. Los investigadores también señalaron que aunque el conjunto de datos OpinionQA se centra en los Estados Unidos, su marco utiliza una metodología general y se puede extender a conjuntos de datos de diferentes regiones también. El equipo espera firmemente que su trabajo impulse más investigaciones sobre la evaluación de LMs en tareas abiertas y ayude a crear LMs que estén libres de sesgos y estereotipos. Se pueden consultar más detalles sobre el conjunto de datos OpinionQA aquí.
