Conoce a SelFee Un LLM iterativo de auto-revisión potenciado por la generación de retroalimentación automática.
SelFee un LLM iterativo de auto-revisión con retroalimentación automática.
Un estudio reciente ha destacado la efectividad de la retroalimentación en lenguaje natural para mejorar el rendimiento de los modelos de lenguaje. Un equipo de investigadores de KAIST ha introducido un nuevo modelo llamado SelFee diseñado específicamente para la retroalimentación y generación de revisiones automáticas. A diferencia de enfoques anteriores, SelFee no requiere modelos de lenguaje externos o específicos de tareas para generar respuestas de alta calidad.
SelFee es un modelo de seguimiento de instrucciones basado en LLaMA que se ajusta continuamente para lograr una respuesta de alta calidad en una sola inferencia. Basándose en la instrucción dada, el modelo genera una solución inicial y secuencias de retroalimentación automática. Mediante el análisis del contenido de la retroalimentación generada, el modelo determina si es necesario hacer una revisión. Si es así, genera una respuesta revisada basada en la retroalimentación. Este proceso de revisión iterativo se completa en una sola inferencia, lo que resulta en soluciones mejoradas en comparación con los modelos basados en LLaMA existentes.
Los investigadores recopilaron datos de instrucciones diversos de diversas fuentes, como ShareGPT, Alpaca, Matemáticas, Código y Colección Flan. Para abordar la escasez de datos de retroalimentación y revisión, aumentaron el conjunto de datos utilizando un proceso de destilación de un modelo de enseñanza llamado ChatGPT. Este enfoque les permitió generar más instancias de retroalimentación y revisión a un costo más asequible.
Para entrenar el modelo, los investigadores utilizaron técnicas de aumento de datos utilizando llamadas a la API de OpenAI. Recopilaron instrucciones de múltiples fuentes y las ingresaron en ChatGPT para generar respuestas correspondientes. Luego obtuvieron retroalimentación sobre las respuestas generadas consultando nuevamente a ChatGPT. Si se consideraba necesario realizar una revisión, ChatGPT revisaba la respuesta basándose en la retroalimentación generada automáticamente. Este proceso se repitió hasta que no se requirieron más modificaciones.
- Más allá de ChatGPT; Agente de IA Un nuevo mundo de trabajadores
- El comienzo de la extracción de información resaltar palabras clave...
- Ventajas de Python como lenguaje de desarrollo de IA y ML
SelFee se entrenó utilizando el marco de trabajo FastChat. Según la instrucción, el modelo se ajustó para generar la respuesta y la cadena de retroalimentación, incluidas las revisiones. Los investigadores observaron que aumentar el número mínimo de revisiones requeridas durante el proceso de inferencia mejoraba la calidad de la respuesta. Descubrieron que un mínimo de tres revisiones ofrecía el mejor rendimiento y que incluso un modelo SelFee de 7B que generaba al menos tres revisiones superaba a un modelo SelFee de 13B que no requería modificaciones.
En cuanto a la evaluación, los investigadores adoptaron el entorno de evaluación Vicuna, que involucraba 80 consultas diversas. En lugar de realizar una evaluación humana, llevaron a cabo una evaluación piloto utilizando GPT-4 como evaluador. Se informaron las puntuaciones relativas en comparación con ChatGPT, teniendo en cuenta el sesgo posicional de GPT-4.
Aunque SelFee demostró un rendimiento comparable a ChatGPT en el entorno de evaluación Vicuna, se encontró que carecía de conocimientos en áreas como matemáticas, razonamiento, veracidad y codificación en comparación con ChatGPT.
En general, SelFee introduce un enfoque novedoso para la retroalimentación automática y la generación de revisiones en modelos de lenguaje. Al ajustar continuamente el modelo para revisar sus respuestas, SelFee logra un rendimiento mejorado en comparación con los modelos existentes. Los hallazgos de la investigación destacan la importancia de la revisión iterativa para mejorar la calidad de las respuestas de los modelos de lenguaje y sugieren que aumentar el cálculo de inferencia de un modelo puede ser más efectivo que simplemente aumentar su tamaño.
