Eleuther AI Research Group demuestra cómo se puede utilizar la guía sin clasificador (CFG) con LLMs.
Eleuther AI Research Group muestra el uso de CFG sin clasificador (CFG) con LLMs.
Recientemente, los grandes modelos de lenguaje han mostrado habilidades impresionantes de generación, lo que les permite manejar una amplia variedad de problemas. Normalmente, se utiliza el “prompt” para condicionar la generación, ya sea con instrucciones y contexto de la tarea o con un pequeño número de ejemplos. Sin embargo, se han observado problemas, incluyendo la alucinación, el deterioro y la divagación, en la generación de lenguaje, especialmente con modelos más pequeños. Se han propuesto varias soluciones, incluyendo el ajuste fino de instrucciones y el aprendizaje por refuerzo, para tratar este problema. Debido a los altos requisitos de computación y datos, no todos los usuarios podrán beneficiarse de estos métodos.
Un grupo de investigación en EleutherAI sugiere un enfoque de inferencia que otorga mayor peso a la intención declarada por el usuario en forma de un “prompt”. Su reciente estudio propone mejorar la consistencia generativa dando mayor peso al “prompt” durante el tiempo de inferencia.
Los estudios han demostrado que los mismos problemas existen en la generación de texto a imagen. Al tratar con estímulos inusuales o especializados, los métodos de inferencia estándar pueden pasar por alto detalles importantes de la condicionante. Se sugirió que el empleo de un clasificador separado para fomentar cualidades deseadas en la imagen de salida mejorará la calidad generativa de los modelos de difusión. Posteriormente, se desarrolló la Guía Libre de Clasificadores (CFG, por sus siglas en inglés), que prescinde por completo del clasificador y en su lugar emplea el modelo generativo como clasificador implícito.
Tomando como referencia su éxito en la generación de texto a imagen, los investigadores modifican CFG para su uso en la creación de texto unimodal con el fin de mejorar la adaptación del modelo a la entrada. Demuestran que, en la generación de texto, CFG se puede utilizar directamente, mientras que los modelos de texto a imagen (que predominantemente utilizan modelos de difusión) necesitan entrenarse con “dropout” condicionante para utilizar CFG. El estudio muestra cómo CFG se puede utilizar para mejorar la alineación en una variedad de métodos de “prompt”, desde simples “prompts” de una sola vez hasta “prompts” de estilo de chatbot complicados y todo lo que haya en medio.
- Investigadores de CMU presentan FROMAGe Un modelo de IA que inicia ...
- Investigadores logran un avance en la computación cuántica con un g...
- Principales 10 influyentes en IA a seguir en 2023
Desarrollan una metodología para aplicar CFG a la modelización del lenguaje y demuestran ganancias sustanciales en una batería de benchmarks estándar en la industria. Se capturan el “prompt” básico, el “prompt” encadenado, el “prompt” de texto largo y el “prompt” de estilo de chatbot. Específicamente, LLaMA-7B supera a PaLM-540B y permite que el método se convierta en SOTA en LAMBADA.
Existe una creciente colección de enfoques de inferencia que intentan alterar las distribuciones de logit de un modelo de lenguaje, y este trabajo encaja perfectamente con ellos. Los hallazgos muestran que el doble de FLOP de inferencia de CFG mejora el rendimiento de un modelo aproximadamente el doble de su tamaño. Esto allana el camino para el entrenamiento de modelos menos complejos y, por lo tanto, menos costosos de ejecutar, en hardware menos potente.
Usando un “prompt” negativo, se puede ejercer un control más preciso sobre qué características de CFG se destacan. Los resultados muestran que el 75% de los humanos prefieren el GPT. Todos los métodos de CFG al método de muestra estándar.
