La ingeniería de instrucciones no es una cosa
La ingeniería de instrucciones no es algo.
El surgimiento de modelos de lenguaje grandes como la serie GPT de OpenAI ha traído consigo un nuevo nivel de capacidad en el procesamiento del lenguaje natural. A medida que las personas experimentan con estos modelos, se dan cuenta de que la calidad del estímulo puede marcar una gran diferencia en los resultados, y algunas personas lo llaman “ingeniería del estímulo”. Dejando claro: no existe tal cosa. Como mucho, es “ensayo y error del estímulo”.
La “ingeniería” del estímulo asume que al ajustar y perfeccionar los estímulos de entrada, podemos predecir y controlar las salidas de estos modelos con precisión.
La Ilusión del Control
La idea de la ingeniería del estímulo se basa en la creencia de que, al elaborar cuidadosamente estímulos de entrada, podemos lograr la respuesta deseada de un modelo de lenguaje. Esto asume que existe una relación determinista entre la entrada y la salida de los modelos de lenguaje grandes, que son modelos estadísticos de texto complejos, lo que hace imposible predecir el resultado de cambiar el estímulo con certeza. De hecho, la imprevisibilidad de las redes neuronales en general es una de las cosas que limita su capacidad para funcionar sin supervisión humana.
El Efecto Mariposa en los Modelos de Lenguaje
La sensibilidad de los modelos de lenguaje grandes a pequeños cambios en los estímulos de entrada, a menudo comparada con el efecto mariposa en la teoría del caos, es otro factor que socava el concepto de la ingeniería del estímulo. El efecto mariposa ilustra cómo pequeños cambios en las condiciones iniciales pueden tener resultados significativamente diferentes en sistemas dinámicos. En el contexto de los modelos de lenguaje, alterar una sola palabra o incluso un signo de puntuación puede llevar a respuestas drásticamente diferentes, lo que dificulta identificar la mejor modificación del estímulo para obtener un resultado específico.
El Papel del Sesgo y la Variabilidad
Los modelos de lenguaje, incluidos los modelos de la serie GPT, se entrenan con cantidades vastas de datos de texto generados por humanos. Como resultado, heredan los sesgos, inconsistencias e idiosincrasias presentes en estos conjuntos de datos. Este sesgo inherente y la variabilidad en los datos de entrenamiento contribuyen a la imprevisibilidad de las salidas del modelo.
- ChatGPT Enterprise Ir donde ningún LLM ha ido antes
- ¿Quién ganará dinero en la fiebre del oro de la IA generativa?
- Trucos de Aprendizaje Automático, Aprendiendo con ChatGPT y Otros L...
La Incertidumbre de la Generalización
Los modelos de lenguaje están diseñados para generalizar en varios dominios y tareas, lo que agrega otro nivel de complejidad al desafío de la ingeniería del estímulo. Si bien los modelos son increíblemente potentes, es posible que no siempre tengan el conocimiento detallado específico del dominio necesario para generar una respuesta precisa y exacta. En consecuencia, elaborar el estímulo “perfecto” para cada situación posible es una meta poco realista.
El Costo del Ensayo y Error
Dada la imprevisibilidad de las salidas del modelo de lenguaje, editar los estímulos a menudo se convierte en un proceso laborioso de ensayo y error. Ajustar un estímulo varias veces para lograr la respuesta deseada puede llevar tanto tiempo que anula las ganancias de eficiencia que se supone que estos modelos proporcionan. En muchos casos, realizar la tarea manualmente puede ser más eficiente que invertir tiempo y esfuerzo en refinar los estímulos para obtener la salida perfecta.
El concepto de ingeniería del estímulo en modelos de lenguaje grandes es un mito en lugar de una realidad práctica. La imprevisibilidad inherente de estos modelos, combinada con el impacto de pequeños cambios en los estímulos de entrada, la presencia de sesgos y variabilidad en los datos de entrenamiento, las habilidades de generalización de los modelos y la naturaleza costosa de ensayo y error en la edición de estímulos, hacen imposible predecir y controlar sus resultados con certeza.
En lugar de centrarse en la ingeniería del estímulo como una solución mágica, es esencial abordar estos modelos con una dosis saludable de escepticismo, reconociendo sus limitaciones y apreciando sus capacidades notables en el procesamiento del lenguaje natural.
