Comprendiendo los Modelos de Lenguaje Grandes La Física de (Chat)GPT y BERT

Comprendiendo los Modelos de Lenguaje GPT y BERT

Ideas de un físico sobre cómo partículas y fuerzas pueden ayudarnos a comprender LLMs.

ChatGPT, o en general, los Modelos de IA de Lenguaje Grande (LLMs), se han vuelto omnipresentes en nuestras vidas. Sin embargo, la mayoría de las matemáticas y estructuras internas de los LLMs son conocimientos oscuros para el público en general.

Entonces, ¿cómo podemos ir más allá de percibir los LLMs como ChatGPT como cajas negras mágicas? La física puede proporcionar una respuesta.

Todos estamos algo familiarizados con nuestro mundo físico. Objetos como autos, mesas y planetas están compuestos por billones de átomos, gobernados por un conjunto simple de leyes físicas. De manera similar, han surgido organismos complejos, como ChatGPT, capaces de generar conceptos altamente sofisticados como el arte y la ciencia.

Resulta que las ecuaciones de los bloques de construcción de los LLMs son análogas a nuestras leyes físicas. Así que al comprender cómo surge la complejidad a partir de nuestras simples leyes físicas, podríamos obtener algunas ideas sobre cómo y por qué funcionan los LLMs.

Complejidad a partir de la simplicidad

Nuestro mundo es inherentemente complejo, sin embargo, puede ser descrito por un número notablemente pequeño de interacciones fundamentales. Por ejemplo, los copos de nieve y las películas de burbujas complicadas pueden estar relacionados con fuerzas atractivas simples entre moléculas.

• Aumentando la confiabilidad de las redes de sensores inalámbricos m...
• Ejecutando Llama 2 en la CPU localmente para Preguntas y Respuestas...
• Un proyecto de Ciencia de Datos con un intérprete de código ChatGPT

Entonces, ¿cuál es la similitud en cómo surgen las estructuras complejas? En física, la complejidad se genera cuando ampliamos nuestra perspectiva desde la escala más pequeña hasta la más grande.

Haciendo una analogía con el lenguaje, el inglés comienza con un número modesto de constituyentes fundamentales: 26 letras del alfabeto. Estos símbolos pueden combinarse para formar alrededor de 100,000 palabras utilizables, cada una con un significado distintivo. A partir de estas palabras, se pueden generar innumerables oraciones, pasajes, libros y volúmenes.

Esta jerarquía lingüística es similar a las que se encuentran en la física. Nuestra ley fundamental actual (el Modelo Estándar) comienza con un número limitado de partículas elementales como quarks y electrones, junto con…