Cómo 25,000 computadoras entrenaron a ChatGPT

25,000 computadoras entrenaron a ChatGPT

El avance detrás de ChatGPT

¿Qué palabra viene después de Bueno?

Puede que pienses en Buenos días, o Adiós. Pero definitivamente no dirías Bueno Ruidoso. Eso simplemente no tiene sentido. Durante décadas, los científicos de la computación han estado entrenando a la IA para resolver este problema exacto.

Dado una palabra, nuestra IA predice la siguiente palabra. Haz esto varias veces, y has generado una oración.

Así es como funciona ChatGPT.

Entrenado en toda la internet, ChatGPT ha aprendido a chatear como un humano. Sin embargo, este inmenso logro solo fue posible gracias a un avance a finales de la década de 2010. Un avance que sustenta a ChatGPT y da forma al mundo en el que vivimos para siempre.

Esta es la historia de una IA que leyó y aprendió de cada libro, tweet y sitio web en toda la internet. Y cómo esto fue posible.

Las oraciones son largas.

Cuando vamos más allá de una sola palabra, predecir la siguiente palabra es mucho más difícil. Toma este ejemplo.

• Principios básicos de la ingeniería de indicaciones en la IA genera...
• Científicos de la Computación de UMass Amherst utilizan IA para ace...
• Google Cloud y NVIDIA llevan la colaboración al siguiente nivel

En este contexto, no tiene sentido decir Comí una buenos días. Pero nuestra IA solo mira la palabra “bueno” y arroja la palabra “días”. En la mayoría de los casos, incluso los humanos necesitan muchas palabras para predecir la siguiente palabra. Entonces, una IA también necesita esta información adicional.

Nuestra IA necesita leer muchas palabras para predecir la siguiente palabra. ChatGPT puede leer más de 8.000 palabras anteriores a la vez. La forma natural de hacer esto sería alimentar cada palabra a la IA, una por una.

Así es como funcionaban las IA en el pasado. Una Red Neuronal Recurrente (RNN) tomaría una palabra a la vez…