Presentando Superalignment de OpenAI
Introducing OpenAI's Superalignment
OpenAI ha estado en los medios de comunicación mucho, no solo por el lanzamiento de ChatGPT, GPT-3 y GPT-4. Sino también en relación a las preocupaciones éticas de los sistemas de inteligencia artificial como ChatGPT y a la socioeconomía del mundo actual.
El CEO Sam Altman ha abordado la seguridad en torno a la inteligencia artificial varias veces, como en un comité del Senado de los Estados Unidos, y dijo:
“Creo que si esta tecnología sale mal, puede salir muy mal… queremos ser claros al respecto. Queremos trabajar con el gobierno para evitar que eso suceda”.
Dicho esto, el equipo de OpenAI ha tomado cartas en el asunto. Muchas personas están preocupadas por la superinteligencia, un sistema de inteligencia artificial que es tan inteligente que supera la mente humana. Algunos creen que la tecnología podría resolver muchos de los problemas actuales del mundo, sin embargo, con poca información o comprensión al respecto, es difícil sopesar los pros y los contras.
- Mejorando los Modelos de Lenguaje Grandes (LLMs) a través de Enfoqu...
- Investigadores de Johns Hopkins desarrollaron una tecnología de apr...
- Criptografía Post-Cuántica con Python y Linux
Puede ser demasiado pronto para hablar de la superinteligencia, pero definitivamente es una conversación que debe tenerse. El mejor enfoque a seguir es gestionar estos riesgos potenciales antes de que se conviertan en un problema mayor que no se pueda manejar.
Enfoque de OpenAI
OpenAI ha afirmado que actualmente no tienen una solución para la inteligencia artificial superinteligente, sin embargo, es algo en lo que están trabajando con su nuevo equipo Superalignment. Actualmente están utilizando técnicas como el aprendizaje por refuerzo a partir de la retroalimentación humana, que depende en gran medida de los humanos para supervisar la inteligencia artificial. Sin embargo, existen preocupaciones sobre los futuros desafíos de que los humanos no puedan supervisar de manera confiable la inteligencia artificial y la necesidad de nuevos avances científicos para manejar esto.
Dicho esto, OpenAI está buscando construir un investigador de alineación automatizado a nivel humano que pueda aprender a partir de la retroalimentación humana y ayudar a los humanos a evaluar la inteligencia artificial, además de ser capaz de resolver otros problemas de alineación. OpenAI ha dedicado el 20% de los recursos computacionales que han asegurado hasta la fecha a este esfuerzo, para alinear de manera iterativa la superinteligencia.
Para que el equipo de superalineación tenga éxito en esto, deberán:
1. Desarrollar un Método de Entrenamiento Escalable
Su objetivo es aprovechar otros sistemas de inteligencia artificial para ayudar a evaluar otros sistemas de inteligencia artificial, además de comprender mejor cómo los modelos generalizan la supervisión, algo que los humanos no pueden hacer.
2. Validar el Modelo Resultante
Para validar los resultados de la alineación de los sistemas, OpenAI planea buscar de manera automatizada comportamientos problemáticos para refinar la robustez del modelo, así como la interpretabilidad automatizada.
3. Someter a Pruebas de Estrés a Toda la Tubería de Alineación
¡Pruebas, pruebas y más pruebas! OpenAI planea poner a prueba todo su proceso de alineación entrenando deliberadamente modelos desalineados. Esto garantizará que las técnicas utilizadas puedan detectar cualquier forma de desalineación, especialmente las pruebas adversariales más difíciles.
OpenAI ya ha realizado experimentos preliminares, que han mostrado buenos resultados. Su objetivo es avanzar en esto utilizando métricas útiles y el trabajo continuo de estudio de modelos.
Conclusión
OpenAI tiene como objetivo crear un futuro en el que los sistemas de inteligencia artificial y los humanos puedan vivir en armonía sin sentirse en peligro. El desarrollo del equipo de superalineación es una meta ambiciosa, sin embargo, proporcionará evidencia a la comunidad en general sobre el uso del aprendizaje automático y la capacidad de crear un entorno seguro. Nisha Arya es una científica de datos, escritora técnica independiente y administradora de comunidades en VoAGI. Le interesa especialmente brindar consejos o tutoriales sobre carreras en ciencia de datos y conocimientos teóricos sobre ciencia de datos. También desea explorar las diferentes formas en que la inteligencia artificial beneficia o puede beneficiar la longevidad de la vida humana. Una aprendiz entusiasta que busca ampliar sus conocimientos tecnológicos y habilidades de escritura, al tiempo que ayuda a guiar a otros.
