Revolucionando la Generación de Modelos 3D con MVDream
Revolucionando Modelos 3D con MVDream
Originalmente publicado en louisbouchard.ai, ¡léelo 2 días antes en mi blog!
Mira el video:
¡Estoy súper emocionado de compartir este nuevo modelo de IA contigo! Hemos visto tantos enfoques nuevos para generar texto, luego generar imágenes que cada vez son mejores. Luego, hemos visto otros trabajos iniciales increíbles para generar videos e incluso modelos 3D a partir de texto. Solo imagina la complejidad de una tarea así cuando todo lo que tienes es una oración, y necesitas generar algo que pueda parecer un objeto en el mundo real, con todos sus detalles. Bueno, aquí hay uno nuevo que no es solo un paso inicial; es un gran avance en la generación de modelos 3D a partir de texto: ¡MVDream!
Como puedes ver, parece que MVDream es capaz de entender la física. En comparación con enfoques anteriores, lo entiende. Sabe que la vista debe ser realista con solo dos orejas y no dos para cualquier vista posible. ¡Termina creando un modelo 3D de muy alta calidad a partir de esta simple línea de texto! ¿Qué tan genial es esto? Pero lo que es aún más genial es cómo funciona… así que vamos a sumergirnos en ello.
Si observas un modelo 3D, el mayor desafío es que necesitan generar imágenes realistas y de alta calidad para cada vista desde la cual lo estás mirando, Y esas vistas deben ser coherentes espacialmente entre sí, no como el Yoda de 4 orejas que vimos anteriormente o sujetos con múltiples caras, ya que rara vez tenemos personas de espaldas en un conjunto de datos de imágenes, por lo que el modelo quiere ver caras a toda costa. Uno de los enfoques principales para generar modelos 3D es simular un ángulo de visión desde una cámara y luego generar lo que debería estar viendo desde este punto de vista. Esto se llama elevación 2D, ya que generamos imágenes regulares para combinarlas en una escena 3D completa. Luego, generamos todas las vistas posibles alrededor del objeto. Por eso estamos acostumbrados a ver artefactos extraños como estos, ya que el modelo solo intenta generar una vista a la vez y no comprende lo suficientemente bien el objeto en su conjunto en el espacio 3D. Bueno, MVDream dio un gran paso en esta dirección. Ellos…
