Amplificando lo invisible Este método de inteligencia artificial AI utiliza NeRFs para visualizar movimientos sutiles en 3D
Amplifying the invisible. This AI method uses NeRFs to visualize subtle movements in 3D.
Vivimos en un mundo lleno de movimiento, desde los movimientos sutiles de nuestros cuerpos hasta los movimientos a gran escala de la tierra. Sin embargo, muchos de estos movimientos son demasiado pequeños para ser vistos a simple vista. Las técnicas de visión por computadora se pueden utilizar para extraer y amplificar estos movimientos sutiles, haciéndolos más fáciles de ver y entender.
En los últimos años, los campos de radiación neuronal (NeRF) han surgido como una herramienta poderosa para la reconstrucción y renderización de escenas en 3D. Los NeRF pueden ser entrenados para representar la apariencia de una escena en 3D a partir de una colección de imágenes y luego se pueden utilizar para renderizar la escena desde cualquier punto de vista.
Los NeRF representan la apariencia de una escena en 3D a partir de una colección de imágenes. Los NeRF funcionan aprendiendo una función que mapea un punto en 3D a su color y radiación correspondientes. Esta función luego se puede utilizar para renderizar la escena desde cualquier punto de vista. Estos modelos han demostrado ser muy efectivos para representar la apariencia de escenas en 3D complejas. Se han utilizado para renderizar modelos en 3D realistas de objetos, escenas e incluso personas. Los NeRF también se han utilizado para desarrollar nuevas aplicaciones en realidad virtual, realidad aumentada y gráficos por computadora.
¿Qué pasaría si utilizamos el poder de los NeRF para amplificar los movimientos sutiles en escenas en 3D? Esta no es una tarea fácil, ya que presenta un par de desafíos.
- Un modelo base para la IA médica
- Investigadores del MIT otorgaron subvenciones iniciales para invest...
- Crea un gráfico de planilla de perforación con Seaborn
El primer desafío es recopilar un conjunto de imágenes de la escena con movimientos sutiles. Esto puede ser difícil, ya que los movimientos deben ser lo suficientemente pequeños como para ser imperceptibles a simple vista, pero lo suficientemente grandes como para ser capturados por la cámara.
El segundo desafío es entrenar un NeRF para representar la apariencia de la escena a partir de las imágenes recopiladas. Esto puede ser una tarea desafiante, ya que el NeRF debe ser capaz de aprender las variaciones temporales sutiles en la escena.
El tercer desafío es realizar un análisis de movimiento euleriano en las incrustaciones de puntos del NeRF. Esto puede ser una tarea computacionalmente costosa, ya que requiere analizar las variaciones temporales en un espacio de alta dimensión.
Permítanos presentarles la amplificación de movimiento en 3D, que aborda todos estos desafíos de manera inteligente.
La amplificación de movimiento en 3D es un método de IA que utiliza el poder de los NeRF. Utiliza un NeRF para representar la escena con sus variaciones temporales sutiles. Sobre el renderizado del NeRF, se aplica el análisis de movimiento euleriano para amplificar las variaciones temporales en las incrustaciones de puntos del NeRF. Esto resulta en una escena en 3D amplificada que revela los movimientos sutiles que antes eran invisibles.
Este método consta de varios pasos clave, siendo el primero la recopilación de datos y el entrenamiento del NeRF. Comienza con la recolección de un conjunto de imágenes de la escena con movimientos sutiles. Las imágenes deben ser capturadas desde diferentes puntos de vista y en diferentes momentos. Luego, estas imágenes recopiladas se utilizan para entrenar el modelo NeRF que se utiliza para representar la apariencia de la escena a partir de las imágenes recopiladas. Se entrena para minimizar una función de pérdida que mide la diferencia entre las imágenes renderizadas y las imágenes de referencia.
Una vez que el modelo NeRF esté listo, el siguiente paso es realizar un análisis de movimiento euleriano. Las variaciones temporales en las incrustaciones de puntos del NeRF se amplifican mediante el análisis de movimiento euleriano. Es un marco matemático para analizar el movimiento de fluidos y sólidos. Se puede utilizar para extraer las variaciones temporales en cualquier campo variable en el tiempo, como las incrustaciones de puntos del NeRF. Estas variaciones temporales amplificadas se utilizan luego para magnificar el movimiento en la escena, lo cual se logra renderizando la escena desde el NeRF utilizando las incrustaciones de puntos amplificadas.
