¿Cómo podemos medir la incertidumbre en los campos de radiación neuronal? Presentamos BayesRays un revolucionario marco post hoc para NeRFs.
Presentamos BayesRays, un marco post hoc revolucionario para medir la incertidumbre en los campos de radiación neuronal.
Crear modelos 3D proporciona una representación más inmersiva y realista de escenas que las imágenes 2D. Permiten a los espectadores explorar e interactuar con la escena desde diferentes ángulos, brindando una mejor comprensión de la disposición espacial y la profundidad de la información.
Estos son fundamentales para aplicaciones de realidad virtual (VR) y realidad aumentada (AR). Permiten la superposición de información digital en el mundo real (AR) o la creación de entornos completamente virtuales (VR), mejorando las experiencias de usuario en los ámbitos de los videojuegos, la educación, la formación y diversas industrias.
Neural Radiance Fields (NeRFs) es una técnica de visión por computadora en la reconstrucción y renderización de escenas en 3D. NeRF trata una escena como un volumen en 3D donde cada punto del volumen tiene un color correspondiente (radiación) y densidad. La red neuronal aprende a predecir el color y la densidad de cada punto en función de las imágenes 2D tomadas desde diferentes puntos de vista.
NeRFs tienen múltiples aplicaciones, como la síntesis de vistas y la estimación de la profundidad, pero el aprendizaje a partir de imágenes multivista tiene incertidumbres inherentes. Los métodos actuales para cuantificar estas incertidumbres son o heurísticos o computacionalmente exigentes. Investigadores de Google DeepMind, Adobe Research y la Universidad de Toronto presentaron una nueva técnica llamada BayesRays.
- Empezando con SQL en 5 pasos
- Acortando la brecha entre los clínicos y los modelos de lenguaje en...
- ¿Cómo revoluciona Ideogram la conversión de texto a imagen? La plat...
Consiste en un marco para evaluar la incertidumbre en cualquier NeRF preentrenado sin modificar el proceso de entrenamiento. Al agregar un campo de incertidumbre volumétrica utilizando perturbaciones espaciales y una aproximación bayesiana de Laplace, lograron superar las limitaciones de NeRFs. La aproximación bayesiana de Laplace es un método matemático para aproximar distribuciones de probabilidad complejas con distribuciones gaussianas multivariadas más simples.
Sus incertidumbres calculadas son estadísticamente significativas y se pueden representar como canales de color adicionales. Su método también supera a trabajos anteriores en métricas clave, como la correlación con errores de profundidad reconstruidos. Utilizan un enfoque probabilístico plug-and-play para cuantificar la incertidumbre de cualquier NeRF preentrenado, independientemente de su arquitectura. Su trabajo proporciona un umbral para eliminar artefactos de NeRFs preentrenados en tiempo real.
Dicen que su intuición para formular su método proviene del uso de campos volumétricos para modelar las escenas en 3D. Los campos de deformación volumétrica se utilizan a menudo en la manipulación de objetos representados implícitamente. Su trabajo también es similar a la fotogrametría, donde la reconstrucción de la incertidumbre se modela a menudo mediante la colocación de distribuciones gaussianas en las posiciones espaciales identificadas.
Finalmente, dicen que su algoritmo se limita a cuantificar la incertidumbre de NeRFs y no se puede traducir trivialmente a otros marcos de trabajo. Sin embargo, su trabajo futuro involucra una aproximación de Laplace basada en deformación formulada para representaciones espaciales más recientes, como la dispersión gaussiana en 3D.
