Descubre DifFace Un Nueva Modelo de Aprendizaje Profundo Difuso para la Restauración de Rostros Ciegos
DifFace Un nuevo modelo difuso de aprendizaje profundo para restauración de rostros ciegos
Observando fotos realmente antiguas, podemos notar una clara diferencia con las producidas por cámaras recientes. Las fotos borrosas o pixeladas solían ser bastante comunes. Con el ideal de calidad fotográfica relacionada con los detalles, definición y nitidez, es fácil entender por qué las fotos antiguas no pueden cumplir con estos estándares de calidad. De hecho, notamos la gran diferencia entre las imágenes producidas por cámaras antiguas y las recientes. Sin embargo, estos problemas también se presentan a menudo en las imágenes recientes, dependiendo del obturador de la cámara o de la configuración del entorno.
¿Qué pasa si tienes o has tomado retratos borrosos cuyos detalles son bastante difíciles de distinguir? ¿Alguna vez te has preguntado si es posible y, de ser así, cómo transformar estas imágenes borrosas en imágenes nítidas, de alta definición y con muchos detalles?
La restauración ciega de caras (BFR, por sus siglas en inglés) es lo que necesitamos. Se refiere a la tarea de reconstruir una imagen clara y fiel del rostro de una persona a partir de una imagen de entrada degradada (por ejemplo, con ruido o borrosa) o de baja calidad. Este desafiante problema ha atraído una atención significativa en el procesamiento de imágenes y la visión por computadora debido a su amplia gama de aplicaciones prácticas, como la vigilancia, la biometría y las redes sociales.
En los últimos años, los métodos de aprendizaje profundo han surgido como un enfoque prometedor para la restauración ciega de caras. Estos métodos, basados en redes neuronales artificiales, han demostrado resultados impresionantes en diversos benchmarks y pueden aprender mapeos complejos a partir de datos sin necesidad de características hechas a mano o modelado explícito del proceso de degradación.
- Este artículo de IA propone un método de reconocimiento facial que ...
- ¿Pueden los sistemas de visión por computadora inferir tu actividad...
- Últimas investigaciones de IA en China presentan ‘OMMO’...
Estas técnicas se centran en muchas métricas, formulaciones y parámetros complejos para mejorar la calidad de la restauración. La pérdida de entrenamiento L1 se utiliza comúnmente para garantizar la fidelidad. Los métodos recientes de BFR introducen la pérdida adversaria y la pérdida perceptual para lograr resultados más realistas. Algunos enfoques existentes también explotan prioridades específicas de la cara, como puntos de referencia faciales, componentes faciales y prioridades generativas. Considerar tantas restricciones juntas hace que el entrenamiento sea innecesariamente complicado, a menudo requiriendo una sintonización laboriosa de hiperparámetros para encontrar un equilibrio entre estas restricciones. Peor aún, la notoria inestabilidad de la pérdida adversaria hace que el entrenamiento sea más desafiante.
Se ha desarrollado un nuevo método llamado DifFace para superar estos problemas. Puede manejar degradaciones desconocidas y complejas de manera más elegante que las técnicas de vanguardia sin diseños de pérdida complicados. La clave principal es la distribución posterior de la imagen de baja calidad (LQ) de entrada a su contraparte de alta calidad (HQ). Específicamente, se explota una distribución de transición desde la imagen LQ hasta el estado intermedio de un modelo de difusión preentrenado y luego se transmite gradualmente desde este estado intermedio hasta el objetivo HQ mediante la aplicación recursiva de un modelo de difusión preentrenado.
La imagen a continuación ilustra el marco propuesto.
La inferencia involucra una variable difusa intermedia xN (con N<T) a partir de la imagen LQ y0. Este estado intermedio se obtiene a través de un estimador difuso llamado así. Representa una arquitectura de red neuronal desarrollada para estimar el paso de difusión xN a partir de la imagen de entrada y0. A partir de este estado intermedio, se infiere el deseado x0. Esto tiene varias ventajas. En primer lugar, este enfoque es más eficiente que el proceso de difusión inversa completo de xT a x0, ya que se puede aprovechar un modelo de difusión preentrenado (de xN a x0). En segundo lugar, no es necesario volver a entrenar el modelo de difusión desde cero. Además, este método no requiere múltiples restricciones en el entrenamiento y aún es capaz de manejar degradaciones desconocidas y complejas.
Los resultados y la comparación entre DifFace y otros enfoques de vanguardia se presentan en la figura a continuación.
Al observar los detalles de las imágenes generadas, es evidente que DifFace produce imágenes de alta calidad, con alto nivel de detalle y nitidez, a partir de imágenes de entrada de baja calidad, borrosas y degradadas, superando las técnicas de vanguardia.
Este fue el resumen de DifFace, un marco novedoso para abordar el problema de Restauración de Rostro a Ciegas. Si estás interesado, puedes encontrar más información en los enlaces de abajo.
