Descubre los secretos de la segmentación anatómica con HybridGNet un codificador-decodificador de IA para la decodificación plausible de estructuras anatómicas
Descubre el codificador-decodificador de IA HybridGNet para la segmentación anatómica precisa de estructuras anatómicas.
Los avances recientes en redes neuronales profundas han permitido nuevos enfoques para abordar la segmentación anatómica. Por ejemplo, se ha logrado un rendimiento de vanguardia en la segmentación anatómica de imágenes biomédicas mediante redes neuronales convolucionales profundas (CNN). Las estrategias convencionales adoptan arquitecturas estándar de CNN codificador-decodificador para predecir la segmentación a nivel de píxel utilizando conjuntos de datos anotados. Si bien este enfoque se adapta a escenarios donde la topología no se conserva entre individuos, como la segmentación de lesiones, puede no ser ideal para estructuras anatómicas con topología regular. A menudo, las redes de segmentación profundas se entrenan para minimizar funciones de pérdida a nivel de píxel, lo que puede no garantizar la plausibilidad anatómica debido a la insensibilidad a la forma y topología global. Esto puede resultar en artefactos como estructuras fragmentadas e inconsistencias topológicas.
Para mitigar estos problemas, se vuelve crucial incorporar conocimientos previos y restricciones de forma, especialmente para tareas posteriores como el diagnóstico de enfermedades y la planificación de terapias. En lugar de máscaras densas a nivel de píxel, alternativas como modelos de forma estadística o representaciones basadas en gráficos ofrecen una forma más natural de incluir restricciones topológicas. Los gráficos, en particular, proporcionan un medio para representar puntos de referencia, contornos y superficies, lo que permite la incorporación de corrección topológica. El aprendizaje profundo geométrico ha extendido las CNN a dominios no euclidianos, facilitando el desarrollo de modelos discriminatorios y generativos para datos de gráficos. Estos avances permiten predicciones precisas y la generación de estructuras de gráficos realistas alineadas con distribuciones específicas.
De acuerdo con las consideraciones mencionadas, se ha introducido la nueva arquitectura HybridGNet para aprovechar los beneficios de la segmentación basada en puntos de referencia en las convoluciones estándar para la codificación de características de imágenes.
La descripción general de la arquitectura se presenta en la siguiente figura.
- Configurando Nemo-Guardrails a tu manera Un método alternativo para...
- Cuántiza modelos Llama con GGML y llama.cpp
- Modelos de lenguaje y amigos Gorilla, HuggingGPT, TaskMatrix y más
HybridGNet se combina con modelos generativos basados en redes neuronales gráficas (GCNN) para crear estructuras segmentadas anatómicamente precisas. Procesa las imágenes de entrada a través de convoluciones estándar y genera segmentaciones orientadas a puntos de referencia mediante el muestreo de una “distribución latente de cuello de botella”, una representación codificada compacta que contiene la información esencial sobre la imagen. El muestreo de esta distribución permite que el modelo cree salidas segmentadas diversas y plausibles basadas en las características de la imagen codificada. Después del muestreo, sigue el remodelado y las convoluciones en el dominio de gráficos.
Además, bajo la hipótesis de que las características locales de la imagen pueden ayudar a producir estimaciones más precisas de las posiciones de los puntos de referencia, se presenta un módulo de conexión directa de imagen a gráfico (IGSC). Análogo a las conexiones directas de UNet, el módulo IGSC, combinado con operaciones de desapilamiento de gráficos, permite que los mapas de características fluyan desde el codificador hasta el decodificador, mejorando así la capacidad del modelo para recuperar detalles finos.
Se muestran resultados de muestra seleccionados del estudio en la siguiente imagen. Estas visualizaciones proporcionan una descripción comparativa entre HybridGNet y enfoques de vanguardia.
Esto fue un resumen de HybridGNet, una nueva arquitectura neuronal codificador-decodificador de IA que aprovecha las convoluciones estándar para la codificación de características de imágenes y las redes neuronales convolucionales gráficas (GCNN) para decodificar representaciones plausibles de estructuras anatómicas. Si estás interesado y quieres obtener más información al respecto, no dudes en consultar los enlaces citados a continuación.
