Esta investigación de Inteligencia Artificial AI propone SAM-Med2D los estudios más completos sobre la aplicación de SAM a imágenes médicas en 2D.
Esta investigación propone SAM-Med2D, un estudio completo sobre la aplicación de SAM a imágenes médicas en 2D.
Al reconocer y separar diferentes tejidos, órganos o regiones de interés, la segmentación de imágenes médicas es esencial para estudiar imágenes médicas. Para un diagnóstico y terapia más exactos, los médicos pueden utilizar una segmentación precisa para ayudarles a localizar y señalar con precisión las regiones afectadas por enfermedades. Además, el análisis cuantitativo y cualitativo de imágenes médicas proporciona una comprensión detallada de la morfología, estructura y función de diversos tejidos u órganos, lo que permite el estudio de enfermedades. Debido a las peculiaridades de la imagen médica, como su amplia variedad de modalidades, la compleja arquitectura de los tejidos y órganos y la falta de datos anotados, la mayoría de los enfoques existentes están limitados a ciertas modalidades, órganos o patologías.
Debido a esta restricción, los algoritmos son difíciles de generalizar y modificar para su uso en diversos contextos clínicos. El enfoque hacia modelos a gran escala ha generado recientemente entusiasmo en la comunidad de IA. El desarrollo de modelos de IA generalizados como ChatGPT2, ERNIE Bot 3, DINO, SegGPT y SAM hace posible utilizar un solo modelo para diversas tareas. Con SAM, el modelo de visión a gran escala más reciente, los usuarios pueden crear máscaras para ciertas regiones de interés haciendo clic de forma interactiva, dibujando cuadros delimitadores o utilizando indicaciones verbales. Se ha prestado una atención significativa a sus capacidades de cero y pocos disparos en fotografías naturales en diversos campos.
Algunos esfuerzos también se han centrado en la capacidad de cero disparos de SAM en el contexto de la imagen médica. Sin embargo, SAM encuentra dificultades para generalizar a conjuntos de datos médicos multimodales y multiobjetos, lo que lleva a un rendimiento variable de la segmentación en diferentes conjuntos de datos. Esto se debe a una brecha considerable entre las imágenes naturales y las imágenes médicas. La causa puede estar relacionada con los métodos utilizados para recopilar los datos: debido a su propósito clínico específico, las imágenes médicas se obtienen utilizando protocolos y escáneres particulares y se muestran en diversas modalidades (electrones, láseres, rayos X, ultrasonido, física nuclear y resonancia magnética). Como resultado, estas imágenes se desvían sustancialmente de las imágenes reales, ya que dependen de diversas características basadas en la física y fuentes de energía.
Las imágenes naturales y las imágenes médicas difieren significativamente en cuanto a la intensidad de píxeles, el color, la textura y otras características de distribución, como se ve en la Figura 1. Debido a que SAM se entrena solo con fotografías naturales, necesita información más especializada con respecto a la imagen médica, por lo que no se puede aplicar de inmediato al sector médico. Proporcionar a SAM información médica es un desafío debido al alto costo de la anotación y la calidad inconsistente de la anotación. La preparación de datos médicos requiere experiencia en la materia, y la calidad de estos datos varía mucho entre instituciones y ensayos clínicos. La cantidad de imágenes médicas y naturales varía significativamente debido a estas dificultades.
- Microsoft presenta una patente sobre su nueva mochila inteligente i...
- Esta investigación de IA presenta ComCLIP Un método sin entrenamien...
- ¿Cómo pueden los puntos de venta automatizados reconocer productos ...
El gráfico de barras de la Figura 1 compara el volumen de datos de conjuntos de datos de imágenes naturales disponibles públicamente y conjuntos de datos de imágenes médicas. Por ejemplo, Totalsegmentor, el conjunto de datos de segmentación pública más grande en el ámbito médico, también tiene una brecha significativa en comparación con Open Image v6 y SA-1B. En este estudio, el objetivo es transferir SAM de imágenes naturales a imágenes médicas. Esto proporcionará modelos de referencia y marcos de evaluación para que los investigadores en el análisis de imágenes médicas exploren y mejoren. Para lograr este objetivo, los investigadores de la Universidad de Sichuan y el Laboratorio de IA de Shanghai propusieron SAM-Med2D, el estudio más completo sobre la aplicación de SAM a imágenes médicas 2D.
