Mejorar la salud de los activos y la resiliencia de la red utilizando el aprendizaje automático

Optimizar salud y resiliencia de red con aprendizaje automático

Este artículo está escrito en colaboración con Travis Bronson y Brian L Wilkerson de Duke Energy

El aprendizaje automático (ML) está transformando todas las industrias, procesos y negocios, pero el camino hacia el éxito no siempre es directo. En esta publicación de blog, demostramos cómo Duke Energy, una empresa Fortune 150 con sede en Charlotte, Carolina del Norte, colaboró con el Laboratorio de Soluciones de Aprendizaje Automático de AWS (MLSL) para utilizar la visión por computadora para automatizar la inspección de postes de madera de servicios públicos y ayudar a prevenir cortes de energía, daños a la propiedad e incluso lesiones.

La red eléctrica está compuesta por postes, líneas y plantas de energía para generar y entregar electricidad a millones de hogares y negocios. Estos postes de servicios públicos son componentes críticos de la infraestructura y están sujetos a diversos factores ambientales como el viento, la lluvia y la nieve, que pueden causar desgaste en los activos. Es fundamental que los postes de servicios públicos sean inspeccionados y mantenidos regularmente para prevenir fallas que puedan provocar cortes de energía, daños a la propiedad e incluso lesiones. La mayoría de las empresas de servicios públicos, incluida Duke Energy, utilizan la inspección visual manual de los postes de servicios públicos para identificar anomalías relacionadas con su red de transmisión y distribución. Pero este método puede ser costoso y llevar mucho tiempo, y requiere que los trabajadores de transmisión de energía eléctrica sigan protocolos rigurosos de seguridad.

Duke Energy ha utilizado inteligencia artificial en el pasado para crear eficiencias en las operaciones diarias con gran éxito. La compañía ha utilizado IA para inspeccionar activos generadores e infraestructura crítica y ha estado explorando oportunidades para aplicar IA a la inspección de postes de servicios públicos también. A lo largo del compromiso del Laboratorio de Soluciones de Aprendizaje Automático de AWS con Duke Energy, la empresa avanzó en su trabajo para automatizar la detección de anomalías en postes de madera utilizando técnicas avanzadas de visión por computadora.

Objetivos y caso de uso

El objetivo de esta colaboración entre Duke Energy y el Laboratorio de Soluciones de Aprendizaje Automático es aprovechar el aprendizaje automático para inspeccionar cientos de miles de imágenes aéreas de alta resolución y automatizar el proceso de identificación y revisión de todos los problemas relacionados con los postes de madera en más de 33,000 millas de líneas de transmisión. Este objetivo ayudará aún más a Duke Energy a mejorar la resiliencia de la red y cumplir con las regulaciones gubernamentales al identificar los defectos de manera oportuna. También reducirá los costos de combustible y mano de obra, así como las emisiones de carbono al minimizar los desplazamientos innecesarios de camiones. Finalmente, también mejorará la seguridad al minimizar las millas recorridas, los postes escalados y los riesgos de inspección física asociados con terrenos y condiciones climáticas comprometidos.

En las siguientes secciones, presentamos los desafíos clave asociados con el desarrollo de modelos sólidos y eficientes para la detección de anomalías relacionadas con los postes de servicios públicos de madera. También describimos los desafíos clave y las suposiciones asociadas con diversas técnicas de preprocesamiento de datos empleadas para lograr el rendimiento del modelo deseado. A continuación, presentamos las métricas clave utilizadas para evaluar el rendimiento del modelo junto con la evaluación de nuestros modelos finales. Y finalmente, comparamos diversas técnicas de modelado supervisado y no supervisado de vanguardia.

Desafíos

Uno de los desafíos clave asociados con el entrenamiento de un modelo para detectar anomalías utilizando imágenes aéreas son los tamaños de imagen no uniformes. La siguiente figura muestra la distribución de la altura y el ancho de la imagen de un conjunto de datos de muestra de Duke Energy. Se puede observar que las imágenes tienen una gran cantidad de variación en cuanto al tamaño. Del mismo modo, el tamaño de las imágenes también plantea desafíos significativos. El tamaño de las imágenes de entrada tiene miles de píxeles de ancho y miles de píxeles de largo. Esto tampoco es ideal para entrenar un modelo para la identificación de las pequeñas regiones anómalas en la imagen.

Distribución de la altura y el ancho de la imagen para un conjunto de datos de muestra

Además, las imágenes de entrada contienen una gran cantidad de información de fondo irrelevante, como vegetación, automóviles, animales de granja, etc. La información de fondo podría resultar en un rendimiento subóptimo del modelo. Según nuestra evaluación, solo el 5% de la imagen contiene los postes de madera y las anomalías son aún más pequeñas. Esto es un desafío importante para identificar y localizar anomalías en las imágenes de alta resolución. El número de anomalías es significativamente menor en comparación con todo el conjunto de datos. Solo hay un 0.12% de imágenes anómalas en todo el conjunto de datos (es decir, 1.2 anomalías de cada 1000 imágenes). Finalmente, no hay datos etiquetados disponibles para entrenar un modelo de aprendizaje automático supervisado. A continuación, describimos cómo abordamos estos desafíos y explicamos nuestro método propuesto.

Descripción general de la solución

Técnicas de modelado

La siguiente figura muestra nuestro proceso de procesamiento de imágenes y detección de anomalías. Primero importamos los datos en Amazon Simple Storage Service (Amazon S3) utilizando Amazon SageMaker Studio. Luego utilizamos diversas técnicas de procesamiento de datos para abordar algunos de los desafíos mencionados anteriormente y mejorar el rendimiento del modelo. Después del preprocesamiento de datos, utilizamos Amazon Rekognition Custom Labels para la etiquetación de datos. Los datos etiquetados se utilizan posteriormente para entrenar modelos de ML supervisados como Vision Transformer, Amazon Lookout for Vision y AutoGloun para la detección de anomalías.

Procesamiento de imágenes y detección de anomalías en la tubería

La siguiente figura muestra una descripción detallada de nuestro enfoque propuesto que incluye la tubería de procesamiento de datos y varios algoritmos de aprendizaje automático utilizados para la detección de anomalías. Primero, describiremos los pasos involucrados en la tubería de procesamiento de datos. Luego, explicaremos los detalles y la intuición relacionados con varias técnicas de modelado utilizadas durante esta colaboración para lograr los objetivos de rendimiento deseados.

Preprocesamiento de datos

La tubería de preprocesamiento de datos propuesta incluye normalización de datos, identificación de la región de interés (ROI), augmentación de datos, segmentación de datos y, finalmente, etiquetado de datos. El propósito de cada paso se describe a continuación:

Normalización de datos

El primer paso en nuestra tubería de procesamiento de datos incluye la normalización de datos. En este paso, cada imagen se recorta y se divide en parches no superpuestos de tamaño 224 X 224 píxeles. El objetivo de este paso es generar parches de tamaños uniformes que se puedan utilizar posteriormente para entrenar un modelo de aprendizaje automático y localizar las anomalías en imágenes de alta resolución.

Identificación de la región de interés (ROI)

Los datos de entrada consisten en imágenes de alta resolución que contienen una gran cantidad de información de fondo irrelevante (es decir, vegetación, casas, automóviles, caballos, vacas, etc.). Nuestro objetivo es identificar anomalías relacionadas con postes de madera. Para identificar la ROI (es decir, los parches que contienen el poste de madera), empleamos la etiquetación personalizada de Amazon Rekognition. Capacitamos un modelo de etiquetado personalizado de Amazon Rekognition utilizando 3,000 imágenes etiquetadas que contienen tanto ROI como imágenes de fondo. El objetivo del modelo es realizar una clasificación binaria entre las imágenes de ROI y las imágenes de fondo. Los parches identificados como información de fondo se descartan, mientras que los recortes predichos como ROI se utilizan en el siguiente paso. La siguiente figura muestra la tubería que identifica la ROI. Generamos una muestra de recortes no superpuestos de 1,110 imágenes de madera que generaron 244,673 recortes. Luego, utilizamos estas imágenes como entrada a un modelo personalizado de Amazon Rekognition que identificó 11,356 recortes como ROI. Finalmente, verificamos manualmente cada uno de estos 11,356 parches. Durante la inspección manual, identificamos que el modelo pudo predecir correctamente 10,969 parches de madera de los 11,356 como ROI. En otras palabras, el modelo logró una precisión del 96%.

Identificación de la región de interés

Etiquetado de datos

Durante la inspección manual de las imágenes, también etiquetamos cada imagen con sus etiquetas asociadas. Las etiquetas asociadas de las imágenes incluyen parche de madera, parche que no es de madera, sin estructura, parche que no es de madera y finalmente parches de madera con anomalías. La siguiente figura muestra la nomenclatura de las imágenes utilizando el etiquetado personalizado de Amazon Rekognition.

Augmentación de datos

Dado la cantidad limitada de datos etiquetados disponibles para el entrenamiento, aumentamos el conjunto de datos de entrenamiento realizando volteos horizontales de todos los parches. Esto tuvo el impacto efectivo de duplicar el tamaño de nuestro conjunto de datos.

Segmentación

Etiquetamos los objetos en 600 imágenes (postes, cables y barandas de metal) utilizando la herramienta de etiquetado de detección de objetos de cuadro delimitador en Amazon Rekognition Custom Labels y capacitamos un modelo para detectar los tres objetos principales de interés. Utilizamos el modelo entrenado para eliminar el fondo de todas las imágenes, identificando y extrayendo los postes en cada imagen, mientras se eliminan todos los demás objetos, así como el fondo. El conjunto de datos resultante tenía menos imágenes que el conjunto de datos original, como resultado de la eliminación de todas las imágenes que no contienen postes de madera. Además, también se eliminó una imagen de falso positivo del conjunto de datos.

Detección de anomalías

A continuación, utilizamos los datos preprocesados para entrenar el modelo de aprendizaje automático para la detección de anomalías. Empleamos tres métodos diferentes para la detección de anomalías, que incluyen los Servicios de Machine Learning Administrados de AWS (Amazon Lookout for Vision [L4V], Amazon Rekognition), AutoGluon y un método de auto-distilación basado en Vision Transformer.

Servicios de AWS

Amazon Lookout for Vision (L4V)

Amazon Lookout for Vision es un servicio administrado de AWS que permite un rápido entrenamiento e implementación de modelos de aprendizaje automático y proporciona capacidades de detección de anomalías. Requiere datos completamente etiquetados, que proporcionamos señalando las rutas de las imágenes en Amazon S3. Entrenar el modelo es tan simple como una única llamada a la API (Interfaz de programación de aplicaciones) o un clic en un botón de la consola, y L4V se encarga de la selección del modelo y la sintonización de los hiperparámetros de forma automática.

Amazon Rekognition

Amazon Rekognition es un servicio administrado de IA/ML similar a L4V, que oculta los detalles del modelado y proporciona muchas capacidades como clasificación de imágenes, detección de objetos, etiquetado personalizado y más. Proporciona la capacidad de utilizar los modelos integrados para aplicarlos a entidades previamente conocidas en las imágenes (por ejemplo, de ImageNet u otros conjuntos de datos abiertos grandes). Sin embargo, utilizamos la funcionalidad de Etiquetas Personalizadas de Amazon Rekognition para entrenar el detector de ROI, así como un detector de anomalías en las imágenes específicas que tiene Duke Energy. También utilizamos las Etiquetas Personalizadas de Amazon Rekognition para entrenar un modelo que coloque cajas delimitadoras alrededor de los postes de madera en cada imagen.

AutoGluon

AutoGluon es una técnica de aprendizaje automático de código abierto desarrollada por Amazon. AutoGluon incluye un componente multimodal que permite un fácil entrenamiento en datos de imágenes. Utilizamos AutoGluon Multi-modal para entrenar modelos en los parches de imágenes etiquetadas y establecer una línea de base para identificar anomalías.

Vision Transformer

Muchos de los avances más emocionantes en IA han surgido de dos innovaciones recientes: el aprendizaje auto-supervisado, que permite a las máquinas aprender a partir de ejemplos aleatorios y no etiquetados; y los Transformadores, que permiten a los modelos de IA centrarse selectivamente en ciertas partes de su entrada y razonar de manera más efectiva. Ambos métodos han sido objeto de un enfoque sostenido por parte de la comunidad de aprendizaje automático, y nos complace compartir que los utilizamos en esta colaboración.

En particular, en colaboración con investigadores de Duke Energy, utilizamos modelos pre-entrenados de auto-distilación ViT (Vision Transformer) como extractores de características para la aplicación de detección de anomalías utilizando Amazon SageMaker. Los modelos pre-entrenados de auto-distilación de vision transformer se entrenan en una gran cantidad de datos de entrenamiento almacenados en Amazon S3 de forma auto-supervisada utilizando Amazon SageMaker. Aprovechamos las capacidades de transferencia de aprendizaje de los modelos ViT pre-entrenados en conjuntos de datos a gran escala (por ejemplo, ImageNet). Esto nos ayudó a lograr una tasa de recuperación del 83% en un conjunto de evaluación utilizando solo unas pocas miles de imágenes etiquetadas para el entrenamiento.

Métricas de evaluación

La siguiente figura muestra las métricas clave utilizadas para evaluar el rendimiento del modelo y sus impactos. El objetivo principal del modelo es maximizar la detección de anomalías (es decir, verdaderos positivos) y minimizar el número de falsos negativos, o veces en las que las anomalías que podrían provocar cortes de suministro se clasifican erróneamente.

Una vez que se identifican las anomalías, los técnicos pueden abordarlas, evitando futuros cortes de suministro y asegurando el cumplimiento de las regulaciones gubernamentales. Hay otro beneficio al minimizar los falsos positivos: se evita el esfuerzo innecesario de revisar las imágenes nuevamente.

Teniendo en cuenta estas métricas, seguimos el rendimiento del modelo en términos de las siguientes métricas, que engloban las cuatro métricas mencionadas anteriormente.

Precisión

El porcentaje de anomalías detectadas que son anomalías reales para los objetos de interés. La precisión mide qué tan bien nuestro algoritmo identifica solo anomalías. Para este caso de uso, una alta precisión significa pocas alarmas falsas (es decir, el algoritmo identifica erróneamente un agujero de pájaro carpintero cuando no hay ninguno en la imagen).

Recuperación

El porcentaje de todas las anomalías que se recuperan para cada objeto de interés. Recall mide qué tan bien identificamos todas las anomalías. Este conjunto captura un porcentaje del conjunto completo de anomalías, y ese porcentaje es el recall. Para este caso de uso, un alto recall significa que somos buenos atrapando agujeros de pájaros carpinteros cuando ocurren. Por lo tanto, el recall es la métrica adecuada en este POC porque las falsas alarmas son, en el mejor de los casos, molestas, mientras que las anomalías perdidas podrían llevar a consecuencias graves si se dejan sin atención.

Un bajo recall puede llevar a interrupciones y violaciones de regulaciones gubernamentales. Mientras que una baja precisión lleva a un desperdicio de esfuerzo humano. El objetivo principal de esta colaboración es identificar todas las anomalías para cumplir con las regulaciones gubernamentales y evitar cualquier interrupción, por lo tanto, priorizamos mejorar el recall sobre la precisión.

Evaluación y comparación de modelos

En la siguiente sección, demostramos la comparación de varias técnicas de modelado utilizadas durante esta colaboración. Evaluamos el rendimiento de dos servicios de AWS, Amazon Rekognition y Amazon Lookout for Vision. También evaluamos varias técnicas de modelado utilizando AutoGluon. Finalmente, comparamos el rendimiento con el método de auto-distilación basado en ViT de última generación.

La siguiente figura muestra la mejora del modelo para AutoGluon utilizando diferentes técnicas de procesamiento de datos durante el período de esta colaboración. La observación clave es que a medida que mejoramos la calidad y cantidad de los datos, el rendimiento del modelo en términos de recall mejoró de menos del 30% al 78%.

A continuación, comparamos el rendimiento de AutoGluon con los servicios de AWS. También utilizamos varias técnicas de procesamiento de datos que ayudaron a mejorar el rendimiento. Sin embargo, la mejora más significativa provino del aumento en la cantidad y calidad de los datos. Aumentamos el tamaño del conjunto de datos de 11 K imágenes en total a 60 K imágenes.

A continuación, comparamos el rendimiento de AutoGluon y los servicios de AWS con el método basado en ViT. La siguiente figura demuestra que el método basado en ViT, AutoGluon y los servicios de AWS tienen un rendimiento similar en términos de recall. Una observación clave es que, más allá de cierto punto, el aumento en la calidad y cantidad de los datos no ayuda a aumentar el rendimiento en términos de recall. Sin embargo, observamos mejoras en términos de precisión.

Comparación de precisión versus recall

Amazon AutoGluon	Anomalías predichas	Normales predichos
Anomalías	15600	4400
Normales	3659	38341

A continuación, presentamos la matriz de confusión para AutoGluon, Amazon Rekognition y el método basado en ViT utilizando nuestro conjunto de datos que contiene 62 K muestras. De las 62K muestras, 20 K son anómalas mientras que las 42 K imágenes restantes son normales. Se puede observar que el método basado en ViT captura el mayor número de anomalías (16,600), seguido por Amazon Rekognition (16,000) y Amazon AutoGluon (15600). Del mismo modo, Amazon AutoGluon tiene el menor número de falsos positivos (3659 imágenes), seguido por Amazon Rekognition (5918) y ViT (15323). Estos resultados demuestran que Amazon Rekognition logra el AUC (área bajo la curva) más alto.

Amazon Rekognition	Anomalías predichas	Normal predicho
Anomalías	16,000	4,000
Normal	5,918	36,082

ViT	Anomalías predichas	Normal predicho
Anomalías	16,600	3,400
Normal	15,323	26,677

Conclusión

En esta publicación, te mostramos cómo los equipos de MLSL y Duke Energy trabajaron juntos para desarrollar una solución basada en visión por computadora para automatizar la detección de anomalías en postes de madera utilizando imágenes de alta resolución recolectadas mediante vuelos en helicóptero. La solución propuesta empleó un flujo de procesamiento de datos para recortar la imagen de alta resolución para estandarizar el tamaño. Las imágenes recortadas se procesan aún más utilizando Amazon Rekognition Custom Labels para identificar la región de interés (es decir, los recortes que contienen los parches con postes). Amazon Rekognition logró una precisión del 96% en términos de identificar correctamente los parches con postes. Los recortes de la región de interés se utilizan además para la detección de anomalías utilizando el modelo de auto-destilación basado en ViT AutoGluon y servicios de AWS para la detección de anomalías. Utilizamos un conjunto de datos estándar para evaluar el rendimiento de los tres métodos. El modelo basado en ViT logró un recall del 83% y una precisión del 52%. AutoGluon logró un recall del 78% y una precisión del 81%. Finalmente, Amazon Rekognition logra un recall del 80% y una precisión del 73%. El objetivo de utilizar tres métodos diferentes es comparar el rendimiento de cada método con diferentes cantidades de muestras de entrenamiento, tiempo de entrenamiento y tiempo de implementación. Todos estos métodos tardan menos de 2 horas en entrenar y desplegar utilizando una única instancia de GPU A100 o servicios gestionados en Amazon AWS. Los próximos pasos para mejorar aún más el rendimiento del modelo incluyen agregar más datos de entrenamiento para mejorar la precisión del modelo.

En general, el flujo de trabajo propuesto de principio a fin que se presenta en esta publicación ayuda a lograr mejoras significativas en la detección de anomalías al tiempo que se minimizan los costos operativos, los incidentes de seguridad, los riesgos regulatorios, las emisiones de carbono y los posibles cortes de energía.

La solución desarrollada se puede utilizar para otros casos de uso relacionados con la detección de anomalías y la salud de activos en redes de transmisión y distribución, incluyendo defectos en aisladores y otros equipos. Para obtener más ayuda en el desarrollo y personalización de esta solución, no dudes en ponerte en contacto con el equipo de MLSL.