Training de un Variational Autoencoder para la detección de anomalías utilizando TensorFlow

Entrenamiento de un Variational Autoencoder para detección de anomalías con TensorFlow.

Introducción

La IA generativa ha ganado una inmensa popularidad en los últimos años por su capacidad para crear datos que se asemejan estrechamente a ejemplos del mundo real. Una de las aplicaciones menos exploradas pero altamente prácticas de la IA generativa es la detección de anomalías utilizando Autoencoders Variacionales (VAEs). Esta guía proporcionará un enfoque práctico para construir y entrenar un Autoencoder Variacional para la detección de anomalías utilizando Tensor Flow. Habrá varios objetivos de aprendizaje en esta guía, como:

Descubrir cómo se pueden aprovechar los VAEs para tareas de detección de anomalías, incluyendo tanto escenarios de detección de anomalías de una clase como de varias clases.

Obtener una comprensión sólida del concepto de detección de anomalías y su importancia en diversas aplicaciones del mundo real.
Aprender a distinguir entre puntos de datos normales y anómalos y apreciar los desafíos asociados con la detección de anomalías.
Explorar la arquitectura y los componentes de un Autoencoder Variacional, incluyendo las redes de codificación y decodificación.
Desarrollar habilidades prácticas en el uso de TensorFlow, un popular marco de aprendizaje profundo, para construir y entrenar modelos de VAE.

Este artículo fue publicado como parte de Data Science Blogathon.

Autoencoders Variacionales (VAE)

Un Autoencoder Variacional (VAE) es una sofisticada arquitectura de red neuronal que combina elementos de modelado generativo e inferencia variacional para aprender distribuciones de datos complejas, especialmente en tareas de aprendizaje automático no supervisado. Los VAE han ganado prominencia por su capacidad para capturar y representar datos de alta dimensión en un espacio latente compacto y continuo, lo que los hace especialmente valiosos en aplicaciones como generación de imágenes, detección de anomalías y compresión de datos.

En su núcleo, un VAE consta de dos componentes principales: un codificador y un decodificador. Estos componentes trabajan en conjunto para transformar los datos de entrada en un espacio latente y luego volver a una forma reconstruida. Aquí hay una breve descripción de cómo operan los VAE:

Red de Codificación: El codificador toma los datos de entrada sin procesar y los mapea en una distribución probabilística en un espacio latente de menor dimensión. Este mapeo es esencial para capturar representaciones significativas de los datos. A diferencia de los autoencoders tradicionales, los VAE no producen una codificación fija; en cambio, generan una distribución de probabilidad caracterizada por parámetros de media y varianza.
Espacio Latente: El espacio latente es donde ocurre la magia de los VAE. Es una representación continua y de menor dimensión donde los puntos de datos se posicionan en función de sus características. Es importante destacar que este espacio sigue una distribución de probabilidad específica, generalmente una distribución gaussiana. Esto permite generar nuevas muestras de datos mediante el muestreo de esta distribución.
Red de Decodificación: El decodificador toma un punto en el espacio latente y lo mapea de vuelta al espacio de datos original. Es responsable de reconstruir los datos de entrada de la manera más precisa posible. La arquitectura del decodificador suele ser simétrica al codificador.
Pérdida de Reconstrucción: Durante el entrenamiento, los VAE buscan minimizar una pérdida de reconstrucción, que cuantifica qué tan bien el decodificador puede recrear la entrada original a partir de la representación en el espacio latente. Esta pérdida fomenta que el VAE aprenda características significativas de los datos.
Pérdida de Regularización: Además de la pérdida de reconstrucción, los VAE incluyen una pérdida de regularización que empuja las distribuciones en el espacio latente hacia una distribución gaussiana estándar. Esta regularización impone continuidad en el espacio latente, lo que facilita la generación e interpolación de datos.

Entendiendo la Detección de Anomalías con VAEs

Descripción General de la Detección de Anomalías:

La detección de anomalías es una tarea crítica en varios dominios, desde la detección de fraudes en finanzas hasta la detección de fallas en la fabricación. Implica identificar puntos de datos que se desvían significativamente de los patrones esperados o normales dentro de un conjunto de datos. Los VAEs ofrecen un enfoque único para este problema al aprovechar el modelado generativo.

El Papel de los VAEs:

Los Autoencoders Variacionales son una subclase de los autoencoders que no solo comprimen datos en un espacio latente de menor dimensión, sino que también aprenden a generar datos que se asemejan a la distribución de entrada. En la detección de anomalías, los VAEs se utilizan para codificar los datos en el espacio latente y luego decodificarlos. Las anomalías se detectan midiendo la disimilitud entre la entrada original y la salida reconstruida. Si la reconstrucción se desvía significativamente de la entrada, indica una anomalía.

Configuración de tu entorno

Instalando TensorFlow y sus dependencias:

Antes de sumergirnos en la implementación de VAE, asegúrate de tener instalado TensorFlow y las dependencias requeridas. Puedes usar pip para instalar TensorFlow y otras bibliotecas como NumPy y Matplotlib para ayudar con la manipulación y visualización de datos.

Preparando el conjunto de datos:

Selecciona un conjunto de datos adecuado para tu tarea de detección de anomalías. Los pasos de preprocesamiento pueden incluir normalizar los datos, dividirlos en conjuntos de entrenamiento y prueba, y asegurarse de que estén en un formato compatible con la arquitectura de tu VAE.

Construyendo el Autoencoder Variacional (VAE)

Arquitectura del VAE:

Los VAE están compuestos por dos componentes principales: el codificador y el decodificador. El codificador comprime los datos de entrada en un espacio latente de menor dimensión, mientras que el decodificador los reconstruye. Las elecciones de arquitectura, como el número de capas y neuronas, afectan la capacidad del VAE para capturar características y anomalías de manera efectiva.

Red del codificador:

La red del codificador aprende a mapear los datos de entrada a una distribución probabilística en el espacio latente. Por lo general, está compuesta por capas convolucionales y densas, reduciendo gradualmente la dimensionalidad de la entrada.

Espacio latente:

El espacio latente es una representación de menor dimensión de los datos de entrada donde se pueden detectar anomalías. Se caracteriza por una media y una varianza que guían el proceso de muestreo.

Red del decodificador:

La red del decodificador reconstruye los datos a partir del espacio latente. Su arquitectura suele ser simétrica al codificador, expandiéndose gradualmente hasta las dimensiones originales de los datos.

Entrenando el VAE

Funciones de pérdida:

El proceso de entrenamiento de un VAE implica optimizar dos funciones de pérdida: la pérdida de reconstrucción y la pérdida de regularización. La pérdida de reconstrucción mide la disimilitud entre la entrada y la salida reconstruida. La pérdida de regularización fomenta que el espacio latente siga una distribución específica, generalmente una distribución gaussiana.

Funciones de pérdida personalizadas:

Dependiendo de tu tarea de detección de anomalías, es posible que necesites personalizar las funciones de pérdida. Por ejemplo, puedes asignar pesos más altos a las anomalías en la pérdida de reconstrucción.

Bucle de entrenamiento:

El bucle de entrenamiento implica alimentar datos a través del VAE, calcular la pérdida y ajustar los pesos del modelo utilizando un optimizador. El entrenamiento continúa hasta que el modelo converja o se alcance un número predefinido de épocas.

Detección de anomalías

Definiendo umbrales:

Los umbrales desempeñan un papel fundamental en la clasificación de anomalías. Los umbrales se establecen en función de la pérdida de reconstrucción u otras métricas relevantes. La selección cuidadosa de los umbrales es crucial, ya que afecta el equilibrio entre falsos positivos y falsos negativos.

Evaluación de anomalías:

Una vez que el VAE está entrenado y los umbrales están definidos, se pueden evaluar las anomalías. Los datos de entrada se codifican en el espacio latente, se reconstruyen y se comparan con la entrada original. Los puntos de datos con errores de reconstrucción que superan los umbrales definidos se marcan como anomalías.

Implementación de código en Python

# Importar las bibliotecas necesarias
import tensorflow as tf
from tensorflow import keras
from tensorflow.keras import layers

# Definir la arquitectura del VAE
class VAE(tf.keras.Model):
    def __init__(self, latent_dim):
        super(VAE, self).__init__()
        self.latent_dim = latent_dim
        self.encoder = keras.Sequential([
            layers.InputLayer(input_shape=(28, 28, 1)),
            layers.Conv2D(32, 3, activation='relu', strides=2, padding='same'),
            layers.Conv2D(64, 3, activation='relu', strides=2, padding='same'),
            layers.Flatten(),
            layers.Dense(latent_dim + latent_dim),
        ])
        self.decoder = keras.Sequential([
            layers.InputLayer(input_shape=(latent_dim,)),
            layers.Dense(7*7*32, activation='relu'),
            layers.Reshape(target_shape=(7, 7, 32)),
            layers.Conv2DTranspose(64, 3, activation='relu', strides=2, padding='same'),
            layers.Conv2DTranspose(32, 3, activation='relu', strides=2, padding='same'),
            layers.Conv2DTranspose(1, 3, activation='sigmoid', padding='same'),
        ])

    def sample(self, eps=None):
        if eps is None:
            eps = tf.random.normal(shape=(100, self.latent_dim))
        return self.decode(eps, apply_sigmoid=True)

    def encode(self, x):
        mean, logvar = tf.split(self.encoder(x), num_or_size_splits=2, axis=1)
        return mean, logvar

    def reparameterize(self, mean, logvar):
        eps = tf.random.normal(shape=mean.shape)
        return eps * tf.exp(logvar * 0.5) + mean

    def decode(self, z, apply_sigmoid=False):
        logits = self.decoder(z)
        if apply_sigmoid:
            probs = tf.sigmoid(logits)
            return probs
        return logits

# Función de pérdida personalizada para el VAE
@tf.function
def compute_loss(model, x):
    mean, logvar = model.encode(x)
    z = model.reparameterize(mean, logvar)
    x_logit = model.decode(z)

    cross_ent = tf.nn.sigmoid_cross_entropy_with_logits(logits=x_logit, labels=x)
    logpx_z = -tf.reduce_sum(cross_ent, axis=[1, 2, 3])
    logpz = tf.reduce_sum(tf.square(z), axis=1)
    logqz_x = -tf.reduce_sum(0.5 * (logvar + tf.square(mean) - logvar), axis=1)
    return -tf.reduce_mean(logpx_z + logpz - logqz_x)

# Función de paso de entrenamiento
@tf.function
def train_step(model, x, optimizer):
    with tf.GradientTape() as tape:
        loss = compute_loss(model, x)
    gradients = tape.gradient(loss, model.trainable_variables)
    optimizer.apply_gradients(zip(gradients, model.trainable_variables))
    return loss

# Bucle de entrenamiento
def train_vae(model, dataset, optimizer, epochs):
    for epoch in range(epochs):
        for train_x in dataset:
            loss = train_step(model, train_x, optimizer)
        print('Época: {}, Pérdida: {:.4f}'.format(epoch + 1, loss))

Conclusión

Esta guía ha explorado la aplicación de los Autoencoders Variacionales (VAEs) para la detección de anomalías. Los VAEs proporcionan un enfoque innovador para identificar valores atípicos o anomalías dentro de conjuntos de datos mediante la reconstrucción de datos en un espacio latente de menor dimensión. A través de un enfoque paso a paso, hemos cubierto los fundamentos de la configuración de su entorno, la construcción de una arquitectura VAE, el entrenamiento del mismo y la definición de umbrales para la detección de anomalías.

Principales Conclusiones:

Los VAEs son herramientas poderosas para la detección de anomalías, capaces de capturar patrones de datos complejos e identificar valores atípicos de manera efectiva.
La personalización de las funciones de pérdida y los valores de umbral a menudo es necesaria para ajustar modelos de detección de anomalías a casos de uso específicos.
La experimentación con diferentes arquitecturas de VAE y hiperparámetros puede tener un impacto significativo en el rendimiento de detección.
Evalue y actualice regularmente los umbrales de detección de anomalías para adaptarse a los cambios en los patrones de datos.

Preguntas frecuentes

Los medios mostrados en este artículo no son propiedad de Analytics Vidhya y se utilizan a discreción del autor.