ETL vs ELT vs Streaming ETL’ ‘ETL vs ELT vs Streaming ETL
ETL vs ELT vs Streaming ETL
Explorando paradigmas de diseño de lotes y tiempo real para el procesamiento de datos
Extract, Transform, Load (ETL) y Extract, Load, Transform (ELT) son dos conceptos fundamentales en el contexto del procesamiento de datos, utilizados para describir paradigmas de diseño de ingestión y transformación de datos. Si bien estos términos se utilizan a menudo indistintamente, se refieren a conceptos ligeramente diferentes y son aplicables a diferentes casos de uso que también imponen diseños variables.
En este artículo, exploraremos las diferencias y similitudes entre ETL y ELT y discutiremos cómo el panorama de la informática en la nube y la ingeniería de datos ha afectado los patrones de diseño de procesamiento de datos. Además, delinearemos las principales ventajas y desventajas que ambos ofrecen en los equipos de datos modernos. Por último, discutiremos ETL en tiempo real, un patrón emergente de procesamiento de datos que tiene como objetivo resolver varias desventajas de enfoques de lotes más tradicionales.
Los tres pasos de interés
Ingerir y persistir datos desde fuentes externas en un sistema de destino implica tres pasos distintos.
ExtraerEl paso de ‘Extracción’ involucra todos los procesos necesarios para extraer datos de un sistema fuente. Estas fuentes incluyen una Interfaz de Programación de Aplicaciones (API), un sistema de base de datos o un archivo, y dispositivos de Internet de las cosas (IoT), mientras que los datos pueden estar en cualquier forma; estructurados, semi-estructurados o no estructurados. Los datos extraídos durante este paso generalmente se denominan ‘datos sin procesar’.
TransformarDurante el paso de ‘Transformación’, la tubería aplica transformaciones sobre los datos sin procesar para lograr un objetivo específico. Este objetivo está generalmente relacionado con requisitos comerciales o técnicos. Algunas transformaciones comúnmente aplicadas incluyen la modificación de datos (por ejemplo, mapear Estados Unidos a EE. UU.), selección de registros o atributos, uniones con otras fuentes de datos o incluso validaciones de datos.
- 6 Ejemplos de Modelos de Lenguaje Específicos de Dominio
- ¿Qué es MetaGPT? Agentes LLM colaborando para resolver tareas compl...
- Visualización para Métodos de Agrupamiento
CargarDurante el paso de ‘Carga’, los datos (ya sea sin procesar o transformados) se cargan en un sistema de destino. Por lo general, el destino es un sistema OLAP (es decir, un almacén de datos o…
