Arquitecturas de almacenamiento de datos: Data Lake, Data Warehouse y Data Mart

Al hablar de arquitecturas de almacenamiento de datos en las organizaciones es habitual encontrarse con tres diferentes opciones: Data Lake, Data Warehouse y Data Mart. Aunque pudieran parecer diferentes nombres para una base de datos, no es así. Existen importantes diferencias conceptuales entre ellas que es importante conocer.

Data Lake

Un Data Lake (lago de datos) es un sistema de almacenamiento de datos que permite almacenar grandes cantidades de datos estructurados, semi-estructurados y no estructurados en su formato original. Centralizando el almacenamiento de datos sin la necesidad de estructurarlos previamente. Facilitando que estos puedan estar rápidamente disponibles para los diferentes usuarios de la empresa, permitiendo que se puedan desarrollar rápidamente análisis de datos o modelos de aprendizaje automático.

Data Warehouse

Un Data Warehouse (almacén de datos) es un sistema de gestión de datos diseñado para permitir la recopilación, integración, almacenamiento y análisis de grandes cantidades de datos empresariales estructurados, provenientes de diversas fuentes de datos. Por lo que en estos sistemas suele ser necesario procesar los datos antes de cargarlos. Así, al contar con los datos en un formato definido es más sencillo realizar análisis de los datos.

En las empresas, los Data Warehouses se utilizan para consolidar la información de diferentes sistemas transaccionales, como sistemas de ventas, finanzas, marketing, recursos humanos, entre otros, con el fin de crear una única fuente confiable con los datos empresariales.

Data Mart

Un Data Mart es una base de datos departamental diseñada para servir a un área específica dentro de una empresa. Lo que hace que estos sistemas sean más pequeños y sencillos de mantener que un Data Warehouse.

La principal función de los Data Marts dentro de las empresas es proporcionar un acceso rápido y sencillo a los datos usados por un departamento. Permitiendo realizar de este modo consultas más rápidas y eficientes.

Diferencias entre las arquitecturas de almacenamiento de datos: Data Lake, Data Warehouse y Data Mart

En base a las definiciones que se han visto en la sección anterior podemos ver que existen importantes diferencias entre las tres arquitecturas. Un Data Lake es una arquitectura donde los datos no se encuentran estructurados, primando la agilidad a la hora de almacenar y poder recuperar los datos frente a que estos se almacenen con una estructura definida. Por lo que es habitual trabajar en estos casos con sistemas NoSQL. Por otro lado, un Data Warehouse es una arquitectura en la que prima almacenar los datos en un formato estructurado. Obteniendo un sistema menos ágil pero en el que es más sencillo realizar consultas. Siendo habitual construir estos sistemas con bases de datos SQL.

Finalmente, un Data Mart es un sistema más pequeño que un Data Warehouse centrado en un área específica del negocio. Por lo que suelen ser más fáciles de mantener y ofrecen un acceso más sencillo a los datos.

Conclusiones

En esta entrada se han visto las principales diferencias que existen entre las tres arquitecturas de almacenamiento de datos: Data Lake, Data Warehouse y Data Mart. Aunque pueden parecer diferentes nombres para una base de datos, no lo son. El Data Lake es un sistema no estructurado donde prima la agilidad. Un Data Mark es un sistema estructurado donde prima la organización del dato. Finalmente, un Data Mark es un sistema departamental.

Image by David Mark from Pixabay