Qué es la arquitectura de datos

Arquitectura de datos son los modelos, políticas, reglas y estándares que nos indican de qué manera tenemos que almacenar, organizar e integrar los datos que recoge una compañía con el objetivo de que sean aprovechables y útiles. Ante la Era del Big Data y el Data Science en la que estamos, tras leer la definición de qué es la arquitectura de datos, parece que esta es fundamental, ¿verdad? En este post te voy a contar más en profundidad qué es, pero también cómo diseñar una arquitectura de datos o al menos qué debería de tener para que esta fuera alineada con los objetivos comerciales de la empresa. Vamos a por ello.

En la nueva era del Big Data y el Data Science, es de vital importancia para una empresa tener una arquitectura de datos centralizada, alineada con los procesos comerciales, que se adapta al crecimiento del negocio, y que evoluciona con los avances tecnológicos. Una arquitectura de datos exitosa proporciona claridad sobre cada aspecto de los datos, lo que permite a los científicos de datos trabajar con datos confiables de manera eficiente y resolver problemas comerciales complejos.

También prepara a una organización para aprovechar rápidamente las nuevas oportunidades de negocios al servirse de las tecnologías emergentes, así como mejorar la eficiencia operativa al administrar la entrega compleja de datos e información en toda la empresa.

A pesar de lo que pueda parecer, la arquitectura de datos es una disciplina relativamente nueva. El papel de Data Architect ha recaído, tiempo atrás, en analistas de negocio senior, desarrolladores de ETL y científicos de datos. Hoy día, estos perfiles conviven con otro ya más especializado en la labor de Data Architecture.

Debido a este hecho, quizás la arquitectura de los datos de la mayoría de las empresas hoy día, no sean las más adecuadas. De este modo, nos solemos encontrar con los siguientes errores frecuentes:

• Las empresas que manejan por sí mismas los datos suelen tener varios departamentos de IT, que trabajan en silos con sus propios estándares y arquitectura de datos.
• Las aplicaciones y los procesos se crean en función de los requisitos empresariales individuales, sin estándares de arquitectura de datos a seguir.
• El arquitecto de datos tiene la función de centrarse únicamente en un número limitado de áreas técnicas y posee un conocimiento comercial limitado sobre los datos.
• Los proyectos de IT se administran sin considerar la arquitectura de datos como parte de la fase de diseño, de este modo, los científicos e ingenieros de datos codifican su camino sin un proceso de gestión de datos coherente.

Debido a esto, no es difícil encontrar sistemas de datos desarticulados, brechas entre equipos y silos de información entre departamentos.

Estas situaciones conllevan un bajo rendimiento de los sistemas con muchas transferencias, mucho tiempo para solucionar problemas cuando surge un problema de datos de producción, una falta de responsabilidad para llegar a la solución correcta en todos los sistemas y una falta de capacidad para evaluar el impacto de un cambio.

Como colofón, el disponer de una arquitectura de datos desarticulada, causaría un enorme esfuerzo a la hora de analizar e investigar en el momento de realizar una migración o rediseño a una plataforma tecnológicamente superior.

¿Estás preparado para que profundicemos un poco más? Sigue leyendo y te contaré los pasos para poner en marcha una correcta arquitectura de datos.

Una empresa que quiera sacar provecho de sus datos debe sí o sí tener muy bien diseñada la arquitectura de estos. Para ello, debe de seguir un proceso de análisis y estructuración, que le ayude a conseguir ese objetivo.

Para ello te recomiendo que sigas estos pasos:

#1. Diseña la arquitectura de datos al nivel conceptual, basándolo en procesos y operaciones comerciales.

En cualquier departamento de IT moderno, los procesos comerciales deberían de ser compatibles e impulsados por entidades de datos, flujos de datos y reglas comerciales aplicadas a los datos. Un arquitecto de datos, por lo tanto, necesita tener un profundo conocimiento del negocio, así como del sector.

Cumpliendo con esas bases, se puede comenzar a construir un plan de datos adecuado para el negocio. Es el momento de diseñar cada entidad de datos, así como cada flujo de datos que habría por debajo de cada proceso comercial.

Este es el momento para planificar las siguientes áreas:

• Las entidades de datos centrales y los elementos de datos, como los de clientes, productos y ventas.
• Los datos de salida que se necesitan.
• Los datos de origen que se recopilarán y transformarán, o harán referencia para producir los datos de salida.
• Cuál es la propiedad de cada entidad de datos y cómo se debe consumir y distribuir según los casos de uso de la empresa.
• Políticas de seguridad que se aplicarán a cada entidad de datos.
• Las relaciones entre las entidades de datos, como integridad de referencia, reglas de negocio o secuencia de ejecución.
• Clasificación estándar de datos y taxonomía.
• Estándares de calidad de datos, operaciones y acuerdos de nivel de servicio (SLA).

Este nivel conceptual de diseño consiste en las entidades de datos subyacentes que soportan cada función comercial. El plan es crucial para el diseño exitoso y la implementación de arquitecturas empresariales y de sistemas y sus futuras expansiones o actualizaciones.

#2. Diseñar la arquitectura de datos de nivel lógico

A esta fase se le llama en ocasiones, modelado de datos al considerar qué tipo de base de datos o formato de datos usar. Esta fase lo que hace, es conectar los requisitos comerciales a las plataformas y sistemas tecnológicos.

Sin embargo, la mayoría de las organizaciones tienen un modelado de datos diseñado solo dentro de una base de datos o sistema particular, dada la función aislada del modelador de datos.

Lo que se debe de hacer, por tanto, para desarrollar una arquitectura de datos exitosa, es dar con un enfoque integrado, considerando los estándares aplicables a cada base de datos o sistema, y los flujos de datos entre estos sistemas de datos.

Para ello, las siguientes 5 áreas deben diseñarse de manera sinérgica:

1. Las convenciones de nomenclatura para entidades y elementos de datos deben aplicarse de manera coherente a cada base de datos. Además, la integridad entre la fuente de datos y sus referencias debe hacerse cumplir si los mismos datos tienen que residir en múltiples bases de datos.
2. Las políticas de archivo y retención de datos a menudo no se consideran o establecen hasta cada etapa tardía de la producción, lo que causa el desperdicio de recursos, estados de datos inconsistentes en diferentes bases de datos y un bajo rendimiento de las consultas y actualizaciones de datos.
3. Si bien el diseño conceptual ha definido qué componente de datos es información confidencial, el diseño lógico debe tener la información confidencial protegida en una base de datos con acceso limitado, replicación de datos restringida, tipo de datos particular y flujos de datos seguros para proteger la información.
4. Las réplicas de datos excesivas pueden generar confusión, mala calidad de datos y bajo rendimiento. Cualquier réplica de datos debe ser examinada por el arquitecto de datos y aplicada con principios y disciplinas.
5. La forma en que los datos fluyen entre diferentes sistemas de bases de datos y aplicaciones debe definirse claramente en este nivel.

#3. La gobernanza de datos como clave para el éxito continuo de la arquitectura de datos

La arquitectura de datos no es estática, sino que debe gestionarse, mejorarse y auditarse continuamente. La gobernanza de datos, es fundamental en este caso, ya que garantiza que la arquitectura de datos empresariales se diseñe e implemente correctamente a medida que se inicia cada nuevo proyecto.

Si quieres saber más sobre la gobernanza del dato, aquí te dejo un post sobre "Qué es el Data Governance".

La arquitectura de datos, sin embargo, es un elemento vivo que tiene que estar en continua adaptación.

En artyco, como expertos en datos, la arquitectura de datos es fundamental para poder afrontar cualquier reto relacionado con la tecnología de la información. Si estás buscando tener una estructura perfectamente definida de tus datos, cuenta con nosotros. ¿Hablamos?