Al principio, las organizaciones tan solo conocían una única forma de almacenar sus datos. Se hacía en lo que conocemos popularmente como almacén de datos o Data Warehouse, un depósito en donde éstos ya se encuentran estructurados con la finalidad de ser utilizados para un determinado propósito.

 

A día de hoy, ese método se sigue usando en muchas compañías. Sin embargo, con el paso del tiempo cada vez son más los negocios que han comenzado a almacenar sus datos en lo que conocemos como Data Lake  o lago de datos: un repositorio centralizado que permite almacenar todos los datos estructurados y no estructurados a cualquier escala. Gracias a los Lagos de Datos se pueden almacenar éstos según entran en la BBDD, sin tener que estructurarlos primero, y ejecutar diferentes tipos de análisis.

 

Pero, ¿y si te decimos que ha nacido una nueva forma de arquitectura que no requiere guardar tus datos en un almacén y que encima es ideal para la personalización de tus productos y/o servicios? Hablamos del Data Mesh, o lo que es lo mismo, la malla de datos.

 

¿Qué es la malla de datos?

En los últimos años, especialmente tras la pandemia, muchas entidades han decidido trasladar sus datos a la nube con el fin de mejorar su productividad y eficiencia.

 

Según el Observatorio Nacional de Tecnología y Sociedad (ONTSI), el 32% de las compañías españolas han gestionado sus datos en la nube durante 2021. 

 

No obstante, las aplicaciones en la nube a menudo se basan en datos que no se mueven a la propia nube. Esto puede deberse a que un conjunto de datos sea demasiado grande o que simplemente haya datos controlados por otra organización. Independientemente del motivo, cuando estos datos no pueden migrar con la aplicación que depende de ellos, se producen problemas de conectividad.

 

Tanto si se trata de crear catálogos de datos virtuales para análisis, aplicaciones de IA o de servir datos para una aplicación en la nube con varios usuarios, el reto sigue siendo el mismo: todos los usuarios deben conectarse de forma segura a estos datos, independientemente de dónde residan. Para ello, se necesita una malla de datos.

 

La malla de datos es un nuevo enfoque para el diseño de arquitecturas de datos modernas. La idea es que los datos sean fácilmente accesibles y estén interconectados en toda la empresa.

 

Este concepto todavía es muy nuevo. De hecho, se podría decir que se encuentra en una fase muy temprana de su evolución, pues aún no disponemos de muchos materiales de formación ni guías de cómo trabajar bajo un Data Mesh.

 

¿Qué beneficios tiene sobre el lago de datos?

 

A medida que los lagos de datos crecieron, la complejidad de la gestión de estos activos también cambió. En una arquitectura de Data Lake típica, los productores de datos son los que los generan y los envían a los consumidores de estos datos. El problema de esto es que estos productores suelen ser profesionales especializados en tecnología, mientras que los consumidores son expertos en negocios.

 

A menudo, los consumidores de datos tienen que volver a contactar con los productores para entender el dominio y el valor intrínseco de los datos. Esta propiedad centralizada de los datos genera dos grandes problemas para las empresas:

 

• La mayor parte de los esfuerzos del equipo de ingeniería de datos se dirigen a solucionar los problemas y revalidar los datos.
• Los consumidores de los datos no conocen el dominio de origen de donde se extraen los datos, lo que a menudo conduce a una baja calidad de los mismos.

 

La malla de datos resuelve estos problemas mediante un cambio de mentalidad, basado en tres principios básicos. Vamos a ver cuáles son.

 

Los Principios del Data Mesh

 

Propiedad de los datos por dominio

Bajo este nuevo concepto, los datos se dividen en torno a un dominio empresarial específico. El acceso a esos datos está descentralizado: no hay una oficina central de datos, un equipo de datos, un equipo de análisis, etc. Más bien, hay un lugar donde viven esos datos, por lo que el acceso a los datos se concede desde ese punto.

 

Los datos como producto

Los datos son considerados un producto por cada departamento que los publica. Un equipo es dueño de los datos, al igual que sería dueño del conjunto de servicios que corresponden a su departamento. Ese equipo tiene que dedicarse a pensar en el producto de los datos: son totalmente responsables de los datos, incluyendo su calidad, su representación y su cohesión.

 

Los datos están disponibles en todas partes

En el Data Mesh, todos los datos están disponibles en cualquier lugar de la empresa: los datos se publican y están disponibles en todas partes, siendo mucho más fáciles de encontrar.