Les données sont l’un des composants les plus critiques de toute entreprise, car elles nous permettent de personnaliser et de personnaliser nos produits pour les consommateurs potentiels. Pourtant, aussi importantes que soient les données, des études ont montré qu’environ 50 à 70 % des données collectées par les organisations ne sont pas utilisées et deviennent ce que Gartner appelle les Dark Data. Nous pouvons attribuer cette grande quantité de données inutilisées aux inefficacités des systèmes qui les gèrent.
Cet article explique comment des méthodes telles que Data Meshes et Data Fabrics, qui ont émergé au cours de la dernière décennie, peuvent aider à atténuer les problèmes associés à la gestion des données.
À la fin de cet article, vous devriez comprendre ce que sont les maillages de données et les tissus de données, leurs différences et pourquoi l’un peut dépasser l’autre.
Qu’est-ce qu’un maillage de données ?
Selon IBM, un Data Mesh est une architecture de données décentralisée qui organise les données par domaine d’activité spécifique, offrant plus de propriété aux producteurs d’un ensemble de données donné. En décentralisant les données, un Data Mesh offre une alternative au data lake central et à la culture d’équipe présente dans les entreprises depuis des décennies. Il est important de noter que les maillages de données sont indépendants du langage et de la technologie car il s’agit d’une approche qui se concentre davantage sur les changements organisationnels.
Principes d’un maillage de données
Les maillages de données reposent sur quatre principes fondamentaux, qui sont abordés dans les paragraphes ci-dessous :
- Les propriété du domaine principe : la propriété du domaine permet la décentralisation des données, ce qui signifie que les domaines qui ont besoin d’une marque particulière de données sont chargés de collecter, de nettoyer et de gérer l’ingestion de ces données. Ce principe oblige les domaines à assumer la responsabilité de leurs données.
- Les les données en tant que produit principe : ce principe du Data Mesh explique qu’il existe des consommateurs pour les données en plus du domaine responsable des données. Ce principe exige que les données soient considérées et traitées comme un produit réel.
- Les plate-forme d’infrastructure de données en libre-service principe : ce principe exige que les complexités techniques de l’infrastructure de création de données soient abstraites. Cette abstraction est effectuée car il est complexe et difficile de répliquer l’infrastructure requise pour créer, exécuter et surveiller un produit de données dans chaque domaine qui a besoin des données. Ce principe permet aux consommateurs de données d’autres domaines de se concentrer sur l’utilisation des données au lieu de recréer l’infrastructure.
- Les gouvernance fédérée principe : ce principe de Data Mesh permet la standardisation des données dans toute l’organisation. Étant donné que plusieurs domaines peuvent utiliser les données produites par un domaine, une organisation doit normaliser le formatage, la gouvernance et d’autres fonctionnalités de données pour permettre la collaboration et la compréhension.
Qu’est-ce qu’une Data Fabric ?
Selon la définition d’IBM, une Data Fabric est une architecture qui facilite l’intégration de bout en bout de divers pipelines de données et environnements cloud via des systèmes intelligents et automatisés. Il est adaptatif, flexible et sécurisé, garantissant une expérience utilisateur cohérente dans tous les environnements intégrés.
Avec Data Fabric, nous pouvons surveiller et gérer nos applications de données, où qu’elles se trouvent.
Au centre de la Data Fabric se trouvent des métadonnées riches qui permettent automatisationqui est conçu pour automatiser l’intégration, l’ingénierie et la gouvernance des données entre les fournisseurs de données et les consommateurs.
Responsabilités d’une Data Fabric
Outre l’automatisation, la Data Fabric est chargée des responsabilités suivantes.
- Accéder aux données
L’architecture Data Fabric est chargée d’agréger les données provenant de diverses sources. Par conséquent, il est important de noter que le Data Fabric fournit une couche de virtualisation qui nous permet de collecter les données sans les copier ni les déplacer.
Couplée à la couche de virtualisation, une architecture Data Fabric doit offrir une intégration de données robuste et des outils d’extraction, de transformation et de chargement (ETL) pour déplacer les données si nécessaire. - Gestion du cycle de vie des données
Après avoir collecté des données provenant de différentes sources, la Data Fabric garantit la confidentialité et la conformité des données à la réglementation.- Gouvernance et confidentialité
Les Data Fabrics garantissent que les bonnes personnes évaluent les bonnes données. De plus, les Data Fabrics utilisent des métadonnées actives pour automatiser l’application des politiques afin d’atteindre ce niveau de confidentialité.
Ces politiques Data Fabric stipulent que certains aspects des données doivent être masqués et accessibles selon une méthode basée sur les rôles. La politique Data Fabric exige également que nous fournissions des informations de lignage riches pour les données, ce qui signifie que la source de données, les transformations apportées aux données, etc., doivent toutes être fournies. Des informations de lignage riches nous aident à vérifier les données et à optimiser la qualité. - Conformité
L’architecture Data Fabric garantit que les données sont conformes aux réglementations établies par les organisations gouvernantes telles que le Règlement général sur la protection des données (RGPD), le Fair Credit Reporting Act, etc.
- Gouvernance et confidentialité
- Exposer des données
Ensuite, Data Fabric est chargé d’exposer les données à différents consommateurs de données via d’autres catalogues de recherche d’entreprise.
Quelles sont les différences entre les maillages de données et les données et les data fabrics ?
Comme les deux paradigmes de données sont créés pour faciliter la collecte, la gouvernance et la distribution des données, il est facile de remarquer des similitudes entre eux. Cependant, les différences sont également apparentes et doivent être prises en compte avant qu’une organisation ne choisisse un paradigme.
Cette section traite des différences entre les Maillage de données et Structure de données paradigmes.
- Stockage de données décentralisé ou centralisé
Dans un maillage de données, les données sont réparties dans des domaines sans point de contrôle unique nécessaire.
Dans une Data Fabric, l’accès aux données est centralisé avec des serveurs haut débit pour le réseau et le partage de ressources hautes performances. - Approche d’automatisation ou d’inclusion humaine
Les maillages de données traitent les données comme un produit et s’appuient sur les propriétaires de domaine pour déterminer les exigences du produit de données.
Data Fabric s’appuie sur l’automatisation pour découvrir, gouverner, suggérer et fournir des données aux consommateurs de données. Cette automatisation repose sur une base de métadonnées riche. - Architecture
Le paradigme Data Mesh est indépendant du langage et de la technologie et se concentre davantage sur les changements organisationnels. L’architecture Data Mesh suit une conception axée sur le domaine et une réflexion produit pour surmonter les défis liés aux données.
Data Fabric est une solution d’intégration de données plus technique. L’architecture Data Fabric est également plus compatible avec les données techniques, commerciales et opérationnelles.
Quel paradigme choisir ?
Il est concevable de voir Data Fabrics prendre les devants dans les années à venir en matière de gestion efficace des données. Les Data Fabrics connectent les données de l’ensemble de l’organisation et facilitent le partage de données sans friction.
Étant donné que Data Fabrics est centré sur l’automatisation, nous pouvons optimiser la gestion des données et envoyer des informations et des analyses en temps réel aux utilisateurs de données. De plus, les Data Fabrics offrent une sécurité accrue : la couche de virtualisation garantit que les données ne sont pas déplacées inutilement. Les Data Fabrics sont également rentables.
Cependant, Data Meshes et Fabrics ne s’excluent pas mutuellement. Data Fabrics peut activer la mise en œuvre de Data Mesh en automatisant les tâches répétitives à l’aide des informations sur les métadonnées de Data Fabrics. Avec un Data Fabric, les propriétaires de données dans le paradigme Data Mesh peuvent obtenir les capacités nécessaires pour créer des produits de données.
Conclusion
Cet article traite des paradigmes Data Mesh et Fabric, de leurs différences et, plus important encore, de la méthode de gestion des données qui devrait prendre la tête dans les années à venir.