Alors que de plus en plus d’équipes ont commencé à rechercher des solutions qui peuvent les aider à libérer le plein potentiel de leurs systèmes et de leurs personnes, les architectures décentralisées ont commencé à devenir de plus en plus populaires. Qu’il s’agisse de crypto-monnaies, de microservices ou de Git, la décentralisation s’est avérée être une méthode efficace pour gérer les goulots d’étranglement centralisés. Dans le même ordre d’idées, une approche pour décentraliser le contrôle des données consiste à utiliser un maillage de données. Mais qu’est-ce que c’est vraiment, et comment peut-il aider? Examinons de plus près le concept et examinons l’architecture de maillage de données pour mieux comprendre ses avantages.
Les défis des données dans les entreprises
Ce n’est un secret pour personne que les organisations ont parcouru un long chemin dans leur parcours de données. Cependant, ils ont toujours leur ensemble de défis qui les empêchent de tirer pleinement parti des avantages des données. Ces défis incluent :
Fiabilité
La traçabilité, la qualité et l’observabilité des données exigent une mise en œuvre robuste. Par conséquent, il est important de vous poser quelques questions importantes et difficiles. Ceux-ci inclus:
- Pouvez-vous faire confiance aux données ?
- Votre fichier de données est-il complet ?
- Avez-vous le dernier fichier?
- Votre source de données est-elle correcte ?
Agilité
Le changement est la seule chose qui soit constante, et c’est également vrai pour les grandes entreprises. Mais, malheureusement, il est très difficile pour les parcs de données de suivre ces changements, qui entravent l’agilité de l’entreprise. Prenez la génération de rapports, par exemple – cela prend des semaines pour le faire, et c’est un laps de temps assez long dans le monde en évolution rapide d’aujourd’hui.
Compétences
Pour suivre le rythme des données, l’ensemble de la main-d’œuvre doit avoir des compétences spécialisées. En effet, la maintenance des données peut devenir assez coûteuse et, avec un manque de compétences, les goulots d’étranglement sont forcément très fréquents.
Productivité
La productivité est un autre défi lié aux données. Les analystes commerciaux et les analystes de données passent jusqu’à 30 à 40 % de leur temps à rechercher le bon ensemble de données. De même, les ingénieurs de données passent la plupart de leur temps à trouver comment créer un ensemble de données uniforme à l’aide de sources disparates.
La possession
Établir la propriété des ensembles de données est également un défi. Il est difficile de déterminer le propriétaire et à qui on peut faire suffisamment confiance pour déclarer l’ensemble de données digne de confiance. Dans la plupart des cas, l’équipe propriétaire de la plate-forme de données s’approprie les données, même si elle ne les comprend pas.
Découvrabilité
Seules quelques organisations ont été en mesure de tirer parti de leur patrimoine de données et de mettre en place un marché de données où leurs consommateurs peuvent explorer différents ensembles de données et comprendre ceux qu’ils souhaitent utiliser.
Qu’est-ce que le maillage de données ?
Présentation d’un maillage de données
Un maillage de données peut être mieux compris comme une pratique ou un concept utilisé pour gérer une grande quantité de données réparties sur un réseau décentralisé ou distribué. Il peut également faire référence à une plate-forme responsable de cette fonction ou même les deux. Alors que les entreprises deviennent de plus en plus dépendantes de leur capacité à stocker des volumes de données et à les distribuer via des pipelines de données, et à en tirer parti, il est important de créer un schéma efficace pour utiliser ces données. C’est là qu’un maillage de données entre en jeu.
L’idée derrière un maillage de données est que l’introduction de plus de technologie n’aidera pas à résoudre les problèmes de données auxquels les entreprises sont confrontées aujourd’hui. Au lieu de cela, la seule façon de relever ces défis est de réorganiser les outils, les processus et les personnes impliquées. Un maillage de données crée essentiellement une méthode reproductible de gestion de différentes sources de données dans l’écosystème de l’entreprise et la rend plus détectable. Dans le même temps, il garantit aux consommateurs un accès plus rapide, plus sécurisé et plus efficace aux données.
Un maillage de données comprend de nombreux avantages. Ceux-ci inclus:
- Permet des opérations de données décentralisées qui améliorent l’agilité, l’évolutivité et le délai de mise sur le marché de l’entreprise.
- Les organisations qui adoptent l’architecture de maillage de données évitent d’être enfermées dans un produit ou une plate-forme de données.
- Adopte un modèle de libre-service qui garantit un accès facile à une infrastructure centralisée. Cela permet des requêtes SQL et un accès aux données plus rapides.
- Puisqu’il décentralise la propriété des données, il assure la transparence entre les équipes. (En comparaison, la propriété centralisée des données rend les équipes de données fortement dépendantes).
Composants de l’architecture de maillage de données
L’architecture de maillage de données implique quatre composants principaux. Passons-les en revue un par un.
Quatre principes de maillage de données
1. Propriété décentralisée des données
Ce composant d’architecture s’articule principalement autour des personnes impliquées et appelle à remodeler la structure de données monolithique en décentralisant les données analytiques et en réalignant sa propriété d’une équipe centrale à une équipe de domaine.
Dans un maillage de données, une équipe de domaine connaissant parfaitement l’actif de données est responsable de sa conservation, garantissant une administration et une gouvernance des données de haute qualité. En revanche, dans un antipattern d’entrepôt de données, une équipe généraliste est responsable de la gestion de toutes les données de l’organisation et se concentre généralement sur l’aspect technique de l’entrepôt de données plutôt que sur la qualité des données.
Ainsi, les organisations mettant en œuvre un maillage de données doivent définir quel ensemble de données appartient à quelle équipe de domaine. En plus de cela, toutes les équipes doivent être rapides à apporter des modifications pour maintenir la qualité des données de leur maillage. En rendant possible la responsabilité centrée sur le domaine, la propriété décentralisée des données résout de nombreux problèmes liés à l’agilité, à la propriété et à la productivité.
Par exemple, les organisations mettent un certain temps à répondre au marché car des modifications doivent être apportées à de nombreux systèmes informatiques pour faire évoluer l’entreprise. C’est pourquoi des priorités non alignées et une mauvaise coordination au sein de l’équipe entravent l’agilité de l’entreprise. De plus, compte tenu de la croissance rapide des sources de données et de la prolifération des cas d’utilisation métier, les équipes centrales ne sont plus que des goulots d’étranglement. Cependant, le passage d’une architecture monolithique à des microservices pilotés par domaine a rendu les systèmes opérationnels plus agiles. Et un maillage de données peut faire la même chose pour les données analytiques.
Les consommateurs de données passent généralement leur temps à trouver le propriétaire des données, à déterminer sa traçabilité et à interpréter sa signification. En conséquence, la productivité globale des équipes est réduite. Cependant, la décentralisation rapproche à la fois le monde analytique et opérationnel et établit une traçabilité, une appropriation et une interprétation claire, améliorant ainsi les délais d’exécution des équipes.
Et enfin, la propriété ; dans la plupart des cas, les propriétaires des données ne sont pas connus, ce qui fait des équipes informatiques responsables de l’ETL les propriétaires des données. Les équipes informatiques centrales agissent souvent en tant qu’intermédiaires : elles transmettent les demandes des consommateurs aux producteurs et ne sont pas considérées comme des propriétaires, car elles ne produisent pas les données et ne les comprennent pas non plus. Réaligner la propriété des données analytiques sur les bons domaines peut résoudre le problème puisque ces domaines sont les producteurs de données et peuvent également les comprendre.
2. Les données en tant que produit
Une fois les domaines identifiés et la propriété établie, la prochaine étape consiste à cesser de considérer les données analytiques comme un actif qui doit être stocké et à les considérer plutôt comme un produit qui doit être servi. Les équipes responsables d’un maillage de données publient des données afin que d’autres équipes, c’est-à-dire leurs clients internes, puissent en bénéficier.
C’est pourquoi les domaines doivent cesser de considérer les données analytiques comme un sous-produit des opérations commerciales et les considérer comme un produit de première classe avec des propriétaires dédiés qui sont responsables de sa convivialité, de sa découvrabilité, de sa disponibilité et de sa qualité et les traitent comme tout autre service commercial. En tant que tels, ils doivent également appliquer les différents aspects du développement du produit pour le rendre axé sur le client, fiable, utile et précieux. Vous pouvez considérer les produits de données publiés par les équipes responsables d’un maillage de données comme des microservices ; la seule différence est que les données sont proposées.
Considérer les données comme un produit résout les problèmes liés à la productivité, l’agilité, la découvrabilité et la fiabilité. La productivité d’un consommateur de données augmente automatiquement à mesure que la fiabilité, la possibilité de découverte et l’agilité entrent en ligne de compte. Voyons comment.
Un produit de données est essentiellement une unité autonome avec ses propres cycles de publication et sa propre feuille de route des fonctionnalités. Cela signifie que les équipes de données n’ont pas besoin d’attendre qu’une équipe centrale leur fournisse un environnement ou des données pour pouvoir commencer à travailler. À son tour, établir la traçabilité et l’authenticité ne prend guère de temps. De même, retravailler pour aligner les SLO (objectifs de niveau de service) de l’ensemble de données d’entrée avec celui du cas d’utilisation prend relativement moins de temps.
Et avec la propriété des données attribuée aux domaines, le propriétaire du produit (des données) est responsable du produit de données. Cela signifie que le propriétaire du produit doit s’assurer que la sécurité, la traçabilité et la qualité du produit de données sont maintenues et également signalées via les SLO et les bonnes métriques.
Et enfin, en considérant les données comme un produit, chaque produit est explicite et est annoncé et catalogué sur les marchés de données de l’organisation. La documentation pertinente décrit différents sujets d’utilisabilité et explique la relation avec d’autres SLO et produits de données. En conséquence, les consommateurs bénéficient d’une visibilité complète sur le produit de données, ce qui, à son tour, leur permet de prendre une décision éclairée quant à son utilisation.
3. Plate-forme libre-service
Même si considérer les données comme un produit présente de nombreux avantages, cela pourrait finir par augmenter le coût d’exploitation global car cela implique de nombreuses équipes petites mais hautement qualifiées et de nombreuses infrastructures indépendantes. De plus, si ces équipes hautement qualifiées ne sont pas correctement optimisées, les coûts d’exploitation augmenteront encore. C’est là qu’intervient le troisième composant de l’architecture de maillage de données : une plate-forme en libre-service.
Bien qu’un maillage de données tourne autour de l’idée de gestion décentralisée des données, l’un de ses aspects les plus importants est un emplacement centralisé ou une infrastructure de données centrale qui peut faciliter le cycle de vie du produit de données, où tous les membres de l’organisation peuvent facilement trouver les ensembles de données dont ils ont besoin. . Cette infrastructure centrale devrait soutenir la location afin qu’elle facilite l’autonomie. Il doit également être en libre-service et fournir plusieurs outils prêts à l’emploi.