La transformation numérique exige de l’agilité et un délai de mise sur le marché rapide comme facteurs essentiels de réussite dans toute entreprise. La décentralisation avec un maillage de données sépare les applications et les unités commerciales en domaines indépendants. Le partage de données en temps réel avec le streaming de données permet de fournir des informations dans le bon contexte à la bonne application au bon moment. Cet article explore une étude de cas du secteur des services financiers où un maillage de données a été construit à travers les pays pour un partage de données faiblement couplé mais une gouvernance des données standardisée à l’échelle de l’entreprise.
Data Mesh : le besoin de flux de données en temps réel
S’il y avait un mot à la mode de l’heure, ce serait sans aucun doute « maillage de données ! Ce nouveau paradigme architectural déverrouille les données analytiques et transactionnelles à grande échelle et permet un accès rapide à un nombre toujours croissant d’ensembles de données de domaine distribués pour divers scénarios d’utilisation. Le maillage de données corrige les faiblesses les plus courantes de l’architecture traditionnelle du lac de données centralisé ou de la plate-forme de données. Le cœur d’une infrastructure de maillage de données décentralisée doit être en temps réel, fiable et évolutif :
Transformation numérique dans les services financiers
La nouvelle réalité d’entreprise dans le secteur des services financiers : Innover ou être disrupté !
Quelques initiatives que j’ai vues dans des banques du monde entier avec des données en temps réel tirant parti du flux de données :
- Modernisation héritée, par exemple, déchargement du mainframe et remplacement par Apache Kafka.
- Modernisation du middleware avec des infrastructures évolutives et ouvertes remplaçant les plates-formes ETL, ESB et iPaaS.
- Réplication de données cloud hybride pour la reprise après sinistre, la migration et d’autres scénarios.
- Transactions et analyses en temps réel à n’importe quelle échelle.
- Détection de fraude en temps réel avec Kafka et Flink pour prévenir la fraude avant qu’elle ne se produise.
- Services bancaires de base natifs du cloud pour permettre des processus commerciaux modernes.
- Innovation de paiement numérique avec Apache Kafka comme hub de données pour la crypto-monnaie, DeFi, NFT et Metaverse (au-delà du buzz).
Regardons un exemple pratique du monde réel.
Raiffeisen Bank International : une transformation bancaire dans 12 pays
Raiffeisen Bank International (RBI) met à l’échelle une architecture axée sur les événements à l’échelle du groupe dans le cadre d’un programme de transformation à l’échelle de la banque. Cela comprend la création d’une architecture de référence et la réutilisation de la technologie et des concepts dans douze pays.
La banque universelle a son siège à Vienne, en Autriche. Elle possède des décennies d’expérience (et l’infrastructure héritée connexe) dans les secteurs de la banque de détail, des entreprises et des marchés, et de la banque d’investissement.
Explorons le parcours de la transformation numérique de la Banque Raiffeisen.
Construire un maillage de données sans le savoir
Raiffeisen Bank, opérant dans douze pays, a tous les défis et exigences apparents pour le partage de données entre les applications, les plateformes et les gouvernements.
La Banque Raiffeisen a construit une architecture d’entreprise de maillage de données décentralisée avec le partage de données en temps réel comme clé fondamentale de sa transformation numérique. Ils ne le savaient même pas parce que le mot à la mode n’existait pas quand ils ont commencé à le faire. Cependant, il existe de bonnes raisons d’utiliser le streaming de données comme hub de données :
L’architecture d’entreprise du maillage de données de RBI avec le streaming de données :
L’architecture de référence inclut le flux de données comme cœur de l’infrastructure. Il s’agit de domaines et d’applications indépendants en temps réel, évolutifs et découplés. Des API bancaires ouvertes existent pour la communication requête-réponse :
Les trois principes fondamentaux de l’architecture d’entreprise garantissent une infrastructure agile, évolutive et prête pour l’avenir dans tous les pays :
- API: API internes normalisées basées sur la conception axée sur le domaine.
- Intégration de groupe: Live, connecté avec onze pays, 320 API disponibles, et en constante augmentation.
- AED: Architecture de référence pilotée par les événements créée et déploiement en cours, couche de groupe en direct avec les premiers cas d’utilisation.
La combinaison du streaming de données avec Apache Kafka et de la requête-réponse avec REST/HTTP est répandue dans les architectures d’entreprise. Cela dit, de plus en plus de cas d’utilisation exploitent directement un échange de données de flux pour le partage de données entre les unités commerciales ou les organisations.
Découplage avec le streaming de données décentralisé comme couche d’intégration
L’ensemble de la plate-forme informatique et de la pile technologique est construit pour être réutilisé dans le groupe:
L’architecture de référence de la Banque Raiffeisen possède toutes les caractéristiques qui définissent un maillage de données :
- Couplage lâche entre les applications, les bases de données et les unités commerciales avec une conception axée sur le domaine.
- Microservices et produits de données indépendants (comme différentes plates-formes bancaires de base ou des analyses individuelles dans les pays).
- Partage de données en temps réel via une plateforme de streaming de données décentralisée (entièrement gérée dans le cloud si possible, mais liberté de choix pour chaque pays).
- Contacts API à l’échelle de l’entreprise (= schémas dans le monde Kafka).
Gouvernance des données dans le secteur bancaire réglementé à travers le maillage de données
Les services financiers sont un marché réglementé dans le monde entier. Les exigences de conformité PCI, GDPR et autres sont obligatoires, que vous construisiez des monolithes ou un maillage de données décentralisé.
Raiffeisenbank international a construit son maillage de données en tenant compte dès le départ de la gouvernance des données, de la conformité légale et de la confidentialité des données :
Voici les principes fondamentaux de la stratégie de gouvernance des données de la Banque Raiffeisen :
- Couche d’intégration centrale pour le partage de données entre les groupes indépendants en temps réel pour les charges de travail transactionnelles et analytiques.
- Stratégie axée sur le cloud (lorsque cela a du sens) avec un cloud confluent entièrement géré pour le streaming de données.
- Taxonomie des événements standardisée à l’échelle du groupe et contrats d’API avec registre de schéma.
- Gouvernance à l’échelle du groupe avec les Product Owners événementiels du groupe.
- Plate-forme en tant que service pour en libre service pour les clients internes au sein des différents groupes.
La combinaison de ces paradigmes et règles permet un traitement et une innovation indépendants des données tout en restant conforme et en permettant le partage de données entre différents groupes.
Conclusion
Des applications, des domaines et des organisations indépendants ont créé des produits de données distincts dans un maillage de données. Le partage de données en temps réel entre ces unités avec des événements standardisés et faiblement couplés est un facteur de succès essentiel. Chaque consommateur en aval obtient les données dont il a besoin : en temps réel, en temps quasi réel, par lots ou par demande-réponse.
L’étude de cas de Raiffeisen Bank International a montré comment créer un maillage de données puissant et flexible en tirant parti du streaming de données natif du cloud alimenté par Apache Kafka. Bien que cet exemple provienne des services financiers, les principes et les architectures s’appliquent à n’importe quel secteur vertical. Les objets métier et les interfaces sont différents. Mais les défis importants sont très similaires d’une industrie à l’autre.
Comment construire un maillage de données ? Utilisez-vous la technologie par lots comme les outils ETL et les lacs de données ou comptez-vous sur le streaming de données en temps réel pour le partage et l’intégration des données ? Commentez ci-dessous avec votre réponse.