Les secteur public comprend de nombreux domaines différents. Certains groupes s’appuient sur une technologie de pointe, comme l’effet de levier militaire. D’autres, comme l’administration publique, ont des années voire des décennies de retard.
Cette série de blogs explore comment le secteur public tire parti data in motion optimisé par Apache Kafka pour ajouter de la valeur aux nouvelles applications innovantes et moderniser les infrastructures informatiques existantes. Ce poste est partie 2: Cas d’utilisation et architectures pour un Ville intelligente.
Série de blogs : Apache Kafka dans le secteur public et le gouvernement
Cette série de blogs explore pourquoi de nombreux gouvernements et secteurs des infrastructures publiques tirent parti du streaming d’événements pour divers cas d’utilisation. Découvrez les déploiements réels et les différentes architectures de Kafka dans le secteur public :
- La vie est un flux d’événements
- Ville intelligente (CET ARTICLE)
- Services aux citoyens
- Énergie et services publics
- La sécurité nationale
En remarque : si vous vous demandez pourquoi soins de santé ne figure pas dans la liste ci-dessus. Healthcare est une autre série de blogs à part entière. Alors que le gouvernement peut fournir des soins de santé publics par le biais des systèmes de santé nationaux, il fait partie du secteur privé dans de nombreux autres cas.
Le temps réel est obligatoire pour une ville intelligente partout
J’ai beaucoup écrit sur streaming d’événements et Apache Kafka pour l’infrastructure de la ville intelligente et les cas d’utilisation. Je ne me répéterai pas. Découvrez l’événement suivant Streaming avec Kafka comme fondation pour une ville intelligente et Apache Kafka et MQTT pour l’intégration IoT du dernier kilomètre dans une ville intelligente.
Cet article plonge plus profondément dans questions architecturales et comment collaboration avec des services tiers peut regarder du point de vue du gouvernement et de l’administration publique d’une ville intelligente.
Le besoin de traitement des données en temps réel partout dans une ville intelligente et comment Kafka aide
Une ville intelligente est une bête très complexe. Je suis heureux de ne couvrir que la technologie et non les discussions réglementaires ou politiques. Cependant, même le point de vue technologique n’est pas simple. UNE la ville intelligente doit corréler les données entre les centres de données, les appareils et les véhicules, et plein d’autres choses. Ce scénario est un véritable Internet des objets (IoT) et comprend donc de nombreuses technologies, paradigmes de communication et infrastructures différents :
Les projets de ville intelligente nécessitent l’intégration de divers services de première et de troisième partie. La plupart des cas d’utilisation ne fonctionnent bien que si ces données sont corrélées en temps réel; pensez à l’acheminement du trafic, aux alertes d’urgence, à la surveillance et à la maintenance prédictives, aux services de mobilité tels que le covoiturage et à d’autres cas d’utilisation de ville intelligente sophistiqués. Sans traitement des données en temps réel, le cas d’utilisation est soit une mauvaise expérience utilisateur, soit pas rentable. Par conséquent, Kafka est de plus en plus adopté pour ces scénarios.
Réseaux à faible latence et 5G pour (certains) cas d’utilisation du streaming de données
Le terme « temps réel » doit être défini. Le traitement des données en quelques secondes est suffisant dans la plupart des cas d’utilisation et change la donne par rapport au traitement par lots horaire, quotidien ou hebdomadaire.
Cela dit, certains cas d’utilisation tels que la vente incitative basée sur la localisation dans le commerce de détail ou la surveillance de l’état des équipements et de la fabrication nécessitent une latence plus faible, ce qui signifie traitement des données de bout en bout en moins d’une seconde.
Voici un exemple d’utilisation des réseaux 5G pour une faible latence. La démo a été conçue par l’équipe AWS Wavelength, Verizon et Confluent :
La plupart des déploiements réels utilisent la séparation des préoccupations : Les cas d’utilisation à faible latence s’exécutent à la périphérie et tout le reste dans le centre de données standard ou la région de cloud public. Lisez l’article « Low Latency Data Streaming with Apache Kafka and Cloud-Native 5G Infrastructure » pour plus de détails.
À ce stade, il est important de rappeler à tous que Kafka (et tout logiciel informatique) n’est pas difficile en temps réel et n’est pas conçu pour le monde OT et les systèmes embarqués. Apprenez-en plus dans l’article « Kafka n’est PAS du temps réel dur mais du temps réel doux ». De plus, le temps réel (soft) n’est pas compétitif par rapport au traitement par lots et à l’architecture d’entrepôt de données/lac de données. Comme vous pouvez l’apprendre dans « Kafka sans serveur dans une architecture Data Lake native du cloud », il est gratuit.
Collaboration entre le gouvernement, la ville et un tiers via une API ouverte
Le traitement des données en temps réel est crucial dans la mise en œuvre des cas d’utilisation des villes intelligentes. De plus, la plupart les projets de ville intelligente nécessitent une collaboration entre différentes équipes, infrastructures et services tiers.
Jetons un coup d’œil à trois très différents déploiements de streaming d’événements du monde réel pour voir le large éventail de cas d’utilisation et de défis d’intégration :
- Département des transports de l’Ohio appartenant au gouvernement plateforme de streaming d’événements
- La source de vérité unique de la Deutsche Bahn pour la communication client en temps réel et Intégration de tiers avec l’API Google Maps
- Le service de mobilité de Free Now dans le cloud pour la corrélation des données en temps réel en conformité avec les lois régionales et les véhicules/conducteurs indépendants.
Ohio Department of Transportation (ODOT) – Une plate-forme de diffusion d’événements appartenant au gouvernement
Le ministère des Transports de l’Ohio (ODOT) a une initiative passionnante : ConduireOhio. Il vise à organiser et accélérer les projets de véhicules intelligents et de véhicules connectés dans l’État de l’Ohio. DriveOhio propose d’être le point de contact unique pour que les décideurs, les agences, les chercheurs et les entreprises privées collaborent les uns avec les autres sur les efforts de transport intelligent autour de l’État.
ODOT a présenté ses plateforme de données de transport de données en temps réel au dernier Kafka Summit Americas :
L’ensemble de l’écosystème Kafka alimente la plate-forme de streaming d’événements (ESP) native du cloud d’ODOT. La plateforme permet intégration continue des données et traitement des flux pour les charges de travail transactionnelles et analytiques. L’ESP fonctionne sur Kubernetes pour fournir une infrastructure élastique, flexible et évolutive pour le traitement des données en temps réel.
Deutsche Bahn – Source unique de vérité et intégration de Google Maps en temps réel
Deutsche Bahn est une entreprise ferroviaire allemande. Il s’agit d’une société anonyme privée (AG), la République fédérale d’Allemagne étant son actionnaire unique. J’ai déjà parlé de leur système d’information des voyageurs en temps réel dans un autre article de blog: « Services de mobilité et de transport optimisés par Apache Kafka ».
Ils tirent parti de l’écosystème Apache Kafka optimisé par Confluent car il combine plusieurs caractéristiques qu’il faudrait sinon intégrer à différentes technologies :
- Messagerie en temps réel
- Intégration de données
- Corrélation des données
- Stockage et mise en cache
- Réplication et haute disponibilité
- Évolutivité élastique
Cet exemple est excellent pour ce blog. Ça montre comment une solution existante a besoin d’être connectée à d’autres applications internes et services tiers pour offrir une meilleure expérience client et élargir la clientèle.
Récemment, Deutsche Bahn a intégré sa plateforme à Google Maps via l’Open API de Google. En plus d’un meilleure expérience client, la compagnie ferroviaire peut atteindre de nombreux nouveaux utilisateurs finaux pour développer leur activité. Le Railway-News a un bon article sur cette intégration. Voici mon résumé :
Gratuit maintenant – Service de mobilité dans le cloud connecté aux lois régionales et aux véhicules
Free Now (anciennement MyTaxi) est un service de mobilité. Leur application utilise la technologie mobile et GPS pour faire correspondre les chauffeurs de taxi avec les passagers en fonction de la disponibilité et de la proximité. Les services de mobilité doivent s’intègre à d’autres services tiers pour le routage, le paiement, les implications fiscales et de nombreux cas d’utilisation différents.
Voici un exemple de la conférence Kafka Summit de Free Now où ils expliquent la valeur ajoutée de traitement de flux continu pour le calcul d’une tarification dynamique spécifique au contexte:
Les l’administration publique est toujours impliquée lorsqu’un nouveau service de mobilité est rendu public. Alors que certaines villes construisent leurs services de mobilité, la réalité est que la plupart des gouvernements fournissent l’infrastructure avec les fournisseurs de télécommunications, et que des fournisseurs tiers fournissent le service de mobilité. La relation spécifique entre le gouvernement, la ville et le fournisseur de services de mobilité diffère selon les régions, les pays et les continents.
Presque tous les services de mobilité utilisent Kafka comme épine dorsale. Google pour votre service de mobilité préféré à travers le monde et ajoutez « Kafka » à la recherche. Il y a de fortes chances que vous trouviez d’excellents articles de blog, des conférences, ou au moins des offres d’emploi sur la page de recrutement du service de mobilité. Voici quelques exemples qui ont publié un excellent contenu sur leur utilisation de Kafka : Uber, Lyft, Grab, Otonomo, Here Technologies et bien d’autres.
Data in Motion avec Kafka pour une ville intelligente connectée et innovante
La Smart City est un vaste sujet. De nombreux intervenants sont impliqués. La collaboration et les API ouvertes sont essentielles au succès. Dans la plupart des cas, les gouvernements collaborent avec des fournisseurs de télécommunications, des fournisseurs d’infrastructures tels que les hyperscalers cloud et des fournisseurs de logiciels (y compris une plate-forme de diffusion d’événements comme Kafka).
Plus les cas d’utilisation précieux et innovants de la ville intelligente nécessitent un traitement des données en temps réel. Les cas d’utilisation nécessitent l’intégration, le stockage, la gestion de la contre-pression et la corrélation des données. Event Streaming est la technologie idéale pour ces cas d’utilisation. Des exemples du ministère des Transports de l’Ohio, de la Deutsche Bahn et de son intégration à Google Maps et de Free Now ont montré quelques angles différents pour réaliser des projets de ville intelligente réussis.
Comment tirer parti du streaming événementiel dans le secteur public ? Vous travaillez sur des projets de ville intelligente ? Quelles technologies et architectures utilisez-vous ? Sur quels projets avez-vous déjà travaillé ou sont en préparation ? Connectons-nous sur LinkedIn et discutons-en !