Introduction
Avec la plateforme de streaming Big Data et le service d’ingestion d’événements Azure Event Hubs, des millions d’événements peuvent être reçus et traités en une seule seconde. Tout fournisseur d’analyse en temps réel ou adaptateur de traitement par lots/stockage peut transformer et stocker les données fournies à un concentrateur d’événements. Event Hubs est une solution simple, fiable et évolutive de collecte de données en temps réel. Créez des pipelines de données dynamiques qui diffusent des millions d’événements par seconde à partir de n’importe quelle source pour répondre rapidement aux préoccupations de l’entreprise. En cas d’urgence, continuez à traiter les données en utilisant les fonctionnalités de géo-récupération après sinistre et de géo-réplication.
Intégrez sans effort d’autres services Azure pour obtenir des informations pertinentes. Vous bénéficiez d’une expérience Kafka gérée sans avoir à gérer vos propres clusters lorsque vous autorisez les clients et applications Apache Kafka existants à communiquer avec Event Hubs sans aucune modification de code. Faites l’expérience à la fois du micro-batch et de la saisie de données en temps réel dans le même flux.
Certaines des instances dans lesquelles vous pouvez utiliser Event Hubs sont celles répertoriées ci-dessous :
- Détection d’anomalies (fraude/outliers)
- Journalisation des applications
- Pipelines d’analyse, tels que les flux de clics
- Tableaux de bord en direct
- Archivage des données
- Transaction en cours
- Traitement de la télémétrie utilisateur
- Diffusion télémétrique de l’appareil
Pourquoi utiliser Event Hubs ?
Ce n’est que lorsque le traitement des données est simple et opportun que des informations peuvent être tirées des sources de données que cela vaut la peine. Pour créer votre pipeline Big Data complet, Event Hubs propose une plate-forme de traitement de flux distribué avec une faible latence et une connectivité transparente avec les services de données et d’analyse à l’intérieur et à l’extérieur d’Azure.
La « porte d’entrée » d’un pipeline d’événements, également connu sous le nom d’investisseur événementiel dans la conception de solutions, est représentée par les hubs d’événements. Pour séparer la création d’un flux d’événements de sa consommation, un investisseur d’événements est un composant ou un service qui se situe entre les éditeurs d’événements et les consommateurs d’événements. En séparant les intérêts des producteurs d’événements et des consommateurs d’événements, Event Hubs offre une plateforme de streaming unifiée avec un tampon de rétention de temps.
Principales fonctionnalités du service Azure Event Hubs
PaaS entièrement géré
Vous pouvez vous concentrer sur vos solutions d’entreprise car Event Hubs est une plate-forme en tant que service (PaaS) entièrement gérée avec un minimum de configuration ou de frais administratifs. Vous pouvez profiter de PaaS Kafka avec Event Hubs pour les écosystèmes Apache Kafka sans avoir à gérer, configurer ou exécuter vos clusters.
Prise en charge du traitement en temps réel et par lots
Les flux en temps réel sont ingérés, mis en mémoire tampon, archivés et traités pour produire des informations exploitables. Avec le paradigme de consommateur partitionné d’Event Hubs, vous pouvez réguler la vitesse de traitement tout en permettant à plusieurs applications de traiter le flux simultanément. Azure Functions et Azure Event Hubs sont également intégrés pour une architecture sans serveur.
Capturer les données d’événement
Capturez vos données en temps quasi réel et enregistrez-les dans un Azure Data Lake ou un stockage Blob pour un traitement par micro-lots ou un archivage à long terme. Sur le même flux que vous utilisez pour obtenir des statistiques en temps réel, vous pouvez obtenir ce comportement. La configuration de la collecte des données d’événement prend peu de temps. Il évolue automatiquement avec les unités de débit ou les unités de traitement d’Event Hubs et n’a pas de surcharge administrative. Avec l’aide des hubs d’événements, vous pouvez vous concentrer sur le traitement des données plutôt que sur l’acquisition de données.
Évolutif
Avec Event Hubs, vous pouvez commencer avec des flux de données de la taille d’un mégaoctet et les faire évoluer jusqu’à des flux de la taille d’un gigaoctet ou d’un téraoctet. L’une des différentes options disponibles pour adapter le nombre d’unités de débit ou d’unités de traitement à vos besoins d’utilisation est la fonction de gonflage automatique.
Écosystème riche
Event Hubs est basé sur le protocole largement utilisé AMQP 1.0, disponible dans de nombreuses langues et doté d’un écosystème important. Vous pouvez rapidement commencer à traiter vos flux à partir d’Event Hubs à l’aide de.NET, Java, Python et JavaScript. L’intégration de bas niveau est offerte par tous les langages clients pris en charge. Vous pouvez créer des architectures sans serveur en utilisant la connectivité transparente de l’écosystème avec les services Azure comme Azure Stream Analytics et Azure Functions.
Hubs d’événements pour Apache Kafka
De plus, les clients et applications Apache Kafka (1.0 et versions ultérieures) peuvent communiquer avec Event Hubs à l’aide d’Event Hubs pour les écosystèmes Apache Kafka. Il n’est pas nécessaire pour vous d’utiliser une solution Kafka-as-a-Service qui n’est pas intégrée à Azure ou de créer, configurer et gérer vos propres clusters Zookeeper et Kafka.
Event Hubs Premium et dédiés
Les demandes de streaming haut de gamme qui nécessitent une meilleure isolation, une latence prévisible et une faible interférence dans un environnement PaaS multi-locataire géré sont satisfaites par Event Hubs premium. Le niveau premium offre diverses fonctionnalités supplémentaires, telles que la mise à l’échelle dynamique des partitions, la rétention étendue et les clés gérées par le client, en plus de tous les avantages de l’offre de base. Visitez Event Hubs Premium pour plus de détails.
Pour les clients ayant les exigences de streaming les plus exigeantes, le niveau dédié d’Event Hub propose des déploiements à locataire unique. Ce service à locataire unique est uniquement disponible sur notre niveau de tarification dédié et a un SLA garanti de 99,99 %. Des millions d’événements par seconde peuvent être ingérés par un cluster Event Hubs avec une capacité garantie et une latence inférieure à la seconde. Les espaces de noms et hubs d’événements du cluster dédié disposent de toutes les fonctionnalités de la version premium et plus encore. Visitez Event Hubs Dedicated pour plus de détails.
Hubs d’événements sur Azure Stack Hub
Les Event Hubs d’Azure Stack Hub vous permettent d’implémenter des scénarios de cloud hybride. Le traitement sur site et le cloud Azure sont pris en charge, tout comme les solutions de streaming et basées sur les événements. Votre solution peut permettre le traitement d’événements/flux à grande échelle, que votre scénario soit hybride (connecté) ou non connecté. La seule restriction de votre scénario est la taille du cluster Event Hubs, que vous pouvez provisionner selon vos besoins.
Il existe une parité de fonctionnalités substantielle entre Azure Stack Hub et les éditions Azure d’Event Hubs. Cette parité signifie qu’il y a peu de changements dans les expériences offertes par les SDK, les exemples, PowerShell, la CLI et les portails.
Composants clés de l’architecture
Event Hubs contient les composants clés suivants :
- Producteurs d’événements : toute organisation qui transmet des informations à un centre d’événements. Les éditeurs d’événements peuvent utiliser HTTPS, AMQP 1.0 ou Apache Kafka pour publier des événements (1.0 et supérieur)
- Chaque consommateur ne lit qu’une partie particulière, ou partition, du flux de messages.
- Une perspective (état, position ou décalage) d’un hub d’événements complet pour le groupe de consommateurs. Chaque application consommatrice peut avoir une perspective unique du flux d’événements, grâce aux groupes de consommateurs. Ils lisent chacun indépendamment le flux à leur propre rythme et en utilisant leurs propres décalages.
- La capacité de débit d’Event Hubs est régie par des unités de capacité pré-achetées appelées unités de débit (niveau standard), unités de traitement (niveau premium) ou unités de capacité (dédiées).
- Toute entité qui lit les données d’événement à partir d’un concentrateur d’événements est un récepteur d’événements. Chaque utilisateur d’Event Hub se connecte à l’aide d’une session AMQP 1.0. Au fur et à mesure que les événements deviennent disponibles, le service Event Hubs les présente via une session. Tous les consommateurs Kafka se connectent à l’aide de la version 1.0 ou ultérieure du protocole Kafka.
L’architecture du traitement de flux d’Event Hubs est illustrée dans la figure suivante :
Pourquoi choisir Event Hubs ?
Au lieu de gérer l’infrastructure, concentrez-vous sur l’obtention d’informations à partir de vos données. Créez des pipelines de données volumineuses en temps réel pour répondre aux préoccupations commerciales immédiates.
Simple
Construisez des pipelines de données en temps réel en quelques clics. Intégration transparente aux services de données Azure pour trouver des informations plus rapidement.
Sécurisé
Protégez vos informations actuelles. Event Hubs a obtenu la certification des organismes CSA STAR, ISO, SOC, GxP, HIPAA, HITRUST et PCI.
Évolutif
Payez uniquement ce que vous utilisez en ajustant dynamiquement le débit en fonction de vos besoins de consommation.
Ouvrir
Grâce à la prise en charge de protocoles courants comme AMQP, HTTPS et Apache Kafka, vous pouvez ingérer des données de n’importe où et développer sur plusieurs plates-formes.
Fonctionnalités des hubs d’événements Microsoft Azure
Ingérer des millions d’événements par seconde
Les données sont ingérées en continu à partir de millions de sources avec une latence minimale et une durée de conservation programmable.
Activer simultanément le traitement en temps réel et par micro-lots
Utilisez Event Hubs Capture pour transmettre facilement des données vers le stockage Blob ou le stockage Data Lake pour un archivage à long terme ou un traitement par micro-lots.
Obtenez un service géré avec une échelle élastique
Gardez le contrôle sur le moment et la quantité de mise à l’échelle tout en passant facilement de mégaoctets de données en continu à des téraoctets.
Connectez-vous facilement à l’écosystème Apache Kafka
Avec Azure Event Hubs pour Apache Kafka, vous pouvez facilement lier Event Hubs à vos applications et clients Kafka.
Créer une solution de streaming sans serveur
Créez une solution de streaming sans serveur du début à la fin en s’intégrant nativement à Stream Analytics.
Ingérer des événements sur Azure Stack Hub et réaliser des solutions de cloud hybride
Utilisez les services Azure pour analyser, visualiser ou stocker davantage vos données tout en implémentant des architectures cloud hybrides en ingérant et en traitant localement des données à grande échelle sur votre Azure Stack Hub.
Streaming sans serveur avec Event Hubs
Avec Event Hubs et Stream Analytics, créez une infrastructure de streaming sans serveur complète.
Conclusion
Azure Event Hubs est une plateforme de streaming Big Data et un service d’ingestion d’événements. Il peut recevoir et traiter des millions d’événements par seconde. Les données envoyées à un concentrateur d’événements peuvent être transformées et stockées à l’aide de n’importe quel fournisseur d’analyse en temps réel ou d’adaptateurs de traitement par lots/stockage. Event Hubs est un service d’ingestion de données en temps réel entièrement géré, simple, fiable et évolutif. Diffusez des millions d’événements par seconde à partir de n’importe quelle source pour créer des pipelines de données dynamiques et répondre immédiatement aux défis de l’entreprise. Continuez à traiter les données en cas d’urgence à l’aide des fonctionnalités de géo-récupération après sinistre et de géo-réplication.