Selon une étude publiée par Statista, les appareils IoT produiront 79 zettaoctets de données en 2025, soit une augmentation de 483 % par rapport à 2019. Pour mettre ce chiffre en perspective, si nous stockons ces informations dans des smartphones avec un stockage de 128 Go chacun , il nous faudrait 617,1875 milliards de smartphones. Pourtant, sans traitement ultérieur, ces données ne valent presque rien. Ce n’est qu’en transformant et en analysant ces données que vous débloquez l’immense valeur ajoutée promise par l’Internet des objets (IoT).
Une question courante est de savoir comment vous traitez réellement les données collectées à partir des appareils IoT. Il existe plusieurs façons de procéder, mais l’une des plus convaincantes consiste à utiliser le protocole MQTT pour envoyer des données IoT via Apache Kafka pour un traitement ultérieur dans un système de votre choix.
MQTT et Apache Kafka sont souvent utilisés ensemble pour améliorer les fonctionnalités des communications IoT et Machine-to-Machine. Vous les voyez généralement mariés dans les cas d’utilisation suivants :
- Collecte de données : MQTT est utilisé pour collecter des données à partir d’appareils IoT et les publier sur un courtier Kafka, où elles sont traitées, analysées et stockées pour une utilisation future.
- Traitement en temps réel : à l’aide de MQTT et de Kafka, les organisations créent des pipelines de traitement de données en temps réel qui gèrent de grandes quantités de données entrantes provenant d’appareils IoT.
Le moyen le plus simple de traiter les données de vos appareils IoT vers votre service Kafka est notre nouvelle intégration Kafka avec HiveMQ Cloud.
Dans ce blog, nous vous montrerons les fonctionnalités clés de l’intégration Kafka-HiveMQ Cloud, comment vous pouvez l’utiliser pour diffuser vos données et vous expliquerons comment vous pouvez la configurer.
L’intégration HiveMQ Cloud Kafka
Avant de passer aux instructions étape par étape, examinons les avantages de l’intégration Kafka-HiveMQ Cloud. Cette configuration simple vous permet de diffuser efficacement vos données entre votre courtier HiveMQ Cloud et votre cluster Kafka pour un échange de messages bidirectionnel sans charge opérationnelle continue.
Il y a cinq (5) étapes faciles pour ingérer les données de vos appareils IoT avec le service Apache Kafka de votre choix. Celles-ci peuvent être grossièrement divisées en
- Paramètres de configuration de la connexion
- Paramètres de mappage de sujet
Les paramètres de configuration de connexion permettent d’établir une connexion sécurisée entre HiveMQ Cloud et votre cluster Apache Kafka. Les mappages de rubriques vous permettent de configurer le flux de données bidirectionnel entre votre cluster MQTT et Apache Kafka.
Mais d’abord, vous devez trouver l’extension Kafka dans l’onglet « Intégrations » de votre cluster HiveMQ Cloud. Cette intégration est disponible avec HiveMQ Cloud.
Remarque : si vous utilisez la version gratuite de HiveMQ Cloud pour la première fois pour suivre ces instructions, vous pouvez commencer sans ajouter d’informations de paiement.
Vous êtes maintenant prêt à plonger dans les cinq étapes :
-
Connectez HiveMQ Cloud au service Kafka de votre choix : pour vous connecter, vous avez besoin d’une liste de serveurs d’amorçage pour votre cluster Kafka afin que l’intégration puisse récupérer les métadonnées initiales sur votre cluster Kafka.
-
Sécurisez la connexion : vous devez maintenant ajouter vos informations d’identification Kafka. Cela permet de garantir une connexion sécurisée entre HiveMQ Cloud et Kafka. Nous proposons deux mécanismes SASL différents pour la sécurité des connexions.
-
Envoyer des données de HiveMQ à Kafka : une fois que vous avez configuré et sécurisé la connexion, vous pouvez choisir les données à transférer à partir de vos appareils IoT. Cela nécessite le mappage des rubriques de HiveMQ Cloud vers votre cluster Kafka. La rubrique source est la rubrique MQTT que vous souhaitez envoyer depuis votre cluster HiveMQ. Les rubriques de destination sont la rubrique Kafka qui reçoit les messages envoyés par votre cluster HiveMQ.
-
Établir une communication bidirectionnelle : Pour une communication bidirectionnelle entre Kafka et HiveMQ, vous pouvez configurer le cluster Kafka sur HiveMQ Cloud de la même manière que vous définissez le mappage de sujet de HiveMQ Cloud vers votre cluster Kafka. Dans ce cas, la rubrique source représente la rubrique Kafka à partir de laquelle l’intégration doit lire les messages. Ces messages sont ensuite publiés avec la rubrique de destination définie sur votre cluster de courtier HiveMQ Cloud MQTT.
-
Activer la configuration : vous pouvez démarrer le flux de données entre le cluster cloud HiveMQ et votre cluster Kafka en sélectionnant le bouton « activer ».
Si vous avez suivi ces cinq étapes, vous devriez maintenant pouvoir utiliser Apache Kafka avec HiveMQ Cloud pour utiliser les données de vos appareils IoT pour une communication bidirectionnelle.
Commencer
Pour accéder gratuitement à la fonctionnalité Kafka-HiveMQ Cloud, il vous suffit de Inscription gratuite
L’intégration est une version allégée de notre extension HiveMQ Enterprise pour Kafka et propose de résoudre les cas d’utilisation fréquemment demandés. S’il vous manque encore des fonctionnalités, n’hésitez pas à nous contacter. Nous sommes toujours intéressés par les commentaires directs des utilisateurs.