Ce qui était autrefois une chimère est désormais une réalité : les progrès technologiques de la dernière décennie ont permis aux entreprises d’exploiter la puissance des données en temps réel. Cependant, alors que plus de 80 % des entreprises affirment que la transformation en une entreprise en temps réel est essentielle pour répondre aux attentes des clients, seulement 12 % ont optimisé leurs processus pour des expériences client en temps réel, selon les données de 451 Research.
Les données en temps réel ne sont pas seulement utiles, mais indispensables pour que les entreprises restent à flot dans l’économie « actuelle ». Il existe encore des cas d’utilisation clairs pour le traitement par lots ; par exemple, la paie ou la facturation impliquent généralement le traitement régulier d’un grand nombre de transactions. Le traitement par lots permet aux entreprises de traiter efficacement les transactions de paie en un seul lot plutôt que de les traiter individuellement en temps réel. Cependant, de plus en plus d’entreprises passent au temps réel dans les cas où l’obtention et l’analyse de données continues sont vraiment importantes.
Dans cet article, nous évaluerons les analyses par lots et en temps réel, examinerons pourquoi le passage du traitement par lots au temps réel peut s’avérer utile et comment passer d’une pile technologique traditionnelle à une pile prenant en charge les analyses en temps réel.
Plongeons dedans.
Les problèmes du traitement des données par lots
L’analyse par lots fait référence au traitement et à l’analyse d’un volume élevé de données déjà stockées pendant un certain temps. Par exemple, les entreprises traitent leurs rapports financiers sur une base trimestrielle et mensuelle.
Cependant, à mesure que les ordinateurs devenaient plus puissants, les systèmes par lots ont commencé à fournir des données de plus en plus rapidement, d’abord en semaines, puis en jours, puis en heures. Avec le traitement des données par lots, vous pouvez vous retrouver avec des incohérences de données, car il peut ne pas refléter l’état le plus à jour des données. Par exemple, si un traitement par lots est exécuté la nuit pour mettre à jour une base de données, toute modification apportée aux données pendant la journée ne sera reflétée dans la base de données mise à jour qu’au prochain traitement par lots.
Dans presque tous les cas, il est plus utile d’avoir une réponse maintenant que d’avoir une réponse la semaine prochaine.
En fait, les données peuvent perdre leur valeur même lorsqu’elles ne datent que de quelques millisecondes ou microsecondes. Prenez les instruments financiers : il est avantageux de connaître le prix actuel d’un instrument à la nanoseconde près.
Ce qui compte le plus aujourd’hui, c’est la fraîcheur, la latence et la valeur de vos données. Nous en sommes arrivés au point où nous avons besoin de données au fur et à mesure, ce qui signifie que le temps réel est désormais la norme. Des technologies plus récentes comme Apache Kafka® ont remplacé le processus traditionnel d’extraction, de transformation et de chargement (ETL). Maintenant que les entreprises peuvent fournir d’énormes quantités de données en temps quasi réel, le traitement par lots et les retards de livraison sont moins nécessaires.
Nous avons parcouru ce chemin et il n’y a pas de retour en arrière avec l’expérience utilisateur et client. Il y a de moins en moins de place pour des analyses lentes alors que presque tous les secteurs nécessitent une prise de décision en temps réel.
Alors que le temps réel était une version spécialisée du batch, le batch devient une version spécialisée du temps réel. Et il y a des risques à ne pas profiter des analyses en temps réel.
Pourquoi passer de l’analyse par lots à l’analyse en temps réel est une bonne idée
Construire des pipelines de données résilients
Depuis que nous nous appuyons sur des analyses en temps réel, la résilience est absolument primordiale. Les pipelines de données en temps réel sont résilients dans l’âme, ce qui signifie qu’ils peuvent facilement s’adapter en cas de panne. Bien que le traitement des données en temps réel soit techniquement plus difficile, il est beaucoup plus facile de modifier un calcul en temps réel.
Avec batch, votre fichier maître peut ne pas être à jour et c’est risqué si vous vous trompez. Même des erreurs mineures, comme des fautes de frappe, peuvent interrompre votre traitement par lots. Si vous collectez des données pendant quelques heures et qu’un lot échoue, le suivant doublera sa taille. Si votre machine n’est pas assez grande pour stocker toutes les données, vous devez faire évoluer vos machines, ce qui peut être assez chaotique.
Avec le temps réel, les informations sont toujours à jour et il est beaucoup plus facile de détecter les anomalies. Les entreprises passent de l’atténuation passive des risques à la gestion active des risques grâce à l’analyse en temps réel. Par exemple, vous pouvez détecter les signaux de fraude en temps réel et empêcher les transactions frauduleuses de se terminer.
En passant au temps réel, vous êtes mieux placé pour dépendre de l’exactitude et de la sécurité de vos données. Et, bien sûr, votre temps de traitement sera également plus rapide.
Vos concurrents surfent déjà sur la vague du temps réel
Une fois qu’une entreprise passe en temps réel, tout le monde doit rattraper son retard. Que vous le vouliez ou non, le temps réel est la direction que prend le monde. D’ici 2025, près de 30 % de toutes les données seront consommées en temps réel, et la transformation est déjà bien engagée.
Vous avez probablement entendu la célèbre citation attribuée à Henry Ford : « Si j’avais demandé à mes clients ce qu’ils voulaient, ils auraient dit des chevaux plus rapides. Ne pas passer au temps réel équivaut à dire : « Nous allons nous en tenir aux chevaux ». En vous en tenant au lot, vous choisissez de mener une bataille beaucoup plus difficile que nécessaire.
Passer à l’analyse en temps réel vous aide à acquérir un avantage concurrentiel et à faire de nouvelles découvertes qui pourraient vous aider à développer votre entreprise.
L’efficacité va monter en flèche
Les entreprises qui utilisent l’analyse en temps réel constatent d’énormes gains d’efficacité.
Considérez à quel point le temps réel a déjà entraîné un boom de la productivité : nous n’aurions pas d’applications de livraison de nourriture, d’économie de concerts ou d’Uber sans systèmes en temps réel. Bien sûr, commander un taxi pour demain, c’est bien, mais ce n’est pas la même chose que d’en commander un juste au moment où vous en avez besoin.
Grâce à l’analyse en temps réel, les entrepôts peuvent rationaliser leurs opérations et surveiller l’état de leurs marchandises. Ils peuvent s’assurer que les usines ne manqueront pas d’équipement ou de matières premières au mauvais moment et prédire quand une machine est sur le point de surchauffer afin de pouvoir transférer une partie de la charge de travail vers une autre usine.
Ou disons que vous avez une chaîne d’approvisionnement pharmaceutique et que vous remarquez qu’un produit est en rupture de stock en Allemagne, mais juste de l’autre côté de la frontière en Suisse, vous avez un excédent. Plutôt que de ne découvrir l’excédent en Suisse que plus tard, l’analyse en temps réel vous permet d’envoyer les produits en Allemagne au moment où ils sont nécessaires là-bas.
En matière d’efficacité, la puissance de l’analyse en temps réel profite à presque tous les secteurs.
Augmenter le revenu
Selon le rapport State of the Data Race 2022, 71 % des leaders technologiques conviennent qu’ils peuvent directement lier la croissance de leurs revenus aux données en temps réel.
Alors que le traitement par lots s’accompagne d’un investissement initial inférieur, les entreprises peuvent en fait réduire les coûts en temps réel, car l’agrégation et la jonction des données avant l’ingestion nécessitent moins de stockage et de traitement. Vous pouvez également effectuer une informatique sans serveur en temps réel, où vous ne payez que le temps de calcul lorsque vous en avez besoin. Des outils tels qu’AWS Lambda® vous permettent de réduire les coûts et d’exécuter des applications pendant les périodes de pointe sans plantage ni surprovisionnement des ressources.
Le coût principal du temps réel est le coût d’opportunité de sa mise en place, et le retour sur investissement est potentiellement énorme.
Les principales sociétés de paiement, par exemple, économisent des millions par jour en revenus potentiellement perdus à cause de la fraude grâce à l’analyse en temps réel. Les entreprises de commerce électronique peuvent également augmenter la taille moyenne de leurs transactions de panier grâce à des recommandations personnalisées et réduire le nombre de paniers abandonnés grâce à des e-mails de rappel.
Chaque seconde perdue peut coûter des millions pour les lignes de production actuelles basées sur les données. Par exemple, si vous avez une chaîne de production de pièces forgées, vous ne pouvez pas vous permettre de prendre des décisions lentes. L’équipement métallique doit rester chaud, et s’il fait froid, vous pouvez perdre des millions de dollars par seconde. Vous ne voulez pas vous tromper d’appel, devoir arrêter la production pendant 10 minutes et vous retrouver soudainement à perdre des centaines de millions de dollars en raison d’une collecte de données retardée.
Donnez aux analystes de données les moyens de bien faire leur travail
Les données en temps réel permettent aux analystes de données d’avoir une image plus complète et plus précise des données avec lesquelles ils travaillent, ce qui peut être très utile dans leur travail.
Si vous avez passé des milliers d’heures et des millions de dollars par an à embaucher une équipe de personnes intelligentes dont le travail consiste à analyser vos données et à partager les résultats, pourquoi les limiteriez-vous à ne considérer la situation que toutes les 20 minutes ?
Comment passer d’une analyse par lots à une analyse en temps réel
Gardez à l’esprit que lorsque vous passez du traitement par lots au temps réel, vous ne perdez rien. Vous n’échangez pas par lots en temps réel. Au lieu de cela, vous commencez à un meilleur endroit avec un système en temps réel, et vous pouvez toujours ajouter votre système de traitement par lots si vous en avez encore besoin.
Pour passer à un pipeline d’analyse en temps réel, utilisez des outils open source comme Apache Kafka®, Apache Flink® et ClickHouse® (KFC). La pile KFC vous permet de construire une architecture robuste et évolutive pour tirer le meilleur parti de vos données, qu’il s’agisse d’ETL par lots ou de métriques en temps réel.
En utilisant des outils en temps réel, vous pouvez dénormaliser les données dans un système de gestion de base de données (SGBD) comme ClickHouse pour permettre un accès rapide aux données jointes.
De nombreux autres outils évoluent dans le sens du temps réel. Materialise, par exemple, propose une base de données de streaming distribuée qui permet une adoption immédiate et généralisée des données en temps réel pour les applications, les fonctions métier et d’autres produits de données. La startup israélienne Firebolt vous permet de fournir des expériences d’analyse en moins d’une seconde et hautement simultanées sur des données volumineuses et granulaires.
En fin de compte, le passage au temps réel nécessite plus que la simple adoption de nouveaux outils. Cela nécessite un changement de mentalité. Les entreprises doivent moderniser leurs architectures de données pour évoluer à la vitesse de la machine plutôt qu’à la vitesse des personnes.
La marée en temps réel continuera de monter
Lorsque Internet est apparu pour la première fois, certaines personnes pensaient qu’il ne s’agissait que d’une mode passagère ou d’une idée surfaite qui s’effondrerait. Mais regardez où nous en sommes aujourd’hui.
La même chose se produit maintenant avec l’analyse en temps réel. Alors que la technologie en temps réel va sans aucun doute changer dans les années à venir, le processus lui-même ne va pas disparaître. Au contraire, il continuera d’évoluer pour devenir encore plus rapide.
Alors, serez-vous laissé pour compte ou passerez-vous au temps réel ?