Gravité, résidence et latence : Équilibrer les trois dimensions du Big Data
Agile Zone
AI Zone
Cloud Zone
Database Zone
DevOps Zone
Integration Zone
Web Dev Zone
Le concept de mégadonnées existe depuis plus d’une décennie maintenant, et aujourd’hui, les ensembles de données sont plus volumineux que jamais.
La production de contenus de tous types continue d’exploser. Divers types d’appareils produisant de la télémétrie, des capteurs IoT aux robots en passant par les microservices basés sur le cloud, génèrent d’énormes quantités de données, toutes potentiellement précieuses.
Du côté de la consommation, l’IA nous a donné de bonnes raisons de générer, de collecter et de traiter de vastes quantités de données – plus il y en a, mieux c’est. Aucun cas d’utilisation de l’IA, des véhicules autonomes à la prévention des pannes d’applications, ne peut être amélioré avec plus de données, tout le temps.
Où mettre toutes ces données continue d’être une préoccupation constante. L’explosion des données menace de submerger toute réduction des coûts de stockage que nous pourrions obtenir. La gravité des données continue de nous peser. Et peu importe le nombre de données dont nous disposons, nous voulons toutes les informations que nous pouvons en extraire à l’heure actuelle .
Le défi de savoir comment gérer toutes ces données, en fait, est plus compliqué que les gens ne le pensent. De multiples considérations ont un impact sur toute décision que nous pourrions prendre concernant la collecte, le traitement, le stockage et l’extraction de valeur à partir d’ensembles de données dynamiques de plus en plus volumineux.
Voici quelques-unes des bases.
La première dimension à laquelle nous devons faire face est gravité des données . La gravité des données fait référence aux contraintes de coût et de temps relatives du déplacement de grands ensembles de données par rapport aux impacts de coût et de temps correspondants du déplacement des capacités de calcul plus près des données.
Si nous transférons des données vers ou depuis un cloud, il y a généralement des frais d’entrée et de sortie que nous devons prendre en compte. Il est également important de prendre en compte les coûts de stockage de ces données, compte tenu de la chaleur (rapidement accessible) de ces données.
La bande passante ou les coûts de réseau peuvent également être un facteur, en particulier si le déplacement de plusieurs ensembles de données en parallèle est le meilleur pari.
Le facteur temps est tout aussi important que le coût. Combien de temps faudra-t-il pour déplacer ces données d’ici à là ? Si nous déplaçons des données à travers un tuyau étroit, de telles contraintes de temps peuvent être prohibitives.
La deuxième dimension est résidence des données . La résidence des données fait référence aux contraintes réglementaires qui limitent les emplacements physiques de nos données.
Certaines juridictions exigent la souveraineté des données – en conservant les données sur les citoyens de l’UE en Europe, par exemple. D’autres réglementations limitent le mouvement de certaines données à travers les frontières.
Dans certains cas, les limitations de résidence des données s’appliquent à des ensembles de données entiers, mais le plus souvent, elles s’appliquent à des champs spécifiques de ces ensembles de données. Un fichier volumineux contenant des informations personnellement identifiables (PII) sera soumis à de nombreuses contraintes réglementaires quant à son déplacement et à son utilisation, alors qu’une version anonymisée du même fichier pourrait ne pas l’être.
La troisième dimension que nous devons considérer est latence des données . Compte tenu des contraintes de réseau qui s’appliquent à une situation particulière, à quelle vitesse pouvons-nous déplacer n’importe quelle quantité de données ? Ces limitations auront-elles un impact sur le comportement en temps réel que les parties prenantes commerciales attendent des données ?
La raison pour laquelle la latence des données est un problème en premier lieu est la vitesse embêtante de la lumière. Peu importe la qualité de votre technologie, il est physiquement impossible qu’un message dépasse cette limite de vitesse cosmique.
Une fois que votre réseau est aussi optimisé que possible, la seule façon de réduire la latence est de rapprocher les terminaux.
Étant donné que la plus grande latence que tout message sur Terre est susceptible de subir est d’environ un quart de seconde (représentant le temps aller-retour vers un satellite géosynchrone), la plupart des applications métier ne se soucient pas beaucoup de la latence.
Dans certaines situations, cependant, la latence est d’une importance cruciale. Les jeux multijoueurs en temps réel, la négociation d’actions en temps réel et d’autres applications en temps réel comme la téléchirurgie cherchent tous à réduire la latence bien en dessous du seuil d’un quart de seconde.
Les applications à faible latence peuvent encore être l’exception dans l’entreprise, mais les situations où la latence est une considération importante explosent. Un véhicule autonome roulant à 60 miles par heure parcourra 22 pieds en un quart de seconde – il vaut donc mieux ne pas attendre les instructions du cloud ou ce piéton est grillé !
La plupart des organisations aux prises avec le Big Data ont abordé une ou plusieurs de ces considérations, mais généralement, elles le font séparément. Il est toutefois important de prendre en compte les trois dimensions lors de la planification de toute stratégie de Big Data.
Les contraintes réglementaires fournissent des garde-fous, mais en fonction des restrictions de conformité spécifiques, les organisations peuvent aborder la résidence des données de différentes manières. Ces calculs doivent toujours tenir compte également des considérations de gravité des données.
Par exemple, si une stratégie pour se conformer à une réglementation sur la résidence des données nécessite de déplacer de grands ensembles de données, il est important de prendre en compte à la fois les contraintes de coût et de temps de ces déplacements pour décider si cette stratégie particulière est la bonne.
Le vrai joker dans ces calculs, cependant, est l’impact de l’informatique de pointe. Aujourd’hui, les organisations équilibrent déjà la gravité des données et les considérations de latence lorsqu’elles choisissent un réseau de diffusion de contenu (CDN). Les CDN exploitent des serveurs à la périphérie du cloud, c’est-à-dire des emplacements dans les clouds qui sont géographiquement proches des utilisateurs finaux.
Edge computing ajoute les bords proches et lointains à cette considération. La périphérie proche comprend les points de présence de télécommunications, les centres de données d’usine et même les armoires téléphoniques de détail – partout où une organisation peut localiser un équipement serveur pour mieux servir les ressources basées sur la périphérie.
Alors que le bord proche suppose généralement une électricité stable et une puissance de processeur suffisante, nous ne pouvons pas faire ces hypothèses sur le bord éloigné. La périphérie éloignée comprend les smartphones et autres appareils intelligents ainsi que les capteurs et actionneurs IoT et tout autre point de terminaison technologique susceptible d’interagir (même par intermittence) avec la périphérie proche.
L’avantage est un tel joker car l’innovation perturbatrice progresse à un rythme rapide, de sorte que la planification à l’avance implique des conjectures stratégiques. Cela étant dit, il existe aujourd’hui de nombreux exemples où l’edge computing a eu un impact sur les calculs des trois dimensions de la gestion du Big Data.
Prenez la vidéosurveillance, par exemple. L’IA s’est améliorée au point de pouvoir détecter en temps réel les comportements suspects dans les flux vidéo. Cependant, le déplacement de fichiers vidéo depuis des caméras sur un réseau vers la périphérie proche et de là vers le cloud est confronté à de sérieux défis liés à la gravité des données.
Par conséquent, la plupart des inférences d’IA pour la vidéosurveillance ont lieu soit à proximité (par exemple, un placard de serveurs près des caméras), soit sur les caméras elles-mêmes.
Le déplacement de l’inférence vers les appareils réduit à son tour la latence, ce qui permet de détecter les comportements suspects bien avant que les cambrioleurs ne s’enfuient avec les bijoux.
La localisation de telles inférences peut également contribuer à la conformité réglementaire, car ces flux vidéo peuvent contenir des informations confidentielles telles que des plaques d’immatriculation ou même des visages.
Toute stratégie de gestion des données pour la vidéosurveillance doit donc équilibrer les priorités de gravité, de latence et de résidence au sein du même déploiement.
Chaque fois que vous vous trouvez face à des défis multidimensionnels de gestion du Big Data, posez-vous ces trois questions :
Quelle est la valeur métier des données ?
Quels sont les coûts associés aux données ?
Dans quelle mesure les données doivent-elles être en temps réel ?
Les réponses à ces questions, à leur tour, alimenteront les calculs qui équilibrent la gravité des données, la résidence des données et les priorités de latence des données.
Il n’y aura jamais de bonne réponse, car les considérations commerciales varieront considérablement d’une situation à l’autre. Ce qu’il est important de retenir, par conséquent, c’est que quelle que soit la situation, vous devrez analyser les chiffres dans toutes les dimensions pour déterminer votre stratégie optimale de gestion du Big Data.
© Intellyx LLC . Intellyx publie le Intellyx Cloud-Native Computing Poster et conseille les chefs d’entreprise et les fournisseurs de technologies sur leurs stratégies de transformation numérique. Intellyx conserve le contrôle éditorial sur le contenu de cet article. Crédit image : généré automatiquement à Craiyon .
Save my name, email, and website in this browser for the next time I comment.
Politique de cookies
Politique de confidentialité
CONTACT
Politique du DMCA
CONDITIONS D’UTILISATION
Avertissement
Type above and press Enter to search. Press Esc to cancel.