Il s’agit du cinquième article d’une série sur le développement d’applications et d’expériences XR à l’aide d’Oracle et se concentre sur les applications XR de la santé, de l’IA visuelle, de la formation et de la collaboration, et de la messagerie, y compris d’autres sujets tels que le développement multiplateforme, etc. Trouvez les liens vers les quatre premiers articles ci-dessous :
Développer XR avec Oracle, Ep 1 : Spatial, AI/ML, Kubernetes et OpenTelemetry
Développer XR avec Oracle, Ep 2 : Graphiques de propriétés et visualisation des données
Développer XR avec Oracle, Ep 3 : IA de vision par ordinateur et ML
Développer XR avec Oracle, Ep 4 : Jumeaux numériques et observabilité
Comme pour les articles précédents, je montrerai spécifiquement les applications développées avec les technologies de base de données et de cloud Oracle utilisant HoloLens 2, Oculus, iPhone et PC et écrites à l’aide de la plate-forme Unity et OpenXR (pour la prise en charge multiplateforme), Apple Swift et WebXR.
Tout au long du blog, je ferai référence à la vidéo de démonstration correspondante ci-dessous :
Réalité étendue (XR) et soins de santé
Je renverrai le lecteur au premier article de cette série (encore une fois, le lien est ci-dessus) pour un aperçu de XR, et je n’irai pas en profondeur dans le vaste éventail de technologies impliquées dans le secteur de la santé, mais je me concentrerai plutôt sur l’activation XR de ces sujets et l’utilisation de la technologie Oracle à cette fin, d’autant plus qu’Oracle se concentre davantage sur ce domaine via l’acquisition de Cerner et d’autres efforts. Il est bien connu que la télésanté a énormément augmenté depuis la pandémie, culminant à 78 fois le taux juste un mois avant la pandémie et se stabilisant encore à 38 fois ce taux. Ces chiffres et d’autres et leur impact sont bien documentés dans de nombreuses publications, telles que ce rapport McKinsey et le VR/AR Associations Healthcare Forum, qui seront référencés dans cet article. Il suffit d’avoir entendu parler de l’utilisation de XR pour les chirurgies en direct par Johns Hopkins en 2021 pour comprendre dans quelle mesure XR aidera dans cette industrie, et encore une fois, je n’approfondirai pas trop pour essayer de prouver cela, mais continuez à donner quelques exemples et idées impliquant la base de données Oracle et les technologies cloud.
Vision AI et intelligence contextuelle : analyse et diagnostic en temps réel
Le premier exemple implique l’utilisation du casque de réalité mixte Hololens (bien que d’autres casques/appareils puissent être utilisés) et du service Vision AI d’Oracle. Il ne faut pas trop imaginer que les travailleurs de la santé portent des appareils XR qui leur fournissent des fonctionnalités et des informations supplémentaires (et en effet, beaucoup le sont déjà). Aujourd’hui, les médecins, les dentistes, etc. croisent constamment un écran d’ordinateur avec un patient pour vérifier les informations et orienter ce qu’ils voient (radiographie, IRM, etc.) et souvent où les lampes frontales, les loupes monoculaires, etc. Les solutions XR dont il est question ici ne sont que des évolutions de cela. Plus de détails sur cette application peuvent être trouvés dans le blog de recherche ici, mais les détails de base de son fonctionnement sont décrits ici.
L’application fonctionnant sur l’Hololens prend des photos avec sa caméra intégrée en utilisant le champ de vision du porteur comme référence et le fait à intervalles réguliers. Cela offre une expérience mains libres qui est, à tout le moins, plus pratique. Pourtant, dans de nombreuses situations, comme dans la salle d’opération, il est nécessaire que les mains des utilisateurs interagissent avec le monde réel (ou XR), ce qui en fait une solution plus optimale. Cela signifie également que le système peut collecter des informations contextuelles dont le praticien peut ne pas avoir connaissance ou auxquelles il n’a pas accès tout en collectant et en traitant rapidement ces informations sans que le praticien ait à l’instruire explicitement, ce qui permet également de gagner du temps. Cela conduit à l’optimisation que fournit la réalité mixte, un sous-produit passionnant de l’immersion.
L’Hololens envoie ensuite ces images à OCI Object Storage via des appels REST sécurisés, où elles peuvent être facilement accessibles directement par le service OCI Vision AI et également stockées et/ou consultées dans la base de données. Il existe plusieurs approches et architectures différentes qui peuvent être utilisées à partir de ce point pour conduire la logique et les appels aux API Oracle Vision AI pour traiter les images envoyées par le périphérique XR. Par exemple, en ce qui concerne le langage utilisé, les versions initiales ont été écrites à l’aide de l’interface de ligne de commande OCI, Java et Python, une version finale de l’image native Java GraalVM étant utilisée. De plus, comme l’image native Java GraalM démarre presque instantanément lorsque le service exécute une routine particulière de courte durée, c’est un bon candidat pour une fonction sans serveur. En option, le service de notification OCI peut écouter les modifications du magasin d’objets et appeler également des fonctions sans serveur.
Le service Java reçoit une notification de téléchargement d’image vers le stockage d’objets et effectue une série d’actions comme suit :
- Effectue un appel d’API de service OCI Vision AI soutenu par un modèle de détection d’objets à rayons X et fournit l’emplacement de l’image envoyée par l’Hololens.
- Reçoit une réponse du modèle de détection d’objet avec le pourcentage de chance que le rayon X soit dans l’image et les coordonnées de délimitation de celui-ci.
- Recadre l’image d’origine à l’aide des coordonnées de délimitation.
- Effectue un autre appel d’API de service OCI Vision AI soutenu par un modèle de classification de rayons X et lui fournit l’image recadrée de la radiographie.
- Reçoit une réponse du modèle de classification d’images avec un pourcentage de changement de rayons X contenant des signes d’anomalies/pneumonie.
- L’application Hololens reçoit cette réponse et avertit le porteur avec une notification sonore – celle-ci est configurable et peut également être visuelle. Dans le cas de cette application, les informations comprennent l’image de la radiographie recadrée avec ses détails découverts répertoriés et stockés dans un menu virtuel situé sur le poignet et visible par le porteur uniquement. Cette approche empêche l’interruption du porteur bien qu’il soit également possible de superposer les résultats sur la radiographie réelle à partir de laquelle ils ont été dérivés.
Vision AI et XR sont un complément naturel pour les solutions dans un certain nombre de domaines, y compris les travailleurs de la santé, comme illustré ici, et les personnes atteintes de maladies telles que la maladie de Parkinson, l’autisme, la maladie d’Alzheimer, les troubles visuels et auditifs, etc. (par exemple, les applications/solutions qui peut être utilisé dans cet espace est décrit dans ce blog).
Étude des mouvements et des sentiments : analyse en temps réel du suivi du visage et du corps
Aujourd’hui, 95% des établissements de santé assurent la prise en charge et la rééducation à distance. Les technologies XR peuvent être utilisées pour aider les patients à mieux comprendre leurs conditions et les options de traitement. Cela peut aider les patients à se sentir plus informés et plus autonomes dans leurs décisions en matière de soins de santé.
L’exemple suivant a été mis en œuvre à l’aide de l’iPhone et de Swift à l’aide du RealityKit d’Apple pour les mouvements de suivi du corps. Les coordonnées articulaires d’un mouvement de modèle sont enregistrées et envoyées à la base de données Oracle via des appels Rest à ORDS. Une personne (qu’il s’agisse d’un patient, d’un athlète, etc.) utilisant l’application tente d’effectuer le même mouvement, et ses coordonnées articulaires sont comparées à celles du mouvement modèle stocké dans la base de données. Si l’écart/delta autorisé des mouvements est dépassé, les articulations et les os correspondants sont affichés en rouge plutôt qu’en vert. Ce retour est donné en temps réel pour mesurer les progrès (par exemple, après une coiffe des rotateurs ou une autre intervention chirurgicale) et/ou pour permettre à l’utilisateur de modifier son mouvement en fonction du modèle de contrôle ainsi que de travailler l’équilibre et la coordination. Ces mouvements peuvent, à leur tour, être analysés (plus d’informations sur XR et Oracle Analytics dans un prochain blog), rejoués, manipulés pour réaliser des simulations, etc. Ces cas d’utilisation s’étendent bien sûr aux secteurs du sport, du divertissement, etc. Bien.
Jumeaux numériques + doubles et messagerie multijoueur/participant : formation et collaboration
Une étude récente rapportée par Unity montre qu’environ 94 % des entreprises utilisant la technologie 3D en temps réel la trouvent utile pour la formation du personnel et l’utilisent pour créer des expériences d’apprentissage guidées interactives. Cela s’applique à tous les secteurs, y compris la fabrication, les transports, la santé, la vente au détail et bien d’autres, et certaines tendances dans le domaine (dont beaucoup coïncident avec ce qui est montré dans ce blog) sont discutées ici. Les technologies XR peuvent être utilisées pour créer des simulations réalistes de scénarios médicaux, permettant aux professionnels de la santé de pratiquer des procédures et des techniques dans un environnement sûr et contrôlé. Par exemple, les étudiants en médecine et les chirurgiens peuvent utiliser des simulations XR pour pratiquer des chirurgies avec des sensations tactiles donnant le retour d’une intervention chirurgicale réelle, et les infirmières peuvent utiliser des simulations AR pour s’entraîner à administrer des médicaments. Cela peut aider les professionnels de la santé à acquérir une expérience précieuse sans risquer la sécurité des patients.
En plus de l’enseignement, XR offre une capacité unique de collaboration entre des individus dans différents endroits et spécialités, créant un espace virtuel partagé où plusieurs utilisateurs peuvent interagir entre eux et avec des objets virtuels. Il existe plusieurs techniques et options logicielles différentes disponibles pour créer une formation et une collaboration multijoueur/participant XR, y compris le logiciel de conférence XR et les métaverses, Photon et d’autres similaires, Rest, WebSockets et différents types de messagerie.
Les logiciels et plateformes de conférence XR, comme Alakazam, sont de plus en plus populaires et permettent à plusieurs utilisateurs de participer à des réunions virtuelles, des événements, des sessions de formation, etc.
Photon est une plate-forme qui permet aux développeurs de créer des jeux et des applications multijoueurs à l’aide de Unity, Unreal Engine et d’autres moteurs de jeu et peut facilement être installée sur et tirer parti du calcul Oracle Cloud (y compris NVIDIA GPU). C’est peut-être la plus célèbre de ces plateformes, mais il y en a d’autres.
Les WebSockets sont un protocole de communication en temps réel entre les clients Web et les serveurs et peuvent être une méthode plus rapide et plus efficace pour de tels cas d’utilisation que Rest bien que les appels Rest soient une option simple et viable dans de nombreux cas également, et plus d’API sont disponibles via Reste en général que l’une des autres méthodes.
La messagerie est une autre technique qui peut être utilisée pour créer XR…