Il existe des applications du monde réel à large spectre qui peuvent être alimentées par des technologies de graphes. Les réseaux sociaux s’attardent sur des graphiques qui modélisent le mieux la façon dont les gens se suivent et se lient d’amitié ; Les sociétés biotechnologiques et pharmaceutiques exploitent les graphiques pour comprendre les interactions protéiques et l’efficacité des composés chimiques ; Les chaînes d’approvisionnement, les réseaux de télécommunications et les réseaux électriques sont naturellement présentés sous forme de graphiques pour l’analyse des causes profondes ; Les transactions financières forment naturellement des réseaux et les détections de fraude, les recommandations intelligentes ou la gestion actif-passif peuvent être exécutées sur ces données en réseau pour améliorer la productivité, la précision des prévisions ou l’intelligence économique. De nombreuses industries se tournent vers les capacités de traitement de données intelligentes (et approfondies) de graph pour les aider dans leurs activités.
L’ère du big data a commencé vers 2010, alors que de plus en plus d’industries s’intéressent à l’apprentissage automatique (et à l’apprentissage en profondeur et à l’IA) pour renforcer la prévisibilité de leur entreprise ; certains ont utilisé l’apprentissage en profondeur et des réseaux de neurones spécifiquement variés pour extraire davantage de pouvoirs prédictifs. Cependant, trois problèmes majeurs subsistent :
- Systèmes cloisonnés au sein de l’écosystème d’IA ;
- IA à faible performance ;
- IA boîte noire.
Graph-0 : Techniques d’apprentissage de l’IA, performances et explicabilité.
Le graphique-0 illustre bien les trois problèmes majeurs.
Premièrement, il existe un certain nombre de techniques d’apprentissage de l’IA, mais elles ne sont PAS proposées sous forme de guichet unique ; la plupart des utilisateurs et des programmeurs d’IA ont affaire à plusieurs systèmes, logiciels et matériels cloisonnés, ce qui signifie que beaucoup d’ETL de données sont nécessaires en permanence (nous donnerons des exemples détaillés pour illustrer la gravité du problème suivant).
Deuxièmement, l’apprentissage par IA (profond/machine) semble être confronté au dilemme de la performance et de l’explicabilité contradictoires ; vous ne pouvez PAS avoir le meilleur des deux, et il va sans dire qu’à mesure que nous approfondissons l’apprentissage en profondeur et l’espace ANN/CNN, les choses sont si noires que les décideurs humains ne sont PAS d’accord avec ce statu quo.
Le dernier problème, mais certainement pas le moindre, est que la plupart de ces processus d’apprentissage ne sont PAS très performants ; la préparation des données, l’ETL, la formation et l’application aux données de production peuvent être un processus très complexe et long. Par exemple, certaines grandes banques de détail ont essayé d’utiliser l’apprentissage automatique et l’IA pour prédire les dépenses mensuelles par carte de crédit (chiffre d’affaires) pour leurs centaines de millions de titulaires de cartes, mais le processus de prédiction prend des semaines (comme vous pouvez l’imaginer s’ils démarrent le processus à mi-parcours). mois chaque mois, vous n’obtiendrez un résultat que quelques jours après la date limite, ce qui rend tout l’effort inutile. De plus, une telle méthode de prédiction basée sur ML/AI est problématique en termes de précision, ce qui implique une association plus coûteuse avec la gestion des liquidités de la banque.
Dans l’ensemble, ces problèmes méritent une attention particulière et, idéalement, l’innovation au niveau de l’infrastructure devrait être atteinte pour relever et résoudre ces défis.
Pour être un peu analytique sur l’innovation nécessaire pour résoudre les problèmes auxquels nous sommes confrontés – la tendance que nous observons, et ce dont nous avons besoin est la convergence de l’IA et du Big-Data. Nous souhaitons que l’IA soit plus intelligente, plus rapide et explicable d’une part, et nous demandons que le Big Data soit rapide, profond et flexible en termes de capacités de traitement des données. Le plus grand point commun de cette convergence IA+Big-Data conduit à l’intelligence augmentée des graphes et à XAI. Une base de données de graphes est l’innovation d’infrastructure et d’intelligence des données que nous recherchions. Nous allons vous montrer pourquoi et comment dans cet essai.
Le graphique ci-dessous (Graphique-1) montre cette tendance convergente :
Graph-1 : La convergence de l’IA et du Big Data vers le Graph Augmented XAI.
Traditionnellement, les opérations mathématiques et statistiques sont plutôt limitées sur les graphiques. Pour comprendre la raison, nous devons examiner l’évolution des structures de données de graphes qui est couverte dans un essai séparé, L’évolution spécifique des structures de données de graphe. Pour récapituler, dans les structures de données centrées sur les matrices de contiguïté ou les listes de contiguïté, très peu d’opérations mathématiques ou statistiques peuvent être effectuées, sans oublier que ces structures de données ne sont PAS capables de haute devise.
En raison de ces limitations, les développeurs ont inventé le concept d’intégration de graphes, qui transforme essentiellement un graphe de propriétés en espace vectoriel afin que beaucoup plus d’opérations mathématiques et statistiques puissent être effectuées avec une plus grande efficacité. Cette transformation consiste essentiellement à transformer des données de grande dimension à représenter dans des dimensions inférieures tout en préservant certaines propriétés (telles que la topologie du graphe et les relations nœud/arête). L’autre avantage d’une telle transformation est que les opérations vectorielles sont beaucoup plus simples et plus rapides.
Des discussions légèrement élargies autour de l’informatique vectorielle sont nécessaires. C’est un moyen efficace d’accélérer le calcul de graphes. Un avantage majeur qui est très pertinent pour l’intégration de graphes est que – la structure de données sous-jacente est comparable à l’espace vectoriel, ce qui permet des opérations de calcul mathématiques et statistiques pratiques. De plus, du point de vue de la pile technologique, il est possible de tout mettre en parallèle, de l’infrastructure, de la structure des données et de l’algorithme à la mise en œuvre de l’ingénierie. Enfin, la poursuite de la haute simultanéité n’a jamais cessé d’avancer, ce qui garantira que des opérations autrement chronophages telles que l’intégration et l’apprentissage de graphes pourront être effectuées aussi rapidement et dans les meilleurs délais que possible !
Nous utiliserons l’exemple Word2Vec pour expliquer pourquoi l’intégration de graphes optimisée par le calcul vectoriel peut être d’un ordre de grandeur plus rapide et plus simple. La méthode Word2Vec peut être considérée comme la base et le prototype de toutes les méthodes d’intégration de graphes centrés sur les nœuds, les arêtes ou les structures. Il transforme essentiellement les mots en espace vectoriel d’intégration de sorte que mathématiquement, dans l’espace vectoriel de dimension inférieure, des mots similaires ont des intégrations similaires – et « Vous connaîtrez un mot par la société qu’il conserve », comme l’a inventé le célèbre linguiste anglais JR Firth en 1957 – c’est-à-dire que des mots similaires avec des significations similaires ont tendance à avoir des mots voisins similaires !
Dans les trois graphiques suivants (Graph-2, Graph-3 et Graph-4), un algorithme Skip-gram et une méthode d’apprentissage SoftMax implémentant Word2Vec sont illustrés ; il existe d’autres algorithmes (c.-à-d. Sac continu de mots) et méthodes (c.-à-d. Échantillonnage négatif) qui sont abrégés pour simplifier la discussion.
Graph-2 : Word2Vec du texte source aux échantillons d’apprentissage
Graph-3 : Architecture du réseau de neurones Word2Vec
Le graphique 2 montre certains des échantillons d’apprentissage extraits d’une phrase avec une taille de fenêtre de 2 (c’est-à-dire deux mots avant et deux mots après le mot d’entrée/focalisé/surligné). Notez que dans la méthode word2vec améliorée, des techniques telles que les sous-échantillonnages sont utilisées pour supprimer les échantillons contenant des mots tels que « le » afin d’améliorer les performances globales.
Pour représenter un mot et le transmettre à un réseau de neurones, la méthode du vecteur à un seul point est utilisée ; comme illustré dans le graphique 4, le vecteur d’entrée unique pour le mot « fourmis » est un vecteur de 10 000 éléments, mais avec un seul et toutes les autres positions sont des 0. De même, le vecteur de sortie contient également 10 000 éléments mais est rempli avec la probabilité (virgules flottantes) de chaque mot proche.
En supposant que nous n’ayons que 10 000 mots dans notre vocabulaire et 300 fonctionnalités ou paramètres que vous utiliseriez pour affiner ce modèle Word2Vec. Cela se traduit par 300 neurones dans la couche cachée et 300 caractéristiques dans le vecteur de mots (voir graphique-4).
Graphique-4 : Vecteurs de mots gigantesques (3 000 000 poids !)
Comme vous pouvez le voir sur le graphique 4, la couche cachée et la couche de sortie portent chacune 3 000 000 poids, ce n’est PAS faisable pour les applications du monde réel. Dans des circonstances réelles, la taille du vocabulaire peut être aussi grande que dans la gamme des millions, multipliée par des centaines de caractéristiques, ce qui fera que la taille d’un vecteur chaud atteindra des milliards, même avec l’aide d’un sous-échantillonnage, d’un échantillonnage négatif et les techniques mot-paire-phrase; ce simple défi de calcul n’est PAS acceptable. Les vecteurs uniques dans les couches d’entrée et de sortie sont clairement une structure de données trop clairsemée ; c’est comme la matrice de contiguïté ; il peut être partitionné pour le calcul parallèle sur GPU lorsqu’il est très petit en termes de nombre d’éléments (<32 768 par exemple) que la matrice peut contenir pour chaque dimension. Pourtant, pour des applications réelles beaucoup plus importantes, cela sera écrasant en termes de consommation de ressources et de temps.
Maintenant, rappelez-vous ce que nous voulions réaliser avec Word2Vec ; essentiellement, nous essayons de prédire, dans une configuration de moteur de recherche et de recommandation, lorsqu’un mot (ou plus) est entré, quels autres mots nous aimerions recommander. Il s’agit d’un jeu statistique, et sous-jacent, c’est un problème mathématique pour un mot demandé, une poignée d’autres mots avec la plus forte probabilité d’apparaître comme voisins proches pour ce mot demandé. C’est naturellement un défi graphique; chaque mot est considéré comme un nœud (ou sommet) dans le graphe, et ses voisins forment des arêtes se connectant directement avec lui ; cela se passe de manière récursive. Et chaque nœud et arête peut avoir son propre poids, type, étiquette et attributs (autant que nécessaire).
Ce que nous venons de décrire dans le paragraphe ci-dessus peut être représenté dans le graphique 5, avec deux variantes de structure de données. En surface, ils ressemblent à des structures de données de grande table, mais sous le capot, ce sont les implémentations d’espace vectoriel multidimensionnel à haute simultanéité qui font voler les choses.
Graph-5 : Structures de données de graphes avec incorporations de graphes naturels
Compte tenu de la structure de données de l’espace vectoriel, le problème word2vec se résume en deux étapes :
- Attribuer un poids de probabilité pour chaque arête dirigée reliant deux mots, et cela peut être fait statistiquement ;
- La recherche et la recommandation sont des tâches de parcours de graphe simples et courtes qui sélectionnent simplement le nombre X supérieur de sommets reliant le sommet de départ. Cette opération peut être effectuée de manière récursive pour parcourir plus profondément le graphique – c’est comme rechercher et recommander en temps réel (similaire à la suggestion en temps réel, mais potentiellement plus précise et intelligente si vous vous en souvenez exactement …