Si les opportunités offertes par l’IA générative sont importantes, il existe également des défis majeurs, tels que la difficulté et le coût de développement ou de maintenance de grands modèles de langage (LLM), ainsi que leur inexactitude potentielle.
La popularité de l’IA générative ne cesse de croître. L’intelligence artificielle est désormais un sujet de conversation sérieux dans tous les coins, des dîners aux chaînes d’information ou aux acteurs de la transformation numérique. Bien sûr, les technologies d’Intelligence Artificielle en général, et plus précisément ChatGPT, ne sont pas sorties de nulle part. Dès 2020, les experts les plus éclairés prédisaient déjà que l’IA générative serait un pilier essentiel de la prochaine génération d’IA.
« Les modèles d’apprentissage automatique d’aujourd’hui interprètent et classifient principalement les données existantes : par exemple, la reconnaissance des visages ou l’identification de la fraude. L’IA générative est un nouveau domaine en pleine croissance qui se concentre plutôt sur la création d’une IA capable de générer son propre nouveau contenu » – Forbes « The Next Generation De l’Intelligence Artificielle » Oct 2020
Les travaux récents dans tous les domaines de l’IA produisent une accélération favorable pour l’IA générative. La prochaine génération de LLM est déjà en cours de développement dans les start-ups, les géants de la technologie et les groupes de recherche sur l’IA.
Des modèles capables de générer leurs propres données d’entraînement
Une nouvelle voie de recherche sur l’IA explore comment les LLM peuvent générer leurs propres données de formation pour améliorer leurs performances. L’idée est de s’inspirer de la façon dont les humains apprennent par eux-mêmes lorsqu’ils réfléchissent à un sujet. Les efforts de recherche de Google ont déjà permis de créer un LLM capable de générer des questions, de produire des réponses, de filtrer des résultats de haute qualité et d’affiner les réponses sélectionnées. En effet, une méthode connue sous le nom de Language Model Self-Improved (LMSI) a été introduite par des chercheurs de Google et de l’UIUC (University of Illinois Urbana-Champaign). Cette approche consiste à affiner le LLM à l’aide d’un ensemble de données créé par le modèle lui-même.
Les performances d’un LLM peuvent s’améliorer en générant ses propres instructions en langage naturel et en s’adaptant à ces instructions. Des recherches menées par Google et l’Université Carnegie Mellon montrent également que les LLM peuvent fournir des réponses plus précises s’ils « récitent d’abord ce qu’ils savent sur un sujet avant de répondre » de la même manière que les humains pensent avant de partager un point de vue.
Les progrès récents de la modélisation du langage ont montré que l’utilisation des LLM peut considérablement améliorer les performances des applications de traitement du langage naturel (NLP). Cependant, cela peut être difficile en raison de la grande taille des modèles, qui peuvent nécessiter beaucoup de mémoire et de puissance CPU pour s’entraîner.
Afin de libérer le véritable potentiel de la modélisation du langage, NVIDIA et Microsoft travaillent sur un modèle de NLP automatique appelé Megatron-Turing Natural Language Generation (MT-NLG). Il est composé de 530 milliards de paramètres, soit plus de 2 fois plus que le modèle Open AI GPT-3 NLP qui fait aujourd’hui référence.
Bien que ce modèle semble surmonter certains des obstacles de la PNL automatisée, il doit encore être amélioré. NVIDIA et MS notent que bien que ces LLM représentent un grand bond en avant dans la génération de langage, ils présentent toujours des défauts et des biais. Les observations des chercheurs révèlent que le modèle peut perpétuer les stéréotypes et les biais présents dans les données sur lesquelles il a été formé. Cela conduit au domaine de la collecte de données, de l’analyse, de la modélisation et de la formation supervisée.
Des modèles capables de vérifier les faits par eux-mêmes
Les modèles d’IA générative utilisent des données provenant d’Internet pour entraîner les modèles à produire des prédictions en réponse aux demandes des utilisateurs. Cependant, rien ne garantit que les prévisions seront exactes à 100 % ou impartiales. De plus, il peut être difficile de savoir d’où proviennent les informations qui ont alimenté la réponse du système.
L’utilisation de l’IA générative soulève donc des questions morales, juridiques et éthiques qui ont un impact potentiel sur les entreprises. L’inquiétude porte sur la propriété du contenu ou simplement sur le risque de produire des réponses « inventées ». En tant que tel, il est sage d’être prudent sur la façon dont on utilise les informations produites par l’IA générative à court terme.
Les LLM (large language models) ou LaMDA (Language Model for Dialogue Applications) actuels peuvent produire des informations inexactes ou fausses. Voir ci-dessous la fausse affirmation du désormais célèbre Google Bard à propos du télescope Webb.
– De quelles nouvelles découvertes du télescope spatial James Webb puis-je parler à mon enfant de neuf ans ?
– Webb a pris les toutes premières photos d’exoplanètes ou de planètes en dehors du système solaire.
Cependant, de nouvelles fonctionnalités sont en cours de développement pour contourner ce problème. Cela inclut la possibilité pour les LLM d’extraire des informations de sources externes et de fournir des références pour les informations qu’ils fournissent. Par exemple, OpenAI WebGPT améliore la précision factuelle des modèles linguistiques grâce à la navigation Web.
L’article « Vérifiez vos faits et réessayez : améliorer les grands modèles de langage avec des connaissances externes et des commentaires automatisés » de Microsoft Research et de l’Université de Columbia propose un système appelé LLM-AUGMENTER. Il aide à utiliser les LLM dans des applications critiques. Le système améliore la précision des réponses générées par LLM en intégrant des connaissances externes provenant de bases de données spécifiques à des tâches. Une révision rapide itérative peut être utilisée pour améliorer l’exactitude et la fiabilité des réponses. Le système a été testé dans des scénarios de dialogue et de questions-réponses, où il semble réduire les fausses informations sans affecter la qualité de la réponse.
On considère que la taille des LLM a augmenté d’un facteur de 10 chaque année au cours des dernières années. La bonne nouvelle est qu’à mesure que ces modèles gagnent en complexité et en taille, leurs capacités augmentent également. Cependant, les LLM sont difficiles et coûteux à développer et à maintenir. Ainsi, leur coût et leur imprécision sont des défis majeurs qui doivent être relevés si elles veulent atteindre leur plein potentiel.
Résumé
L’IA générative qui se concentre sur la création d’une IA capable de produire son propre contenu est un domaine en pleine croissance. Les avancées récentes dans tous les domaines de l’IA produisent une accélération favorable pour l’IA générative, notamment le développement de modèles capables de générer leurs propres données d’entraînement pour améliorer leurs performances et de modèles capables d’effectuer une auto-vérification des faits.
Les LLM sont complexes à développer et à maintenir, et leur coût et leur inexactitude restent des défis majeurs. Mais sans aucun doute, les efforts des grands acteurs de la technologie et de la recherche conduiront à une augmentation des capacités de ces systèmes, qui atteindront rapidement leur potentiel.