Imaginez que vous ayez beaucoup de données textuelles dans votre base de données. Et vous souhaitez extraire des informations pour les analyser ou effectuer diverses tâches d’IA sur des données textuelles. Dans cet article, vous apprendrez comment intégrer votre base de données à OpenAI GPT-3 à l’aide de MindsDB, une plate-forme d’IA open source pour obtenir des informations sur toutes vos données textuelles à la fois avec quelques commandes SQL au lieu de faire plusieurs appels d’API individuels, ETL -ing et déplacer des quantités massives de données. Nous vous guiderons tout au long du processus à l’aide de trois exemples pratiques.
Qu’est-ce qu’OpenAI GPT-3 ?
OpenAI GPT-3 est un puissant modèle de langage développé par OpenAI, un laboratoire de recherche axé sur l’intelligence artificielle générale. Il a gagné sa place dans le monde de l’apprentissage automatique en étant l’un des modèles de langage naturel les plus puissants et les plus précis jamais créés.
Qu’est-ce que MindsDB ?
MindsDB est une plate-forme d’apprentissage automatique open source qui permet aux développeurs de déployer facilement des modèles d’apprentissage automatique en production en les extrayant sous forme de « tables AI » de base de données virtuelles. Il prend en charge une large gamme de plates-formes ML populaires, notamment OpenAI, Hugging Face, TensorFlow, PyTorch, XGBoost, LightGBM, etc. MindsDB intègre des frameworks ML avec la majorité des bases de données et plates-formes de données disponibles, notamment MySQL, MongoDB, PostgreSQL, Clickhouse, etc., permettant aux développeurs de créer et de déployer des projets d’IA à l’aide de SQL avec un temps de configuration minimal et aucun codage ML requis.
Tirez parti des capacités NLP pour les données textuelles
En intégrant des bases de données et OpenAI à l’aide de MindsDB, vous pouvez facilement extraire des informations à partir de données textuelles avec seulement quelques commandes SQL, par exemple :
- Classer et étiqueter le texte enrichi, par exemple, l’analyse des sentiments, la détection des discours de haine ou du spam ;
- Extrayez la signification du texte d’étiquetage même lorsque vous ne disposez d’aucune donnée d’entraînement – classification dite « zero-shot » ;
- Répondre aux questions ou commentaires;
- Résumez automatiquement les textes longs et traduisez-les ;
- Convertissez du texte enrichi en objets JSON, et plus encore !
En fin de compte, cela offre aux développeurs un moyen simple d’intégrer de puissantes fonctionnalités NLP dans leurs applications tout en économisant du temps et des ressources par rapport aux pipelines et méthodes de développement ML traditionnels.
Lisez la suite pour savoir comment utiliser OpenAI GPT-3 dans MindsDB et explorez les trois différents modes de fonctionnement disponibles.
Intégrer SQL à OpenAI à l’aide de MindsDB
Il est devenu plus facile que jamais pour les développeurs d’exploiter les grands modèles de langage fournis par OpenAI. Avec MindsDB, les développeurs peuvent désormais facilement intégrer leurs bases de données et OpenAI, ce qui leur permet de répondre aux questions avec ou sans contexte et de répondre aux invites générales avec des requêtes uniques. Voyons comment fonctionne cette intégration.
MindsDB a implémenté trois modes de fonctionnement pour tirer parti des grands modèles de langage pré-formés fournis par l’API OpenAI.
- Répondre à des questions sans contexte
- Répondre aux questions avec le contexte
- Achèvement rapide général
Le premier mode de fonctionnement – répondre à des questions sans contexte – nécessite que les utilisateurs saisissent une question et un ensemble de données associé pour que le modèle fournisse une réponse précise.
Le deuxième mode – répondre aux questions avec le contexte – permet aux utilisateurs de saisir une question ainsi que des informations contextuelles supplémentaires, telles que des conversations précédentes ou des documents liés au sujet en discussion.
Le dernier mode – achèvement rapide général – permet aux utilisateurs de saisir une invite afin que le modèle génère des phrases supplémentaires en fonction de sa compréhension de l’invite.
Le choix du mode de fonctionnement dépend du cas d’utilisation. Cependant, les trois modes sont des formulations légèrement différentes du achèvement rapide tâche pour laquelle la plupart des modèles OpenAI sont formés. Dans de tels cas, l’objectif est d’optimiser la qualité des mots prédits qui suivent un bloc de texte donné en entrée.
Découvrons comment créer des modèles MindsDB alimentés par la technologie OpenAI.
Appliquez OpenAI GPT-3 à vos données textuelles
Passons en revue tous les modes de fonctionnement disponibles un par un.
Mode de fonctionnement 1 : répondre aux questions sans contexte
Voici comment créer un modèle qui répond aux questions sans aucun contexte supplémentaire :
CREATE MODEL questions_without_context_model
PREDICT answer
USING
engine="openai",
question_column = 'question';Nous créons un modèle nommé questions_without_context_model dans le projet en cours. Pour en savoir plus sur la structure du projet MindsDB, consultez nos documents ici.
Nous utilisons le moteur OpenAI pour créer un modèle dans MindsDB. Ses données d’entrée sont stockées dans la colonne de question et les données de sortie sont enregistrées dans la colonne de réponse.
Veuillez noter que le paramètre api_key est facultatif sur cloud.mindsdb.com mais obligatoire pour une utilisation locale/sur site. Vous pouvez obtenir une clé API OpenAI en vous inscrivant aux services API d’OpenAI sur leur site Web. Une fois que vous vous êtes inscrit, vous pouvez trouver votre clé API dans le clé API section du tableau de bord OpenAI. Vous pouvez ensuite transmettre cette clé API à la plateforme MindsDB lors de la création de modèles.
Pour utiliser votre propre clé API OpenAI, la requête ci-dessus serait :
CREATE MODEL questions_without_context_model
PREDICT answer
USING
engine="openai",
question_column = 'question',
api_key = 'YOUR_OPENAI_API_KEY';Vous pouvez également créer un moteur MindsDB ML qui inclut la clé API, de sorte que vous n’ayez pas à la saisir à chaque fois :
CREATE ML_ENGINE openai
FROM openai
USING
api_key = 'YOUR_OPENAI_API_KEY';Une fois que le modèle a terminé son processus de formation, nous pouvons l’interroger pour obtenir des réponses.
SELECT question, answer
FROM questions_without_context_model
WHERE question = 'Where is Stockholm located?';A l’exécution, on obtient :
Mode de fonctionnement 2 : répondre aux questions avec le contexte
Voici comment créer un modèle qui répond aux questions avec un contexte supplémentaire :
CREATE MODEL questions_with_context_model
PREDICT answer
USING
engine="openai",
question_column = 'question',
context_column = 'context';Il y a un paramètre supplémentaire – le paramètre de contexte. Nous pouvons définir le contexte qui doit être considéré lorsque le modèle répond à la question.
Une fois que le modèle a terminé son processus de formation, nous pouvons l’interroger pour obtenir des réponses.
SELECT context, question, answer
FROM questions_with_context_model
WHERE context="Answer with a joke"
AND question = 'How to cook soup?';A l’exécution, on obtient :
Mode de fonctionnement 3 : exécution rapide
Voici comment créer un modèle qui offre le mode de fonctionnement le plus flexible. Il termine toute requête fournie dans le paramètre prompt_template, qui peut impliquer plusieurs colonnes d’entrée. Contrairement aux deux autres modes, les modèles peuvent être utilisés pour faire des choses intéressantes autres que la réponse aux questions, comme le résumé, la traduction ou la mise en forme automatisée du texte.
Veuillez noter que de bonnes invites sont la clé pour obtenir d’excellents achèvements de grands modèles de langage comme ceux proposés par OpenAI. Pour de meilleures performances, nous vous recommandons de lire leur guide d’invite avant de vous essayer à la création de modèles d’invite.
CREATE MODEL prompt_completion_model
PREDICT answer
USING
engine="openai",
prompt_template="Context: {{context}}. Question: {{question}}. Answer:",
max_tokens = 100,
temperature = 0.3;Nous avons maintenant trois nouveaux paramètres.
- Le prompt_template Le paramètre définit l’invite de saisie du modèle pour chaque ligne de la source de données. Plusieurs requêtes peuvent être utilisées dans un ordre arbitraire.
- Le max_tokens Le paramètre définit le coût de jeton maximal de la prédiction.
- Le température Le paramètre définit le degré de créativité ou de risque des réponses.
Veuillez noter que les trois paramètres peuvent être remplacés au moment de la prédiction.
Voici un exemple qui utilise les paramètres fournis au moment de la création du modèle :
SELECT context, question, answer
FROM prompt_completion_model
WHERE context="Answer accurately"
AND question = 'How many planets exist in the solar system?';A l’exécution, on obtient :
Examinons maintenant un exemple qui remplace les paramètres au moment de la prédiction :
SELECT instruction, answer
FROM prompt_completion_model
WHERE instruction = 'Speculate extensively'
USING
prompt_template="{{instruction}}. What does Tom Hanks like?",
max_tokens = 100,
temperature = 0.5;A l’exécution, on obtient :
Conclusion
Dans ce didacticiel, vous avez appris à utiliser MindsDB et OpenAI GPT-3 pour extraire des informations à partir de données textuelles dans des bases de données avec seulement quelques commandes SQL.
Vous pouvez maintenant exécuter de nombreuses tâches NLP sur vos propres données, alors consultez les documents MindsDB pour une bibliothèque d’exemples utiles et des exemples de code que vous pouvez copier et exécuter.
Commencez avec la PNL dès aujourd’hui !