PyTorch n’est pas seulement utilisé pour la recherche mais aussi à des fins de production, avec des milliards de demandes traitées et formées quotidiennement.
La communauté PyTorch a fait des progrès remarquables ces derniers temps. L’année dernière, les contributeurs de PyTorch ont également introduit des optimisations d’inférence BetterTransformer pour les modèles de transformateurs tels que GPT, qui ont considérablement amélioré les performances de ces modèles. Cette collection de code hautement optimisé est conçue spécifiquement pour accélérer les modèles de transformateur dans les charges de travail de production, permettant une génération de données plus précise et efficace. Il s’agit d’un développement passionnant qui a le potentiel de révolutionner de nombreuses industries bientôt.
Le potentiel de transformation de l’IA générative dans la génération de nouvelles données à partir de sources existantes a été largement reconnu. Les récentes percées de l’IA ont suscité un intérêt croissant pour la compréhension des mécanismes sous-jacents à l’origine de ces avancées. Pour mieux comprendre, nous avons recherché des experts de premier plan en IA qui ont mis en lumière la façon dont PyTorch ouvre la voie à l’IA générative.
Accélération matérielle
PyTorch est déjà rapide par défaut, mais ses performances ont été encore améliorées avec l’introduction de la technologie de compilateur. Cette technologie permet une formation et un service plus rapides des modèles en fusionnant les opérations, le réglage automatique et l’optimisation des programmes pour qu’ils s’exécutent aussi rapidement que possible sur le matériel disponible, ce qui se traduit par des gains de performances significatifs par rapport aux versions précédentes du logiciel.
Dynamo et Inductor, le cœur de la pile PyTorch 2.0, acquièrent respectivement un programme et l’optimisent pour qu’il s’exécute le plus rapidement possible sur le matériel à portée de main. « Ceci est réalisé grâce à des opérations de fusion afin que l’informatique puisse être saturée sans être goulot d’étranglement par l’accès à la mémoire et le réglage automatique afin que les noyaux dédiés puissent être optimisés pendant leur exécution pour atteindre des performances maximales. Des gains allant jusqu’à 40 % peuvent être obtenus pour les deux formation et inférence, ce qui en fait un développement très important. Auparavant, PyTorch disposait de la technologie pour optimiser les programmes, mais il fallait que les utilisateurs modifient leur code pour qu’il fonctionne et interdisaient certaines opérations, telles que l’appel à d’autres bibliothèques Python. PyTorch 2.0, sur d’autre part, fonctionnera dans tous ces cas, en signalant ce qu’il pourrait et ne pourrait pas optimiser en cours de route », a commenté Luca Antiga, CTO de Lightning AI et contributeur à PyTorch.
PyTorch prend désormais en charge une multitude d’appareils backend et informatiques différents, ce qui en fait l’un des frameworks d’apprentissage en profondeur les plus polyvalents disponibles. Cela facilite également plus que jamais le déploiement de modèles construits avec PyTorch en production, y compris sur les GPU AMD via ROCm. « C’est génial pour le développement de modèles, mais il est préférable d’utiliser un framework différent pour l’exécution en production. Ceci est recommandé par les développeurs PyTorch eux-mêmes, et par conséquent, PyTorch offre un excellent support pour des packages comme FasterTransformer, un moteur d’inférence créé par Nvidia qui est utilisé par la plupart des grandes entreprises technologiques pour exécuter des modèles tels que GPT », a fait remarquer Pieter Luitjens, CTO de Private-AI.
Les chercheurs envisagent PyTorch
PyTorch a montré sa flexibilité depuis qu’il a fait irruption sur la scène et détrôné TensorFlow vers 2018. À l’époque, il s’agissait de réseaux de neurones convolutifs, alors que maintenant PyTorch est utilisé pour des types de modèles complètement différents, comme la diffusion stable, qui n’existait pas. à l’époque. « À mon avis, PyTorch est devenu l’outil de choix pour l’IA générative en raison de son accent mis sur l’exécution dynamique, la facilité d’utilisation pour les chercheurs pour prototyper et la capacité de s’adapter facilement à des milliers de GPU. Il n’y a pas de meilleur exemple que GPTNeo et Les récents modèles de langage open source de BLOOM – cela n’aurait jamais été possible sans PyTorch. L’équipe derrière GPTNeo a spécifiquement appelé à passer à PyTorch en tant que facilitateur « , a expliqué Peter.
Il y a une préférence croissante pour PyTorch parmi les chercheurs. Cependant, il est également évident que TensorFlow, contrairement à PyTorch, est conçu pour un usage industriel, offrant une vaste gamme de fonctionnalités personnalisables et prenant en charge des cas d’utilisation, tels que la compatibilité JVM et le service en ligne. « Cela permet aux entreprises d’utiliser plus facilement TensorFlow en production et de faire évoluer les cas d’utilisation de TensorFlow jusqu’à des milliards d’utilisateurs. Cependant, cette puissance rend TensorFlow plus rigide, plus difficile à apprendre et plus difficile à adapter à des applications complètement nouvelles. Par exemple, TensorFlow’s le recours à des graphiques statiques rend les séquences de longueur variable (un composant central de l’IA générative !) difficiles à gérer. PyTorch est donc plus largement utilisé par la communauté des chercheurs. Cela crée un effet de volant. De nouveaux modèles sont d’abord publiés dans PyTorch, ce qui provoque chercheurs de commencer avec PyTorch lorsqu’ils étendent leurs recherches antérieures », a déclaré Dan Shiebler, responsable de l’apprentissage automatique chez Abnormal Security.
Développé de manière agressive pour plus de facilité
L’écriture de PyTorch ressemble beaucoup plus à l’écriture de Python ordinaire que d’autres frameworks. Le flux de contrôle, les boucles et d’autres opérations sont entièrement pris en charge, ce qui rend le code à la fois lisible et expressif. De plus, l’expérience de débogage avec PyTorch est de premier ordre ; Pdb fonctionne de manière transparente, vous permettant de parcourir un programme et d’exécuter des opérations avec impatience au fur et à mesure. « Cette expérience est beaucoup moins pénible qu’avec d’autres frameworks, ce qui permet d’itérer rapidement vers un modèle fonctionnel », apprécie Luca.
PyTorch brille vraiment lorsqu’il est associé à des projets tels que PyTorch Lightning ou Lightning Fabric, qui le complètent en faisant abstraction des détails d’ingénierie et permettent aux chercheurs d’adapter leurs modèles à des milliards de paramètres et à des groupes de machines sans modifier leur code. Je ne pense pas qu’il y ait des inconvénients particuliers à PyTorch. Peut-être que les dérivés d’ordre supérieur et les transformations de programme comme vmap, qui sont fournis dans functorch mais pas au niveau où ils se trouvent dans d’autres projets comme JAX, peuvent être des limitations pertinentes pour certains domaines, mais pas tellement pour l’apprentissage en profondeur aujourd’hui.
Grâce à son expérience de contribution à PyTorch, Luca a affirmé que la plupart des recherches menées aujourd’hui, à la fois sur l’IA et sur l’utilisation de l’IA, sont implémentées dans PyTorch, et l’implémentation est souvent partagée en open source. La capacité à s’appuyer sur les idées des autres est une dynamique incroyablement puissante, créant un phénomène exponentiel.