Les entreprises qui ont été pionnières dans l’application de l’IA à grande échelle l’ont fait en utilisant leurs propres plateformes de ML internes (uber, LinkedIn, Facebook, Airbnb). De nombreux fournisseurs proposent désormais ces fonctionnalités à l’achat en tant que produits prêts à l’emploi. Il existe également une gamme d’outils open source pour les MLOps. La ruée vers l’espace a créé un nouveau problème – trop de choix. Il existe désormais des centaines d’outils et au moins 40 plateformes disponibles :
(Image de la chronologie de Œuvres de pensée Guide d’évaluation des plates-formes MLOps.)
C’est un paysage très difficile à parcourir. Mais les organisations doivent le comprendre car il est impératif d’obtenir de la valeur du ML. Comprenons les grands défis, puis nous présenterons du nouveau matériel gratuit qui vise à résoudre ces problèmes.
Choix écrasant
Chip Huyen a collecté des données sur la scène des outils ML en 2020. Puce trouvée 284 outils, et le nombre ne cesse de croître. Les évaluations ne doivent pas nécessairement tenir compte de tous ces outils, à condition que nous puissions les réduire à ceux qui nous intéressent le plus.
Catégories floues
En règle générale, nous obtenons une image de quel logiciel fait quoi en mettant les produits dans des catégories. Il existe des tentatives pour le faire avec le diagramme de paysage LFAI, le paysage MAD et les listes GitHub. Mais souvent, les logiciels de ML font plus d’une chose et peuvent entrer dans plusieurs catégories. Les plates-formes sont particulièrement difficiles à catégoriser car elles visent explicitement à faire plus d’une chose.
Parce qu’il est difficile de catégoriser les logiciels qui font plusieurs choses, les plates-formes de ML ont toutes tendance à se retrouver dans une seule catégorie de « plate-forme ». Cela masque l’accent mis sur chaque plate-forme et perd toutes les nuances de la façon dont différentes plates-formes font des choses similaires de différentes manières.
Paysage changeant
Les catégories de ML sont difficiles à suivre en partie parce que de nouvelles catégories continuent d’apparaître. Les magasins de détail, par exemple, n’existent pas depuis très longtemps, mais constituent désormais une catégorie importante. Cela affecte également les plates-formes, car les plates-formes introduisent de nouvelles fonctionnalités importantes et modifient leur accent (en partie, en réponse à l’apparition de nouveaux outils).
Problèmes complexes
Le ML est complexe. C’est aussi un grand terrain. Les plateformes font un large éventail de choses, Cela signifie donc comprendre la régression, la classification, la PNL, le traitement d’images, l’apprentissage par renforcement, l’explicabilité, AutoML et bien plus encore.
Éventail de rôles et de parties prenantes
Non seulement les problèmes sont divers et complexes, mais il y a aussi un éventail de rôles impliqués dans le cycle de vie du ML. Data Scientists, ML Engineers, Data Engineers, SRE, Product Managers, Architects, Application Developers, Platform Developers, End-Users, etc. Différents rôles ont différents points d’interaction avec le logiciel et différents besoins de celui-ci.
Construire vs acheter
Il y a beaucoup de discussions sur les compromis entre la construction et l’achat dans l’espace ML. De quel contrôle les organisations ont-elles besoin sur leur pile ? Combien coûte ce contrôle ? Construire contre acheter est souvent présenté comme un choix, mais il s’agit plutôt d’un spectre. Ce n’est qu’une des controverses déroutantes dans l’espace ML (considérez à quel point AutoML est controversé).
Comment pouvons-nous surmonter tout cela ?
Nous avons lancé deux nouvelles ressources pour vous aider. Pour comprendre le paysage et faire face aux compromis, nous avons lancé un Guide d’évaluation des plates-formes MLOps.
Ceci est disponible gratuitement sans aucune inscription. Il explique comment distinguer les plateformes MLOps et comment structurer une évaluation en fonction des besoins de votre organisation.
Nous devons également appliquer ces connaissances et voir comment comparer les plateformes les unes par rapport aux autres. Pour cela, nous avons publié une matrice de comparaison open source.
La matrice est structurée pour mettre en évidence la façon dont les fournisseurs font les choses à leur manière et indique plus de détails dans la documentation du produit. Nous avons également inclus dans le référentiel une série de profils qui décrivent les orientations des produits des plates-formes populaires de manière concise et sans marketing.
Nous espérons que vous trouverez ce matériel utile et les contributions bienvenues sur GitHub. N’hésitez pas à poser vos questions soit sur GitHub soit à moi directement sur Twitter, LinkedIn.