ModelOps : comment opérationnaliser le cycle de vie d'un modèle

ModelOps est le processus par lequel les modèles analytiques sont transférés de l'équipe data science vers l'équipe de production informatique, avec un rythme régulier de déploiement et de mises à jour. Dans la course à la rentabilisation des modèles d'IA, c'est un facteur gagnant que peu d'entreprises utilisent.

De plus en plus, les organisations s'appuient sur les modèles de machine learning (ML) pour convertir des volumes importants de données en informations utiles. Ces modèles de ML ne sont pas limités par le nombre de dimensions des données auxquelles ils peuvent accéder et utilisent d'importantes quantités de données non structurées pour identifier des patterns à des fins de prédiction.

Introduction... ModelOps

Mais le développement et le déploiement de modèles restent complexes. Seulement 50 % des modèles sont mis en production, et ceux-ci ne sont prêts à être déployés qu'au bout de trois mois. Autant d'efforts et de temps représentent des coûts opérationnels et retardent la création de valeur.

Tous les modèles perdent de leur efficacité dans le temps, et sans une attention régulière, leur performance se dégrade. Les modèles sont comme les voitures : pour garantir leur performance, vous devez effectuer une maintenance régulière. La performance du modèle ne dépend pas seulement de sa construction, mais aussi des données, de l'ajustement, des mises à jour régulières et du recalibrage.

ModelOps vous permet de passer de la phase de conception aux phases de validation, de test et de production aussi rapidement possible, tout en garantissant d’excellents résultats. Cela vous permet de gérer et de faire évoluer les modèles pour mieux répondre à la demande, mais aussi de les surveiller en permanence pour détecter et corriger au plus tôt les signes de dégradation. ModelOps repose sur les principes DevOps établis de longue date. C'est indispensable pour mettre en œuvre des analyses prédictives évolutives. Mais soyons clairs : les meilleures pratiques de développement de modèles sont différentes de celles de l'ingénierie logicielle. Vous comprendrez mieux la différence en lisant la suite.

Mesurer les résultats du début à la fin

La première étape de ModelOps consiste à suivre la performance de votre programme ModelOps. Pourquoi ? Parce que ModelOps représente un cycle de développement, de test, de déploiement et de suivi, mais qu'il ne peut être efficace que s'il vise à fournir l'évolutivité et la précision dont votre organisation a besoin.

Vous avez besoin d'évaluer au plus haut niveau l'efficacité de votre programme ModelOps. La mise en œuvre des pratiques de ModelOps vous a-t-elle permis d'atteindre l'échelle, la précision et la rigueur du processus nécessaires à votre organisation ?

Ensuite, au niveau opérationnel, vous devez suivre la performance de chaque modèle. À mesure qu'ils se dégradent, ils doivent être recalibrés et redéployés. Vous trouverez ci-dessous quelques éléments à prendre en compte lorsque vous créez un tableau de bord de performance :

• Pour les modèles (ou classes de modèles), définissez des objectifs de précision et suivez-les tout au long des phases de développement, de validation et de déploiement, en tenant compte de facteurs tels que la dérive et la dégradation.
• Identifiez les indicateurs de performance métier impactés par le modèle en fonctionnement. Par exemple, un modèle conçu pour augmenter le nombre d'abonnés a-t-il réellement un effet positif sur le nombre d'abonnements ?
• Suivez des indicateurs comme la taille des données et la fréquence des mises à jour, la localisation, les catégories et les types. Parfois les problèmes de performance du modèle proviennent de changements dans les données et leurs sources, et ces indicateurs peuvent vous aider dans votre enquête.
• Surveillez la consommation du modèle en ressources informatiques et en mémoire.

En ce qui concerne les indicateurs, la validation du modèle constitue une base essentielle de ModelOps. Certains utilisent de façon interchangeable les termes validation et vérification, mais leurs objectifs sont pourtant différents.

La vérification permet de s'assurer qu'un modèle a été déployé correctement et fonctionne comme prévu. La validation permet de s'assurer que le modèle fournit les résultats escomptés par rapport à ses objectifs fondamentaux. Ces deux étapes font partie des bonnes pratiques en matière de développement et de déploiement de modèles de qualité.

Trois problèmes courants que l'approche ModelOps solutionne

Les modèles peuvent se dégrader peu après leur déploiement (parfois après seulement quelques jours). Bien sûr, certains paramètres impactent la performance de vos modèles plus que d'autres. Vous trouverez ci-dessous quelques problèmes courants, que vous rencontrerez presque certainement.

Qualité des données

Des changements subtils ou des variations dans les données qui passent inaperçus ou ont un effet minime sur certains processus analytiques traditionnels peuvent avoir un impact plus important sur la précision du modèle de machine learning.

Dans le cadre de votre travail avec ModelOps, il est important d'évaluer correctement les sources de données et les variables disponibles pour vos modèles de manière à répondre aux questions suivantes :

• Quelles sources de données allez-vous utiliser ?
• Seriez-vous à l'aise de dire à un client qu'une décision a été prise en fonction de ces données ?
• Les données en entrée enfreignent-elles directement ou indirectement une quelconque réglementation ?
• Comment avez-vous pris en compte les biais du modèle ?
• À quelle fréquence de nouveaux champs de données sont-ils ajoutés ou modifiés ?
• Pouvez-vous reproduire votre processus d'ingénierie des caractéristiques en environnement de production ?

Temps de déploiement

Puisque le cycle de développement/déploiement peut être long, vous devez d'abord évaluer la durée de ce cycle pour votre organisation puis définir des critères de référence afin de mesurer les améliorations. Décomposez votre processus en étapes distinctes, puis mesurez et comparez les projets afin d'identifier les bonnes et mauvaises pratiques. Prenez également en compte le logiciel de gestion du modèle, qui peut vous aider à automatiser certaines activités.

Dégradation

Restez à l’affût des dérives et des biais. La réponse à ces problèmes passe la création d'une approche robuste pour la gestion des modèles au sein de votre organisation. Si chacun prend sa part de responsabilité dans la santé de vos modèles, des développeurs aux utilisateurs métier, ces problèmes pourront être réglés avant même qu'ils impactent vos résultats financiers.

Quand mettre à jour vos modèles

L'aspect le plus difficile du machine learning est de déployer des modèles et de maintenir leur précision. Cela implique de chercher des données toujours plus récentes et de meilleure qualité pour alimenter les modèles et améliorer leur précision.

Existe-t-il un planning type que vous pouvez mettre en œuvre pour recalibrer les modèles qui tombent en dessous de vos seuils de précision ? La réponse est simple : non. Pourquoi ? L'une des raisons est que les modèles se dégradent à des rythmes différents. Une autre raison est que le besoin en précision dépend de votre objectif. Par exemple, si le risque lié à une prédiction inexacte est coûteux ou dangereux, il peut être nécessaire de mettre à jour continuellement le modèle.

C'est pourquoi il est important de comprendre les niveaux de précision de vos modèles en suivant les résultats et vos propres mesures de précision.

Le danger de ne pas tenir compte de ModelOps

La puissance prédictive de ces modèles, combinée à la disponibilité des big data et à une puissance de calcul croissante, continuera de représenter un avantage concurrentiel pour les organisations intelligentes. Celles qui ne parviennent pas à adopter ModelOps s'exposeront à des difficultés pour développer leurs analytiques et perdront du terrain par rapport à la concurrence.