Gouvernance de l'IA Agentique et Model Risk Management

Á propos de ce Webinaire

Démo Live : Comment gouverner un chatbot IA avec LLM Judge et SAS Model Risk Management ?

Le défi : Valider et déployer des chatbots IA et systèmes agentiques (LLMs) dans un cadre bancaire régulé où l'explicabilité devient obligatoire (Guide BCE juillet 2025) et où l'AI Act impose des exigences strictes (échéance août 2026, sanctions jusqu'à 3% CA).

Démonstration Technique

Partie 1 : Chatbot IA avec LLM Judge en action

• Cas d'usage bancaire : Chatbot répondant aux requêtes clients
• Monitoring en temps réel : Pendant que le chatbot répond, un LLM Judge évalue chaque réponse :
  • Faithfulness (fidélité aux sources) : la réponse est-elle factuelle ?
  • Context precision : le contexte fourni est-il pertinent ?
  • Answer relevance : la réponse correspond-elle à la question ?
• Framework d'évaluation complet :
  • Métriques automatiques générées par le LLM Judge
  • Dashboard SAS Visual Analytics affichant les scores de qualité
  • Alertes automatiques si dégradation de performance

Partie 2 : SAS Model Risk Management pour l'IA agentique

• Référentiel centralisé : Inventaire du système chatbot + modèles LLM sous-jacents
• Gouvernance des modèles :
  • Questionnaires de validation adaptés aux LLMs
  • Documentation des modèles (architecture, données d'entraînement, risques identifiés)
  • Workflow d'approbation : développement → validation → mise en production
• Comment le chatbot + LLM Judge s'intègre dans MRM
  • Traçabilité complète des décisions du chatbot
  • Audit trail : qui a validé quoi, quand ?
  • Gestion des incidents et revalidation si drift détecté

Contexte Réglementaire

AI Act & Guide BCE : ce qui change pour les chatbots bancaires

• Systèmes à haut risque : l'AI Act classe les chatbots de scoring crédit comme "high-risk"
• Framework de gouvernance universel : le LLM Judge peut valider tout type de chatbot bancaire
• Exigences d'explicabilité : métriques automatisées (faithfulness, precision) comme preuve de conformité
• Documentation obligatoire : métriques de performance, tests de robustesse, audit trail
• Rôle de l'ACPR : supervision et dialogue avec les banques françaises

Nos Solutions SAS pour la conformité

• SAS AI Governance : traçabilité, gestion des biais, conformité AI Act
• SAS Model Risk Management : référentiel centralisé et workflows de validation
• SAS Risk Modeling and Decisioning : intégration native Python/R pour modèles custom
• SAS Intelligent Decisioning : déploiement de décisions IA avec monitoring continu

Apprenez-en plus sur :

• L’application concrète de certaines nouvelles fonctionnalités dans la gestion du risque de crédit.
• Les meilleures pratiques partagées par les experts SAS en décisionnel pour le risque de crédit.

Animé par Abdelhafid El Attar, Sr Business Solutions Manager à SAS France.