EXPLICABILITÉ DE L'IA EN FINANCE LE POINT DE VUE DU SUPERVISEUR - Laurent Dupont Pôle Fintech-Innovation, ACPR 9 novembre 2020 - Telecom Paris
←
→
Transcription du contenu de la page
Si votre navigateur ne rend pas la page correctement, lisez s'il vous plaît le contenu de la page ci-dessous
EXPLICABILITÉ DE L’IA EN FINANCE
-
LE POINT DE VUE DU SUPERVISEUR
Laurent Dupont
Pôle Fintech-Innovation, ACPR
-
9 novembre 2020
PÔLE FINTECH-INNOVATION
8/07/2020
LES TRAVAUX DU PÔLE FINTECH-INNOVATION EN IA
Objectifs
1. Promouvoir un
développement maîtrisé
de l’IA en finance
2. Préparer les superviseurs
au contrôle de l’IA
Pôle fintech-innovation - 9 novembre 2020
2
PRINCIPES TECHNIQUES DE CONCEPTION DE L’IA
PÔLE FINTECH-INNOVATION
9 NOVEMBRE 2020
LES 4 PRINCIPES DE CONCEPTION DE L’IA
• Conformité • Métriques
réglementaire fonctionnelles
• Éthique et fairness • Métriques
techniques
Traitement
Performance
des données
Stabilité Explicabilité
• Généralisation • Transparence
• Réapprentissage • Intelligibilité
• Dérive • Acceptabilité
modèles/données
Pôle fintech-innovation - 9 novembre 2020
4
PRINCIPES DE CONCEPTION DE L’IA
• Conformité
réglementaire
• Éthique et fairness We will tackle unconscious bias that
exists in people, institutions and even
in algorithms.
Traitement Ursula von der Leyen
des données
(State of the Union, 16 Sep. 2020)
Algorithms must not be a black box
Explicabilité
and there must be clear rules if
something goes wrong.
• Transparence
Ursula von der Leyen • Intelligibilité
(State of the Union, 16 Sep. 2020) • Acceptabilité
Pôle fintech-innovation - 9 novembre 2020
5
EXPLICABILITÉ DE L’IA EN FINANCE
PÔLE FINTECH-INNOVATION
9 NOVEMBRE 2020
LES DIMENSIONS DE L’EXPLICABILITÉ
« Comment ? » : la transparence
• Validation et surveillance internes
• Auditabilité par le superviseur
« Pourquoi ? » : l’interprétabilité
• Compréhension du comportement
du système par les opérateurs
humains qui interagissent avec lui
• Compréhension par le client ou
utilisateur final
• Acceptabilité sociale ou éthique de la
solution Pôle fintech-innovation - 9 novembre 2020
7
TENSIONS ENTRE OBJECTIFS D’EXPLICABILITÉ
Auditeur Individus
Satisfaction impactés
Contrôle
interne Fidélité
au
modèle Utilisateurs
Intelligibilité
directs
Concepteur
Acceptabilité
Enjeux
sociétaux
Conformité Charte
Réglementation
éthique
transverse
et sectorielle Pôle fintech-innovation - 9 novembre 2020
8ÉVALUATION DU ML AU COURS DE SON CYCLE DE VIE
Pôle fintech-innovation - 9 novembre 2020
9ÉCHELLE DE NIVEAUX D’EXPLICATION
Pôle fintech-innovation - 9 novembre 2020EXEMPLE DE NIVEAU D’EXPLICATION
Niveau
Audience de
Contexte Risque associé d'explication
l'explication
requis Domaine
Contrats d’assurance
Processus Risque opérationnel
Client 1
d'indemnisation (insatisfaction du client)
Processus métier
Vérification au - Risque opérationnel
Gestion de contrat
quotidien du bon - Risque de conformité
Contrôleur interne 2
fonctionnement (respect du contrat)
du processus - Risque financier Fonctionnalité
Propositions
Évaluation de
- Risque opérationnel
- Risque de conformité
d’indemnisation
Auditeur 3
l'algorithme (respect du contrat)
- Risque financier
Pôle fintech-innovation - 9 novembre 2020
11MÉTHODOLOGIE DE L’IA EXPLICABLE
PÔLE FINTECH-INNOVATION
9 NOVEMBRE 2020EXPLICATIONS POST-MODÉLISATION
• Méthodes les plus courantes
• Partial Dependency Plots
• LIME
• SHAP et variantes
• Global Surrogate Models
• Avant-garde
• Anchors
• MACEM (contrefactuelles)
Pôle fintech-innovation - 9 novembre 2020
13ARCHITECTURES EXPLICABLES
Pôle fintech-innovation - 9 novembre 2020
14MODÈLES INTERPRÉTABLES
“Stop Explaining Black Box
Approche Approche Machine Learning Models for High
normative descriptive
Stakes Decisions and Use Interpretable
• Entraînement • Production
d’un modèle d’explications Models Instead.”
interprétable post-hoc Cynthia Rudin (2018)
Pôle fintech-innovation - 9 novembre 2020
15SUPERVISION DE L’IA EN FINANCE
PÔLE FINTECH-INNOVATION
9 NOVEMBRE 2020APPROCHE PRÉCONISÉE POUR L’IA EXPLICABLE
Trouver un modèle
Construire un modèle à Sinon, optimiser via un
interprétable à
performance élevée modèle challenger
performance similaire
Dans tous les cas,
publier la performance Sinon, produire des Sinon, recourir à un
du meilleur modèle explications post-hoc modèle hybride
interprétable
Pôle fintech-innovation - 9 novembre 2020
17LIMITES À L’EXPLICABILITÉ (THE RETURN OF THE BLACKBOX)
Algorithms that remember:
model inversion attacks and
NLP data protection law.
Apprentissage Michael Veale et al. (2018)
non supervisé
Vendor NIST Study Shows Face Recognition
models Experts Perform Better With AI as Partner 18
Pôle fintech-innovation - 9 novembre 2020PROPOSITION DE « BOÎTE À OUTILS DU SUPERVISEUR D’IA »
Objet audité
…de l’algorithme ou
Outil d’audit… …des données …du modèle
service d’IA
Approches Datasheets, Data
analytiques Standards descriptifs Factsheets Model Cards
Statements, etc.
Quelques standards en
Analyse statique Analyse exploratoire Code source Deep Learning
uniquement
Post-modélisation
Méthodes conjointes (locales/globales,
Méthodes explicatives Pré-modélisation
(TED, etc.) spécifiques/agnostique
s au modèle)
Approches
Méthodes empiriques Jeux de données de Algorithmes
empiriques Modèles challengers
d’audit benchmarking challengers
Pôle fintech-innovation - 9 novembre 2020
19EXPLICABILITÉ DE L’IA EN FINANCE : LE POINT DE VUE DU SUPERVISEUR
Merci pour votre attention.
Liens utiles
• Document de réflexion et consultation publique
• Version en anglais
• Chaire XAI4AML
Pour toute question : fintech-innovation@acpr.banque-france.fr
Pôle fintech-innovation - 9 novembre 2020
20Vous pouvez aussi lire
