Les biais de l'IA Les moyens pour les détecter & les compenser - Rachel Orti, IBM Mélanie Shilpa Rao, IBM
←
→
Transcription du contenu de la page
Si votre navigateur ne rend pas la page correctement, lisez s'il vous plaît le contenu de la page ci-dessous
Les biais de l'IA
Les moyens pour les détecter & les compenser
—
Rachel Orti, IBM
Mélanie Shilpa Rao, IBM
IBM
Rachel Orti Mélanie Shilpa Rao — — Tech Lead/Dev Cloud Engineer IBM Cloud and Cognitive Software IBM Cloud and Cognitive Software @rachel_orti @msr4cloud IBM
Pour une IA éthique
Supervision
humaine
Responsabili-
sation
Robustesse
& sécurité
7
Principes
(selon la commission
IA éthique européenne)
Bien-être Respect de la
sociétal & vie privée &
environne- gouvernance
mental des données
Diversité,
non-
Transparence
discrimination
& équité
IBM
Pour une IA éthique
Supervision
humaine
Responsabili-
sation
Robustesse
& sécurité
7
Principes
(selon la commission
IA éthique européenne)
Bien-être Respect de la
sociétal & vie privée &
environne- gouvernance
mental des données
Diversité,
non-
Transparence
discrimination
& équité
IBM
La démocratisation de l'IA IBM
Plein de librairies open source ... IBM
Projet Norman http://norman-ai.mit.edu/ Test de Rorschach IBM
Projet Norman
AI trained on COCO
dataset sees:
“A couple of people
standing next to each
other.”
http://norman-ai.mit.edu/
IBM
Projet Norman
AI trained on COCO AI trained on subreddits
dataset sees: about death, Norman,
sees:
“A couple of people
standing next to each “Man jumps from floor
other.” window.”
http://norman-ai.mit.edu/
IBM
L'IA dans le recrutement : un futur annoncé comme prometteur IBM
L'IA dans le recrutement : un présent mitigé IBM
La justice prédictive : COMPAS https://www.nature.com/articles/d41586-018-05469-3 IBM
La justice prédictive : COMPAS https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing IBM
Comment développer des
IAs sans biais ?
IBMComment développer des
IAs sans biais ?
Le facteur humain
IBMC’est quoi le biais
humain ?
= Une distorsion
que subit une
information en
entrant dans le
système cognitif
ou en sortant
IBMC’est quoi le biais
humain ?
= Une distorsion
que subit une
information en
entrant dans le
système cognitif
ou en sortant
IBMDébiaiser les humains : des mouvements pour tous
DATA FOR GOOD
IBMDébiaiser les humains : des équipes soucieuses du sujet
"The Google People Operations "At IBM, I’ve been researching and
team began building a workshop for testing methods for integrating bias
employees - Unconscious Bias @ mitigation into traditional design
Work" thinking practices"
https://rework.withgoogle.com/guides/unbiasing-raise-awareness/steps/watch-unconscious-bias-at-work/
https://medium.com/design-ibm/the-origins-of-bias-and-how-ai-might-be-our-answer-to-ending-it-acc3610d6354
IBMDébiaiser les humains : des équipes diverses https://www.wsj.com/articles/a-crucial-step-for-avoiding-ai-disasters-11550069865 IBM
Comment développer des
IAs sans biais ?
Les clés techniques
IBMC’est quoi le biais
algorithmique ?
= Une erreur faite
systématiquement
sur certains individus
et qui les place à un
désavantage
systématique
IBMDes critères protégés où les biais sont interdits
L’âge Le sexe La situation L’appartenance L’appartenance
de famille ou non à une ou non à une
nation ethnie
...
L’appartenance ou Le handicap L’identité L’orientation La grossesse
non à une religion sexuelle sexuelle
déterminée
IBMRGPD : des critères protégés en plus
Article 22 paragraphe 4 — Interdit de prendre des décisions (sauf
consentement ou motif d'intérêt public important) fondées sur :
Origine raciale ou ethnique, opinions politiques, convictions religieuses
ou philosophiques ou appartenance syndicale, données génétiques,
biométriques, sur la santé, sur la vie sexuelle ou l'orientation
sexuelle (article 9 paragraphe 1)
https://www.cnil.fr/fr/reglement-europeen-protection-donnees/
IBMEquité de la procédure : l’approche ignorante
Ignorance
(Unawareness)
IBML’équité et les métriques d’équité : un sujet complexe IBM
Equité du résultat : l'approche informée
Equité individuelle Equité de groupe
(Individual fairness) (Group fairness)
IBMLa base des métriques d'équité : la matrice de confusion
Prédiction
Oui Non
Oui True Positive (TP) False Negative (FN)
Réalité
Non False Positive (FP) True Negative (TN)
IBMLa base des métriques d'équité : la matrice de confusion
Prédiction
Oui Non
Oui True Positive (TP) False Negative (FN)
Réalité
Non False Positive (FP) True Negative (TN)
(FP)
(FN)
https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
IBMEquité de groupe : quelques métriques
Noms Définition Critiques
Equal accuracy Autant de prédictions correctes pour Intervention non-équitable sur les
chaque groupe : TP + TN ≈ prédictions incorrectes
IBMEquité de groupe : quelques métriques
Noms Définition Critiques
Equal accuracy Autant de prédictions correctes pour Intervention non-équitable sur les
chaque groupe : TP + TN ≈ prédictions incorrectes
Demographic parity Autant de prédictions favorables Intervention équitable mais ignore la
= Statistical parity pour chaque groupe : notion de justesse
= Equal parity - Favorable = positif : TP + FP ≈
- Favorable = négatif : TN + FN ≈
IBMEquité de groupe : quelques métriques
Noms Définition Critiques
Equal accuracy Autant de prédictions correctes pour Intervention non-équitable sur les
chaque groupe : TP + TN ≈ prédictions incorrectes
Demographic parity Autant de prédictions favorables Intervention équitable mais ignore la
= Statistical parity pour chaque groupe : notion de justesse
= Equal parity - Favorable = positif : TP + FP ≈
- Favorable = négatif : TN + FN ≈
Equal opportunity Autant de prédictions positives Surtout utile pour les situations aidantes :
= Equalized odds correctes pour chaque groupe : important de ne pas se tromper
= Independence TP ≈ (et FN ≈) négativement peu importe le groupe
= TP rate parity
= FN rate parity
IBMEquité de groupe : quelques métriques
Noms Définition Critiques
Equal accuracy Autant de prédictions correctes pour Intervention non-équitable sur les
chaque groupe : TP + TN ≈ prédictions incorrectes
Demographic parity Autant de prédictions favorables Intervention équitable mais ignore la
= Statistical parity pour chaque groupe : notion de justesse
= Equal parity - Favorable = positif : TP + FP ≈
- Favorable = négatif : TN + FN ≈
Equal opportunity Autant de prédictions positives Surtout utile pour les situations aidantes :
= Equalized odds correctes pour chaque groupe : important de ne pas se tromper
= Independence TP ≈ (et FN ≈) négativement peu importe le groupe
= TP rate parity
= FN rate parity
FP Rate Parity Autant de prédictions positives Surtout utile pour les situations punitives :
= TN Rate Parity incorrectes pour chaque groupe : important de ne pas se tromper
FP ≈ (et TN ≈) positivement peu importe le groupe
IBMDébiaiser les IAs : agir sur les données “à la main” IBM
La reconnaissance faciale : des données plus diverses https://www.research.ibm.com/artificial-intelligence/trusted-ai/diversity-in-faces/ IBM
Des algorithmes à la rescousse !
IBM AI Fairness 360 Open Source Toolkit
IBMDébiaiser les IAs IBM
Débiaiser les IAs : agir sur les données
Optimized Pre-Processing
IBMDébiaiser les IAs : agir sur les données
Optimized Pre-Processing
Reweighing
IBMDébiaiser les IAs : agir sur le modèle
Optimized Pre-Processing Prejudice Remover
Reweighing
IBMDébiaiser les IAs : agir sur le modèle
Optimized Pre-Processing Prejudice Remover
Reweighing Adversarial Debiasing
IBMDébiaiser les IAs : agir sur les prédictions
Optimized Pre-Processing Prejudice Remover Equalized Odds Post-
Reweighing Adversarial Debiasing Processing
IBMDébiaiser les IAs : agir sur les prédictions
Optimized Pre-Processing Prejudice Remover Equalized Odds Post-
Reweighing Adversarial Debiasing Processing
Reject Option Classification
IBMQuelques outils & frameworks actuels
Nom Date de Outil/API Disponi- Explicabilité Estimation Equité Atténuation de
lancement bilité biais
Audit AI 05/2018 API Python Open Non ~10 métriques Non
Notebooks Jupyter source
What-If Tool 09/2018 Outil graphique Open Oui : des données 5 métriques Variateur de seuil
Intégration TensorBoard source Non : de décisions
& notebooks
Démo web
Notebooks Jupyter
AI Fairness 360 09/2018 API Python Open Non 70+ métriques 10+ algorithmes
Démo web source
Notebooks Jupyter
AI Openscale 10/2018 API Python Offres Oui Oui : classification & Oui : classification
API REST gratuite/ régression structurées structurée
Outil web payante Non : classification Monitoring live
texte/images
Teach & Test AI 02/2018 ? Offre Oui ? Oui ? ?
payante
IBMDémo IBM
Conclusion IBM
Pour une IA éthique
Supervision
humaine
Responsabili-
sation
Robustesse
& sécurité
7
Principes
(selon la commission
IA éthique européenne)
Bien-être Respect de la
sociétal & vie privée &
environne- gouvernance
mental des données
Diversité,
non-
Transparence
discrimination
& équité
IBMPour une IA éthique
Supervision
humaine
Responsabili-
sation
Conscience
Robustesse
& sécurité
7
Principes
(selon la commission
IA éthique européenne)
Bien-être Respect de la
sociétal & Diversité vie privée &
Contrôle
3
environne- en continu
des gouvernance
mental équipes des données
Diversité,
non- Facteurs clés
Transparence
discrimination
& équité
pour tous
IBMData for Good propose un
… ou pour toute personne travaillant avec la donnée
IBMMerci ! IBM
Vous pouvez aussi lire
