Les biais de l'IA Les moyens pour les détecter & les compenser - Rachel Orti, IBM Mélanie Shilpa Rao, IBM

 
CONTINUER À LIRE
Les biais de l'IA Les moyens pour les détecter & les compenser - Rachel Orti, IBM Mélanie Shilpa Rao, IBM
Les biais de l'IA
      Les moyens pour les détecter & les compenser
      —
      Rachel Orti, IBM
      Mélanie Shilpa Rao, IBM

IBM
Les biais de l'IA Les moyens pour les détecter & les compenser - Rachel Orti, IBM Mélanie Shilpa Rao, IBM
Rachel Orti                        Mélanie Shilpa Rao
—                                  —

Tech Lead/Dev                      Cloud Engineer
IBM Cloud and Cognitive Software   IBM Cloud and Cognitive Software
@rachel_orti                       @msr4cloud

IBM
Les biais de l'IA Les moyens pour les détecter & les compenser - Rachel Orti, IBM Mélanie Shilpa Rao, IBM
Pour une IA éthique
                                    Supervision
                                     humaine

          Responsabili-
             sation
                                                            Robustesse
                                                             & sécurité
                                                                                       7
                                                                                       Principes
                                                                                 (selon la commission
                                    IA éthique                                       européenne)
       Bien-être                                                 Respect de la
      sociétal &                                                  vie privée &
      environne-                                                 gouvernance
        mental                                                   des données

                     Diversité,
                        non-
                                                  Transparence
                   discrimination
                      & équité
IBM
Les biais de l'IA Les moyens pour les détecter & les compenser - Rachel Orti, IBM Mélanie Shilpa Rao, IBM
Pour une IA éthique
                                    Supervision
                                     humaine

          Responsabili-
             sation
                                                            Robustesse
                                                             & sécurité
                                                                                       7
                                                                                       Principes
                                                                                 (selon la commission
                                    IA éthique                                       européenne)
       Bien-être                                                 Respect de la
      sociétal &                                                  vie privée &
      environne-                                                 gouvernance
        mental                                                   des données

                     Diversité,
                        non-
                                                  Transparence
                   discrimination
                      & équité
IBM
Les biais de l'IA Les moyens pour les détecter & les compenser - Rachel Orti, IBM Mélanie Shilpa Rao, IBM
La démocratisation de l'IA

IBM
Les biais de l'IA Les moyens pour les détecter & les compenser - Rachel Orti, IBM Mélanie Shilpa Rao, IBM
Plein de librairies open source ...

IBM
Les biais de l'IA Les moyens pour les détecter & les compenser - Rachel Orti, IBM Mélanie Shilpa Rao, IBM
Projet Norman

http://norman-ai.mit.edu/   Test de Rorschach
IBM
Les biais de l'IA Les moyens pour les détecter & les compenser - Rachel Orti, IBM Mélanie Shilpa Rao, IBM
Projet Norman

      AI trained on COCO
      dataset sees:

      “A couple of people
      standing next to each
      other.”

http://norman-ai.mit.edu/
IBM
Les biais de l'IA Les moyens pour les détecter & les compenser - Rachel Orti, IBM Mélanie Shilpa Rao, IBM
Projet Norman

      AI trained on COCO      AI trained on subreddits
      dataset sees:           about death, Norman,
                              sees:
      “A couple of people
      standing next to each   “Man jumps from floor
      other.”                 window.”

http://norman-ai.mit.edu/
IBM
Les biais de l'IA Les moyens pour les détecter & les compenser - Rachel Orti, IBM Mélanie Shilpa Rao, IBM
L'IA dans le recrutement : un futur annoncé comme prometteur

IBM
L'IA dans le recrutement : un présent mitigé

IBM
La justice prédictive : COMPAS

https://www.nature.com/articles/d41586-018-05469-3
IBM
La justice prédictive : COMPAS

https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
IBM
Comment développer des
         IAs sans biais ?

IBM
Comment développer des
         IAs sans biais ?

         Le facteur humain

IBM
C’est quoi le biais
    humain ?

= Une distorsion
  que subit une
 information en
 entrant dans le
système cognitif
  ou en sortant

IBM
C’est quoi le biais
    humain ?

= Une distorsion
  que subit une
 information en
 entrant dans le
système cognitif
  ou en sortant

IBM
Débiaiser les humains : des mouvements pour tous

                          DATA FOR GOOD

IBM
Débiaiser les humains : des équipes soucieuses du sujet

      "The Google People Operations                         "At IBM, I’ve been researching and
      team began building a workshop for                   testing methods for integrating bias
      employees - Unconscious Bias @                       mitigation into traditional design
      Work"                                                thinking practices"

https://rework.withgoogle.com/guides/unbiasing-raise-awareness/steps/watch-unconscious-bias-at-work/
https://medium.com/design-ibm/the-origins-of-bias-and-how-ai-might-be-our-answer-to-ending-it-acc3610d6354

IBM
Débiaiser les humains : des équipes diverses

https://www.wsj.com/articles/a-crucial-step-for-avoiding-ai-disasters-11550069865

IBM
Comment développer des
         IAs sans biais ?

        Les clés techniques

IBM
C’est quoi le biais
         algorithmique ?
        = Une erreur faite
        systématiquement
      sur certains individus
       et qui les place à un
           désavantage
           systématique

IBM
Des critères protégés où les biais sont interdits

           L’âge            Le sexe      La situation   L’appartenance   L’appartenance
                                          de famille     ou non à une     ou non à une
                                                            nation           ethnie

                                                                                          ...

      L’appartenance ou    Le handicap    L’identité     L’orientation   La grossesse
      non à une religion                  sexuelle         sexuelle
          déterminée

IBM
RGPD : des critères protégés en plus

      Article 22 paragraphe 4 — Interdit de prendre des décisions (sauf
      consentement ou motif d'intérêt public important) fondées sur :
              Origine raciale ou ethnique, opinions politiques, convictions religieuses
              ou philosophiques ou appartenance syndicale, données génétiques,
              biométriques, sur la santé, sur la vie sexuelle ou l'orientation
              sexuelle (article 9 paragraphe 1)

https://www.cnil.fr/fr/reglement-europeen-protection-donnees/
IBM
Equité de la procédure : l’approche ignorante

                              Ignorance
                            (Unawareness)

IBM
L’équité et les métriques d’équité : un sujet complexe

IBM
Equité du résultat : l'approche informée

              Equité individuelle          Equité de groupe
             (Individual fairness)         (Group fairness)

IBM
La base des métriques d'équité : la matrice de confusion

                                                Prédiction

                                Oui                   Non

                  Oui           True Positive (TP)    False Negative (FN)
        Réalité
                  Non           False Positive (FP)   True Negative (TN)

IBM
La base des métriques d'équité : la matrice de confusion

                                                                    Prédiction

                                                    Oui                    Non

                           Oui                      True Positive (TP)     False Negative (FN)
          Réalité
                           Non                      False Positive (FP)    True Negative (TN)

                                                (FP)
                                             (FN)

      https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
IBM
Equité de groupe : quelques métriques
Noms             Définition                             Critiques

Equal accuracy   Autant de prédictions correctes pour   Intervention non-équitable sur les
                 chaque groupe : TP + TN ≈              prédictions incorrectes

IBM
Equité de groupe : quelques métriques
Noms                   Définition                             Critiques

Equal accuracy         Autant de prédictions correctes pour   Intervention non-équitable sur les
                       chaque groupe : TP + TN ≈              prédictions incorrectes
Demographic parity     Autant de prédictions favorables       Intervention équitable mais ignore la
= Statistical parity   pour chaque groupe :                   notion de justesse
= Equal parity         - Favorable = positif : TP + FP ≈
                       - Favorable = négatif : TN + FN ≈

IBM
Equité de groupe : quelques métriques
Noms                   Définition                             Critiques

Equal accuracy         Autant de prédictions correctes pour   Intervention non-équitable sur les
                       chaque groupe : TP + TN ≈              prédictions incorrectes
Demographic parity     Autant de prédictions favorables       Intervention équitable mais ignore la
= Statistical parity   pour chaque groupe :                   notion de justesse
= Equal parity         - Favorable = positif : TP + FP ≈
                       - Favorable = négatif : TN + FN ≈
Equal opportunity      Autant de prédictions positives        Surtout utile pour les situations aidantes :
= Equalized odds       correctes pour chaque groupe :         important de ne pas se tromper
= Independence         TP ≈ (et FN ≈)                         négativement peu importe le groupe
= TP rate parity
= FN rate parity

IBM
Equité de groupe : quelques métriques
Noms                   Définition                             Critiques

Equal accuracy         Autant de prédictions correctes pour   Intervention non-équitable sur les
                       chaque groupe : TP + TN ≈              prédictions incorrectes
Demographic parity     Autant de prédictions favorables       Intervention équitable mais ignore la
= Statistical parity   pour chaque groupe :                   notion de justesse
= Equal parity         - Favorable = positif : TP + FP ≈
                       - Favorable = négatif : TN + FN ≈
Equal opportunity      Autant de prédictions positives        Surtout utile pour les situations aidantes :
= Equalized odds       correctes pour chaque groupe :         important de ne pas se tromper
= Independence         TP ≈ (et FN ≈)                         négativement peu importe le groupe
= TP rate parity
= FN rate parity
FP Rate Parity         Autant de prédictions positives        Surtout utile pour les situations punitives :
= TN Rate Parity       incorrectes pour chaque groupe :       important de ne pas se tromper
                       FP ≈ (et TN ≈)                         positivement peu importe le groupe

IBM
Débiaiser les IAs : agir sur les données “à la main”

IBM
La reconnaissance faciale : des données plus diverses

https://www.research.ibm.com/artificial-intelligence/trusted-ai/diversity-in-faces/
IBM
Des algorithmes à la rescousse !

                                   IBM AI Fairness 360 Open Source Toolkit
IBM
Débiaiser les IAs

IBM
Débiaiser les IAs : agir sur les données

      Optimized Pre-Processing

IBM
Débiaiser les IAs : agir sur les données

      Optimized Pre-Processing
            Reweighing

IBM
Débiaiser les IAs : agir sur le modèle

      Optimized Pre-Processing   Prejudice Remover
            Reweighing

IBM
Débiaiser les IAs : agir sur le modèle

      Optimized Pre-Processing    Prejudice Remover
            Reweighing           Adversarial Debiasing

IBM
Débiaiser les IAs : agir sur les prédictions

      Optimized Pre-Processing    Prejudice Remover      Equalized Odds Post-
            Reweighing           Adversarial Debiasing       Processing

IBM
Débiaiser les IAs : agir sur les prédictions

      Optimized Pre-Processing    Prejudice Remover         Equalized Odds Post-
            Reweighing           Adversarial Debiasing           Processing
                                                         Reject Option Classification

IBM
Quelques outils & frameworks actuels

Nom               Date de     Outil/API                 Disponi-    Explicabilité        Estimation Equité        Atténuation de
                  lancement                             bilité                                                    biais
Audit AI          05/2018     API Python                Open        Non                  ~10 métriques            Non
                              Notebooks Jupyter         source

What-If Tool      09/2018     Outil graphique           Open        Oui : des données    5 métriques              Variateur de seuil
                              Intégration TensorBoard   source      Non : de décisions
                              & notebooks
                              Démo web
                              Notebooks Jupyter
AI Fairness 360   09/2018     API Python                Open        Non                  70+ métriques            10+ algorithmes
                              Démo web                  source
                              Notebooks Jupyter
AI Openscale      10/2018     API Python                Offres      Oui                  Oui : classification &   Oui : classification
                              API REST                  gratuite/                        régression structurées   structurée
                              Outil web                 payante                          Non : classification     Monitoring live
                                                                                         texte/images
Teach & Test AI   02/2018     ?                         Offre       Oui ?                Oui ?                    ?
                                                        payante

  IBM
Démo

IBM
Conclusion

IBM
Pour une IA éthique
                                    Supervision
                                     humaine

          Responsabili-
             sation
                                                            Robustesse
                                                             & sécurité
                                                                                       7
                                                                                       Principes
                                                                                 (selon la commission
                                    IA éthique                                       européenne)
       Bien-être                                                 Respect de la
      sociétal &                                                  vie privée &
      environne-                                                 gouvernance
        mental                                                   des données

                     Diversité,
                        non-
                                                  Transparence
                   discrimination
                      & équité
IBM
Pour une IA éthique
                                    Supervision
                                     humaine

          Responsabili-
             sation
                                    Conscience
                                                                 Robustesse
                                                                  & sécurité
                                                                                           7
                                                                                           Principes
                                                                                     (selon la commission
                                    IA éthique                                           européenne)
       Bien-être                                                     Respect de la
      sociétal &                                     Diversité        vie privée &
                      Contrôle

                                                                                           3
      environne-     en continu
                                                       des           gouvernance
        mental                                       équipes         des données

                     Diversité,
                        non-                                                            Facteurs clés
                                                  Transparence
                   discrimination
                      & équité
                                                                                         pour tous
IBM
Data for Good propose un

               … ou pour toute personne travaillant avec la donnée

IBM
Merci !

IBM
Vous pouvez aussi lire