ELM Employees' Lives Matter Fairness in Online Labor Markets - CNRS

ELM
    Employees’ Lives Matter
Fairness in Online Labor Markets
       Sihem Amer-Yahia, DR CNRS
Aida Bennini, MdC Droit privé (U. de Caen)
  Sabrina Mraouahi, MdC Droit privé (UGA)
         Serge Abiteboul, DR INRIA
 Shady El Bassuoni, Prof. AUB, Beyrouth

   Journées MASTODONS le 13 juin 2018

!2

The Web started as a technology platform
                Users as consumers
            Google Search in its early days

  10 years later, it became a social milieu
         Users as consumers and generators
        Facebook, Twitter, Yelp, Zomato, Vivino

    It is now a destination to find work
                   Users as workers
online and offline micro-gigs best completed by humans

!3

Online labor markets

      workers
                           micro-gigs by requesters
                             • résumé preparation
                Platform     • website design
                             • plumbing
                             • assembling furniture

Etat des lieux
 ➔   Les algorithmes perpétuent des biais dans les
  données en entrée, et parfois les amplifient

 ➔ Dans le crowdsourcing/freelancing,
  ➔ Les algorithmes décident qui peut compléter quelle tâche
  ➔ La contrepartie d’un travail relève de la discrétion exclusive
    des employeurs

 ➔ L’étude de la transparence et la discrimination des
  algorithmes est de mise

Transparence et discrimination
• Transparence (peut-être définie comme) : obligation
 de rendre accessible des informations, des décisions
 et des activités pour tous les acteurs d’une
 organisation, de quelque nature, pour permettre la
 compréhension et l’adhésion à la politique de
 management.

• Discrimination (en droit) : traitement défavorable ou
 inégal, en comparaison à d’autres personnes ou
 d’autres situations égales ou similaires, fondé sur un
 motif expressément prohibé par la loi.

!6

     Discrimination

       The evils of discrimination
     French Criminal Law
isparate treatment is the illegal
     lists 23 such features
ractice of treating an entity, such as a
editor including  anydifferently
       or employer,   combination   thereof
                                 based on
protected characteristic such as race,
ender, age, religion, sexual orientation,
 national origin.

                                              http://www.allenovery.com/publications/en-
isparate impact is the result of              gb/Pages/Protected-characteristics-and-the-
                                                      perception-reality-gap.aspx
ystematic disparate treatment, where
 sproportionate adverse impact is

Une approche bi-disciplinaire
• Le problème ne peut être étudié en monodisciplinaire

  • Parce que les juristes ont besoin de comprendre les
    risques algorithmiques
  • Parce que les informaticiens ont besoin de
    comprendre le régime juridique applicable afin de
    déterminer les risques algorithmiques
• Côté Droit : quelles sont les dérives potentielles des

 algorithmes au regard du cadre juridique existant ?

• Côté Info: quel est le pouvoir discriminatoire d’un

 algorithme ?

Résultats
• Côté Droit:
  • Identification du régime juridique applicable : prépondérance
    des règles de droit des contrats.

  • Analyse des CGU de AMT, FouleFactory et Prolific Academic :
    détermination de clauses purement postestatives (Analyse de
    la légalité), et de clauses à risque (Analyse en opportunité).

• Côté Info:
  • Sondage sur l’acceptation de la divulgation de ses données
    et sur la capacité d’un juge humain à juger la discrimination.

  • Développement d’une approche algorithmique pour la
    quantification du pouvoir discriminatoire d’un processus
    d’assignation de tâches

!9

Online and offline help

!10

!11

Input: a task (query) and a set of workers
Output: a ranking of workers

       protected features          inferred features

2 approaches
 1. Humans
   • auditors whose role is to assess perceived discrimination
   • workers who volunteer their (protected and inferred) data

 2. Algorithms
   • an automated procedure that quantifies discrimination

Humans
Auditors find it easier to assess discrimination when input and output data
are made transparent than when the assignment process is: they consider
that they can better judge the discriminatory power of an assignment (even
opaque!) when data about workers and tasks assigned to them are
provided.

Workers are not sensitive to the dissemination of their personal/protected
data to requesters - they also prefer that their inferred data be made
available to requesters because they believe the assignment of tasks to be
fairer when requesters see their inferred data.

Confirmed a theory in Economics: workers prefer to be part of a
transparent assignment process rather than an opaque one even if the
former is said to be fairer to them!

!14

Algorithmic approach
• We define discrimination as the difference in scores in
 comparable groups
    • males and females
    • young asian males and young black males
    •…

• Our algorithm:
 • Compares score distributions in groups
 • Reports groups with highest avg pairwise difference

!15

!16

TaskRabbit
• 20 most popular services in 45 US cities
• 2,182 unique taskers, 287 queries:
  • Home cleaning
  • Moving furniture
  • Yard work
  • Event staffing
• Rank of each tasker, picture (used to assign gender,
  ethnicity), badge, reviews, and hourly rate

!17

Highest discrimination is on Ethnicity

!18

All top-50 of 112 queries are white

!19

Consistent with population distribution

!20

83% of top-50 in gender queries are males

!21

Deviation from population distribution

!22

!23

• Framework to algorithmically quantify discrimination
  in ranking
  • applicable to black boxes
  • flexible to formulate other optimization problems

• Takeaways
  • Perceived discrimination different from quantified
    discrimination
  • Quantification different from explanation

En cours                                                  Humains

• Montage d’un GdR Internet et Société             Données       Platformes
    • INS2I et SHS : Mélanie Dulong de Rosnay, Francesca Musiani,
      Céline Vaselin
    • Action (avec Amélie Favreau et Juliette Sénéchal): Plateformes,
      données et humains - rédaction d’un article pour ouvrage
      collectif 'Humain et numérique en interaction'

• Organisation d’un atelier Shonan Village (ala Dagstuhl) en
 septembre avec HKUST, NJIT, U. Tsukuba

• Avec Emilie Favreau
    • Extension de l’approche algorithmique à plusieurs
      plateformes

• Participation à une chaire institut IA (MIAI)
    • Thèse CIFRE avec Naver Labs Europe multi-stakeholder fairness

Visibilité
• 2 papiers (EDBT 2017/2018) et une démonstration EDBT 2018

• Participation à un panel à EDBT 2017 et à VLDB 2018 sur l’éthique du data
 management

• Mention dans l’article «La justice à l'heure des algorithmes et du Big Data :
 https://lejournal.cnrs.fr/articles/la-justice-a-lheure-desalgorithmes-et-du-big-data

• Publication d’un extrait de cet article dans la revue Carnets de science, CNRS
 Editions : https://carnetsdescience-larevue.fr/,

• Participation à la conférence de l'Association Française du droit du travail du 19
  mai 2017 à Paris V
• Participation aux journées sur les Convergences du droit et du numérique en
  septembre 2017 à Bordeaux
• Participation à un colloque « droit des données personnelles » (2018), et
  Ouvrage collectif en préparation, A. BENNINI, « L’exigence de loyauté face à la
  pratique du crowdsourcing » – CEPRISCA – Faculté de droit d’Amiens.