De quoi les algorithmes nous dépossèdent-ils ? - (Et comment s'en ressaisir?) Ethics by Design 2018
←
→
Transcription du contenu de la page
Si votre navigateur ne rend pas la page correctement, lisez s'il vous plaît le contenu de la page ci-dessous
De quoi les algorithmes nous
dépossèdent-ils ?
(Et comment s’en ressaisir?)
Ethics by Design 2018
(Saint-Denis, 2 Octobre 2018)
Marc-Antoine Pencolé
Professeur agrégé de philosophie, doctorant
(Sophiapol – Université Paris-Nanterre)
Introduction « Algorithmes »… De quoi parle-t-on ?
Introduction
« Algorithmes »…
●
Un procédé
technique
formalisable
Little Cherub - BY-SA
Phil! Gold - BY-SA
Introduction
« Algorithmes »…
●
Un procédé ●
Une procédure de traitement de
technique données automatisée
formalisable
(codée sous forme de programme, mise en oeuvre
par une machine computationnelle).
Phil! Gold - BY-SA
Introduction
« Algorithmes »…
●
Un procédé ●
Une procédure ●
Un dispositif
technique de traitement de informatique de
formalisable données régulation de la vie
automatisée sociale
Phil! Gold - BY-SA
Introduction
Un dispositif
informatique de
régulation de la vie
sociale
Lois et
décrets
Introduction
Un dispositif
informatique de
régulation de la vie
sociale
Lois et
décrets
Normativité
immanente
Introduction
Un dispositif
informatique de
régulation de la vie
sociale
Lois et
décrets
Normativité
immanente Dispositifs techniques
(architecture, urbanisme,
infrastructures)
Introduction
Un dispositif
informatique de
régulation de la vie
sociale
Lois et
décrets
Dispositifs techniques
Normativité (traitement de données
immanente automatisé)
De quoi les algorithmes nous
dépossèdent-ils ?De quoi les algorithmes nous
dépossèdent-ils ?
●
La question éthique :
perte de l’autonomie morale
●
La question politique :
l’activité rendue étrangère à elle-même●
La question éthique :
perte de l’autonomie morale
être à l’origine des décisions
morales, relatives à la vie
bonne ou à la justice●
La question éthique :
perte de l’autonomie morale
être à l’origine des décisions
morales, relatives à la vie
bonne ou à la justice
→ délégation à des algorithmes
Nous déresponsabilise … au profit d’une
moralement... machine amorale ?De quoi les algorithmes nous
dépossèdent-ils ?
●
La question éthique :
perte de l’autonomie morale
Apparence d’objectivité
et opacité = force le
jugement humain
Sujets à de nombreux
biais
Insensibilité aux « cas
singuliers »De quoi les algorithmes nous
dépossèdent-ils ?
●
La question éthique :
perte de l’autonomie morale
Apparence d’objectivité
et opacité = force le
jugement humainExemple : de l’arbre décisionnel simple au réseau de neurones à
plusieurs couches → perte d’interprétabilité
gbhrea – CC BY-SAExemple : de l’arbre décisionnel simple au réseau de neurones à plusieurs couches → perte d’interprétabilité
De quoi les algorithmes nous
dépossèdent-ils ?
●
La question éthique :
perte de l’autonomie morale
Apparence d’objectivité
et opacité = force le
jugement humain
Sujets à de
nombreux biais●
Biais en amont, dans le cahier des charges
●
Biais technique dans le choix de l’échantillon
d’entraînement (apprentissage automatique)
●
Biais social réel reproduit et confirmé, malgré la
neutralité des concepteursExemple : COMPAS (algorithme judiciaire de prédiction de la récidive)
→ Enquête de ProPublica : l’algorithme est biaisé
contre les Noirs.
→ Réponse des concepteurs : non ! Il prédit la récidive
avec la même précision (61%) pour les Blancs et les
Noirs.
?? ?→ Enquête de ProPublica : l’algorithme est biaisé
contre les Noirs.
→ Réponse des concepteurs : non ! Il prédit la récidive
avec la même précision (61%) pour les Blancs et les
Noirs.
Deux conceptions de
l’équité très différentesPrédiction du risque Risque d’être incarcéré à
égale selon la race ≠ tort égal selon la race
Fonction de coût mal
définie en amontExemple : étiquetage injurieux de personnes noires (Google Image)
Echantillon d’entraînement biaisé en faveur des Blancs
Exemple : GloVe
Exemple : GloVe prénom afro-am / prénom euro
→
plaisant/déplaisant
homme /femme
→
plaisant/déplaisant
Caliskan Aylin, Joanna J.
Bryson et Arvind Narayanan,
« Semantics derived
automatically from language
corpora contain human-like
biases », Science, vol. 356, no
6334, 14 avril 2017, p. 183-
186.Exemple : GloVe prénom afro-am / prénom euro
→
plaisant/déplaisant
homme /femme
→
plaisant/déplaisant
Biais des rapports
sociaux eux-mêmes
→ reproduits et renforcés,
même par des dispositifs
neutres et bien conçusDe quoi les algorithmes nous
dépossèdent-ils ?
●
La question éthique :
perte de l’autonomie morale
Apparence d’objectivité
et opacité = force le
jugement humain
Sujets à de nombreux
biais
Insensibilité aux « cas
singuliers »Exemple : automatisation de la FSSA dans l’Indiana en 2006
AVANT APRES
- Suivi de chaque cas par un
travailleur social - Traitement automatique et
impersonnel des cas
- Pouvoir discrétionnaire des
travailleurs sociaux, passe-droits
→ insensibilité, rigidité, pas d’empathie
→ aucun passe-droit pour les demandeurs atypiques, qui
méritent une seconde chance, etc…
→ incompétence morale
Eubanks Virginia, Automating inequality: how high-tech tools profile, police
and punish the poor, First Edition, New York, NY, St. Martin’s Press, 2018.De quoi les algorithmes nous
dépossèdent-ils ?
●
La question éthique :
perte de l’autonomie morale
●
La question politique :
l’activité rendue étrangère à elle-même●
La question politique :
l’activité rendue étrangère à elle-même
Changer de focale...●
La question politique :
l’activité rendue étrangère à elle-même
structures
matter●
La question politique :
l’activité rendue étrangère à elle-même
?●
La question politique :
l’activité rendue étrangère à elle-même
Surveillance
?
? Exploitation
du travail
? Société de
marché1) La société de surveillance
Traitement de données → capture de données
= inscription dans un
système de surveillance
numérique
(ou « dataveillance »)1) La société de surveillance Un nouveau Panoptique ?
1) La société de surveillance
Panopticisme :
●
Transparence,
●
Pouvoir qui se cache,
→ Intériorisation du regard,
→ Automatisation du pouvoir1) La société de surveillance
→ Automatisation du pouvoir
Digitale Gesellschaft, “Yes we scan - Demo am Checkpoint Charlie “ – CC BY-SA
De la prison… … à la société entière.2) L’exploitation du travail
Nos activités numériques = produisent des données
= génèrent de la valeurNos activités numériques = produisent des données
= génèrent de la valeur
→ Travail gratuit ?
“ Digital labour ”
●
fragmenté ●
hors du lieu/temps de travail
●
subtilement contraint ●
non-rémunéréTravail gratuit
“ Digital labour ”
→ Exercice d’un pouvoir économique sur l’activité
(sollicitée, canalisée, formatée pour produire plus de
données)2) L’exploitation du travail
Travail gratuit
“ Digital labour ”
→ Exercice d’un pouvoir économique sur l’activité
(sollicitée, canalisée, formatée pour produire plus de
données)3) La forme marchandise
3) La forme marchandise = K1 x
3) La forme marchandise = K1 x = K2 x
→ mise sur le marché = mise en commensurabilité
→ réduction de la chose concrète à une abstraction
quantitative, sa valeur
= K1 x
= K2 x→ mise sur le marché = mise en commensurabilité
→ réduction de la chose concrète à une abstraction
quantitative, sa valeur
Quantité A
= K1 x Quantité B
= K2 x Quantité CDonnées = quantités abstraites de leurs
référents réels
= forme analogue à celle de la
marchandise ?Rapport à soi mesuré en nombre d’amis, de followers, de likes,
de vues, en nombre de pas ou de kilomètres parcourus, scores
divers, etc...
→ propice à un rapport réifié et
instrumental à soi et aux autres
→ rationalité économique qui pénètre
aussi loin que les dispositifs numériquesDe quoi les algorithmes nous
dépossèdent-ils ?
●
La question éthique :
perte de l’autonomie morale
●
La question politique :
l’activité rendue étrangère à elle-même •
surveillée
•
exploitée
•
réifiéeComment s’en ressaisir ?
Comment s’en ressaisir ?
Pimvantend - CC BY-SA… ou bien l’appropriation communautaire :
●
moralité, autonomie = propriété des sujets… mais pas
incompatible avec la factualité !
●
factualité de la médiation algorithmique = peut être le
moyen de réaliser l’autonomie,
●
dépossession / réalisation = dépend de son inscription
socialeêtre à l’origine des décisions régler notre activité
morales, relatives à la vie sur ces normes et s’y
bonne ou à la justice reconnaître
= exigence inouïeLe Guerchin, Atlas portant le globe céleste, 1646, musée Bardini
Triple charge
cognitive
organisationnelle
motivationnelle
Habermas, Droit et
démocratie. Entre faits et
normes, Gallimard,
Paris, 1997.Triple charge
cognitive
●
appliquer un organisationnelle
principe général à
des cas concrets
motivationnelleTriple charge
cognitive
●
savoir ce qui est organisationnelle
juste dans chaque
cas concrets
motivationnelle
●
vouloir le juste, même
contre notre intérêtTriple charge
cognitive
●
savoir ce qui est organisationnelle
juste dans chaque
cas concrets ●
qui est responsible
de quoi ?
motivationnelle ●
où s’arrête la
responsabilité de
●
vouloir le juste, même chacun ?
contre notre intérêtPeut être déchargée dans la factualité...
des lois
des institutions des dispositifs
techniqueslois
institutions
dispositifs
techniques
si contrôlés par la
réalise nos principes de
communauté
justice
(démocratie)lois
institutions
dispositifs
techniques
sinon dépossessionPeut être déchargée dans la factualité... … d’un algorithme ?
Le cas des communautés d’échange via
protocole BitTorrent :
Cohen Bram, « Incentives build robustness in BitTorrent », workshop on economics of Peer-
to-Peer Systems, Berkeley, Californie. 2003.
Dagiral Eric et Florian Dauphin, « P2P: From File Sharing to Meta-information Pooling »,
Communications & Stratégies, vol. 59, nᵒ 3, 2005. 3, 2005.
Pencolé Marc-Antoine, « Nos algorithmes peuvent-ils être plus justes que nous ? », Revue
Française d’Ethique Appliquée, n°5, 2017.Délégation
cognitive
organisationnelle
●
appliquer une
norme de justice
à des milliers de ●
demande peu
connexions
motivationnelle d’effort individuel,
●
savoir quel fichier ●
incite à partager ●
infrastructures peu
télécharger ou (protocole, ratio, coûteuses
éviter (malwares) économie de
l’estime)Le cas des communautés d’échange via
protocole BitTorrent :
→ dépossession ou réalisation
de la moralité et de l’activité autonome ?Protocole BitTorrent + plate-forme → très aisément adaptable, modifiable, reproductible ailleurs, etc… → dispositif souvent peu horizontal → mais îlot relativement protégé de la pression du capital de l’industrie culturelle
Protocole BitTorrent + plate-forme → dispositif très ouvert à l’appropriation communautaire
Le cas de Wikipédia : Geiger R Stuart, « Beyond opening up the black box: Investigating the role of algorithmic systems in Wikipedian organizational culture », Big Data & Society, vol. 4, nᵒ 3, 2005. 2, 2017. Halfaker Aaron et John Riedl, « Bots and Cyborgs: Wikipedia’s Immune System », Computer, vol. 45, nᵒ 3, 2005. 3, mars 2012. Auray Nicolas, « De linux à Wikipedia : Régulation des collectifs de travail massivement distribués », dans L’évolution des usages et des pratiques numériques, FYP Editions, 2009.
Le cas de Wikipédia :
des milliers de bots
(~2100 anglophones),
= des millions d’éditions
pour certains
→ détection du vandalisme, de problèmes de copyright
→ structuration des données
→ nettoyageDélégation
cognitive
organisationnelle
●
manifeste les critères
de conformité
(nombreux et complexes) ●
épargne beaucoup
motivationnelle de travail humain
●
non-respect des ●
standardisation
règles sanctionné
●
économie de l’estimeLe cas de Wikipédia :
→ structure très horizontale et délibérative
→ îlot non-marchand (communauté de
donateurs)Bots Wikipédia → susceptibles d’être remis en question ou modifiés à tout moment par la communauté → et même, localement, par les individus !
Conclusion
●
Risque de dépossession de la décision et de
l’activité autonome
●
Mais aussi puissance objective capable de
réaliser nos principes éthiques subjectifs●
Condition technique =
réappropriation communautaire
codée dans le dispositif
●
Condition structurelle =
s’inscrire contre
- la société de surveillance,
- la logique de l’exploitation,
- et la réification marchandePossible dans quelques rares îlots hors accumulation du
capital, hors marché ?
→ à l’inverse, c’est peut-être en partie grâce à ces
algorithmes que de tels territoires ont pu renforcer leurs
communautés et maintenir leur indépendanceVous pouvez aussi lire
