Les robots, les hommes et la paix - Esquisse d'une évaluation éthique de la robotique contemporaine - Université de Namur

Revue des Questions Scientifiques, 2015, 186 (3) : 221-254

             Les robots, les hommes et la paix
        Esquisse d’une évaluation éthique de la robotique
                         contemporaine

                                Dominique Lambert
                                 Université de Namur
                              Académie Royale de Belgique
                            dominique lambert@unamur.be

              1. Une société transformée par la robotique

1.1. Qu’est-ce qu’un robot ?
    Il importe de fixer le cadre de notre réflexion en adoptant d’entrée de jeu
une définition du robot. Ce dernier est un système caractérisé par trois com-
posantes en interaction1.
     La première est la composante « perceptive ». Le robot possède nécessai-
rement des capteurs lui permettant d’acquérir des informations sur son envi-
ronnement. Il peut s’agir de « senseurs » pouvant détecter des ondes
(électromagnétiques, acoustiques, etc.) ou des substances chimiques, radiolo-
giques, …
     La deuxième composante est celle qui permet le stockage et le traitement
de l’information. Un robot possède des outils d’intelligence artificielle per-
mettant de réaliser une analyse des données recueillies par les senseurs et de
1.   On retrouve assez naturellement cette caractérisation du robot dans les réflexions de
     Norbert Wiener (cfr N. Wiener, Cybernétique et société. L’usage humain des êtres humains
     (présentation R. Le Roux ; traduction, P.-Y. Mistoulon), Paris, Seuil, 2014, pp. 55-57),
     mais au fond cette définition renvoie à l’idée qui sous-tend depuis longtemps le vieux
     mythe de l’automate.

222                    revue des questions scientifiques

mettre en œuvre, à partir de ces dernières, des capacités de déduction, d’infé-
rence, de raisonnement, automatisés. Cette composante peut renfermer aussi,
dans certains cas, des moyens d’apprentissage. Ceci permet au robot de modi-
fier ses propres logiciels pour intégrer des informations qu’il n’avait pas au
préalable, mais qui se sont révélées importantes pour son adaptation à un type
d’environnement donné. Une telle mise en œuvre est possible aujourd’hui
grâce au développement des algorithmes génétiques et à la théorie des réseaux
de neurones.
     La troisième composante est tout à fait essentielle au robot. On pourrait
dire que c’est elle qui définit véritablement le système robotisé. Elle est consti-
tuée d’« effecteurs », c’est-à-dire de systèmes qui peuvent agir et rétroagir sur
l’environnement.
     Un robot est nécessairement un système complexe. Ses comportements
peuvent être automatiques (un seul type de comportement correspondant à
une tâche précise, à l’instar des robots des chaînes de montage dans les usines),
automatisés (plusieurs types de comportements programmés en tant que réac-
tions à des informations bien précises et bien identifiées venant de l’environ-
nement ; un pilote automatique est un exemple d’un tel système) ou même
autonomes (le comportement du robot n’est dans ce cas pas nécessairement
préprogrammé, il peut être innovant, créatif). Il est très important, dans la
pratique, de réaliser que les questions juridiques et éthiques que l’on se pose
lorsqu’on met en œuvre des systèmes robotisés sont très différentes selon que
l’on considère des robots aux comportements automatiques ou automatisés,
d’une part, et autonomes, d’autre part.
     Remarquons, en passant, qu’il n’est pas obligatoire qu’un robot soit très
mobile. L’action du robot peut être, non pas mécanique (c’est-à-dire se dé-
ployant dans un espace géographique), mais bien électrique ou encore électro-
nique. Le robot est alors un système qui recueille de l’information, la traite et
puis commande des procédures d’action via un réseau, par exemple informa-
tique.

1.2. L’invasion robotique
     Il nous faut prendre aujourd’hui toute la mesure de la révolution intro-
duite dans nos sociétés par la robotique. On a pu qualifier cela en utilisant, de

les robots, les hommes et la paix                              223

manière amusante, l’expression de « robolution »2 ! En effet, un grand nombre
d’activités de la vie courante son réglées aujourd’hui par des machines ayant
une capacité d’analyse et d’action, en grande partie indépendante de l’humain.
Il ne peut être question ici de faire un tour d’horizon ne fût-ce qu’approximatif
des diverses applications de la robotique dans nos sociétés, dont l’importance
économique et financière devient chaque jour de plus en plus importante. Le
champ d’application de la robotique est celui des activités ennuyeuses et répé-
titives, ou dépassant les limites physiques de l’humain (force musculaire,
taille du corps, résistance, précision des gestes,…), des tâches précises devant
être réalisées dans des milieux pollués (chimiquement ou radiologiquement)
et enfin des travaux dangereux (présence d’explosifs, …). La robotique est
donc un outil qui permet d’assister l’homme dans ses travaux, mais aussi
d’ouvrir le champ de ses perceptions en multipliant les points de vues que
l’homme ne pouvait atteindre. Mais la robotique a pris aussi un tour plus lu-
dique ou éducatif avec l’ère des robots de compagnie3 qui sont censés tenir la
place d’éducateur, de garde-malade, de surveillant, … Les robots « compa-
gnons de vie »4 sont en train de modifier certaines de nos conceptions des rela-
tions humaines, ce qui pose bien entendu un certain nombre de questions
cruciales, éthiques ou anthropologiques.
      Un des aspects les plus visibles de la robotique de ces derniers temps est
le « drone » (désigné ainsi en raison du bourdonnement de son moteur) utilisé
par les militaires, mais aussi par les chaînes de télévision ou par le cinéma5,
pour obtenir des vues inédites, et également par de plus en plus de particuliers
(pilotant par exemple de petits « quadricoptères » grâce à une tablette ou à un
Smartphone). La robotique met en jeu des collaborations très interdiscipli-
naires et il est intéressant de noter au passage que la biologie joue un rôle

2.   B. Bonnell, Viva la robolution. Une nouvelle étape pour l’ humanité, Paris, JC Lattès,
     2010.
3.   « En compagnie des robots » (enquête de Popular Science) in Courrier international
     (édition Belgique), 18-31 décembre 2014, pp. 36-42.
4.   Cfr the spécial issue « The social life of robots. From automatons to co-workers and
     companions » in Science, 10 october 2014, pp. 178-203.
5.   Signalons ici l’Oscar décerné, à Hollywood, par l’Académie des Arts et des Sciences du
     Cinéma (AMPAS) , à la société Flying-Cam (fondée à Liège, en 1988, par Emmanuel
     Prévinaire) pour son système de prise de vue aérienne sans pilote. Ce système a été uti-
     lisé pour des films aussi célèbres que Harry Potter ou James Bond !

224                        revue des questions scientifiques

d’inspiration très important pour le développement des engins robotisés imi-
tant des animaux de toute taille6.
     Dans cet article, nous allons aborder certaines questions que suscite la
robotisation croissante des activités de notre société. En effet, une technologie
de cette nature modifie en profondeur les relations entre les personnes hu-
maines et donc engendre progressivement un mode nouveau de société et
peut-être aussi une autre manière de concevoir l’humain. Sans technophobie,
il importe néanmoins d’être attentif aux types de structures sociales et aux
genres d’anthropologies que peuvent nous imposer, sans que nous le sachions
ou que nous le voulions, des révolutions technologiques aux dimensions pla-
nétaires. Cette attention est d’autant plus importante que la fascination pour
les performances inédites des robots pourrait nous faire oublier, dans l’éblouis-
sement de leurs prouesses, quelque prudence élémentaire.

                   2. Des robots au service de l’homme ?

2.1. L’homme réparé et assisté
     La robotisation a des aspects indubitablement positifs pour l’humain.
Des prothèses robotisées permettent aujourd’hui à des personnes handicapées
de retrouver l’usage de leurs membres amputés ou paralysés7. On peut en effet
connecter au cerveau des systèmes informatiques qui commandent des pro-
thèses ou des exosquelettes reproduisant les actions et les fonctions de ces
membres absents ou déficients. Pour ne citer qu’un exemple récent le Applied
Physics Laboratory de la Johns Hopkins University a réussi récemment à faire
greffer deux prothèses à une personne amputée des deux bras. Ces prothèses
commandées par un logiciel adéquat relié au cerveau lui permettent au-
jourd’hui de retrouver un usage de ses bras.
     Un autre aspect de la robotisation de la médecine est celui de l’introduc-
tion de « nanorobots » dans le corps. Ceux-ci permettraient de surveiller en
temps réel les paramètres physiologiques et donc de signaler l’irruption d’une
6.    Cfr A. Guillot, J.-A. Meyer, Poulpe Fiction. Quand l’animal inspire l’ innovation, Paris,
      Dunod, 2014. Ce livre contient des exemples tout à fait étonnants de « bio-inspiration »
      en robotique.
7.    Cfr le numéro spécial : « L’homme 2.0. L’être humain réparé, transformé, augmenté…
      Jusqu’où ? » de Pour la Science, n°422, Décembre 2012.

les robots, les hommes et la paix                     225

pathologie. Ces nanomachines pourraient répondre instantanément aux pro-
blèmes médicaux en injectant automatiquement des médicaments ou en se
chargeant de la destruction de tumeurs par exemple.
     Aujourd’hui les robots d’assistance aux opérations chirurgicale sont de
plus en plus courants. Ils permettent une précision et un contrôle des gestes
du chirurgien, mais également une possibilité d’opération à distance dans des
régions où les spécialistes sont absents8. Ces robots nécessitent la présence
d’un opérateur, celui-ci est largement aidé par un système doué d’une réelle
autonomie. L’assistance robotisée en médecine est illustrée aussi par des ma-
chines qui peuvent alléger le rôle des infirmiers ou des infirmières, en aidant
au transport des patients, en allant porter les médicaments dans leurs
chambres, enregistrant éventuellement leurs désirs ou leurs récriminations.
Mais cette assistance peut aller encore plus loin quand on tente de remplacer
la présence humaine par des robots auprès des personnes âgées ou auprès
d’enfants souffrant de pathologies comme l’autisme par exemple.
     Toutes ces réussites exceptionnelles de la robotisation nous font presque
oublier une robotisation devenue aujourd’hui presque courante dans nos mai-
sons ou nos jardins : robots aspirateurs, robots tondeuses à gazon, mécanismes
robotisés qui permettent à votre voiture de se garer sans vous,… Au fond les
robots sont partout,… du moins dans les sociétés économiquement riches !

2.2. Fractures et oublis
     Il est certain que l’on ne peut que se réjouir des possibilités offertes par la
robotique, dans notre vie de tous les jours et dans les cliniques, aux patients
et aux médecins. Ces techniques peuvent de fait contribuer au bien-être de
l’homme et, à ce titre, elles doivent faire l’objet de recherches de plus en plus
poussées. Cependant, il convient de réfléchir maintenant à quelques ques-
tions engendrées par l’irruption de ces possibilités exceptionnelles.
     Une première question concerne les personnes qui auront accès à ces
technologies d’assistance robotisée. Il est à peu près certain que l’on va voir
apparaître des fractures entre les pays et entre les personnes, liées aux moyens
financiers. On verra aussi, si l’on n’y prend pas garde, se développer ce genre
de faille entre les personnes « alphabétisées technologiquement » et celles qui

8.   Un exemple : le robot Da Vinci vendu par la firme Intuitive Surgical.

226                    revue des questions scientifiques

sombrent petit à petit dans l’analphabétisme, n’ayant que peu de capacités à
manipuler les techniques robotisées.
     Ceci se constate déjà avec l’informatique, on parle ici de fracture numé-
rique. L’usage de plus en plus important et exclusif des ordinateurs, des ta-
blettes ou des Smartphones, pour la transmission d’informations essentielles,
écarte certaines populations pauvres ou les acculent à un endettement (par
une publicité harcelante) et produit une dépendance d’une grande partie de la
population par rapport aux industries qui produisent ce genre d’objets tech-
nologiques. On écarte aussi des personnes qui, tout en ayant les moyens, n’ont
pas ou plus la capacité de vraiment comprendre et faire usage de ces tech-
niques. On présuppose que tout le monde est à son aise pour manipuler les
technologies informatiques (on le présupposera demain pour les robots !),
mais il n’en est rien. Il suffit de penser à une personne âgée atteinte d’un début
de maladie de Parkinson et obligée de prendre son billet de train à un auto-
mate sophistiqué d’une gare de province (l’imprécision des gestes, la difficulté
de comprendre la particularité du vocabulaire utilisé à l’écran, …, peuvent
être autant d’obstacles à l’utilisation de cette technique). On peut veiller à ré-
duire ou à atténuer ces fractures numériques ou robotiques. Cependant, les
motivations qui poussent à propager les nouvelles technologies (augmentation
des profits en diminuant le nombre d’emplois dans les gares, dans les banques,
dans les hôpitaux,…) sont aussi celles qui entravent la mise en place de moyens
humains permettant de réduire ces fractures. On risque donc de voir se déve-
lopper un nouveau « quart-monde technologique », c’est-à-dire un nouveau
groupe de pauvres et une nouvelle forme de pauvreté. À la base de cela, il y a
un présupposé que souvent l’on ne veut pas prendre en compte : financière-
ment, physiquement ou mentalement, les personnes ne sont pas égales du
point de vue de l’achat et de l’utilisation de techniques qui progressivement
envahissent notre société, souvent en raison d’impératifs seulement écono-
miques.
     Le remplacement de l’homme par la machine peut avoir, dans beaucoup
de situations, un aspect réellement positif. Il serait stupide et dangereux de le
nier. Mais, on ne peut passer sous silence des effets secondaires négatifs indis-
sociablement liés à ce remplacement. Un de ces aspects est la question de
l’abandon des personnes. Il peut être amusant de donner à des pensionnaires
d’une maison de repos et de soins des robots de compagnie qui s’agitent,
dansent, chantent et répondent quand on leur parle. Dans le fond, il s’agit

les robots, les hommes et la paix                                227

d’une forme technologiquement avancée des ours en peluche. Néanmoins,
cela peut conduire, petit à petit, à une attitude qui reviendrait, avec une bonne
conscience, à ne plus s’occuper qu’épisodiquement de ces pensionnaires, sous
prétexte qu’ils ont leurs robots de compagnie ! On pourra, à juste titre, objec-
ter que le rapport aux robots de compagnie diffère de culture à culture et que
certaines personnes s’accommodent bien de la seule compagnie de la machine
comme elles peuvent s’accommoder aussi bien de leur seul animal de compa-
gnie. Mais, on ne peut s’empêcher de s’insurger contre un abandon des per-
sonnes, justifié par des impératifs de rentabilité économique ou par une
conception autoritaire décidant que telle ou telle personne n’aurait plus be-
soin, ou ne pourrait plus avoir, de réelles relations humaines, et que dès lors
des machines lui suffiraient. Dans ce remplacement de l’homme par les robots
se joue au fond la nature et la valeur de l’ homme lui-même et des relations qu’il
peut nouer avec ses semblables. Toute l’éthique des nouvelles technologies va
donc devoir prendre position quant à cette valeur et quant aux exigences qui
en découlent.

2.3. L’homme transformé : robots et phantasmes posthumanistes
    Nous venons de dire qu’une réflexion sur la robotisation doit à, un mo-
ment ou à un autre, rencontrer la question profonde de la nature de l’homme9.
Un indice de cela est que les mouvements qui remettent profondément en
question la nature humaine (et la pertinence même de ce concept) sont forte-
ment liés aux avancées et possibilités de la robotique.
     De fait, les robots donnent un appui sans précédent aux idées transhu-
manistes ou posthumanistes10. Les « transhumanistes » envisagent une « amé-
lioration » de l’homme en vue de son épanouissement et les « posthumanistes »
rêvent d’une « transformation » radicale de l’humain, considéré seulement
comme une étape transitoire d’une évolution sans finalité. L’amélioration des
conditions de vie de l’homme par le robot ne fait pas problème. L’homme est
9.    Cfr par exemple : D. Lambert, « L’homme robotisé et le robot humanisé: défis anthro-
      pologiques et éthiques » in L’Homme, un animal comme les autres? (sous la dir. de J. Reisse
      et M. Richelle), Bruxelles, Académie Royale de Belgique, 2014, pp. 67-89 ; D. Lambert,
      « Noi robot. L’antropologia cristiana nell’epoca dei cyborg », Il Regno, N. 1163, 15 marzo
      2014, pp. 203-209.
10.   Cfr G. Hottois, Le transhumanisme est-il un humanisme, Bruxelles, Académie Royale de
      Belgique, 2014, L’Académie en poche ; J.-M. Besnier, Demain les posthumains, Paris,
      Pluriel, 2012.

228                   revue des questions scientifiques

un être créateur d’outils, de techniques et de technologies variées. Cependant,
on ne peut pas s’empêcher de songer qu’il y a quelque chose de contradictoire
dans le fait, pour l’homme, de vouloir transformer et même d’abandonner sa
condition pour devenir autre chose que lui.
    Un phantasme polarise le posthumain : celui d’une liberté totale (la tech-
nologie me donne les moyens de réaliser tout ce que je veux, quand je le veux ;
y compris la liberté de modifier ou d’échapper complètement aux contraintes
anatomiques par exemple).
     Mais ce phantasme rencontre un obstacle conceptuel. Soit je pense mon
devenir en songeant à me remplacer progressivement par des machines que
j’ai moi-même créées. Je me libère en devenant une « super-machine », qui
n’est au fond qu’une construction soumise aux limites de l’homme. Soit, je
rêve d’un moment où une innovation radicale, une « singularité » va arriver, et
où je serai transformé en autre chose que je ne connais pas et avec laquelle je
n’ai pas de commune mesure. Dans les deux cas, je nie véritablement ma li-
berté : dans le premier cas je deviens une « super-machine » crée par l’homme,
dans le deuxième cas je m’abandonne à ce que je ne connais pas et que je ne
saurais librement désirer. Le posthumanisme risque donc de se retrouver dans
une contradiction performative. En prétendant exalter la liberté fondamen-
tale de l’homme, il l’asservit.
    Cet obstacle nous donne déjà un élément pour penser une éthique de la
robotique. Il est parfaitement légitime de promouvoir tout ce qui peut dé-
ployer les potentialités de l’homme et de sa liberté. Mais, en vertu du refus
d’une situation contradictoire (qui ne correspondrait au fond à aucune réalité
consistante), on ne peut adhérer à une conception qui conduirait à nier
l’homme et sa liberté tout en affirmant promouvoir la seconde et valoriser le
premier. Ceci revient à refuser une conception de la robotisation qui ferait de
l’homme « augmenté » un homme « diminué et enchaîné »!

          3. Des robots décideurs : finance, guerre et paix

3.1. Finance et robotisation
      Un des domaines où la robotisation est la plus préoccupante est celui de
la finance. Les robots financiers sont des machines qui captent en temps réel

les robots, les hommes et la paix                               229

des informations concernant les marchés. Ces robots analysent ensuite ces
dernières, en calculant les stratégies financières qui permettraient, avec un
minimum de risque, de maximiser les profits. Enfin, ils agissent ou rétroa-
gissent sur le marché en donnant des ordres d’achat et de vente avec une vi-
tesse hallucinante. Ces robots-traders nous font entrer dans le champ d’une
économie tout à fait virtuelle. En généralisant l’usage de ces machines finan-
cières, ont abandonne un pouvoir de décision important impliquant la sécu-
rité des sociétés et des ménages à des logiciels et à leurs programmes. Nous
n’entrerons pas dans l’étude détaillée de ces robots et des problèmes qu’ils
posent, nous voudrions seulement signaler trois problèmes.
     Premièrement le comportement des robots-traders dépend de leurs
logiciels (par exemple pour un calcul de risque). Mais ceux-ci sont programmés
en tenant compte de présupposés qui sont porteurs des limites de la
connaissance humaine, mais aussi des présupposés idéologiques de leurs
concepteurs. Le danger, qui existe de manière générale dans toutes les
technologies modernes, c’est, avec l’usage, l’habitude et les réussites brillantes,
l’oubli progressif de ces limites et de ces présupposés. Une sorte de fausse
neutralité ou objectivité s’instaure, entourant le fonctionnement des machines.
     Prenons un exemple. Un expert, un ingénieur financier, peut très bien
(parce qu’on lui a toujours appris à faire de la sorte lors de sa formation) implé-
menter dans un robot un programme de calcul de risque d’une transaction
boursière basé sur une description « brownienne » des cours de la bourse. Or
on sait que, de temps à autre, cette description n’est pas valable (il peut y avoir
de larges fluctuations non-browniennes, qui sont rares, mais dont les consé-
quences financières sont extrêmement graves). Mais l’expert n’a pas nécessai-
rement appris les outils mathématiques décrivant ces situations
non-browniennes (le « vol de Lévy » par exemple) dont l’implémentation ne
lui est pas habituelle11. Avec le temps, on va s’habituer à ne plus remettre en
question les algorithmes qui ont fait leur preuve la plupart du temps, en ou-
bliant que parfois ces programmes peuvent très bien ne plus correspondre à la
réalité12. On est confronté ici à un problème classique : le robot est fait par
11.   Nous renvoyons le lecteur à M.F. Shlesinger, J. Klafter, G. Zumofen, « Above, below
      and beyond Brownian motion », American Journal of Physics, 67 (1999) 1253-1259.
12.   « L’efficacité opératoire des mathématiques browniennes, alliée à l’informatique, a
      permis d’automatiser de nombreuses opérations. Elle a facilité cette évolution qui a
      accéléré les transactions financières au point de les rendre impossibles à appréhender par
      l’homme. L’illusion brownienne est en phase de transformer les humains en machines…

230                        revue des questions scientifiques

l’homme, mais l’homme, au bout d’un moment, est tellement fasciné par les
réussites de son robot qu’il en oublie qu’il en a été le créateur avec toutes les
limites que cela comporte.
     Notre propos n’est bien entendu pas ici de nier le rôle et l’importance des
ingénieurs financiers et des experts en général. Les garants fiables de la
construction et du fonctionnement des machines sont les experts (et il ne
viendrait pas à l’idée d’une personne responsable de confier la gestion d’un
outil technologique avancé à quelqu’un qui n’est pas un expert !). Mais l’ex-
pert reste un humain soumis à des limites cognitives et à des options dictées
par un pouvoir qui souvent n’a rien de scientifique.
     Un deuxième problème vient de la vitesse des transactions. Celle-ci fait
qu’en cas de disfonctionnement, de grandes pertes peuvent être occasionnées
pendant le temps nécessaire à l’arrêt de la machine (il suffit de penser à une
situation assez réaliste où, pour arrêter un robot qui effectue 100 000 transac-
tions à la seconde, il faudrait une demi minute !) Nous pouvons constater ici
que la vitesse de l’outil technologique devient un danger et que la lenteur
(toute relative) des transactions boursières classiques peut être un gage de sé-
curité financière. Certains gouvernements mettent d’ailleurs en place des lé-
gislations qui limitent la vitesse des transactions (pour éviter des stratégies
offensives et déloyales, d’introduction et de retrait ultra-rapides d’ordres).
     Ce deuxième problème en amène un troisième, qui est la perte progres-
sive du sens de la finance induite par sa robotisation. L’outil technologique
avec ses performances tellement éloignées de celles de l’humain crée une si-
tuation dans laquelle les finalités de l’économie réelle sont perdues13. On peut
se demander si la technologie de l’electronic trading n’a pas engendré un monde
virtuel qui n’a plus que des liens très éloignés avec ce que devrait être un mar-
      La titrisation à grande échelle, facilitée par les progrès techniques a estompé la dimension
      de responsabilité humaine du métier de banquier: se sent-on responsable d’un crédit
      dont le risque a été distribué sur une longue chaîne d’acteurs, au point où l’on ne sait
      même plus qui couvre quoi? La financiarisation générale de l’économie tend à créer de
      toutes pièces des marchés de plus en plus artificiels. Tous ces effets sont aggravés par une
      représentation dans laquelle les acteurs humains, assimilés à des automates rationnels,
      perdent leur substance. Cela a des conséquences majeures pour la réflexion éthique,
      réactualisée par la crise. Un automate est-il responsable? Peut-il être soumis à des
      interdits? » (Ch. Walter, M. de Pracontal, Le virus B. Crise financière et mathématiques,
      Paris, Seuil, 2009, pp.114-115). Cet ouvrage est de notre point de vue extrêmement
      éclairant.
13.   Cfr N. Bouleau, Mathématiques et risques financiers, Paris, Odile Jacob, 2009.

les robots, les hommes et la paix                             231

ché financier. Nous voyons poindre ici une question centrale qui est celle des
finalités. La société ne peut pas se contenter de suivre une technologie parce
que son développement était possible ou simplement rentable pour une petite
partie de sa population. Une réflexion de fond doit être menée pour savoir où
va nous mener, et ce que va engendrer, à terme, l’introduction d’un nouveau
dispositif technologique. Dans le cas que nous envisageons, si un outil tech-
nologique qui devrait être au service d’une économie mondiale juste devient
une instance tyrannique, incontrôlable et dangereuse pour la stabilité finan-
cière des états et des particuliers, il importe de soumettre cet outil à une cri-
tique approfondie. Ici, comme dans tous les autres cas qui impliquent des
robots, la machine doit rester au service de l’humain et non l’inverse. Cepen-
dant, l’homme se place parfois dans des situations où, sans l’avoir nécessaire-
ment recherché, il devient comme l’esclave de la technologie qu’il a inventée.

3.2. Une robotisation du droit et de la politique ?
     Le droit n’échappe pas non plus à des projets de robotisation. La consti-
tution d’un droit international présuppose la gestion et la mise en système
d’un très grand nombre de corpus de lois enracinés dans des traditions juri-
diques très différentes. Des machines pourraient se charger de la récolte d’in-
formations juridiques et de leur synthèse afin d’aider par exemple les juges des
tribunaux pénaux internationaux à rendre leurs arrêts. Cependant, comme l’a
bien montré Mireille Delmas-Marty, professeur au Collège de France, dans
une étude intitulée « La justice entre le robot et le roseau »14 :
      « une telle synthèse est impossible à l’homme ordinaire. Elle doit porter
     sur les ‘divers systèmes juridiques du monde’ […] eux-mêmes confrontés à
     l’ensemble du droit international. C’est pourquoi l’assistance informatique
     sera indispensable […] »

     Cette assistance devra avoir une nature non seulement « informatique »,
mais réellement « robotique ». En effet, il ne s’agit pas seulement de créer des
bases de données juridiques très complètes. Il s’agit aussi d’analyser l’informa-
tion, pour en dégager des principes de comparaison et de mise en système,
évitant de privilégier consciemment ou inconsciemment une tradition juri-

14. M. Delmas-Marty, « La justice entre le robot et le roseau » in L’ homme artificiel (Col-
    loque annuel du Collège de France, sous la dir. de J.-P. Changeux), Paris, Odile Jacob,
    2006, p. 243.

232                        revue des questions scientifiques

dique par rapport à l’autre. Comme le dit très justement Madame Mireille
Delmas-Marty15 :
      « Si l’on veut éviter de favoriser ainsi une conception parfois qualifiée de
      néocolonialiste de la justice mondiale, il faudra mettre au point des mé-
      thodes d’hybridation qui systématisent l’étude comparative des divers sys-
      tèmes nationaux et internationaux pour en tirer des méta-principes, une
      sorte de grammaire hybride, autour de laquelle établir des règles com-
      munes.
      Dans une perspective aussi ambitieuse, l’assistance des robots devra aller
      bien au-delà de l’apport documentaire, afin de dégager les points de
      convergence et de concevoir des programmes de mise en compatibilité, en
      contribuant à l’harmonisation des dispositifs nationaux, car cette justice
      internationale passe aussi par les juges nationaux (compétence univer-
      selle). »

      Et le caractère « robotique » se justifie pleinement, dans la mesure où les
juges des instances internationales auront besoin, outre la récolte et l’analyse
(par intelligence artificielle) des informations nationales, de systèmes automa-
tisés d’aide à la décision, proposant aux juges les sentences adéquates.
     Le professeur Delmas-Marty a contribué, de manière très éclairante, à
montrer que si la robotisation sera incontournable, elle ne pourra pas faire
l’économie de la présence d’un acteur humain. Celui-ci reste indispensable
pour l’interprétation et la sélection des informations que l’on juge indispen-
sables aux robots. Ceux-ci ne peuvent aisément créer ou dégager les critères
pertinents pour effectuer une telle sélection et une telle interprétation.
     Mais la présence irréductible de l’humain est liée aussi au fait que ce
dernier, avec ses « imperfections », peut être une protection contre des dérives
et des dysfonctionnements. C’est là un des apports très importants de Mireille
Delmas-Marty16 :
      « Derrière l’idée d’une justice assistée par l’informatique, surgit la crainte
      des juges robots, appliquant de façon mécanique les règles inscrites dans
      les textes et reproduites par l’ordinateur. En somme, la crainte d’une jus-
      tice trop sûre d’elle-même (…) Mais l’informatisation rend plus difficile-
      ment réversibles certains dysfonctionnements. C’est ici que, paradoxale-

15.   M. Delmas-Marty, « La justice entre le robot et le roseau », op.cit., p. 243.
16.   Ibid., pp. 244-245.

les robots, les hommes et la paix                           233

      ment, les imperfections de la justice doivent rester une protection du
      justiciable ».

      Nous retrouvons ici un des aspects que nous avons soulignés lors de
l’analyse de la robotisation de la finance. Les limites de l’humain (lenteur,
ignorance, doute,…) peuvent se révéler être une protection contre certains
emballements des systèmes automatisés. Mireille Delmas-Marty définit ici
une position très intéressante qui ne renonce en aucun cas aux possibilités
intéressantes des techniques de robotisation, mais qui montre la nécessité de
l’acteur humain comme garant de la sécurité d’un système qui doit rester à
son service. Dans un très beau passage où elle évoque le « roseau pensant » de
Pascal, Madame Delmas-Marty affirme que17 :
      « L’assistance des robots sera indispensable à la justice pour maîtriser la
      complexité croissante des systèmes de droit et contribuer à l’émergence
      d’une justice à la fois nationale, régionale et mondiale. Mais la fragilité et
      la flexibilité du roseau lui restent d’autant plus nécessaires que le doute est
      la condition d’une justice qui accepte parfois de renoncer à punir
      précisément « au bénéfice du doute » ou même de renoncer à juger pour
      permettre le pardon qui conditionne la réconciliation. »

     Au fond, le juge ne peut être remplacé complètement par une machine,
car il existe des situations où le jugement doit être rendu malgré l’incomplé-
tude ou l’incertitude des informations disponibles, malgré les conflits liés à
des interprétations contradictoires, … Dans de telles situations, le jugement
ne peut être fondé sur des règles toutes faites ou des principes a priori. Les
algorithmes sont donc, dans ces cas, largement inopérants.
     Dans ces situations, le juge doit décider d’appliquer des règles générales à
des situations très singulières, inédites. Il fait appel ici à ce que la tradition
philosophique appelle, à la suite d’Aristote, la « prudence » (phronesis). Thomas
d’Aquin qualifie cette « vertu » en disant18 : « prudentia appliquat universalem
cognitionem ad particularia ». Elle est indispensable dans la mesure où, comme
le rappelle le Docteur Angélique, « l’homme ne peut être dirigé par des vérités
absolues et nécessaires, mais selon des règles dont le propre est d’être vraies
dans le plus grand nombre de cas »19. Et c’est bien là le problème que pour-
raient rencontrer les algorithmes des robots juges. La décision d’appliquer

17.   M. Delmas-Marty, La justice entre le robot et le roseau, op.cit., p. 246.
18.   Summa Theologiae, IIa, IIae, q.49, a.1., ad primum.
19.   Summa Theologica, Iia, IIae, q. 49, a. 1., respondeo.

234                        revue des questions scientifiques

telle règle à telle situation ne relève pas elle-même d’une règle ou d’une procé-
dure pouvant être standardisées. Cette décision n’est pas non plus aléatoire
(dans ce cas on pourrait modéliser la décision à l’aide d’un algorithme « pro-
babiliste »). La décision prudente repose au fond sur l’expérience, sur une per-
ception assez globale d’un contexte, sur des valeurs, sur une pratique de
l’interprétation, qui n’est pas automatisable.
     Dans ces situations, comme le montre bien la citation ci-dessus, le juge
doit parfois s’interdire d’appliquer la loi. Il doit parfois transgresser certaines
règles, pour préserver l’esprit du droit qui va bien au-delà de sa lettre. Mais
comment envisager de programmer une machine pour qu’elle sache comment
transgresser ses propres règles pour en sauver l’esprit ? On pourrait envisager
de lui faire subir un apprentissage, mais dans quels contextes, suivant quelles
procédures ?
     La question des limites de la robotisation du droit renvoie à un débat
assez ancien concernant la pertinence d’une formalisation logique complète
de la décision juridique, sous la forme par exemple, d’une logique déontique20.
Une réflexion adéquate sur la logique déontique21 et ses divers paradoxes,
ainsi qu’une approche de la rhétorique juridique22, montre que la formalisa-
tion complète d’un jugement n’est ni adéquate ni souhaitable pour un fonc-
tionnement de la justice.
     Dès le début de la robotique et de la cybernétique, il est intéressant de
signaler que s’est posée aussi la question de la robotisation de la décision poli-
tique. Peu après la publication, en 1948, du livre important de Norbert Wie-
ner, Cybernetics or Control and Communication in the Animal and the
Machine23, le dominicain Dominique Dubarle, publiait, dans Le Monde, un
20. Cfr Ch. Perelman, L. Tyteca, La nouvelle rhétorique. Traité de l’argumentation, t. I, t. II,
    Paris, P.U.F., 1958 ; Les objections de Perelman ont été présentées, entre autres, lors du
    quatorzième Congrès international de Philosophie à Vienne en septembre 1968 (Akten
    des XIV Internationalen Kongress für Philosophie, t. II, Wien, Herder, 1968, pp. 269-311).
21. P. E. Navarro, J.L. Rodriguez, Deontic Logic and Legal Systems, Cambridge University
    Press, 2014.
22. Il sera utile de consulter à ce propos le livre de R. Schmetz, L’argumentation selon Perel-
    man. Pour une raison au cœur de la rhétorique, Namur, Presses Universitaires de Namur,
    2000.
23. Paris, Hermann/ M.I.T. Press, 1948. Une traduction française est disponible : N. Wie-
    ner, La cybernétique. Information et régulation dans le vivant et la machine (trad. par
    R. Le Roux, R. Vallée et N. Vallée-Lévi ; présenté par R. Le Roux), Paris, Seuil, 2014,
    Sources du Savoir.

les robots, les hommes et la paix                              235

article intitulé : « Une nouvelle science : la cybernétique. Vers la machine à
gouverner ? »24. Le dominicain se posait la question suivante25 :
     « Ne pourrait-on imaginer une machine à collecter tel ou tel type d’infor-
     mation, les informations sur la production et le marché par exemple, puis
     à déterminer en fonction de la psychologie moyenne des hommes et des
     mesures qu’il est possible de prendre à un instant déterminé, quelles seront
     les évolutions les plus probables de la situation? Ne pourrait-on même
     concevoir un appareillage d’état couvrant tout le système de décisions
     politiques, soit dans un régime de pluralité d’Etats se distribuant la terre,
     soit dans le régime apparemment beaucoup plus simple, d’un gouverne-
     ment unique de la planète? Rien n’empêche aujourd’hui d’y penser. Nous
     pouvons rêver à un temps ou une machine à gouverner viendrait suppléer
     – pour le bien ou pour le mal, qui sait? – l’insuffisance aujourd’hui patente
     des têtes et des appareils coutumiers de la politique ».

      Un tel robot pourrait être programmé en assimilant la vie politique à un
« jeu », au sens que lui donne la théorie mathématique des jeux26 :
     « les processus humains qui font l'objet du gouvernement sont assimilables
     à des jeux au sens où von Neumann les a étudiés mathématiquement,
     seulement à des jeux incomplètement réglés, jeux en outre à assez grand
     nombre de meneurs et à données assez multiples. La machine à gouverner
     définirait alors l’État comme le meneur le plus avisé sur chaque plan
     particulier, et comme l'unique coordinateur suprême de toutes les décisions
     partielles. Privilèges énormes qui, s’ils étaient scientifiquement acquis, per-
     mettraient à l’Etat d’acculer en toutes circonstances tout joueur au «jeu de
     l’homme» autre que lui à ce dilemme: ou bien la ruine quasi immédiate,
     ou bien la coopération suivant le plan. Et cela rien qu’en jouant le jeu, sans
     violence étrangère. Les amateurs de « meilleur des mondes » ont bien de
     quoi rêver... »

    À la fin de son article, Dubarle attire l’attention sur les risques d’un tel
robot politique dont l’efficacité pourrait fasciner ceux qui sont effrayés par les
turbulences ou les instabilités des sociétés humaines. Mais qui seraient les
programmeurs d’un tel robot ? Quelles philosophies politiques et quelles va-
24. Le Monde, 28 décembre 1948, pp. 47-49. Pour une analyse de la réaction de Wiener à cet
    article cfr : la présentation de R. Le Roux de la traduction du livre de N. Wiener, Cyber-
    nétique et société. L’usage humain des êtres humains (trad. par P.-Y. Mistoulon), Paris,
    Seuil, 2014, pp. 29-30.
25. p. 49.
26. Idem. Pour une introduction rapide à la théorie des jeux, nous renvoyons le lecteur non-
    spécialiste au numéro hors-série « Théorie des jeux. Stratégies et tactiques », Tangente,
    HS n°46, Paris, 2013.

236                      revue des questions scientifiques

leurs présideraient à sa programmation ? Une telle machine à gouverner pour-
rait mener à la manipulation des foules sous couvert d’une neutralité ou d’une
efficacité technologique et, comme le dit Dubarle, au « surgissement d’un pro-
digieux Léviathan politique. Celui de Hobbes n’était du reste qu’agréable
plaisanterie. »27
      Aujourd’hui, certaines des interrogations de Dubarle prennent une réa-
lité très concrète, lorsqu’on sait que certains groupes délèguent à des robots le
soin d’engendrer ou de disperser sur le Web des messages soutenant ou criti-
quant certaines opinions politiques. Une véritable guerre électronique d’idées
gérée par des machines autonomes mises au service de propagandes les plus
diverses n’est donc plus du tout de l’ordre de la fiction.
      Wiener, comme l’a bien souligné Pierre Cassou-Noguès dans son livre
Les rêves cybernétiques de Norbert Wiener28, avait bien perçu que ce type de
machine à gouverner pourrait obscurcir grandement le problème des respon-
sabilités politiques. C’est un problème devenu courant aujourd’hui dans l’uti-
lisation des robots autonomes. Lors de disfonctionnements, celui qui les met
en action peut toujours se retrancher dans une position où il se disculpe en
invoquant les défaillances du système.
      La fascination pour les performances des robots peut induire et sembler
légitimer un transfert de pouvoirs décisionnels importants de l’homme vers la
machine. Dans un deuxième temps, ce transfert peut s’accompagner d’une
décharge ou d’un oubli (conscient ou non) des responsabilités impliquées par
la mise en œuvre des robots autonomes. Comme le recommande Wiener, il
importe de garder à l’œil le fait que les utilisateurs de robots (économistes,
juges ou politiciens), pourraient29 :
      « éviter de prendre une responsabilité personnelle dans une décision dan-
      gereuse et désastreuse en déplaçant cette responsabilité (…) dans un dispo-
      sitif mécanique que l’on ne comprend pas entièrement mais qui a une ob-
      jectivité supposée. »

27. Idem.
28. Paris, Seuil, 2014, pp. 132-133.
29. N. Wiener, God and Golem, cité de P. Cassou-Noguès, Les rêves cybernétiques de Norbert
    Wiener, op.cit., p. 133.

les robots, les hommes et la paix                               237

     Norbert Wiener nous invitait à la prudence dans ce domaine, lorsqu’il
affirmait30 :
      « Si nous sommes assez stupides pour abdiquer en tant qu’êtres humains et
      refuser le respect à nos congénères au nom de considérations douteuses sur
      l’efficacité et l’intelligence des machines, alors en effet l’humanité quittera
      la scène et le mérite bien. Ce qui importe est de préserver un mode de vie
      humain, et aucune des perfections attribuées à la machine ne peut modi-
      fier substantiellement notre responsabilité à ce propos ».

     Un problème supplémentaire surgit ici. Les systèmes robotisés que nous
avons évoqués sont largement autonomes. Par définition donc, ils peuvent
avoir des comportements imprévisibles, inédits, lorsqu’ils sont placés dans tel
ou tel environnement. La question se pose donc de savoir si l’on peut laisser
agir un tel système autonome dont les actions imprévues peuvent entraîner
des conséquences potentiellement graves (en termes de vie ou de mort phy-
sique ou économique). Nous pensons que nous touchons ici à l’une des limites
importantes de l’usage des robots autonomes. On peut admettre une réelle
autonomie lorsque ses conséquences, balisées a priori, n’induisent pas de com-
portements qui seraient réprouvés dans le cadre éthique adopté par l’utilisa-
teur. Mais, dans le cas contraire, il importe de ne pas mettre en jeu le mode
autonome de fonctionnement. Ce qui implique l’existence d’une procédure
(habituelle ou d’urgence) permettant de sortir de ce mode.

3.3. Une guerre robotisée sans visage et sans responsable ?
     L’utilisation des robots autonomes dans le cadre économique, juridique
ou politique pose déjà des questions importantes du point de vue éthique.
Leurs usages dans le domaine de la sécurité et de la défense étendent et ag-
gravent ces questions. De nombreuses publications ont été consacrées ces der-
niers temps à ce sujet. Nous nous contenterons d’épingler seulement quelques
problèmes cruciaux31.

30.   N. Wiener, brouillon pour God and Golem, cité de P. Cassou-Noguès, Les rêves cyberné-
      tiques de Norbert Wiener, op.cit., pp. 165-166.
31.   Nous renvoyons ici le lecteur aux publications suivantes : P.W. Singer, Wired for War.
      The Robotics Revolution and 21st Century Conflict, New York, Penguin, 2009 ; «War
      Machines», Scientific American, July 2011, pp. 36-43 ; « Robotique militaire. La
      révolution est en marche », DSI (Défense et Sécurité internationale) Hors-Série, n°10, Fé-
      vrier-Mars, 2010. Robots on the Battlefield. Contemporary Issues and Implications for the
      Future (R. Doaré, D. Danet, J.-P. Hanon, G. de Boisboissel, eds), Fort Leavenworth,

238                        revue des questions scientifiques

     L’usage des robots dans ce domaine peut se concevoir au niveau de mis-
sions logistiques (transport de matériel ou de personnel), de surveillance et de
reconnaissance, ou encore de combat. Il est essentiel de distinguer dans le
domaine militaire les robots aux comportements automatisés et ceux qui se-
raient autonomes.
     Les exemples les plus connus de « warbots » sont les drones aériens.
Aujourd’hui, ces robots armés sont téléopérés, c’est-à-dire, commandés à
distance par des opérateurs. Ils ne sont donc pas entièrement autonomes,
même s’ils sont largement automatisés pour toute une série de tâches et de
comportements. Il existe par ailleurs des robots armés qui sont automatisés
sans être téléopérés. Nous allons envisager successivement les questions que
posent les robots armés téléopérés, automatisés et autonomes.
     Les questions juridiques et éthiques posées par les drones téléopérés sont
largement les mêmes que celles qui émergent avec les armes classiques32. En
effet, il n’existe pas de différence fondamentale, du point de vue éthique, entre
un bombardement d’une cible par un drone téléopéré ou par un chasseur-
bombardier ou encore par un missile de croisière. Ces opérations sont réali-
sées sous la supervision d’opérateurs (situés tous à plus ou moins grande
distance de la cible) via une médiation technologique extrêmement sophisti-
quée. Les questions sont en fait aussi graves et similaires dans tous ces cas.
Bien entendu, il convient de ne pas simplifier les problèmes. Le fait qu’un
drone puisse être facilement piraté et récupéré par des puissances ennemies ou
que sa mise en œuvre soit plus simple que certains autres systèmes d’armes
(avec les risques de prolifération et d’utilisation par des groupes malveillants),
posent des questions particulières qu’il convient de ne pas négliger et qui
viennent se surajouter à celles que posent l’emploi des armes classiques aux-
quelles nous faisions allusion.

      Combat Studies Institute Press/ Ecoles de Saint-Cyr Coëtquidan, 2014 ; P. Lin,
      G. Bekey, K. Abney, « Autonomous Military Robotics : Risk, Ethics, and Design », rap-
      port à destination du US Department of Navy, Office of Naval Research, 2008, California
      Polytechnic State University, « Ethics + Emerging Sciences Group », San Luis Obispo (dis-
      ponible sur le Web).
32.   Cfr les deux ouvrages suivants aux orientations très différentes voire antagonistes : Kil-
      ling by remote control. The ethics of an unmanned military (B. J. Strawser, ed.), Oxford
      University Press, 2013 ; G. Chamayou, Théorie du drone, Paris, La Fabrique, 2013 (une
      recension intéressante de ce dernier ouvrage par J.-B. Jeangène Vilmer est disponible sur
      le site : http://jbjv.com).