INSIGHT Octobre 2019 - INTELLIGENCE ARTIFICIELLE & ETHIQUE - Sia Partners
←
→
Transcription du contenu de la page
Si votre navigateur ne rend pas la page correctement, lisez s'il vous plaît le contenu de la page ci-dessous
INSIGHT Octobre 2019 INTELLIGENCE ARTIFICIELLE & ETHIQUE Définir une organisation pour anticiper les risques
L’utilisation de la donnée est un enjeu pour les Contrôler ses systèmes d’IA entreprises qu’il faut pouvoir maîtriser afin de se conformer tant au droit qu’à l’éthique. pour se conformer au droit et à l’éthique Le contenu de cet article reflète uniquement le point de vue de ses auteurs en l’état actuel du Si la réglementation concernant les droit applicable en France, de l’éthique et des systèmes d’IA existe, il n’en reste pas moins bonnes pratiques de place. qu’elle est difficilement lisible et insuffisante à certains égards. Une réglementation nébuleuse mais Introduction existante Aujourd’hui, un grand nombre L’utilisation des algorithmes d’IA est aujourd’hui d’opérations bénéficient des avancées réglementée par des textes provenant de technologiques : analyses prédictives, différentes sources, n’ayant pas tous la même aides à la décision, matching, etc. A portée, et n’intéressant pas les mêmes travers leurs algorithmes, les secteurs. organisations extraient, modélisent, et même imaginent de nouvelles En effet, ces algorithmes doivent respecter les techniques leur permettant d’optimiser droits et libertés fondamentaux protégés par les leurs processus et leurs revenus. Mais textes historiques à l’échelle européenne, si elle s’impose comme la solution à notamment la Charte Européenne des Droits de l’efficience, cette démocratisation des l’Homme et la Charte des Droits algorithmes peut être perçue comme Fondamentaux. A ce titre, ils ne peuvent porter un danger, notamment du fait de la atteinte à la vie privée1. Si ces premiers textes myopie des algorithmes non n’abordent pas directement l’intelligence déterministes. Celle-ci se traduit à artificielle, ou du moins les systèmes deux niveaux : le premier étant automatisés qui la constituent, le Règlement l’inaptitude à intégrer des objectifs Général sur la Protection des Données (RGPD) explicites et le second étant les consacre quant-à-lui une obligation spécifique. difficultés, voire une incapacité, à Ainsi, il est interdit pour un organisme de expliquer le raisonnement suivi. prendre une décision ayant des effets significatifs ou des conséquences juridiques sur L’encadrement de ces programmes une personne uniquement sur la base d’un informatiques devient donc nécessaire algorithme et sans intervention humaine2. Cette afin d’assurer transparence, loyauté et interdiction n’est pas totale, puisque le process vigilance. Cet encadrement doit est possible en cas de consentement explicite permettre de répondre à un ensemble de la personne concernée. de normes juridiques et éthiques (partie 1), lesquelles tendent à se Si cette disposition a le mérite d’exister, il n’en renforcer au fur et à mesure du temps. reste pas moins qu’elle est insuffisante. En Pour maitriser les coûts liés à cette effet, même si la tendance est au déploiement, mise en conformité, les entreprises les deux conditions visées (fondement exclusif peuvent s’appuyer sur le dispositif de sur le traitement automatisé et effets protection des données. L’objectif ? significatifs ou juridiques) ne sont que rarement Définir leurs propres standards mises en œuvre de manière complémentaire. d’éthique, développer de nouveaux La plupart des systèmes d’IA utilisés process pour assurer la transparence aujourd’hui par les entreprises se contentent et mettre en place une organisation d’apporter de l’information à celle-ci qui au dédiée afin d’asseoir sa position sur le travers d’un humain prendra la décision ayant marché comme acteur éthique (partie des impacts sur la personne concernée. 2). C’est par exemple le cas de la majorité des applications de recrutement dont les algorithmes se limitent à comparer le besoin de 1 2 Art.8, CEDH. Art. 22, RGPD. 2
l’employeur au CV du candidat, et à remonter Intégrer les obligations sectorielles l’information à l’employeur qui prendra seul la dans le fonctionnement des décision de continuer ou d’arrêter le processus de recrutement. Ces systèmes ne relèvent donc systèmes d’IA pas de cette disposition du RGPD, au même L’utilisation de l’IA est également encadrée par titre qu’un très grand nombre d’entre eux. des réglementations sectorielles spécifiques qui En outre, si l’on regarde les réglementations « constituent de fait un cadre et une série de locales, celles-ci comportent également des limites à l’utilisation des algorithmes dans limites. En effet, la Loi pour une République certains secteurs, dans la mesure même où ils Numérique, votée en novembre 2016, a quant- régulent ces secteurs »5. à-elle imposé la transparence des algorithmes La Commission Nationale de l’Informatique et utilisés par les plateformes à des fins de des Libertés (CNIL) prend pour exemple référencement, classement, et « l’interdiction de l’établissement d’un déréférencement. diagnostic [médical] par un algorithme seul » du De plus, cette loi oblige l’administration à fait du code de la santé publique qui « réprime communiquer les codes sources des l’exercice illégal de la médecine par toute algorithmes utilisés. Mais quid du secteur personne non titulaire d’un diplôme »6. Un autre privé ? Un tel niveau de transparence ne leur exemple est également cité, lequel concerne est, à date, pas encore imposé. Ce principe les pratiques anticoncurrentielles. Si les aurait d’ailleurs des difficultés à être appliqué ententes illicites, les abus de position par ce secteur du fait de l’existence d’autres dominante ou encore la concurrence déloyale principes juridiques contradictoires comme le sont interdites de manière générale, elles le secret industriel. sont aussi lorsque ces pratiques sont issues de systèmes d’intelligence artificielle. Un cadre spécifique limité aux Il est donc indispensable de vérifier la données personnelles ? conformité des systèmes d’IA avec le Droit dans toute sa diversité. Se pose un autre problème : l’obligation issue du RGPD ne concerne que les algorithmes traitant des données personnelles et dont les résultats s’appliquent directement à des personnes. Or, des impacts sociaux et environnementaux peuvent résulter de traitements ne répondant pas à ces critères 3. Certaines réglementations viennent cependant combler ce vide, mais celles-ci restent très spécifiques. Il s’agit par exemple de MIFID 2 qui prévoit un certain nombre de dispositions encadrant la négociation algorithmique et la négociation à haute fréquence afin d’ « améliorer la qualité du marché en prévenant Un encadrement plus éthique que et gérant les risques réels ou potentiels de juridique fonctionnement désordonné du marché »4. Les acteurs de marché doivent donc mettre en L’encadrement des systèmes d’IA ne se limite place des processus afin de s’assurer que leurs pas aux normes juridiques contraignantes : il systèmes algorithmiques, même s’ils ne traitent est surtout éthique. En effet, la Commission pas de données personnelles, sont Européenne a précisé dans ses lignes suffisamment résilients, testés avant d’être directrices sur l’éthique de l’intelligence lancés mais également équipés de artificielle 7 que ces traitements automatisés disjoncteurs. doivent « assurer l’adhésion à des principes et 3 5 Comment permettre à l’Homme de garder la main ?, Rapport Comment permettre à l’Homme de garder la main ?, Rapport de la CNIL, Décembre 2017. de la CNIL, Décembre 2017. 6 Idem. 4 https://www.amf-france.org/Acteurs-et-produits/Marches- 7 financiers-et-infrastructures/De-MIF-1-a-MIF-2/Les-principaux- Lignes directrices en matière d’éthique pour une IA digne de apports-de-MIF-2#title_paragraph_6 confiance, GEHN IA, Commission Européenne, Avril 2019. 3
valeurs éthiques ». Selon la commission choix, les gouts et les comportements de européenne, ces principes sont les suivants : chacun »10. Cela est d’autant plus important que, comme le souligne la CNIL, le fait que « le législateur 1 2 3 demande à une institution de produire une Action humaine Robustesse Respect de la vie réflexion éthique place bien à l’horizon – plus ou et contrôle technique et privée et moins proche – d’une telle réflexion l’inscription humain sécurité gouvernance législative de celle-ci »11. 4 5 6 C’est d’ailleurs ce que l’Union Européenne Transparence Diversité, non- Bien-être sociétal semble préparer. En effet, un document discrimination et et visualisé par le Financial Times mentionne la équité environnemental volonté de rédiger un texte établissant des 7 règles contraignantes en matière d’intelligence artificielle 12 . La future présidente de la Responsabilité Commission Européenne a au surplus déclaré qu’une telle législation devrait être présentée dans les 100 premiers jours de son mandat 13, soit d’ici janvier 2020. Si l’éthique est une notion subjective, elle est intrinsèquement liée à celle de droits et libertés. En témoignent les nombreux sondages démontrant la volonté des citoyens et consommateurs de protéger leur vie privée. Par exemple, il a été relevé que 91% des internautes souhaitent garder le contrôle sur leurs données personnelles8. Cette volonté doit être mise en perspective avec les risques liés à l’intelligence artificielle, comme par exemple celui du développement de phishing particulièrement élaborés pouvant discrètement et efficacement porter atteinte à la sécurité des données9. Quoi qu’il en soit, ne pas prendre en compte ces principes dès aujourd’hui est porteur d’un risque Une pression qui s’intensifie sur les financier (4% du Chiffre d’Affaires global pour entreprises avant l'arrivée d’une les dispositions relevant du RGPD), pénal, civil, mais aussi d’image. L’affaire Cambridge nouvelle réglementation européenne Analytica l’a démontré puisqu’après avoir perdu Bien que ces lignes directrices ne soient pas 26% de ses utilisateurs américains14, Facebook contraignantes, force est de constater que a été condamné à payer une amende de 5 respecter les principes qu’elles contiennent milliards de dollars par la Federal Trade apparait comme une opportunité à saisir. La Commission (incluant d’autres manquements à demande est forte : 64% des français estiment la vie privée)15. qu’aujourd’hui, les algorithmes « représentent plutôt une menace en raison d’une accumulation de données personnelles sur les 8 12 Etude sur les données personnelles, Mediamétrie, Juin 2017. https://www.ft.com/content/90ce2dce-c413-11e9-a8e9- 9 296ca66511c9 https://www.nextinpact.com/news/106188-une-etude-pointe- 13 possibles-effets-pervers-et-dangers-intelligence-artificielle.htm Idem. 10 14 Notoriété et attentes vis-à-vis des algorithmes, Sondage Ifop http://www.lefigaro.fr/secteur/high-tech/2018/09/05/32001- pour la CNIL, Janvier 2017. 20180905ARTFIG00325-apres-cambridge-analytica-un- 11 americain-sur-quatre-a-supprime-l-application-facebook.php Comment permettre à l’Homme de garder la main ?, Rapport 15 de la CNIL, Décembre 2017. https://www.lemonde.fr/pixels/article/2019/07/24/donnees- personnelles-les-etats-unis-imposent-de-nouveaux-garde-fous- a-facebook-deja-contestes_5493017_4408996.html 4
Mettre en place un cadre celui-ci, en passant par les phases de tests et de validation. éthique : capitaliser sur les actions issues de la mise en Aussi, elle ne concerne pas seulement les algorithmes auto-apprenants, mais aussi ceux conformité RGPD pour réduire fonctionnant à partir de règles prédéfinies. les coûts Néanmoins, il ne s’agit pas seulement de Au même titre qu’une mise en conformité au disposer d’une documentation, encore faut-il RGPD, l’implémentation d’un cadre éthique de que celle-ci soit pertinente afin d’assurer l’IA adresse des sujets transverses impactant l’explicabilité des systèmes d’IA. Ce l’existant en entreprise. Afin de préserver leur principe d’explicabilité repose avant tout sur la organisation des différents risques, les compréhension des résultats par les personnes entreprises doivent prendre des mesures concernées : choix opérés, influences sur les permettant de concevoir des systèmes décisions, modèle économique, etc. 17 Cette transparents, elles doivent définir une explicabilité ne se résume donc pas aux organisation en charge des problématiques conséquences de l’algorithme mais s’étend à d’éthique de l’IA, conduire le changement, et l’ensemble de son écosystème. identifier des standards auxquels doivent répondre leurs systèmes. Concevoir des systèmes d’IA transparents Pour être éthiques, les systèmes d’IA doivent, dès leur conception, répondre aux exigences listées par la Commission Européenne (cf. schéma ci-dessus). Pour cela, il est indispensable de capitaliser sur les modifications qui ont été apportées aux méthodologies projets des entreprises afin de se conformer au Privacy by design et by default, Force est de constater que cette explicabilité ne obligation introduite par le RGPD. C’est ce peut prendre véritablement sens que si elle est qu’on appelle l’« ethic by design ». suivie de communication. En effet, dans le sillage de l’obligation d’information issue du Les principes éthiques doivent être considérés RGPD, il est nécessaire de mettre en place des globalement par le projet. Cela signifie que mentions d’information à destination des cette prise en compte doit être visible dans la utilisateurs finaux de l’algorithme. Ces mentions planification des projets, leurs coûts, les doivent comprendre un certain nombre ressources humaines, et doit être sponsorisée d’éléments liés au système à un niveau élevé de l’entreprise. algorithmique (résultats, finalités, limites, etc.). Les livrables projets permettant, entre autres, Aussi, cette information doit être adaptée au de limiter la collecte de données au strict support (web, papier, etc.) afin d’assurer sa nécessaire, doivent donc être revus pour lisibilité. Comme pour les mentions intégrer ces grands principes éthiques. Afin d’information spécifiques aux données d’assurer la transparence, ces livrables doivent personnelles, elles peuvent être inclues dans permettre de tracer et d’expliquer le système les documents contractuels, ou par exemple, algorithmique : méthode de programmation ou dans une politique dédiée accessible sur le site d’entrainement, données d’entrée, résultats et internet. Il peut d’ailleurs être opportun de décisions prises, etc. 16 De plus, cette consacrer un paragraphe à ce sujet dans les documentation doit être évolutive politiques de confidentialité. corrélativement à l’avancée du projet, de la conception de l’algorithme aux résultats de Il est à noter que cette obligation est plus large que celle issue du RGPD puisque les utilisateurs finaux ne sont pas les seuls à devoir 16 17 Lignes directrices en matière d’éthique pour une IA digne de Idem. confiance, GEHN IA, Commission Européenne, Avril 2019, p. 37. 5
être informés. En effet, les personnes chargées Mener des analyses d’impacts sur du déploiement du système doivent également les droits fondamentaux être informées des caractéristiques, limites et « éventuelles lacunes du système »18. Ici encore, les organismes peuvent capitaliser sur leur mise en conformité au RGPD. Il s’agit d’élargir les Analyses d’impact sur la Vie Privée (« PIA » en anglais) à l’ensemble des droits fondamentaux. Ce travail permet d’établir si l’architecture et les mesures de sécurité sont suffisantes pour assurer la diversité, la non-discrimination, l’équité et le bien-être sociétal et environnemental. Le cas échéant, ces analyses permettront de dégager des mesures de remédiation. Elles doivent être menées sur les systèmes d’ores-et-déjà existants (stock), ainsi que futurs (flux). Pour ces derniers, il conviendra d’inclure ces Au surplus, il faut également prévoir des analyses comme livrables projets devant être mécanismes permettant de remonter des validés par les instances d’entreprises ou problèmes relatifs à la discrimination ou au fonctions adéquates. système de l’IA lui-même. Cela peut par exemple passer par la création d’une adresse- En tout état de cause, l’analyse d’impact doit mail dédiée, ou l’inclusion dans les pages de prendre en compte le caractère plus ou moins paramétrages de préférences d’un mécanisme autonome du système. En effet, mener des de remontée d’information. analyses d’impacts sur l’ensemble des systèmes algorithmiques n’aurait que peu Celui-ci est également nécessaire pour que les d’intérêt car tous ne sont pas porteurs du même utilisateurs puissent demander un examen niveau de risque. Il faut donc déterminer des humain de la décision prise par l'algorithme, critères permettant d’évaluer ce risque : donner leur avis sur la transparence du système traitement de données sensibles au sens et s’opposer au traitement de leurs données par RGPD, autonomie de l’algorithme, les systèmes d’IA. Sur ce point, il est également conséquences juridiques sur les personnes, possible de capitaliser sur ce qui existe déjà en etc. utilisant le processus de gestion des droits RGPD, ou les pages de préférences de contact Ces analyses permettent également de en matière de prospection commerciale et s’assurer du caractère « human centric » du newsletter. système, à savoir que les utilisateurs doivent « être en mesure de prendre des décisions 18 Idem, p. 38. 6
autonomes éclairées à l’égard des systèmes comités rassemblant les parties prenantes d’IA », et contrôler ce système. internes, voire externes, et permettant de réaliser des arbitrages concernant les risques Ce contrôle peut être de trois ordres : soit sur les droits fondamentaux. Encore une fois, il l’humain intervient directement dans le peut être opportun de rassembler les questions processus, soit il le supervise, soit il reste aux liées à la protection des données et celles liées commandes19. La revue régulière du système à l’éthique des algorithmes au sein d’un même algorithmique permet, en autres, de s’assurer comité, ou s’ils existent déjà, avec les comités de cela. éthiques. En outre, les analyses d'impact doivent prendre Mais les organismes doivent également en compte les problématiques de gestion des sensibiliser et former leurs collaborateurs afin tiers. En effet, de nombreuses entreprises ne de diffuser la culture de l’éthique, et d’assurer la conçoivent pas leurs propres systèmes d'IA et bonne application des process (« ethic by utilisent des produits externes. Afin de design », analyses d’impacts, etc.). Pour cela, il préserver sa responsabilité, il est donc est nécessaire que la formation porte tant sur nécessaire de choisir un prestataire qui les aspects purement éthiques, que sur les applique les grands principes éthiques, insérer aspects plus techniques. une clause appropriée dans le contrat lorsqu’il s’agit de systèmes en SAS ou de prestations de services, et effectuer des audits pour vérifier le respect du contrat. Les prestataires de services qualifiés de sous-traitants doivent également aider l'entreprise à réaliser une étude d'impact sur les droits fondamentaux. A noter que cette analyse doit évoluer au gré des mutations du système lui-même puisque de nouveaux risques peuvent survenir. Organiser son entreprise et diffuser Cette pluridisciplinarité doit d’ailleurs se retrouver dans les équipes participant à la mise la culture de l’éthique au point du système d’IA. Il faut donc s’assurer Afin de réussir la mise en place d’un cadre que les équipes soient diversifiées « en ce qui éthique de l’utilisation de systèmes d’IA, il est concerne le genre, la culture et l’âge, mais indispensable de mettre en place une également du point de vue du parcours gouvernance dédiée, et d’accompagner la professionnel et des compétences » 20 . En transformation de l’organisme. somme, il s’agit donc de faire du management inclusif : agir contre les discriminations en Cette gouvernance peut, par exemple, se baser interne pour éviter celles pesant potentiellement sur celle mise en place pour la protection des sur les utilisateurs finaux des algorithmes. données, c’est-à-dire octroyer au Délégué à la Protection des Données une fonction de conseil Définir des standards d’entreprise : et d’accompagnement à l’éthique des systèmes une difficulté surmontable algorithmiques. Il est également envisageable de conférer ce rôle aux fonctions RSE. Quoi Afin de garantir une certaine cohérence en qu’il en soit, ce responsable doit avoir des matière d’éthique, il est indispensable de définir relais, tant dans les fonctions métier clientes des standards d’entreprise en la matière. En des systèmes algorithmiques que dans les effet, étant donné que la Commission fonctions supports, notamment les pôles européenne ne fournit que des lignes développant ou gérant le système directrices mais pas de formules ou de seuils à algorithmique. Aussi, le Top Management doit suivre, il appartient à l'entreprise de les élaborer nécessairement être impliqué afin d’asseoir le et de les documenter en interne. caractère stratégique. Ces standards doivent être mis à disposition Outre des rôles et responsabilités assignés, il des collaborateurs, et en particulier des est indispensable de mettre en place des concepteurs des systèmes. Ils doivent intégrer 19 20 Lignes directrices en matière d’éthique pour une IA digne de Lignes directrices en matière d’éthique pour une IA digne de confiance, GEHN IA, Commission Européenne, Avril 2019, p. 19. confiance, GEHN IA, Commission Européenne, Avril 2019, p. 29. 7
les 7 grands principes 21 permettant d’assurer principes éthiques. En effet, ces derniers sont une éthique des algorithmes. Il s’agit par des notions subjectives sur lesquelles il est exemple de seuils acceptables d’automatisation nécessaire de s’accorder en amont de leur des systèmes, de niveau d’explicabilité, application23. Pour cela, la co-construction est d’auditabilité, de fiabilité, d’équité, etc. très encouragée. Il est donc recommandé d’échanger avec des associations, Or l’ensemble de ces seuils ou formules ne peut administrations, des entreprises du même être à la fois efficace économiquement et secteur, voire avec les utilisateurs finaux du éthiquement que si ceux-ci sont coconstruits système directement. par la conformité, l'audit interne et la data science. La première difficulté tient donc dans la nécessaire complémentarité des concepteurs des standards qui exercent des activités fondamentalement différentes. Ces équipes Conclusion devront, pour la première fois, travailler ensemble à coconstruire ce nouveau cadre La diversité des actions à mettre en éthique de l'IA. œuvre afin d’assurer une éthique de l’intelligence artificielle est donc largement similaire à celle issue du RGPD. Les entreprises peuvent donc capitaliser sur les processus, organisations et livrables mis en place dans le cadre de la protection des données pour réduire les coûts liés à l’instauration d’un « ethic by design » et d’une organisation éthique. Le La deuxième difficulté réside essentiellement véritable coût résidera dans la dans ses coûts. En effet, les standards définition et l’application des d’entreprise doivent inclure l’obligation relative standards d’entreprise. à la notion de « human centric », laquelle a pour objet de faire en sorte que chaque système Mais il y a fort à parier que d’intelligence artificielle bénéficie de l’engagement de telles actions ne sera mécanismes permettant une supervision ou un que bénéfique pour l’entreprise contrôle humain. Comment ? En imposant par puisqu’il s’agit d’anticiper l’arrivée de exemple le développement d’interfaces entre la nouvelles réglementations spécifiques machine et son utilisateur par des « outils de aux systèmes d’IA. En effet, force est visualisation lui permettant de comprendre de constater que les entreprises ont la pourquoi des recommandations [lui] ont été possibilité de se démarquer sur le proposées voire, encore mieux, de générer en marché en adoptant une approche retour des recommandations plus éthique basée sur la transparence de appropriées » 22 . Or ces outils de visualisation leurs systèmes vis-à-vis de leurs sont coûteux, au même titre que l’est leur mise clients, partenaires et employés. à disposition aux clients dans des interfaces dédiées. Enfin, la définition de standards peut être difficile puisqu’ils doivent répondre à des 21 22 A savoir les principes d’action humaine et de contrôle humain, Comment permettre à l’Homme de garder la main ?, Rapport de robustesse technique et de sécurité, de respect de la vie de la CNIL, Décembre 2017. privée et de gouvernance, de transparence, de diversité, non- 23 Lignes directrices en matière d’éthique pour une IA digne de discrimination et équité, de bien-être social et environnemental confiance, GEHN IA, Commission Européenne, Avril 2019, p. 39. et de responsabilité. 8
VOS CONTACTS SOPHIE LE GOFF Partner Compliance & Insurance + 33 6 15 29 31 83 Sophie.le-goff@sia-partners.com SANDRA BERTAY Senior Manager Compliance + 33 6 32 94 64 59 Sandra.bertay@sia-partners.com JEANNE FOURCADE Senior Consultant Compliance + 33 6 82 08 16 71 Jeanne.fourcade@sia-partners.com A PROPOS DE SIA PARTNERS Sia Partners réinvente le métier du conseil et apporte un regard innovant et des résultats concrets à ses clients à l'ère du digital. Notre présence globale et notre expertise dans plus de 30 secteurs et services nous permettent d’accompagner nos clients dans le monde entier. Nous accompagnons leurs initiatives en stratégie, projets de transformation, stratégie IT et digitale et data science. En tant que pionniers du Consulting 4.0, nous développons des consulting bots et intégrons dans nos solutions la disruption créée par l'intelligence artificielle. Abu Dhabi | Amsterdam | Brussels | Casablanca | Charlotte | Denver | Doha | Dubai | Frankfurt | Hamburg | Hong Kong | Houston | London | Luxembourg | Lyon | Milan | Montreal | Riyadh | Rome | Seattle | Singapore | Tokyo | Toronto | Pour plus d’informations: www.sia-partners.com Suivez nous sur LinkedIn et Twitter @SiaPartners 9
Vous pouvez aussi lire