Recommandations de l’Institut Montaigne contre les algorithmes discriminatoires
Dans un rapport récent, l’Institut Montaigne affirme : le numérique et l’intelligence artificielle ne « pourront pourtant pas se développer en France s’ils sont porteurs de discriminations massives ». À l’issue de leur réflexion, il a proposé une série de recommandations, que nous reproduisons ici.
« Face à ces enjeux, il faut être clair, précise le rapport. Nous ne recommandons ni une loi contre les biais des algorithmes commune à tous les secteurs d’activités, ni un contrôle systématique par l’État de l’absence de biais dans les algorithmes. »
L’Institut Montaigne avance plusieurs propositions.
Extraits.
Tester l’absence de biais dans les algorithmes
« À l’instar des nouveaux médicaments, il est difficile de comprendre le fonctionnement de tous les algorithmes, notamment ceux utilisant l’intelligence artificielle. Par ailleurs, comprendre leur fonctionnement ne garantit pas qu’il n’aura pas de biais algorithmiques. C’est in fine par le test de l’absence de biais qu’il est possible de créer la confiance dans le caractère équitable des algorithmes. »
Promouvoir une équité active
« Pour lutter contre les discriminations, la France a longtemps fait le choix de ne reconnaître que des citoyens, égaux en droit, plutôt que des individus divers. En ce qui concerne les algorithmes, cette approche n’est pas pertinente. Un algorithme peut introduire des biais comme les femmes, même si l’on a explicitement exclu le genre des variables utilisées – il est en effet facile de déduire cette information à partir d’autres informations, comme le fait d’acheter en ligne des soins pour femme. Pour lutter contre les discriminations, il faut donc pouvoir les détecter. Cela suppose de passer d’une approche qui attend l’équité par l’ignorance de la diversité à une équité active, c’est-à-dire accepter que l’équité d’un algorithme ne s’obtient pas en excluant toutes les variables protégées comme le sexe, l’âge ou encore la religion mais au contraire en les incluant et en testant l’indépendance du résultat vis-à-vis de ces variables. Pour ce faire, il est nécessaire de disposer de ces informations protégées. »
Être plus exigeant dans les algorithmes ayant un fort impact sur les personnes
« La sensibilité d’un algorithme vis-à-vis de la société dépend certes de son secteur d’activité mais surtout de son impact potentiel sur les citoyens. Celui-ci est fort dès lors que l’algorithme peut restreindre l’accès à des services essentiels comme un compte bancaire ou la recherche d’un emploi, mettre en danger la sécurité (santé, police), ou bafouer des droits fondamentaux. Ces domaines font déjà l’objet d’obligations fortes en matière de discrimination. Lorsqu’un algorithme y est introduit, cela ne peut être au prix d’une diminution des exigences. Pour ces algorithmes, nous recommandons un cadre ad hoc prévoyant des obligations de transparence en ce qui concerne les données utilisées et les objectifs fixés à l’algorithme ainsi qu’un droit de recours contre la décision prise. La création d’un tel cadre ne nécessite pas une nouvelle loi sur les biais des algorithmes mais plutôt la mise en œuvre de bonnes pratiques dans les entreprises et administrations, l’usage de dispositifs juridiques existants et l’ajout au cas par cas de dispositions dans des législations sectorielles. »
Assurer la diversité des équipes de conception et de déploiement des algorithmes
« Définir le comportement équitable de l’algorithme permet d’en modifier profondément les impacts économiques et sociétaux. Il est plus que jamais nécessaire d’assurer une pluridisciplinarité dans la prise de ce type de décision qui ne peut être le seul fait d’experts techniques. Au-delà de la diversité professionnelle, il est désormais clair que des équipes socialement diverses sont mieux armées pour prévenir les biais, pour éviter de reproduire des discriminations.
Intégrer une diversité de profils, de compétences, d’expériences, d’âges, de genres dans les équipes de conception, de production et de pilotage des algorithmes doit devenir une norme pour prévenir les biais algorithmiques. »
Conclusion de l’Institut Montaigne
« La vigilance doit être extérieure aux organisations. Il semble utile, dans le cas d’algorithmes à fort impact, de renforcer les exigences. Il faut d’abord soutenir l’émergence de labels qui garantissent la qualité des données utilisées et de l’organisation qui développe l’algorithme, l’existence de procédures de contrôle ou encore l’auditabilité de l’algorithme. Les acteurs économiques auront besoin de telles garanties pour s’emparer des algorithmes, et tirer pleinement parti de la révolution qu’ils représentent. Pour les algorithmes à fort impact, une capacité d’audit et de contrôle de certaines exigences pourrait être confiée à une tierce partie ou à l’État. »
.
