L'intelligence artificielle (IA) est une technologie à usage général et transverse. Initialement développée en majorité pour des applications commerciales, son utilisation éclairée et raisonnée dans le secteur public et en particulier dans un domaine régalien comme celui de la justice nécessite une supervision du cycle de développement des systèmes d’IA spécifique. Sémantiquement, la notion de systèmes d’IA inclut au-delà du seul modèle d’IA entraîné à effectuer une tâche comme l’analyse de décision judiciaires ou la découverte de corrélations dans des jeux de données volumineux, une chaîne globale de mise en production d’un outil automatisé d’aide à la décision: gestion des infrastructures cloud, réseaux ou entrepôts de données, mécanisme de boucles rétroactives pour améliorer le système dans le temps, mécanismes d’alertes et de détection d’incidents etc. Définir les principes et les spécificités du déploiement des outils d’IA dans la justice pour éclairer la décision publique et les citoyens dans l’appropriation de ces outils nécessite donc d’expliciter les bonnes pratiques selon toutes ces dimensions.
La récente proposition de règlement de la Commission Européenne “AI Act” d’Avril 2021 classifie l’utilisation de l’IA dans la justice comme un usage à haut risque : les systèmes destinés à assister une autorité judiciaire dans la recherche et l'interprétation des faits et du droit et dans son application sont ainsi soumis à des audits de conformités les plus exigeants avant d'être déployés et de monitoring durant tout le temps de leur d’utilisation. Si cette proposition oriente d’ores et déjà sur des grands principes macroscopiques pour le développement de l’IA dans la justice (IA de confiance, responsable, éthique, transparente, explicable ou équitable), l’application concrète du règlement final qui ne rentrera en vigueur au mieux qu’en 2025 pose une série de défis technologiques et organisationnels devant être adressés pour garantir un usage responsable de l’IA dans la justice.
Le défi de la qualité des données dans les données sources
L’accroissement exponentiel de la demande de jeux de données volumineux pour les systèmes d'IA a entraîné une croissance équivalente des données achetées auprès de courtiers tiers pour être utilisées dans une large gamme d'applications d'IA. Ces sources de données tierces augmentent le risque de problèmes de qualité et de confidentialité des données. Comprendre ce que contiennent les jeux de données avant leur utilisation pour l'entraînement des modèles est ainsi primordial et peut constituer un défi en lui-même. Pour donner un exemple récent dans le champ de la santé, une méta-analyse publiée dans Nature de plus de 2 000 articles implémentant des outils d'IA pour détecter des pneumonies COVID-19 a révélé un nombre important de défauts et biais méthodologiques, tels que le mélange de données de pneumonie adulte et pédiatrique dans le groupe témoin.
Dans la justice, pour éviter les biais d'échantillonnage, il est important de replacer le problème de la collecte de donnés dans une perspective globale de déploiement de l’outil entrainé sur ces données : À titre d’exemple, pour des casiers judiciaires équivalents, des experts ont noté que les femmes sont moins susceptibles de récidiver que les hommes. Ainsi, dans le dataset COMPAS, un algorithme n’utilisant pas le genre pour sa classification va systématiquement surestimer la probabilité de récidive chez une femme. En effet, sans le genre spécifié, les hommes et les femmes auront les mêmes risques de récidives par défaut, ce qui s’oppose à la réalité où il apparaît que les femmes récidivent beaucoup moins.
Le défi de la co-conception
Un des objectifs majeurs de la note pour la fondation Jean Jaurès sur la justice algorithmique coécrite avec Aurélie Jean et Adrien Basdevant est d’encourager les dialogues plurilatéraux entre les parties prenantes dans la conception de ces outils. En particulier la note propose que dans les phases de préconception et post-développement une meilleure orchestration des profils non techniques, comme des personnes issues du métier puisse être organisée. Dans le cas de la justice algorithmisée, des acteurs de la justice, comme les juges, les avocats, ou encore les policiers, seraient consultés. On parle alors de co-conception pour intégrer les bons réflexes d’une pratique judiciaire éthique, responsable et juste. A cet égard, un rapport de la cour des comptes de 2020 soulève notamment le problème des cadres dirigeants encore trop éloignés des enjeux du numérique dans la conduite des grands projets numériques de l'État.
La croissance exponentielle de la taille des modèles d’IA, “Too Big to audit?”
Développer une IA de confiance utilisant les systèmes à l’état de l’art nécessite de pouvoir auditer des modèles d’IA très larges contenant parfois des trillions de paramètres comme certains des modèles de langues développés récemment par Google. Ces modèles de grande taille sont particulièrement sensibles aux attaques adverses et peuvent révéler des informations personnelles contenues dans le jeu de données d'entraînement. D’autre part, il peut exister des différences significatives dans le traitement des biais entre un modèle large et son équivalent compressé (modèle réduit plus simple d’utilisation) même si la performance des deux modèles pour effectuer une tâche reste constante. L’audit de ces systèmes larges dont l’utilisation peut être particulièrement bénéfique aux juristes nécessite donc une relation renforcée entre la recherche, la science ouverte et les praticiens de la justice.
Contrairement à l’idée d’une autonomie totale théorique, la plupart des systèmes d'IA ne sont que des composants de processus humains plus larges.
Dans le monde réel et en particulier pour les usages dans le secteur public, les modèles fonctionnent rarement en autonomie complète. C'est plutôt la combinaison de l'humain assisté par la prédiction du modèle et potentiellement de l’humain éclairé par des explications fournies par le modèle qui conduisent à un comportement stratégique particulier ou à une décision finale. Ainsi dans la conception des systèmes d’IA pour la justice, la place dévolue à l'humain est centrale. Par exemple, dans l’évaluation de chances de succès de procédures sur des cas de prestations compensatoires ou de pensions alimentaires des juristes seraient susceptibles de considérer des facteurs plus larges prenant en compte l’aléa humain en plus des résultats d’un modèle. Enfin, il est nécessaire de davantage comprendre les mécanismes sous-jacents de psychologie cognitive dans la prise de décision collaborative. Des travaux de recherche récents, montrent que les méthodes d'IA explicables produisent certaines externalités négatives en pratiques comme une confiance excessive de l’utilisateur dans le modèle au lieu de fournir uniquement une interprétabilité du comportement du modèle.
L’IA est une technologie de rupture dont l’état de l’art, par essence, ne cesse de repousser la frontière des contraintes techniques. En parallèle, l’adoption par le secteur public et ses usages jusque dans les domaines d’application les plus régaliens comme ceux de la justice place l'éthique comme un des critères les plus importants dans la conception des systèmes d’IA et incite à considérer un cadre d’audit plus large que celui qui prévaut habituellement pour l’ingénieur. Dans ce cadre et pour des raisons déontologiques évidentes, l’humain et le juriste doivent être au centre du développement technologique très en amont du déploiement d’une justice algorithmique responsable au service d’une justice humaine et humaniste.
Victor Storchan est ingénieur dans l’industrie financière et contributeur régulier à Phébé, rubrique de veille d’articles de recherche du magazine Le Point. Il est ancien élève de l’université de Stanford et de l’ENS Lyon.
Il a récemment participé à la rédaction d'un rapport de la fondation Jean Jaurès intitulé "Mécanisme d'une justice algorithmisée" avec Aurélie Jean et Adrien Basdevant.