Notre précédente question éthique portait sur la comparaison entre biais humains et biais algorithmiques dans le domaine du droit. Nous pointions entre autres le fait qu’un avantage de ces derniers est qu’ils peuvent être explorés, et donc potentiellement corrigés, pourvu que l'on soit assez soigneux. Il est difficile pour un magistrat de prendre conscience de ses propres biais (même si les juges sont sensibilisés à cette question dès leurs études à l’ENM et ensuite tout au long de leur carrière), et il est encore plus délicat de décrire ces biais à l’échelle d’une juridiction. En revanche, pour mettre en évidence ceux d’un algorithme, il suffit de le faire tourner un grand nombre de fois dans des situations variées et d’observer son comportement.

Toutefois, pour que cette stratégie soit vraiment efficace, il est indispensable que l’intelligence artificielle nous fournisse des explications sur son fonctionnement. La prise de conscience de cette nécessité a donné naissance à un courant de recherche foisonnant, appelé « IA explicable » (XAI selon l’acronyme anglais), dont les résultats fournissent des outils utiles dans tous les domaines où une approche « boite noire » n’est pas acceptable, comme en médecine ou en droit.

Mais que signifie exactement pour une IA d’être explicable ? En étudiant de près cette question, on s’aperçoit rapidement qu’elle est bien plus complexe qu’on pourrait le croire. Il est en particulier nécessaire d’opérer des distinctions assez fines, qui sont lumineusement exposées dans l’interview passionnante donnée par Clément Hénin et Daniel Le Métayer ici.

Les chercheurs décrivent une progression en quatre étapes :

- l’IA peut tout d’abord être transparente, par exemple en rendant son code ou ses données d’apprentissage visibles.

- La deuxième exigence est celle d’explicabilité proprement dite : le code doit être conçu de telle sorte qu’il puisse rendre compréhensible au spécialiste métier (plutôt qu’à un mathématicien !) à la fois une décision particulière et la logique générale de l’algorithme.

- Mais cela ne suffit pas : pour que l’utilisateur ne se sente pas dépossédé de son expertise, il faut que la machine puisse justifier sa proposition : cette justification fait typiquement référence à un élément extérieur, comme une norme, afin de rendre acceptable la décision prise.

- Enfin, cette justification doit pouvoir être contestée : la contestabilité fait référence au fait que l’utilisateur puisse remettre en cause le résultat de l’algorithme via un mécanisme d’interaction avec celui-ci, permettant de corriger des erreurs ou d’interpréter les normes de façon différente.

D’autres formes d’explicabilité peuvent être considérées. En particulier, la machine peut offrir à l’utilisateur la possibilité de prendre connaissance d’explications contrefactuelles, selon le modèle : "si A n'avait pas eu lieu, B n'aurait pas eu lieu". Penser en termes contrefactuels revient à imaginer un scénario hypothétique différent de la réalité d’un dossier et contribue ainsi à éclairer les raisons pour lesquelles une décision a été prise. Le point crucial est qu’une approche contrefactuelle est souvent en mesure de décrire le plus petit changement du dossier qui modifie la décision dans le sens souhaité. Une telle fonctionnalité, puissante, demande d’être implémentée avec une grande vigilance, afin de ne pas introduire une distance trop grande entre le droit et les faits. « Jouer » avec les motivations est un exercice délicat, qui exige une éthique irréprochable.

Les outils développés par Case Law Analytics intègrent depuis longtemps des modules avancés d’explications, qui permettent en particulier de comprendre quels éléments d’un dossier ont pesé en faveur ou en défaveur d’une entrée en voie de condamnation ou d’un montant élevé d’indemnisation. Nous travaillons actuellement à inclure des algorithmes d’analyse contrefactuelle : nos utilisateurs pourront alors par exemple demander à la machine de lui indiquer quelles modifications minimales de leur dossier entraîneraient une décision inverse devant une juridiction.

Et vous, que pensez-vous de ces concepts ? Vous paraissent-ils pertinents et de nature à rassurer à la fois les professionnels du droit et les justiciables quant à l’utilisation de l’IA ?