Les robots, avocats et juges de demain ? Pas vraiment ...

Intelligence artificielle en droit : derrière la "hype", la réalité

Justice prédictive, legal tech, Ross, Westlaw, Lexis, Case Law Analytics, Minority report, machine learning, réseaux neuronaux, NLP, Big data etc.

Mardi 16 octobre 2018, par Emmanuel Barthe // Logiciels, Internet, moteurs de recherche

Legal tech, justice prédictive et plus encore "intelligence artificielle" (IA) en droit sont devenus des sujets à la mode depuis 2015-2016 [1].

Mais discours marketing et flou sur les performances sont légion dans ces informations — qui ressemblent souvent plus à de la communication qu’à de l’information.

De qui et de quoi parle t-on exactement : quelles sociétés, quelles fonctions, quelles technologies ?
Quels sont les véritables risques pour l’emploi des professionnels du droit (avocats, stagiaires, juristes d’entreprise, magistrats, notaires) et de leurs "paralegals", documentalistes et veilleurs ?
Quels sont, également, les risques de la justice prédictive ?

C’est le sujet de ce billet, qui vise à démystifier les fonctionnalités et performances des applications présentées comme des "IA" (intelligence artificielle) en droit, tant pour le présent que pour le futur. Il s’appuie sur la lecture d’une bonne partie de la littérature disponible et sur des discussions personnelles avec certains acteurs.

Résumé / Executive summary (TL ;DR)

En quelques paragraphes pour ceux qui sont pressés :

  • L’intelligence artificielle est d’abord un champ de recherche et les réalisations dignes de ce nom en droit sont rares. Le reste, c’est soit de l’informatique "à la papa", soit des logiciels experts.
  • Techniquement, l’IA en droit se caractérise par l’utilisation combinée :
    • du Big data
    • du machine learning (ML)
    • et surtout du traitement du langage naturel (TAL) — en anglais "natural language processing" (NLP) — plus précisément une version du NLP dopée par le ML et l’analyse syntaxique. Ce qui signifie que les soi-disant "intelligences artificielles" en droit sont en fait des moteurs de recherche de nouvelle génération et des systèmes d’aide à la décision. Pas des cerveaux juridiques.
  • La valeur créée par l’intelligence artificielle provient des données nécessaires à l’apprentissage bien plus que de l’algorithme, dont les développements se font en open source. Autrement dit, les données comptent plus que les logiciels. Cela devrait permettre aux éditeurs juridiques français traditionnels, actuellement à la traîne, de revenir dans la course car c’est eux qui détiennent les données les plus riches en droit français, tout particulièrement la doctrine.
  • Si on a beaucoup parlé de Ross, l’IA d’IBM, c’est d’abord grâce à une offensive marketing et communicationnelle de première ampleur. Mais ses performances réelles sont en deçà de sa réputation. Elle ne fait que de la recherche et de l’analyse sur la jurisprudence de droit américain des faillites ou de la propriété intellectuelle.
  • A plus faible dose mais régulièrement depuis une dizaine d’années, Westlaw et Lexis Advance intègrent des petits bouts d’IA, essentiellement du NLP pour améliorer la pertinence des recherches par une sorte de synonymie et de désambiguisation améliorées, mais aussi, depuis peu, des statistiques par juge ou avocat.
  • Cet accent sur la recherche et la justice dite "prédictive" fait oublier que le type d’application d’IA juridique le plus répandu sont probablement les analyseurs de clauses dans les contrats anglo-saxons. Voir notamment les logiciels Kira ou Softlaw.
  • En droit français à l’heure actuelle, seuls quatre systèmes peuvent prétendre à être qualifiés d’IA : Predictice, Case Law Analytics et Legalmetrics de Lexbase et, plus modeste, JuriPredis [2]. Tous ne travaillent que sur la jurisprudence, à l’exclusion du contentieux pénal, Case Law Analytics ayant une approche très délimitée et haute couture, quand Predictice est de facto plus axé sur le droit du travail et la responsabilité civile. On peut à la limite ajouter le pionnier Jurisprudence chiffrée de Francis Lefebvre, qui travaillait déjà sur le langage naturel en 2010. Leur apport : une recherche facilitée, et le calcul du montant prévisible des dommages-intérêts et des chances de gagner un procès. Cet apport ne suffit pas, à l’heure actuelle, à convaincre les magistrats, qui disposent d’outils internes mieux adaptés (barèmes), mais suscite l’intérêt de certains cabinets d’avocats.
  • Les risques de suppression nette d’emplois dans le secteur juridique sont un sujet de débat mais il demeure que les tâches simples et "découpables" seront automatisées et que les collaborateurs, les "paralegals" et les documentalistes juridiques devront apprendre à travailler avec l’IA (et non à côté d’elle), autrement dit à l’utiliser et l’améliorer. Quant à l’IA connectée au cerveau, même si des recherches existent, on en est très loin.
  • La justice dite prédictive entraînerait de sérieux risques, au premier plan desquels le jugement sur des critères obscurs et le conformisme des juges à ce qui a déjà été jugé. Des limites légales existent déjà et des parades techniques sont proposées, notamment l’open source du code ou des tests de vérification à partir de jeux de données. Elle aurait pour avantage de faciliter le calcul des chances de gagner ou perdre un contentieux.

Sommaire

Un sujet très tendance

Début janvier 2017, Les Echos publient un article au titre provocateur : Les robots seront-ils vraiment les avocats de demain ?.

En fait, ses auteurs, Pierre Aidan, cofondateur de Legalstart.fr [3] et Florence Gsell, professeur de droit à l’université de Lorraine, réagissent, dans le but de rassurer les professions judiciaires, à un autre article.

Ce dernier, beaucoup plus provocateur sur le fond, a été publié en octobre 2016 à la Harvard Business Review, par le célèbre consultant en informatique juridique britannnique Richard Susskind et son fils Daniel, économiste : Technology Will Replace Many Doctors, Lawyers, and Other Professionals (Les nouvelles technologies remplaceront beaucoup de médecins, juristes et autres professionnels libéraux). Cet article est en fait un résumé du dernier ouvrage des Susskind publié en octobre 2015 : The Future of the Professions : How Technology Will Transform the Work of Human Experts (Le futur des professions libérales : comment les nouvelles technologies vont transformer le travail des experts humains, Oxford University Press, OUP) [4]. Quant au consultant américain Jaap Bosman, son ouvrage Death of a law firm (Mort d’un cabinet d’avocats) prédit la fin du "business model" actuel des cabinets d’avocats en soulevant la question épineuse de la standardisation du service juridique grâce à l’intelligence artificielle (IA) [5].

Et en novembre 2016, la journaliste britannique Joanna Goodman [6] publie Robots in Law : How Artificial Intelligence is Transforming Legal Services (Les robots juridiques : comment l’intelligence artificielle transforme les services juridiques, Ark Group) [7].

Toujours début janvier 2017, la Semaine juridique publie, elle, une étude d’Antoine Garapon, magistrat, secrétaire général de l’Institut des hautes études sur la Justice (IHEJ) et spécialiste reconnu des questions de justice, intitulée « Les enjeux de la justice prédictive » [8]. Et pour ne pas être en reste, le Recueil Dalloz s’empare aussi du sujet avec une tribune de Marc Clément, Premier conseiller à la cour administrative d’appel de Lyon [9]. C’est la newsletter Dalloz Actualité qui a publié peut-être un des meilleurs articles sur le sujet : L’intelligence artificielle va provoquer une mutation profonde de la profession d’avocat, par Caroline Fleuriot, 14 mars 2017. Le seul reproche que je ferais à cet article est de reprendre, sans recul, des phrases chocs, excessives, destinées à impressionner ou à faire peur [10].

La revue Expertises, enfin, publie en janvier 2017 une interview de Rubin Sfadj, avocat aux barreaux de Marseille et New York et grand blogueur et twitto devant l’Eternel. Interview portant sur l’IA juridique [11] et plus concrète et plus claire — plus tranchée, peut-on dire — que les deux articles précédents.

Depuis fin 2016, donc, le sujet ne quitte plus la Une des revues juridiques françaises, de la presse économique et des nombreux sites consacrés à la "French legal tech".

C’est en fait depuis les premiers succès commerciaux de Ross, l’IA d’IBM en droit [12], que l’attention des médias s’est portée sur l’IA appliquée au domaine du droit. Depuis l’application au droit des faillites ou de la propriété intellectuelle américain du système de machine learning Watson développé par IBM, l’intelligence artificielle (IA) en droit est devenue tendance [13]. On parle beaucoup aussi de justice prédictive.

A lire aussi :

On peut rapprocher ces publications d’une note de McKinsey (décembre 2016) sur le futur du travail [14]. Elle prévoit dans le monde entier une automatisation croissante des tâches, pouvant supprimer 5% des emplois actuels et en modifier beaucoup plus.

Toujours selon McKinsey (avril 2018), ce ne sera pas le secteur des professions juridiques qui même celui des consultants ou des professions libérales qui devrait le plus bénéficier — en terme de création de valeur/augmentation de revenus — de l’IA mais la vente et le marketing (services aux clients, recommandations d’achat, tarification dynamique), la logistique et la production (maintenance prédictive) et le voyage (Bookings.com, Liligo, Trainline et autres comparateurs de prix d’hôtels et de billets d’avion et de train) [15].

De quoi parle t-on exactement ? Ou comment définir les legal tech et l’IA en droit aujourd’hui

Les différents types de technologies utilisés en "IA"

Les différents types de technologies utilisés en "IA" (NB : pas de robotique en droit et la "vision" est en fait du machine learning)

Pour comprendre où en est l’intelligence artificielle en droit, il faut savoir de quoi on parle. Et pour savoir de quoi on parle, il faut bien commencer par des catégories et des définitions. Le premier stade de ce travail de définition et de catégorisation, c’est celui des technologies utilisées et les entreprises impliquées.

Il y a donc des technologies, qu’il faut distinguer les unes des autres, et derrière ces technologies, il y a des applications (des logiciels, si vous préférez) et leurs développeurs, grosses sociétés de l’informatique et de l’Internet ou start-ups, l’ensemble des sociétés travaillant sur l’application des toutes dernières technologies informatiques au droit étant communément appelé les "legal tech" [16]. Les entreprises et les produits d’IA en droit sont un sous-ensemble des legal tech. Pour autant, il faut bien distinguer l’IA de l’ensemble des legal tech.

Que font ces legal tech ?

Pour sa granularité/précision, on reprendra ici la liste très complète de Benoît Charpentier développée dans son article précité. Les legal tech « proposent de très nombreux services et produits, comme :

  • le calcul de probabilité concernant les décisions de justice [ça, c’est de l’IA. De l’IA (très) faible, mis de l’IA. Voir plus loin pour les explications]
  • le financement de contentieux (third-party litigation funding)
  • les plateformes d’actions collectives
  • la génération automatisée de documents juridiques dynamiques [ici aussi, il peut y avoir de l’IA (très) faible]
  • le déploiement de systèmes intelligents ou d’intelligence artificielle (fondés par exemple sur le machine learning, notamment ses variantes natural language processing et deep learning)
  • les plateformes de mise en relation avec des professionnels du droit
  • les solutions cloud
  • l’édition de logiciels spécialisés
  • la résolution de litiges non contentieux en ligne
  • les procédures d’arbitrage en ligne
  • les procédures de divorce en ligne
  • la signature électronique
  • la certification de documents (par exemple grâce à la technologie blockchain)
  • la réalisation de formalités et de dépôts en ligne (mise en demeure, acte introductif d’instance)
  • la visualisation de données complexes issues du Big Data
  • la programmation de contrats intelligents (smart contracts)
  • la mise en oeuvre d’outils collaboratifs
  • la revue de documents assistée par la technologie (Technology Assisted Review (TAR))
  • les outils de conformité
  • les outils de calculs fiscaux
  • les outils de gestion de contrats (contract management, audit de contrats)
  • les outils de recherche juridique [là aussi, il peut y avoir de l’IA. Toujours (très) faible] ».

Une autre classification, plus resserrée mais moins évocatrice, est disponible sur l’article de Case.One (une de ces legal tech) LegalTech 2018 : où allons-nous ? (janvier 2018) :

  • information juridique
  • rédaction d’actes
  • litiges en ligne
  • mise en relation [avec des avocats]
  • outils métier [pour avocats ou juristes d’entreprise].
  • IA/machine learning/justice prédictive.

Qui sont ces legal tech ?

Il existe une liste gratuite, fiable et quasi-exhaustive des legal techs françaises ou implantées en France (PDF), celle de Benoît Charpentier. Elle date de début 2017. Pour une liste mondiale, voir [17] :

A mon goût, beaucoup de ces initiatives sont certes "legal" mais leur degré d’innovation en "tech" est faible : par exemple, simple mise en ligne de formulaires ou intermédiation entre avocats et prospects. Alors voici une liste personnelle de legal tech françaises (ou plutôt présentes en France), non triée, forcément incomplète mais tendant à se focaliser sur l’innovation technologique (notamment machine learning, big data, analytics ...) :

A noter, car très souvent citée par les articles présents sur le Net mais non présente en France : DoNotPay conteste les PV de stationnement en justice sans avocat et avec un taux de succès important.

Précisions. Ou les limites de l’IA faible

Attention : très peu parmi ces sociétés se rangent dans la catégorie de l’intelligence artificielle telle qu’on la pratique aujourd’hui, autrement dit une IA à base de machine learning. Beaucoup se rangent dans les logiciels experts, une catégorie d’IA déjà ancienne à laquelle le cloud donne une nouvelle jeunesse mais qui n’est pas de l’IA telle qu’on la voit aujourd’hui (sur les logiciels experts et l’IA récente, voir infra). Cette IA "à l’ancienne" de type logiciel expert peut être très efficace si ses concepteurs ont accumulé beaucoup d’expérience et à condition de ne pas lui en demander trop. L’exemple le plus connu et le plus utilisé est probablement la génération automatisée de documents, qui s’appuie sur l’ancienne technique des formulaires. Un exemple plus "récent" et très innovant à l’époque est Jurisprudence chiffrée conçu chez l’éditeur juridique Francis Lefebvre il y a une dizaine d’années (voir infra). Ce produit utilise les cartouches sémantiques Luxid conçues et développées justement depuis plus de vingt cinq ans par la société Expert System (ex-Temis) [19]. Ces cartouches se retrouvent chez de nombreux éditeurs juridiques, y compris LexisNexis et Legifrance [20].

Et à propos d’intelligence artificielle, il faut être clair : ce qu’on appelle IA est, à strictement parler, une discipline scientifique, autrement dit un champ de recherche. Par extension, on qualifie aussi d’IA les produits qui se rangent dans ce champ [21]. On parle bien ici de *recherche* : on n’en est pas à reproduire le fonctionnement d’une intelligence humaine. Un des deux co-fondateurs de l’équipe de recherche en IA de Uber, Gary Marcus, professeur de psychologie à l’Université de New York, le dit clairement [22] :

" Il y a tout ce que vous pouvez faire avec le deep learning [...]. Mais ça ne veut pas dire que c’est de l’intelligence. L’intelligence est une variable multi-dimensionnelle. Il y a beaucoup de choses qui rentrent dedans. [...] La véritable IA est plus éloignée que ce que pensent les gens "

En fait, nous parlons ici de ce que les spécialistes de l’IA appellent "week AI" (ou "narrow AI"). Comme l’expliquent Wikipédia et Techopedia, l’IA faible est une intelligence artificielle non-sensible qui se concentre sur une tâche précise. Autrement dit, l’IA faible consiste à imiter une fonction étroite typiquement humaine, comme reconnaître un chat sur une photo floue (reconnaissance de forme/d’image) et de la faire plus rapidement. L’IA faible est définie par contraste avec l’IA forte (une machine dotée de conscience, de sensibilité et d’esprit, tout comme un être humain) ou l’intelligence artificielle générale ou AGI [23] (une machine capable d’appliquer l’intelligence à tout problème plutôt qu’un problème spécifique et douée de conscience). Le point le plus important ici est que tous les systèmes d’IA actuellement existants sont considérés comme des intelligences artificielles faibles. Certains spécialistes du cerveau et de la connaissance estiment même une AGI quasi-impossible. Ainsi, Antonio Damasio, le neuroscientifique directeur du Brain and Creativity Institute à Los Angeles [24], « reste assez sceptique quant à ce qu’on appelle l’"IA forte" » à cause de la part émotionnelle et physiologique en jeu dans le fonctionnement du cerveau et des processus cognitifs de l’être humain [25]. Selon les mots du célèbre psychologue cognitiviste canadien Steven Pinker dans un magazine américain de vulgarisation scientifique [26] : « On nous a dit de craindre les robots, [mais] le soulèvement des robots est un mythe. [...] [Sa] première fausseté est une confusion entre intelligence et motivation, entre connaissances et désirs, entre inférences et buts, pensée et volonté. »D’ailleurs, vu les fonctionnalités et performances réelles des produits dont nous allons parler, il est évident que parler d’intelligence artificielle en droit au sens strict est très exagéré. On devrait plutôt parler des différents types ou niveaux d’IA.

Il y a aussi un débat sur la légalité et l’opportunité de laisser les legal tech investir le marché du droit (principalement celui des avocats mais aussi celui des notaires) et de l’information juridique. Sur ce sujet, je vous renvoie aux articles cités en première partie plus haut. Sur les risques de la justice prédictive, voir infra. On peut aussi citer l’avocate Michèle Bauer [27] :

« Les legaltech ne sont rien sans les avocats [28]. Les services proposés sont la plupart du temps des services dans lesquels sont associés les avocats : rédaction de statuts de société pas chère, demandes de devis, recherche d’un postulant ... »

Après avoir présenté les prestations et les entreprises du secteur des legal tech et avoir défini l’intelligence artificielle, voici les cinq principales technologies en cause dans ce qu’on appelle l’intelligence artificielle en droit [29] :

  • les systèmes experts. Un système expert est, selon Wikipedia, un outil capable de reproduire les mécanismes cognitifs d’un expert, dans un domaine particulier, par des règles logiques. Cette première des voies tentant d’aboutir à l’intelligence artificielle a donné des résultats décevants : par exemple, à partir d’une centaine de règles voire moins, certaines se contredisent et il devient nécessaire de les pondérer, ce qui est en fait peu rigoureux ; leur coût élevé est un autre écueil. Un exemple de système expert en droit, le prototype NATIONALITE du défunt IRETIJ (Institut de recherche et d’études pour le traitement de l’information juridique [30]) est décrit dans une contribution de 1989 [31]. Les logiciels de gestion de contrats sont un bon exemple de logiciels experts en droit. C’est l’émergence des quatre technologies suivantes qui a relancé les espoirs des spécialistes de la recherche en IA
  • le big data et surtout le (legal data) analytics. Il ne s’agit là que de technologies correspondant à des logiciels (Apache Hadoop, MongoDB, Microsoft Azure ...) faits pour traiter des masses de données énormes et/ou des données pas assez structurées, nécessitant des logiciels différents des systèmes de gestion de base de données (SGBD) classiques
  • le machine learning [32] (ML, en français apprentissage statistique automatique). Cet apprentissage peut être supervisé (des humains apprennent à l’algorithme à reconnaître les formes ou les notions, ils vérifient et corrigent) ou non supervisé. Michael Benesty, avocat fiscaliste et data scentist français, auteur du site de démonstration Supra Legem, définit ainsi le machine learning utilisé actuellement dans le cadre du droit [33] :

    « Il s’agit d’une expression vague qui regroupe toute une famille d’algorithmes qui ont en commun d’apprendre par eux-mêmes en observant des données. Ces algorithmes sont inspirés de différentes sciences et notamment des statistiques.
    En matière de justice prédictive, c’est la sous-famille des algorithmes
    supervisés qui est utilisée. »

Une excellente interview donnée par le chercheur français Yann Le Cun, directeur du laboratoire d’IA de Facebook, au journal Le Monde, explique de manière simple comment fonctionnent les réseaux neuronaux, l’apprentissage supervisé et l’apprentissage non supervisé [34]. Ross d’IBM, aux Etats-Unis, utilise le machine learning, dans sa version supervisée : des juristes, des avocats ont "enseigné" et "corrigé" l’application et continuent de le faire. L’application Predictice en France fonctionne selon le même principe. De son côté, Thomson Reuters, propriétaire de Westlaw, a lancé un laboratoire en 2015 et collabore avec IBM pour intégrer la technologie Watson dans ses produits. Ross est un système à apprentissage automatique supervisé. En France, Supra Legem et Case Law Analytics [35] utilisent aussi le machine learning

  • le deep learning (apprentissage statistique automatique profond), concrètement, est un développement du machine learning. Il utilise à fond la technique des réseaux neuronaux pour tenter de se passer complètement d’une vérification/correction par des humains. Les réseaux neuronaux sont une technologie développée à l’origine pour la reconnaissance automatique d’image ("pattern recognition"). Pour (tenter de) comprendre, il faut lire les exemples de fonctionnement d’un réseau neuronal donnés par deux spécialistes français interviewés par Le Monde [36] :

Yann Le Cun : « Le deep learning utilise lui aussi l’apprentissage supervisé, mais c’est l’architecture interne de la machine qui est différente : il s’agit d’un "réseau de neurones", une machine virtuelle composée de milliers d’unités (les neurones) qui effectuent chacune de petits calculs simples. La particularité, c’est que les résultats de la première couche de neurones vont servir d’entrée au calcul des autres. Ce fonctionnement par "couches" est ce qui rend ce type d’apprentissage "profond". »

Yann Ollivier, chercheur en IA au CNRS et spécialiste du sujet, donne un exemple parlant : « Comment reconnaître une image de chat ? Les points saillants sont les yeux et les oreilles. Comment reconnaître une oreille de chat ? L’angle est à peu près de 45°. Pour reconnaître la présence d’une ligne, la première couche de neurones va comparer la différence des pixels au-dessus et en dessous : cela donnera une caractéristique de niveau 1. La deuxième couche va travailler sur ces caractéristiques et les combiner entre elles. S’il y a deux lignes qui se rencontrent à 45°, elle va commencer à reconnaître le triangle de l’oreille de chat. Et ainsi de suite. »

D’après Michael Benesty (Supra Legem), toutefois, en machine learning sur du droit, on est plus dans le NLP (voir juste infra) [37] que dans les réseaux neuronaux [38]. Les réseaux neuronaux ici réduisent le traitement des données en amont, mais leur apport en droit est très inférieur à ce qu’ils ont fait pour la reconnaissance d’image. De plus, ils coûtent très cher du fait de la puissance et du temps de calcul nécessaires (location de serveurs et de logiciels) [39].

Un réseau de neurones convolutifs schématisé
  • le traitement du langage naturel (dit traitement automatique du langage ou TAL) (en anglais "natural language processing", NLP). Ross, Predictice ou Supra Legem [40] sont des applications utilisant le NLP. Plus précisément le NLP tel qu’on le pratique aujourd’hui : à base de machine learning et de techniques d’analyse syntaxique ("parsing", en anglais) [41] et non plus d’analyse sémantique. Le NLP actuel, c’est l’application du machine learning, en version non assistée, au langage, plus précisément aux textes. Le NLP à base de machine learning a été énormément facilité par la diffusion en open source en 2013 par Google du logiciel Word2vec (W2V), qui transforme les mots en vecteurs. Concrètement, Word2vec devine les termes similaires (proches par le sens) d’un mot en utilisant les autres mots faisant partie du contexte de ce mot [42]. Toutefois, si le NLP à la sauce ML détecte — indirectement et implicitement — le sens des mots, il ne sait pas en détecter la logique : licéité et illicéité, par exemple, risquent fort d’être similaires pour lui.

Enfin, il faut bien comprendre que pour imiter des fonctions caractéristiques des humains, comme classer automatiquement des documents par thème, un simple logiciel ne suffit pas :

  • déjà, de nombreux programmes informatiques (de type ML ou logiciel expert comme vu précédemment) doivent être testés, combinés et adaptés par un ou des développeurs. Ce ne sont pas des produits sur étagère, ce sont ce que l’on appelle dans l’industrie informatique des développements spécifiques
  • ensuite — et c’est encore moins connu —, le machine learning et les réseaux neuronaux nécessitent une architecture matérielle et réseau très spécifique elle aussi, autrement dit choisir l’assemblage ad hoc de serveurs puissants, avec leurs systèmes d’exploitation (OS), repérer les goulots d’étranglement dans la circulation et le traitement des données sur Internet, dans les serveurs et entre eux, savoir comment régler et "booster" les performances de ces matériels ... Pour les petits et moyens programmes, cela passe par la location (vite onéreuse) de ressources en "cloud computing" : du temps et de la capacité de serveur disponible par Internet. Le plus utilisé est Amazon Web Services (AWS). On peut citer aussi Microsoft Azure et Google Cloud (avec son produit applicatif TensorFlow). Sur les gros programmes d’IA, le travail sur cette architecture matérielle mobilise jusqu’à la moitié des spécialistes affectés au projet. Sur ce segment, Google, Facebook, Amazon et Microsoft ont une puissance et une avance énormes sur leurs concurrents.

Dans cette présentation des technologies dites d’IA, il reste enfin à expliquer dans quels produits, concrètement, on les emploie.

Selon Ron Friedmann, consultant américain en informatique juridique depuis 30 ans [43], sur le marché américain, « il existe au moins quatre utilisations presque banales de l’intelligence artificielle que les cabinets d’avocats et les directions juridiques peuvent aisément déployer à partir de produits IA standards, de manière similaire à d’autres technologies :

  • "document review" dans la procédure [très américaine] d’"e-discovery" ("predictive coding”) [44]
  • c’est clairement dans ce domaine de l’audit/vérification des contrats que les progrès ont été les plus grands, comme l’illustre la victoire du logiciel LawGeex AI (qui utilise le ML avec apprentissage) sur 20 juristes de droit des affaires très expérimentés dans un test de rapidité et de pertinence : il s’agissait d’analyser les risques/failles présents dans cinq contrats de confidentialité ("non-disclosure agreement" ou NDA), un outil très classique aux Etats-Unis [45]. Le "contract review", plus précisément, consiste en l’analyse en masse de contrats pour en extraire informations et clauses contestables ou à revoir. Les deux acteurs les plus cités sont :
    • la société canadienne Kira Systems est un logiciel d’audit de contrats de cession d’actions/parts de société est selon la société déployé dans 200 établissements. Il a été notamment adopté par les cabinets d’avocats Linklaters, Clifford Chance, Allen & Overy, DLA Piper, Freshfields et Latham & Watkins [46]
    • Luminance, dont le produit a été adopté notamment par le cabinet anglais Slaughter & May, et qui a abordé le marché européen courant 2018
    • en audit de contrats pour des fusions-acquisitions et en compliance, la startup française Softlaw, créée par une avocatye en M&A, travaille uniquement en interne (pas de cloud pour répondre aux demandes des directions juridiques et avocats qui ne veulent pas le moindre risque de fuite) et en français
    • eBrevia, conçu par une start-up créée en 2011 dans l’Etat du Connecticut, a, tout comme Ross, un partenariat universitaire fort : sa technologie a été initialement développée à l’Université de Columbia [47]. L’application, utilise le machine learning pour faire du "contract review". Signe des temps : eBrevia vient, début mars 2018, de s’allier avec le groupe d’édition juridique Thomson Reuters, le propriétaire de la plateforme Westlaw [48]
  • outils de recherche dans de multiples domaines juridiques (Westlaw, Lexis Advance, Ravel, Ross, Supra Legem ...). C’est le second domaine en terme d’importance de l’implémentation. Là, les progrès ont essentiellement consisté en une synonymie contextuelle automatique et une classification automatique par domaines du droit très améliorées
  • saisie et gestion des temps.

Je me demande si la percée de l’IA dans le milieu juridique ne se fera pas aussi via les logiciels brassant et combinant des données de sources et formats divers [49] pour faire de la "business intelligence" (dits également "logiciels orientés visualisation de données") comme Tableau Desktop, Microsoft Power BI ou, Qlik Sense Enterprise. Notamment dans les départements dits de "business development" (BD) et de "knowledge management" (KM). Pour l’instant, ces applications ne sont pas de l’IA très moderne ni très juridique, mais plutôt du logiciel expert (fonctionnant à base de règles métiers et des arbres décisionnels) combiné avec des macros. Mais c’est nettement en train d’évoluer : le machine learning rentre dans ce secteur [50].

Les données comptent plus que les applications

Nous venons de présenter les technologies impliquées dans l’IA en droit. Et de voir que les deux critères principaux (et alternatifs) pour parler d’IA (faible) en droit, sont soit l’appartenance de l’application à la catégorie des systèmes experts soit l’utilisation de machine learning.

Pourtant, sur le plan stratégique, le plus important en IA n’est pas là. Pour le comprendre, il faut lire le rapport de France Stratégie sur l’IA publié en mars 2017 [51].

Dans ce rapport, la contribution spécifique du Conseil National du Numérique (CNNum) souligne l’importance fondamentale des données :

« La valeur créée par l’intelligence artificielle provient des données nécessaires à l’apprentissage bien plus que de l’algorithme, dont les développements se font de manière ouverte (en open source). En conséquence, les organisations doivent prendre conscience de l’importance stratégique des données qu’elles détiennent. Il s’agit également, à plus long terme, d’engager une réflexion sur les modes de partage de la valeur entre acteurs privés. En ce sens, le Conseil s’est par ailleurs saisi de la question de la libre circulation des données aux niveaux international et européen, d’un point de vue de transfert entre les territoires mais également entre acteurs économiques. »

En droit français, cette difficulté donne raison au professeur (et avocat) Bertrand Warusfel, quand il écrit, interrogé par ActuEL Direction Juridique (Editions Législatives) [52] :

« on va certainement [...] dématérialiser plus encore les procédures, voire les audiences. A mon sens, ce n’est qu’une fois que cette première phase de dématérialisation de la justice aura été menée à bien qu’il serait justifié d’envisager d’introduire des outils plus "intelligents". Sauter une étape serait sans doute peu cohérent, voire dangereux. »

Ce sont justement leurs bases de données qui font l’avance de Google et Facebook. C’est pourquoi cela ne les gêne pas de mettre leurs logiciels en open source. Au contraire, cela accélère l’adoption de l’IA par les développeurs puis la société dans son ensemble. Une démarche imitée de manière légèrement différente par LexisNexis :

  • l’éditeur américain a annoncé en mars 2017 qu’il va donner accès à ses contenus et à son expertise, ainsi que celle de sa filiale LexMachina, à cinq start-ups sélectionnées : Visabot, TagDox, Separate.us, Ping, and JuriLytics [53]. Lexis espère profiter de leurs innovations
  • et le 8 juin, Lexis annonce le rachat de Ravel Law, LA start-up indépendante de 21 personnes spécialisée dans la recherche sur la jurisprudence américaine à base de ML et de NLP. Le fondateur de Ravel Law Daniel Lewis explique à cette occasion que le rachat donnera à Ravel Law « accès à un vaste assortiment de données de haute qualité, quelque chose qui est nécessaire. Même la meilleure IA ne peut surmonter les défauts dus à un accès limité en terme de données », dit-il. « On a besoin de données de haute qualité en entrée" a-t-il ajouté. « Si vous avez de la mauvaise qualité en entrée, vous avez de la mauvaise qualité en sortie. »

Nous venons de présenter les produits et les sociétés des legal tech puis de définir l’IA en droit, pour éviter de gober le discours marketing selon lequel tout ce qui est legal tech serait IA. Plus généralement, tout ce qui est IA aurait des performances à la limite du miraculeux. Ce discours " IA partout " et " IA miracle" [54] qui inonde — au point qu’on peut parler d’IA washing [55] — depuis l’année 2016 presse, Internet et café du commerce, nous allons maintenant lui river son clou en présentant en détail les outils IA de recherche et d’analyse de la jurisprudence (encore une fois, des IA faibles). Nous commencerons par l’IA vedette américaine — j’ai nommé Ross — puis nous verrons les implémentation de l’IA (du NLP surtout) dans les grandes platefomes des éditeurs juridiques américains traditionnels et enfin les IA jridiques françaises.

Ross : points forts et limites d’un moteur de recherche en langage naturel à base de machine learning avec supervision

Fin 2016-début 2017, c’est surtout le produit d’IBM qui fait parler de lui — voir notamment notre "webliographie" sélective sur Ross infra. Et même si, de fait, on peut parler d’une intense campagne de presse, je crois quand même qu’on tient confirmation d’une amélioration radicale de la recherche documentaire en droit dans les articles sur l’implémentation de Ross par le petit cabinet d’avocats américain Salazar Jackson : en effet, selon le principal associé de cette firme, Ross fait les recherches sur la jurisprudence aussi bien et plus vite qu’un jeune collaborateur [56]. Ce que semble confirmer une étude réalisée par une firme indépendante (certes payée par IBM) qui parle d’un gain de temps dans les recherches de 30% [57].

Ross serait même, soi-disant, capable de résumer sa recherche en un mémo ? L’avocat Rubin Sfadj estime que la prétendue capacité de Ross à sortir un mémo est exagérée. Il a raison. C’est ce que Jimoh Ovbiagele, le CTO de Ross, a fini par reconnaître devant un journaliste du New York Times : des humains se chargent du brouillon produit par Ross et créent le mémo final, et c’est pour cela que ça prend un jour entier [58].

Bien sûr, Ross nécessite une interaction homme-machine. Il s’améliore en apprenant des retours des juristes sur ses recherches [59]. C’est donc de l’apprentissage automatique avec supervision [60].

Ross est pour l’instant spécialisé uniquement dans la jurisprudence américaine en droit de la faillite (US bankruptcy law) et en propriété intellectuelle (US IP law) — il s’agit en fait de deux applications différentes, Ross ne traite pas les deux matières en même temps [61]. Mais la diversité des tâches et des domaines possibles est une caractéristique du machine learning le plus récent (depuis environ 2015). Le cabinet américain Latham & Watkins, implanté à Paris, est en phase de « test » avec Ross [62], suivi par de plus petites structures et l’Ordre des avocats de Lille.

Le dirigeant et co-fondateur de Ross Intelligence, Andrew Arruda, expliquait justement en août 2016 :

« La version actuelle du système est utilisée pour aider les juristes spécialisés en procédures collectives travaillant dans des firmes américaines. Les futures versions du système couvriront d’autres domaines du droit et d’autres juridictions. »

Rubin Sfadj estime quant à lui que Ross sera capable de gérer les textes officiels (en sus de la jurisprudence) français.

Dans son enquête de février 2017, l’Agefi Hebdo concluait sur Ross : « Le résultat ? Pour l’heure, moyennement convaincant. » [63] L’Agefi cite Bénédicte Brémond, avocate en charge du knowledge management chez Latham & Watkins Paris :

« Quoique déjà très performants, des outils comme Ross sont encore pour la plupart en phase de test dans les firmes et devront encore apprendre avant de fournir aux avocats un service fiable adapté à leurs pratiques. »

NB : ROSS a été développé à l’origine par des étudiants de l’Université de Toronto au Canada, en 2014-2016 [64]. De fait, avec les Etats-Unis, Israël et la Chine, le Canada est le 4e pays vraiment "bon en IA". Et avec Lexum, l’éditeur dédié aux avocats, l’Institut canadien d’information juridique (CanLII), et le Laboratoire de cyberjustice de l’Université McGill, le Canada est également en avance sur la maîtrise de la donnée juridique numérique et des bases de données associées.

Ross aura visiblement encore bien d’autres applications en droit. À l’image de Watson, l’application d’IBM dont Ross est dérivé. Watson sert déjà à de multiples tâches. Comme :

Autres exemples de la capacité du machine learning à s’appliquer à tous les domaines :

  • la Lettre de l’Expansion du 16 janvier signale que le réseau social interne développé par Orange, installé chez eux à l’automne 2015 [70] et également vendu par l’opérateur sous le nom de Business Together Sharespace [71] « s’appuie sur la technologie "machine learning" [...] et inclut des robots à même de suggérer à l’utilisateur des informations pertinentes ou des collègues susceptibles d’enrichir son activité »
  • Google a présenté fin novembre un algorithme repérant des signes de rétinopathie diabétique dans des photos du fond d’oeil. Et Facebook comme Microsoft ont dévoilé cette année des systèmes capables de "regarder" des images et en décrire le contenu pour les aveugles [72]

A priori (le manque d’information détaillées sur Ross étant criant), les limites d’un système comme Ross, sont :

  • les applications dérivées du Watson d’IBM sont toutes étroitement spécialisées (et non généralistes sur un domaine) et nécessitent d’énormes développements informatiques spécifiques et un très gros travail d’input et d’apprentissage par des experts [73], travail qui peut ne pas suffire. A titre d’exemple de promesse non tenue et de difficulté avec la méthode retenue par IBM : selon une enquête du média américain d’investigation STAT [74]. L’article a été relayé par Business Insider puis par Numerama.]], la « révolution » promise par IBM avec son outil de conseil en matière de traitement contre le cancer accuse un retard conséquent au centre de traitement et de recherche sur le cancer Memorial Sloan Kettering Cancer Center. Pire : en juillet 2018, les mêmes journalistes expliquent [75] que le superprogramme a régulièrement prodigué de mauvaises recommandations pour traiter des cancers. La conclusion des journalistes de STAT est que l’IA semble incapable de conseiller les bons traitements sans apprendre à partir de cas réels
  • comme la plupart des bases de données en ligne actuelles, son manque de confidentialité. Je sais que les éditeurs de services en ligne garantissent la "confidentialité" des données de leurs clients, mais de fait, si elles ne sont pas cryptées de bout en bout, elles ne sont pas réellement confidentielles. Il serait intéressant à cet égard de savoir si Ross crypte les données de ses clients
  • sa dépendance à la "data". Si les données sont incomplètes, non exhaustives ou comportent un biais, les résultats seront biaisés [76]
  • le poids du passé (même s’il pourra certainement intégrer les projets de loi), car la donnée c’est du passé
  • sa dépendance aux compétences des personnes qui "l’entraînent" (cas du machine learning supervisé)
  • son degré d’acceptation par la société, encore limité (cf la dernière partie de ce billet). Toutefois, si l’on s’en tient à l’histoire récente des innovations, les systèmes de machine learning en droit finiront, selon toute probabilité, par être assez rapidement acceptés par les consommateurs de droit. Les professionnels du droit risquent donc, à long terme, de devoir suivre. Comme le rappelle un professionnel américain des enquêtes ("fact finding") pour avocats, les "IA" d’aujourd’hui sont les "logiciels" de demain (excellent article et qui remet les pendules à l’heure) [77]
  • à court et moyen terme, le délai d’implémentation en droit français. Ross — tout comme ses concurrents français — ne pourra pas être implémenté en droit français global avec une pleine efficacité avant un minimum de huit ans. Explication. En son état actuel limité au droit américain des faillites et de la propriété intellectuelle, Ross aurait été développé en trois ans à partir de Watson pour ses capacités en NLP (cf détails supra sur les technologies de NLP à la sauce machine learning). Compte tenu des spécificités du droit français (pas de la common law ... mais pas un véritable problème [78]), de la (relativement) petite taille du marché français du droit, de l’absence pour l’instant de disponibilité en accès libre [79] des décisions de justice judiciaire de première instance [80] avant des années malgré la loi Lemaire pour une République numérique [81], de la nécessité d’un partenariat entre un éditeur juridique et un éditeur de système de machine learning [82], cela devrait prendre au minimum huit ans et peut-être plus. La com’ des légal tech ou d’IBM sur les performances de leurs logiciels dépasse de beaucoup la réalité et envahit même la presse économique et généraliste.

Il faut enfin noter, pour être complet sur Ross, qu’IBM a du mal à rentabiliser son activité "cognitive" (l’adjectif à la mode pour désigner les activités d’IA). Comme le relève une enquête du Monde [83], le chiffre d’affaires du groupe — qui a parié sur l’IA pour sa croissance et a investi 15 milliards de dollars depuis le lancement du projet Watson (alors appelé DeepQ) en 2007 — décroît de 2011 à 2016 : « au final, en cinq ans, un quart des recettes a disparu. La capitalisation boursière [est passée] de presque 250 milliards de dollars en 2011 à un peu plus de 136 milliards aujourd’hui. Pour l’instant, Watson a du mal à tenir ses promesses. » (Le CA d’IBM est toutefois remonté en 2017.) Selon Le Monde, les raisons sont principalement liées :

  • à l’absence d’étude longue de longue durée à sur la fiabilité des diagnostics livrés par Watson et ses conjugaisons
  • au fait qu’il s’agit à chaque fois d’un développement spécifique, pas de l’installation d’un produit standard. Les prospects hésitent : il faut investir un budget, un temps de travail de plusieurs mois minimum (18 mois pour le Crédit Mutuel, pourtant client de longue date d’IBM), des équipes et des petites mains pour "former" le progiciel. Le retour sur investissement est long. C’est cet aspect que souligne la directrice du KM de Latham Paris dans la citation précédente extrait de l’article de l’Agefi Hebdo
  • les concurrents, même si leur marketing et leur communication sont moins efficaces, sont très actifs. Le cabinet d’avocats d’affaires international Baker & McKenzie a ainsi annoncé, en août 2017, adopter comme principal outil d’intelligence artificielle non pas ROSS, mais eBrevia (cf supra).

Westlaw, Lexis Advance : les améliorations machine learning en cours et prévisibles

D’après Michael Mills [84], co-fondateur et chief strategy officer de Neota Logic (une société précurseur dans les outils d’aide à la décision en droit puis d’IA juridique aux Etats-Unis), cela fait 11 ans que Lexis et Weslaw ont commencé à intégrer du NLP dans leurs moteurs de recherche. Et Lexis a racheté Lex Machina en 2015 puis Ravel Law en 2017, LE spécialiste américain du ML juridique sur la jurisprudence (voir supra).

Par exemple, la fonction Westlaw Answers répond carrément directement aux questions courantes/"bateau" en quelques phrases, avec les citations de jurisprudence qui conviennent.

Autre exemple : Lexis Advance offre la possibilité de chercher en language naturel (fonction ”Run search as natural language") et surtout d’ajouter à la recherche les expressions juridiques synonymes de celles saisies (fonction "Include legal phrases equivalents"). Et depuis 2017, un clic sur le nom juge ou de l’avocat permet de consulter des tableaux de données sur eux, cela ne marchant que pour les domaines de pratique couverst par Lex Machina [85]. A partir de ces tableaux, les abonnés à Lex Machina peuvent analyser plus avant. Là, cependant, il ne s’agit plus d’IA à strictement parler, juste d’"analytics" [86].

Les améliorations prévisibles résident dans la continuation et l’amélioration des précédentes :

  • du NLP state "of the art"
  • des suggestions/recommandations (soit de notions à ajouter, soit de régimes juridiques/bases légales) découlant de l’analyse par le machine learning du comportement des utilisateurs dans leurs recherches. Notamment, en analysant les arrêts déjà mis de côté/sélectionnés par l’utilisateur, il est possible d’en déduire ceux qui manquent. Ce type d’amélioration exploite à fond les excellentes perfomances du ML en catégorisation ("taxonomy" lit-on souvent)
  • plus de "direct answsers"
  • des statistiques sur les tendances des juges américains
  • une interaction vocale avec l’application, grâce à l’envol de l’utilisation des smartphones, y compris les fonctions d’envoi des résultats et d’impression.

Predictice, Case Law Analytics, Supra Legem : calculer les chances de gagner un procès en droit français avec le machine learning

Abordons maintenant les IA juridiques françaises. Ce sont des applications dites de justice prédictive.

Côté justice prédictive, pour le moment, on n’en est en réalité qu’à une analyse (par chambre, par juge, des montants des dommages-intérêts ou de quel type de camp a gagné) de la jurisprudence disponible et à la recherche en langage naturel sur celle-ci. C’est le sens du billet très mesuré du professeur Dondero cité en introduction. Plus généralement, déjà en 2014, un spécialiste du ML, le professeur Michael Jordan, estimait qu’on attendait beaucoup trop beaucoup trop tôt du deep learning et du big data [87].

Pour l’instant, le ML en droit n’est pas de la véritable intelligence artificielle, au moins au sens fort du terme (cf propos supra sur l’IA forte et faible). Voici la définition de l’IA par le meilleur dictionnaire de langue française, celui élaboré par l’ATILF [88], le Trésor de la langue française (TLF) : « Intelligence artificielle : recherche de moyens susceptibles de doter les systèmes informatiques de capacités intellectuelles comparables à celles des êtres humains ». Du temps de la lutte entre Microsoft et les autres éditeurs de logiciels de bureautique (années 80), on appelait ça du vaporware : annoncer des sorties d’applications entre 6 mois et 2 ans à l’avance pour pousser les clients à attendre la nouvelle version. Et à ne surtout pas aller chez la concurrence — ici, je dirais : ne pas se servir de ce qui marche déjà très bien, comme les compétences des meilleurs documentalistes juridiques ou l’application Jurisprudence chiffrée (cf juste infra).

L’article précité de Valérie de Senneville aux Echos le souligne :

« pour le moment, " il y a beaucoup d’effets d’annonce ", remarque Jean Lassègue, philosophe et chercheur au CNRS. L’épistémologue, qui a consacré de nombreux travaux à l’informatique, invite à s’interroger sur le problème de la qualification des faits et de leur catégorisation. " La machine ne peut pas régler cela ", affirme Jean Lassègue. »

Antoine Garapon, le directeur de secrétaire général de l’Institut des hautes études sur la justice (IHEJ), ne dit pas autre chose dans son entretien avec Les Petites Affiches (septembre 2017) [89] :

« LPA — L’impact réel des legaltechs sur le droit ne reste-t-il pas néanmoins encore assez limité ?
A. G. — Bien sûr et je pense que l’impact le plus important du de la legaltech se situe en réalité sur le plan imaginaire. [...] Il est en effet frappant de constater à quel point on évoque legaltech et justice prédictive quand les réalisations pratiques restent très mineures puisque ces technologies ne sont pas encore matures. »

Predictice

Ils prédisent vos chances de gagner une action judiciaire (sur Predictice et Case Law Analytics) (Le Parisien 8 octobre 2016). Predictice : grâce aux algorithmes, cette startup est capable de prédire l’issue d’une action en justice et d’optimiser les stratégies contentieuses des avocats (OVH News 7 juillet 2016). Les prétentions de l’application Predictice sont un peu exagérées si l’on lit bien les deux documents et qu’on regarde la copie écran chez OVH News. Comme le montre l’article plus réaliste de Libération du 23 février (Justice prédictive, l’augure des procédures), il s’agit en fait essentiellement de lister le type de partie vainqueur et donc d’une certaine façon de donner un pourcentage de chance de remporter un procès sur un type de contentieux, et de déterminer les montants de dommages-intérêts alloués selon la cour d’appel [90].

Concrètement, Predictice est un outil d’aide à la décision à destination des professionnels du droit. Il permet d’accéder à la jurisprudence et aux textes de loi via un moteur de recherche en langage naturel utilisant des technologies de text mining (dependency parsing etc.). Un algorithme calcule les probabilités de résolution d’un contentieux, le montant des indemnités potentielles et identifie les moyens de droit ou les faits les plus influents dans les décisions antérieures rendues par les juridictions. La restitution des analyses se fait sous forme graphique ou statistiques). L’application utilise les technologies de NLP à base de règles. C’est donc un système expert classique.

Selon son éditeur, Predictice est en cours de commercialisation : pilote auprès de grosses structures (Orange, AXA, Covéa, Dentons, Taylor Wessing) et abonnement sur demande des cabinets d’avocats. Cette commercialisation a commencé à la rentrée 2017.

Le test de l’application au sein des deux cours d’appel de Rennes et Douai s’est terminé début octobre 2017 : les magistrats n’ont pas adopté l’outil, estimant que, malgré sa « modernité », il « méritait d’être sensiblement amélioré. Le communiqué précise qu’il « ne présentait pas en l’état de plus-value pour les magistrats, qui disposent déjà d’outils de grande qualité d’analyse de la jurisprudence de la Cour de cassation et des cours d’appel. » Un tweet de la Première présidence de la Cour de Rennes précise que les outils en question seraient JuriCA et Jurinet. Le Premier président de la cour d’appel de Rennes, Xavier Ronsin, considère que les résultats livrés étaient trop aléatoires [91]. Toutefois, le communiqué ajoute que de nouveaux tests par d’autres cours d’appel seront envisagés, « sur la base du volontariat [...], à l’issue des nouveaux stades de développement de l’outil » [92]. Plusieurs sous-entendus dans ces informations :

  • les magistrats des cours d’appel disposent de la base d’arrêts d’appel inédits JuriCA dans sa version interne au ministère de la Justice et de la base Jurinet, riche en doctrine interne des juridictions judiciaires, en fait surtout de la Cour de cassation et de son Service de documentation, des études et du rapport (SDER). Jurinet, ce sont les documents annexes aux décisions et non publiés : les nombreuses études rédigées par le SDER, dans les arrêts Cass. les conclusions de l’avocat général et surtout le rapport du conseiller rapporteur ... Pourtant, à notre connaissance, aucun de ces documents n’épluche les montants de dommages-intérêts. D’ailleurs, ce type d’étude n’intéresse pas la Cour de cassation, juge du droit et non des faits. Or les CA, qui elles auraient intérêt à faire des études de ce genre, n’ont ni SDE comme la Cass’ ni moyen similaire.. En revanche et bizarrement, aucune référence expresse n’est donc faite aux bases de données des éditeurs, notamment Juris-Data de LexisNexis, ses Données quantifiées et Jurisprudence chiffrée de Francis Lefebvre voire Dalloz.fr (qui intègre le contenu de JuriCA elle aussi). Par exemple, la base Juris-Data de LexisNexis intègre des dizaines de milliers d’arrêts (sélectionnés) de cours d’appel accompagnés d’une fiche donnant le type de préjudice et le montant des dommages-intérêts
  • les cours d’appel ont élaboré en interne des guides d’indemnisation voire des barèmes non officiels liés à leur jurisprudence locale (sans parler du barème national indicatif mais officiel en matière de pension alimentaire). C’est ce que laissait clairement entendre le premier président de la Cour de Rennes, Xavier Ronsin, au printemps 2017 : « Ce n’est pas de la justice prédictive, c’est juste une aide à la décision. Les magistrats ont déjà des instruments et des barèmes. » [93] C’est ce que confirme un intervenant sur Twitter, citant ces deux guides : Reférentiel indicatif de l’indemnisation du préjudice corporel des cours d’appel, ENM, septembre 2016,
    L’indemnisation des préjudices en cas de blessure ou de décès, par Benoît Mornet, président de chambre à la cour d’appel de Douai, septembre 2017.
    En fait, il faut lire l’interview de Xavier Ronsin, donnée à Dalloz Actualité pour mieux comprendre ce que techniquement les magistrats reprochent à l’outil :

    « On se situe plus dans un projet d’approche statistique et quantitative que qualitative. Parfois, les résultats peuvent même être aberrants. Prenons l’exemple d’un calcul d’indemnités de licenciement sans cause réelle et sérieuse. Les montants sont calculés par le juge en mois de salaire. Or le salaire d’un cadre n’est pas le même qu’un ouvrier. Il suffit qu’une décision de justice concerne un cadre pour fausser complètement l’analyse, selon l’affaire ou le bassin d’emplois, et pour que le résultat proposé ne dise rien du cas à résoudre. Il serait plus pertinent de privilégier une approche selon le nombre de mois de salaire alloué, plutôt que savoir si le résultat probable sera de 4 000 ou 8 000 €. [...]
    Le logiciel ne s’intéresse qu’au dispositif d’une décision de justice. L’algorithme ne sait pas lire toutes les subtilités de la motivation, surtout lorsque la décision est complexe. »

Plusieurs cabinets d’avocats au contentieux, toutefois, sont intéressés par Predictice et testent l’application : Châtain & Associés, Bruzzo Dubucq, Barreau de Lille, Taylor Wessing ... D’autres sont dubitatifs. Beaucoup restent silencieux.

Case Law Analytics

Case Law Analytics (CLA) était en fait, jusqu’à il y a peu, une recherche INRIA (Institut national de recherche en informatique et automatique). Ce n’est qu’en septembre 2017 que CLA est devenu une société. Elle est basée à l’Atlanpole de Nantes et sélectionnée par Microsoft pour son programme d’incubation au sein de Station F à Paris. Cet "offshoot" de l’INRIA a été créé à l’origine mi ou fin 2015 par Jacques Lévy-Véhel, mathématicien et a l’époque directeur de recherche à l’INRIA [94] et Jérôme Dupré, alors magistrat en disponibilité, et devenu depuis avocat au barreau de Nantes. Aujourd’hui, J. Lévy-Véhel est seul — avec un fonds d’investissement. C’est lui qui a créé la société [95].

Sur Case Law Analytics, il y avait jusqu’au printemps 2017 très peu de choses à lire. La startup était alors très discrète sur le plan médiatique. Le passage au statut de société approchant, les publications se sont ensuite succédées [96]. Il s’agissait à l’origine d’une évaluation probabiliste des dommages-intérêts. En 2014, Jacques Lévy-Véhel avait initié une collaboration avec le magistrat Jérôme Dupré, autour de la modélisation des prestations compensatoires. Extrait de l’article du Village de la Justice :

« " Il ne s’agit pas de dire la probabilité d’aller au contentieux mais plutôt d’estimer les sommes d’argent que vous pouvez être condamné à payer dans tel ou tel cas de figure, explique Jérôme Dupré. Nous n’aimons pas l’expression “justice prédictive”, qui est à notre avis trompeuse et parfois même dangereuse. C’est pourquoi nous ne donnons pas un chiffre unique mais une distribution probabiliste des montants de condamnation possibles. Il est difficile de calculer ce risque parce que les aspects procéduraux sont complexes à modéliser pour le moment mais c’est possible dans certains cas. " A l’heure actuelle, trois contentieux sont prêts et peuvent être utilisés : le licenciement sans cause réelle et sérieuse, la prestation compensatoire et la pension alimentaire. Mais la start-up n’entend pas s’arrêter là. »

Ensuite, Case Law Analytics a évolué vers un logiciel qui fonctionne en partie comme un logiciel expert. J. Lévy-Véhel refuse de donner des moyennes. Il explique dans son interview par Ekipio que :

  • son logiciel peut compenser le manque de magistrats face au nombre de dossiers et permettre aux parties de transiger et donc à la victime de toucher son indemnité plus vite [97]. Au moins, lui est clair là-dessus. Au demeurant, en tant que justiciable et juriste en même temps, je ne partage pas son avis : quantité d’affaires qui paraissent basiques, qui selon des juges ne méritent pas qu’on y passe du temps, le mériteraient (il faudrait faire des recherches, en fait et en droit, qui ne sont pas faites [98]) et sont traitées par dessus la jambe. Là dessus (pour les particuliers justiciables de base), la justice prédictive selon moi ne permettra en effet que de gagner du temps — rien d’autre
  • il dit ne pas croire pas au danger d’uniformisation de la jurisprudence. Pour lui, son logiciel est un outil d’aide à la décision. En même temps, questionné par un de ses interviewers, J. Lévy-Véhel reconnaît qu’il faut « un peu de formation » pour les justiciables et une formation de base en mathématiques et statistiques pour les juristes
  • CLA ne travaille que sur un domaine relativement étroit du droit et homogène. Il se limite aux trois domaines cités supra, auquel vient de s’ajouter le droit boursier — un domaine où les décisions sont peu nombreuses, ce qui illustre a priori assez bien le côté système expert et bien peu machine learning. Pas de dossier exceptionnel ni de contentieux trop restreint
  • les techniques et étapes utilisées : dans un premier temps, J. Lévy-Véhel et son équipe font parler les juristes pour déterminer les critères (entre 20 et 50) et le raisonnement utilisés pour trancher. Ça, c’est une technique d’IA à l’ancienne : c’est du logiciel expert (cf supra). Et cela permet à CLA de dire qu’ils offrent des « juges virtuels ». Un « référentiel » plutôt, en réalité, pour reprendre un autre terme utilisé par J. Lévy-Véhel.
    Dans un deuxième temps, CLA constitue une base de données de décisions de justice sur le sujet (peu d’IA là-dedans). J. Lévy-Véhel : « Nous utilisons bien sûr des outils de traitement du langage naturel, pour retrouver automatiquement certains critères, mais une partie du travail est effectuée manuellement, par des humains. »
    Dans un troisième temps, en utilisant les règles dégagées à l’étape 1 et les données regroupées dans l’étape 2, CLA "apprend" à la machine à s’approcher d’un raisonnement de juge. En clair, la troisième étape consiste à créer un logiciel ad hoc qui va se nourrir de cette jurisprudence codifiée pour modéliser la prise de décision d’un juge dans ce type d’affaires. J. Lévy-Véhel : « Nous faisons appel, sans a priori, à toutes les techniques d’apprentissage automatique à notre disposition. Il peut s’agir de réseaux de neurones, de forêts aléatoires, de machines à vecteurs de support, de réseaux bayésiens ... Nous choisissons ceux qui nous semblent efficaces dans le cas de figure et nous construisons un logiciel unique à partir de là. »
    Enfin, CLA sort un éventail de décisions et de dommages-intérêts représentatifs [99].
    Clairement, à travers ces techniques et les propos de J. Lévy-Véhel, CLA se positionne comme de la "justice prédictive" haute couture, pas du prêt-à-porter. Case Law Analytics n’est pas un editeur de logiciel mais une sorte de SSII vendant ce qui s’apparente en réalité à des développements spécifiques. Pour citer J. Lévy-Véhel : CLA travaille « au cas par cas »
  • apparemment, CLA n’a pas accès aux arrêts hors des bases CASS, INCA et JuriCA. Pas de jugements de première instance donc
  • J. Lévy-Véhel refuse de se ranger dans la course à la taille. Pour lui, un échantillon de 1500 décisions (isolées dans une base beaucoup plus grande, cf étape 1) suffisent au machine learning pour "apprendre". En même temps, les 2000 arrêts rendus par la CA de Paris depuis 2012 sur la rupture brutale des relations commerciales sont insuffisantes : c’est notamment pour surmonter cela que CLA utilise leur technique dite de "juge virtuel"
  • CLA refuse de profiler les juges et les avocats. Elle anonymise leurs noms dans les décisions.

En novembre 2017, le cabinet d’avocats (spécialisé en droit social) Clichy Grangé a annoncé s’être équipé de l’outil Case Law Analytics [100]. Autres clients selon CLA : le cabinet d’avocats Quinn Emanuel, la direction juridique de SNCF Réseau et les assureurs Axa Protection juridique et Allianz.

Chose rare parmi toutes ces applications de machine learning, Case Law Analytics propose une version, gratuite mais très limitée, de démonstration pour Iphone et Ipad. Elle permet d’évaluer une fourchette pour le montant de la pension alimentaire avec les probabilités associées.

Dernier né, JuriPredis

JuriPredis, lancé officiellement en octobre 2018, est un moteur de recherche sur le fonds Legifrance qui utilise, selon nos tests, un moteur de recherche capable de très bien "ranker" les arrêts. NLP à la sauce ML ou bon vieux systèmes experts a base de chaînes de caractères ? Impossible à dire pour l’instant, mais la pertinence est bluffante.

Deux prédécesseurs sans machine learning : Jurisprudence chiffrée et Données quantifiées Juris-Data

C’est quelque chose que l’éditeur juridique Francis Lefebvre avait déjà approché avec son produit Jurisprudence chiffrée fondé sur les faits et chiffres présents dans les arrêts de cour d’appel de la base JuriCA. Jurisprudence chiffrée trouve depuis 2010 des arrêts de cour d’appel correspondants aux critères exacts donnés et le montant des dommages-intérêts. Par exemple, à partir de la profession et l’ancienneté, Jurisprudence chiffrée donne le montant des dommages-intérêts pour licenciement sans cause réelle et sérieuse [101]. Jurisprudence chiffrée utilise un programme qui identifie les zones des arrêts d’appel riches en information de type juridiction, adresse, profession, âge, ancienneté, montant des indemnités etc., isole ces informations et permet de mener une recherche d’arrêts très rigoureuse par ces critères combinés. Mais à l’époque de sa conception, les avancées du machine learning commençaient à peine, il est donc peu probable que Jurisprudence chiffrée utilise le ML [102]. En revanche, il y a un travail fin sur le langage naturel, à base de cartouches Temis.

Notez que Jurisprudence chiffrée est à la fois un logiciel expert et un outil de traitement du langage naturel (TAL). En tant qu’utilisant les techniques de TAL, il représente pour le droit français le trait d’union entre l’IA à l’ancienne, de type pur logiciel expert, et l’IA récente, de type machine learning. En effet, on l’a vu, le ML en droit est utilisé essentiellement, pour l’instant, pour le traitement automatique du langage.

Interface de recherche de l’application Jurisprudence chiffrée en matière d’indemnité d’éviction (baux commerciaux)

La base (et ouvrage) rivale de LexisNexis Contentieux de l’indemnisation devenue Données Quantifiées JurisData (et accessible par l’onglet Pratique & Outils de Lexis360, mais non comprise dans l’abonnement standard à Lexis360) est elle, en revanche, faite "à la main", ce qui permet de la ranger dans la catégorie analyse prédictive (les résultats sont présentés sous une forme assez dans le style "tableau de bord") mais pas dans celle de l’IA [103]. Elle est nourrie avec une sélection d’arrêts d’appel provenant de la base Juris-Data [104], soit 50 000 arrêts à novembre 2017 [105]. Tout comme Jurisprudence chiffrée, elle ne traite que certains thèmes : licenciement, rupture de bail commercial, pension alimentaire et prestation compensatoire ...

Doctrine.fr

Doctrine.fr, malgré son nom, ne contient pas de doctrine, juste des liens vers des actualités gratuites des éditeurs juridiques (Dalloz Actualité, site de la Gazette du Palais, LegalNews ...), des billets de blogs juridiques (celui du professeur Dondero y est en bonne place) et quelques sites de définitions (le Dictionnaire de droit privé de Serge Braudo) ou de synthèse (Open Dalloz). En matière de doctrine, c’est donc un métamoteur.

Ses apports sont ailleurs :

  • d’abord, proposer un moteur de recherche de jurisprudence extrêmement simple à utiliser et extrêmement rapide. Le "learning curve" (délai d’apprentissage) est quasiment nul. Certes, construire une plateforme et un moteur "from scratch" aide beaucoup ici. Il n’empêche : les éditeurs juridiques traditionnels feraient bien d’en prendre de la graine
  • ensuite, utiliser le machine learning pour personnaliser la recherche et les alertes e-mail. Le NLP à la "sauce" ML est peu utilisé pour la améliorer la recherche. En fait, il l’est pour classer automatiquement les décisions de justice par domaine du droit — le résultat est pertinent —, ce qui aide à affiner les résultats de la recherche.

Pour l’instant, le moteur de Doctrine.fr fonctionne donc essentiellement comme un "full text" [106] à réponse quasi-instantanée.

Supra Legem, l’IA gratuite de droit public

Seule application de "justice prédictive" (en fait, on vient de le voir, de recherche fine et d’aide à la décision) à proposer une démo grandeur nature, qui plus est gratuite, Supra Legem (le site a été mis hors ligne), développée par l’avocat fiscaliste, programmeur et data scientist Michael Benesty, aidait à améliorer la pertinence et la rapidité des recherches, identifier un revirement de jurisprudence, identifier les moyens de l’administration qui n’ont pas fonctionné, identifier des tendances de certaines chambres, voire prédire des revirements de jurisprudence du Conseil d’Etat [107]. A lire absolument pour plus de précisions sur le projet Supra Legem et de manière générale sur les applications de justice prédictive, le compte-rendu que M. Benesty en a fait au Journal of Open Access to Law (JOAL) début 2017 [108] .

Pour autant, les déductions qu’on pouvait tirer des analyses des statistiques présentees par Supra Legem doivent être prises avec des pincettes, comme l’a montré un vif débat lors du lancement de l’application et des premiers articles écrits sur elle. Attention : Supra Legem n’est plus mis à jour. Profitez de cette démo avant qu’elle ferme.

À noter qu’un de mes contacts estime que le machine learning en droit a beaucoup d’avenir si le deep learning non supervisé y perce. Et ce, même sur des marchés juridiques en régression comme le marché français. Imaginons par exemple que les algorithmes de deep learning arrivent à détecter des similitudes ("patterns") indépendantes de la langue et entre les documents juridiques allemands (un marché en meilleure santé) et français : les recherches entreprises sur le droit allemand — un marché bien plus rentable que le droit français — seraient alors transposables et réutilisables en droit français.

On remarque que les éditeurs juridiques français traditionnels (groupe ELS avec Francis Lefebvre, Dalloz et Editions Législatives, Lexbase, LexisNexis SA, Wolters Kluwer France, Lextenso) ne proposent pas de produit incorporant du machine learning. Pour certains, je dirais : pas encore, mais je serais surpris que cela tarde [109] D’autant que ce sont les éditeurs qui possèdent le commentaire de la jurisprudence (dit aussi doctrine). Or en droit français, la donnée qui relie entre elles et permet de comprendre les décisions de justice, c’est la doctrine. Alors qu’en pays de "common law", le "case law" (jurisprudence) contient ses propres liens et son propre commentaire. En effet, le principe du "stare decisis" impose au juge anglo-saxon de citer les précédents pertinents et les juges des cours donnent leur "opinion" — autrement dit, ils commentent leur propre décision, chose impensable en France [110].

Pourquoi une montée des "IA" en droit ?

Une des raisons de la probable montée de ces systèmes : les économies réalisées. C’est, avec la rapidité, LE motif mis en avant par le managing partner d’une "small law firm" spécialisée en droit américain des faillites, le premier domaine de ROSS.

A noter, hors cabinets d’avocats, que la Justice a justement un problème budgétaire criant, reconnu par Jean-Jacques Urvoas, le ministre de la Justice lui-même ... [111] Une tribune iconoclaste aux Echos, rédigée par des non juristes (évidemment ...), propose d’ailleurs de confier la justice française à l’intelligence artificielle [112]. Et confirmation le 5 avril : la proposition n° 48 du rapport de la mission d’information sénatoriale sur le redressement de la justice présidée par Philippe Bas (voir pp. 20, 21 et 36 du dossier de presse) consiste à « mettre les outils de la "justice prédictive" au service du bon fonctionnement de la justice et de la qualité des décisions de justice et prévenir leurs dérives possibles » [113].

Impact prévisible des "IA" sur les jeunes collaborateurs, stagiaires, paralegal et documentalistes juridiques ?

IA et documentalistes

Ces outils auront aussi un impact sur la recherche — et donc la veille — documentaire juridique : les tâches répétitives et "découpables" en petits morceaux seront robotisées, les autres ne le seront pas. Par exemple, ROSS réalise la recherche booléenne et la première analyse des résultats. Selon les termes d’Andrew Arruda [114] (traduction par nos soins) :

« La technologie AI de ROSS remplace le besoin d’utiliser les opérateurs et mots-clés de la recherche booléenne par du langage ordinaire. Si un juriste d’affaires a besoin de connaître la différence entre les deux concepts juridiques "loss" et "recoupment", tout ce dont le juriste a besoin est de demander à ROSS : "Quelle est la différence entre "loss" et "recoupment" ?
Le résultat fourni par le système va au-delà de la simple identification des arrêts pertinents. Au lieu de cela, il attire l’attention du juriste sur les passages clés dans l’affaire qui devrait répondre idéalement à la question posée.
Quand vous posez une question à ROSS sur l’état du droit, vous la posez comme vous le feriez avec un collègue humain. ROSS découpe la phrase pour déterminer le sens de la question, puis conduit la recherche. »

Autrement dit, ROSS reste un moteur de recherche (nettement) amélioré. Ce n’est pas une véritable IA. Il ne menace guère que la fonction recherche — et encore : lisez ce qui suit.

Autrement dit encore, si on se projette dans environ sept ans [115], plus le travail du documentaliste juridique français procédera, comme le dit Jean Gasnault (La Loi des Ours), « d’heuristiques pointues pratiquant pour partie un mode intuitif (opérer par rapprochements semi conscients) », et j’ajouterais : plus il aura une conscience d’artisan et d’expert de haut vol (notamment dans la maîtrise des sources méconnues ou mal indexées [116]), moins au final il aura de chances d’être automatisé.

Mais aussi : plus il travaillera *avec* l’IA. Le documentaliste, le veilleur, le paralegal, le stagiaire juriste, le collaborateur, l’éditeur vérifieront, compléteront et amélioreront le travail de l’IA. Selon Christophe Tricot de Kynapse, « le collaborateur qui participe à la création d’une IA va devoir expliciter les règles, ses tâches au quotidien et comment il les aborde, parce que souvent les choses sont cachées ». Se former à l’IA, c’est donc savoir aussi parler de son fonctionnement quotidien, même lorsqu’on n’y prête pas attention et, encore mieux, le formaliser avec des règles. Par exemple : « S’il n’y a plus de papier dans la photocopieuse, alors il faut en remettre dans le tiroir. » Les règles en « si... alors... » (implication logique) sont facilement formalisables en langage informatique [117].

Comme l’écrit de manière futuriste, provocatrice mais pertinente Tyler Cowen, professeur d’économie à la George Mason University et blogueur connu sur Marginal revolution, dans son ouvrage Average is Over (Dutton, 2013, non traduit en français) :

« Les travailleurs se classeront de plus en plus en deux catégories. Les questions clés seront : Savez-vous bien travailler avec des machines intelligentes ou pas ? Vos compétences sont-elles un complément aux compétences de l’ordinateur, ou l’ordinateur fonctionne-t-il mieux sans vous ? Pire : est-ce que vous vous battez contre l’ordinateur ? » (traduction par nos soins)

D’ores et déjà, si l’on en croit les consultants spécialisés dans l’externalisation des services tertiaires, les applications de type RPA (Robotics Process Automation ou automation software) "carburant" au machine learning [118] sont en train de frapper à la porte des bureaux des Indiens, Philippins et autres pays d’externalisation [119].

Dans le secteur de la bibliothèque documentation juridique, en réalité, l’automatisation n’a pas attendu l’IA, le machine learning ni les réseaux neuronaux. Elle a commencé il y a plus de vingt ans, avec le téléchargement des notices de catalogue OCLC et Gallica puis les produits de veille directement destinés aux juristes, comme Dalloz Actualité, PaRR ou Mlex.

Voyons pour le futur.

Côté gestion de bibliothèque, on peut penser au bulletinage des revues électroniques ou au catalogage et à l’indexation et classement matière des ebooks. Encore que cela suppose que les éditeurs juridiques laissent des logiciels étrangers rentrer sur leurs serveurs et dans leurs systèmes — on touche là aux multiples problèmes pratiques et très ras-de-terre que pose l’IA. Les imprimés, c’est nettement moins évident vu leur nature physique.

Côté documentation juridique et open legal data, voici un exemple donné par Jean Gasnault :

« La préparation [des] données est essentielle pour un bon fonctionnement des algorithmes les traitant. Les documentalistes ont une carte à jouer dans cette évolution, en raison de leur compétence spécifique d’enrichissement des données. Cela donne un axe bien identifiable de progression de leurs connaissances : métadonnées, FRBR, normes ELI-ECLI, etc. »

Cela dit, fournir un savoir-faire sans contrepartie [120] n’aurait guère de sens. Il serait prudent de poser des questions sur les utilisations futures des outils de gestion des mails et des tâches et autres "bases de knowledge" et en l’absence de précisions, de savoir garder pour soi ses trucs et techniques de haut-vol.

D’ailleurs, il vaut mieux, pour le professionnel de l’information et le juriste, comme pour leur employeur, garder la connaissance des processus métiers de base mêmes, quand bien même certains — et c’est là toute la contradiction — ne seraient pratiquement plus utilisés. En effet, comme l’explique Sylvain Duranton du Boston Consulting Group (BCG) [121] :

« "Un risque énorme est la perte du savoir-faire métier. Car c’est le savoir-faire qui permet de perfectionner les outils." Un opérateur peut se contenter de suivre les instructions d’une IA sans lui-même savoir comment la perfectionner. C’est à ce moment que son emploi est menacé, pas tellement par l’IA [NB : impossible de ne pas relever ici une certaine hypocrisie, mêlée de réalisme], mais par la baisse du niveau de compétence requis : plus besoin d’être qualifié pour faire son job. »

Puisqu’une partie — à déterminer, car les obstacles sont légion et le plus souvent incontournables — de leur travail est à terme automatisable et sera automatisée, une partie croissante du travail des bibliothécaires documentalistes juridiques va consister à détecter, tester, sélectionner et pousser les nouveaux produits des éditeurs et legal tech et les nouvelles techniques de bibliothèque, documentation, recherche documentaire, veille, gestion électronique de documents, gestion des archives et knowledge management. Des qualités de curieux, de découvreur, de testeur, d’évangélisateur et de créatif devraient devenir beaucoup plus importantes chez les documentalistes juridiques — et peut-être aussi chez les paralegals.

Pour la formation et les recherches — ainsi que les conseils et l’aide à la recherche —, je ne vois pas de substitution prochaine, vu que les questions qui sont posées aux documentalistes juridiques sont presque toujours difficiles et très spécifiques. La réalité, c’est que les bibliothécaires documentalistes juridiques interviennent à la demande du juriste, quand il ne s’en sort pas. Ils sont de facto des "super searchers", comme l’ex-"librarian" américaine Reva Basch a qualifié la profession. Certes, les nouveaux moteurs développés par les startups tendent à constituer une base de données des "intentions", domaines de travail et préférences personnelles des utilisateurs avant de traiter leurs requêtes. Mais ces algorithmes ont de nombreux défauts et biais [122] et s’ils fonctionnent (à peu près) correctement, là encore, le documentaliste devra débugguer et former, les mains dans le cambouis.

Il y a encore bien d’autres choses qu’un documentaliste juridique apporte *en plus* d’un robot. Sur ce sujet, voir notre billet Documentaliste : un nouveau métier, de nouveaux noms. Pour ne pas rallonger le présent billet, je me contenterai de (re)citer une bibliothécaire documentaliste juridique américaine [123] :

« L’IA est itérative et continuera à s’améliorer, mais elle ne sait pas grand chose du facteur qu’est le contexte de la question posée ni comment le gérer. Pour que l’IA soit utile dans des recherches complexes (et non juste des recherches sur références bibliographiques) dans la plupart des structures juridiques, j’estime qu’elle aura besoin d’apports significatifs en savoir interne. Il est déjà difficile de faire correctement (voire de faire tout court) du KM. Comment alors allons nous documenter le savoir historique de la structure de manière à ce qu’un robot puisse correctement l’interpréter et l’appliquer ? Ce qui est saisi ne constitue pas réellement la totalité de la requête que l’on entre dans une machine : il y a bien plus de choses à préciser pour que la machine puisse fournir une réponse. »

Il faut aussi lire ce billet de Christophe Doré, consultant, professionnel de haut niveau de la veille, domaine ou excellent les documentalistes : La Veille : 70% d’humain et 30% d’informatique. J’ai appris en lisant cet article un nouveau concept aux termes assez éclairants : la pensée latérale. Les systèmes de veille automatique, les chatbots et les agrégateurs de sources numériques ne sont pas si performants en eux-mêmes. Ils ont besoin d’humains pour déterminer les sources à surveiller et affiner les requêtes booléennes. De plus, on a encore besoin d’un humain pour identifier et suivre les signaux faibles, pour sortir des sentiers battus, pour laisser agir la sérendipité et regarder là où la machine n’ira pas parce que ce n’est pas dans son algorithme.

IA et avocats

La journaliste britannique Joanna Goodman, dans son ouvrage précité Robots in Law : How Artificial Intelligence is Transforming Legal Services écrit que l’IA pour les juristes n’est pas une option. Selon elle, les juristes qui accepteront la réalité de l’IA et l’incorporeront dans leur pratique professionnelle sont ceux qui réussiront le mieux dans les années à venir, car l’IA modifie le partage de la valeur entre les acteurs de la "chaîne" juridique. Lire à ce propos le compte-rendu du livre par Robert Ambrogi [124].

Une autre façon, française cette fois et plus diplomate, de formuler cela : en partenariat avec Predictice, le bâtonnier de l’Ordre des avocats au barreau de Lille a dû convaincre ses collègues [125] :

« Il faut tuer tout de suite le fantasme, ça ne remplacera pas les avocats dont les analyses ne peuvent être automatisées »

Selon lui, il s’agit plutôt d’un outil stratégique :

« Le défenseur peut, entre autres, voir quelle juridiction sera la plus encline à rendre une décision favorable à son client. »

Un des meilleurs "papers" sur ce sujet, sur un plan technique — et non économique — est celui publié à la Savannah Law Review [126] par l’"investigateur" américain Philip Segal (Charles Griffin Intelligence), spécialiste des recherches de personnes, d’informations et de faits dont le contentieux américain est friand. P. Segal parle d’améliorations sur des outils que nous utilisons déjà, comme YouTube par exemple, qui devrait bientôt pouvoir se voir appliquer des moteurs de recherche vidéo très puissants. Il reconnaît que l’IA apportera d’importants changements dans la pratique des juristes américains. Mais il est loin de craindre ces nouveaux outils pour son métier. Il signale précisément leurs avantages comme leurs limites. Ainsi, il recommande :

  • de comparer et évaluer les IA comme toute autre base de données en ligne *avant* de les acheter
  • d’accumuler une expérience concrète des "trucs" à savoir pour les interroger sans se "faire avoir" par leurs biais.

IA et jeunes collaborateurs/paralegals

Pour les postes de paralegals orientés recherches et veille (par exemple, les spécialistes de la recherche, de la veille et de l’enregistrement des brevets) et pour les jeunes collaborateurs (qui font aux Etats-Unis énormément de recherches, ce qui correspond en France aux stagiaires, mais en font aussi beaucoup en France durant leur première année), une étude d’Altman Weill datant de 2015 est pessimiste [127]. La brève précitée de la Lettre de l’Expansion est encore plus explicite :

« Watson [...] est réputé pour son rôle dans la destruction d’emplois. »

Pour les autres paralegals, le risque à court terme, surtout en France, est faible mais à long terme, leurs tâches découpables seront probablement automatisées.

Un monde sans travail ?

Plus généralement, de nombreux entrepreneurs millionnaires comme Bill Gates ou Elon Musk (voitures électriques Tesla) et des scientifiques comme l’astrophysicien Stephen Hawking ou le docteur Laurent Alexandre (fondateur de Doctissimo) estiment que l’IA va créer du chômage et que les conséquences sociales de cette nouvelle révolution sont encore largement sous-estimées. Elon Musk estimait par exemple le 15 février 2017 que les conducteurs professionnels (soit 15% de la population active mondiale) pourraient se retrouver sans emploi dans les 20 prochaines années, et qu’il y aura de moins en moins de métiers qu’un robot ne pourra pas faire [128]. Le cabinet américain Forrester anticipe, pour le marché de l’emploi des Etats-Unis, une disparition nette de 7% des jobs d’ici 2025 imputable à l’automatisation [129].

Côté France, la journaliste indépendante Tiffany Blandin préconise en conclusion de son enquête Un monde sans travail ? [130], de « regarder l’automatisation dans les yeux ». Elle explique que « personne ne peut dire précisément combien d’emplois vont disparaître à cause de l’intelligence artificielle » et que « c’est pour cela que les dirigeants de la Silicon Valley se sont pris de passion pour le revenu universel ». Et le Canard Enchaîné d’ironiser sur les 10% de postes en danger d’être détruits selon le rapport précité du 10 janvier 2017 du Conseil d’orientation pour l’emploi (COE) [131], en notant que cela représente quand même 3 millions de chômeurs en plus [132].

On ne parlera pas ici de l’ubérisation, que redoutent aussi bien le magazine Capital qu’un un enseignant de l’Université Paris Dauphine [133].

Les spécialistes en intelligence artificielle, eux, vont même plus loin : un sondage (pre-print) mené fin 2016 auprès de 352 chercheurs en IA également auteurs d’articles et présents lors de deux conférences sur le sujet [134] a donné le résultat suivant : selon eux, en se plaçant donc en 2016, il y a une chance sur deux que l’IA soit meilleure que les humains à à peu près tout type de tâche individuelle ("High level machine intelligence - AI human tasks") dans 45 ans. et une chance sur deux que tous les emplois humains soient automatisés ("AI human jobs"), y compris la recherche en IA, dans 122 ans (voir les graphiques en fin d’article). Fin 2017, ce sondage est encore fréquemment cité.

Re-la-ti-vi-ser. Ou les (grosses) limites de l’IA juridique

Mais le magazine Business Insider, en rendant compte [135] de ce sondage, appelle à la prudence. Il commence par rappeller que de nombreuses prédictions d’experts dans le passé se sont avérées fausses. Surtout, Business Insider explique que :

« Quarante ans est un chiffre important lorsque les humains font des prédictions parce que c’est la durée de la vie active de la plupart des gens. Donc, si un changement est censé se réaliser après, cela signifie qu’il se produira au-delà de la durée de vie active de tous ceux qui travaillent aujourd’hui. En d’autres termes, il ne peut se produire avec une technologie dont les experts d’aujourd’hui ont une expérience pratique. Cela suggère qu’il s’agit d’un chiffre à traiter avec prudence. »

Quant à l’IA connectée au cerveau, ce n’est vraiment pas pour tout de suite. Des recherches existent, comme le projet Kiwi de la société Nitoo de Newton Howard [136]. Nitoo a mis au point un prototype d’implant neuronal de la taille d’un grain de riz et pesant moins de 2 grammes, qui pourrait être implanté dans la cloison nasale. Cet implant permet de capter des informations envoyées par les neurones et de leur répondre.

Mais pour Ricardo Chavarriaga Lozano, spécialiste de l’interface cerveau-machine à l’Ecole Polytechnique Fédérale de Lausanne, « il faut prendre des pincettes : beaucoup de recherches doivent encore être effectuées avant de pouvoir modifier le vivant » [137]. le chirurgien français Laurent Alexandre, fondateur du site Doctissimo, et partisan de l’être humain augmenté (ou transhumanisme), commentant les prédictions du singulariste (et par ailleurs employé de Google) Ray Kurzweil, estime qu’ « un cerveau connecté, on en est encore loin. Croire qu’on y arrivera d’ici 15/20 ans, il me semble que c’est faire preuve de naïveté neuro-technologique. Pour l’instant, les seules choses que nous arrivons à faire, c’est recréer des faux souvenirs chez des rats par exemple, en les "connectant". Mais on leur bousille le cerveau, on est très loin d’être au point sur ce sujet-là » [138].

Surtout, comme l’explique Olivier Ezratty (ancien de Microsoft), les livres et articles sur l’impact de l’IA sur l’emploi font l’impasse sur plusieurs points clés [139] :

  • « au démarrage des précédentes révolutions industrielles, les métiers disparus comme les nouveaux métiers ont rarement été bien anticipés »
  • un phénomène induit par le numérique et qui n’a rien à voir avec l’intelligence artificielle : « le transfert du travail non pas seulement vers les machines mais aussi vers les clients » (exemples des formulaires et modèles de contrats en ligne que nous remplissons nous-mêmes et des guichets automatiques bancaires)
  • ils se focalisent sur la situation aux Etats-Unis, ignorant la plupart du temps totalement le reste du monde
  • ils ont « bien du mal à faire le tri dans les évolutions de l’emploi entre ce qui provient de l’automatisation, de la globalisation et de la concurrence asiatique dans l’industrie manufacturière et même indienne, dans les emplois concernant les services informatiques. L’emploi a surtout migré géographiquement. Les emplois perdus dans l’industrie aux USA et en Europe se sont retrouvés en Asie » [et en Europe de l’Est].

Autre publication relativisant les choses : selon le rapport précité du COE [140], moins de 10% des emplois sont "très exposés" aux mutations technologiques et présentent donc le risque d’être supprimés — mais près de la moitié des emplois devront toutefois évoluer [141]. Les emplois juridiques évoqués supra ne sont pas dans la liste des 10% du COE. Et Anne-France de Saint-Laurent Kogan, spécialiste des transformations du travail liées au numérique, tempère elle aussi les choses [142].

Dans une autre étude (américano-britannique), The Future of Skills’ Employment in 2030, le panel des personnes interrogées estime que tant les juristes que les bibliothécaires documentalistes feront partie des métiers pour lesquels la demande va augmenter à l’échéance 2030. Cette enquête a été produite par l’éditeur scolaire et universitaire Pearson, NESTA, une fondation pour l’innovation globale et l’Oxford Martin School. Surprise : les bibliothécaires documentalistes sont carrément listés dans le segment "haute croissance". Toutefois, les compétences demandées aux bibliothécaires documentalistes vont probablement évoluer dans les années à venir [143]

Menée par les professeurs américains Dana Remus (Faculté de droit de Université de Caroline du Nord) et Frank Levy (économiste, Massachusetts Institute of Technology, le fameux MIT), une étude publiée en novembre 2016 suggère que l’IA a « un effet modéré » sur des métiers tels que la recherche documentaire juridique et la rédaction de contrats [144]. L’étude indique que les tâches précitées représentent environ 40% de la facturation globale des avocats.

Cela dit, selon cette étude — un gros article scientifique de 77 pages publié sur le Legal SSRN —, l’impact estimé de l’IA sur des domaines tels que le "fact-checking" (vérification des faits, typique du droit anglo-saxon), le conseil aux clients, la gestion électronique de documents (GED), la rédaction de conclusions et les audiences — le tout représentant près de 55% des heures facturées — est « faible ».

Mais l’intelligence artificielle a un rôle plus important à jouer dans d’autres domaines. Selon l’étude, l’impact estimé de l’IA sur l’examen de documents ("document review", là aussi une procédure inconnue en droit français) — qui consiste essentiellement à passer en revue de grandes masses de documents pour y chercher les détails pertinents dans le cadre d’un contentieux — est « fort ». Heureusement pour les avocats anglo-saxons, l’étude ajoute que cela représente seulement 4% des heures facturées [145].

Le professeur Joël Monéger, spécialiste des baux, dans une tribune à la revue Loyers et Copropriété [146], formule ainsi les possibilités et les limites de la justice prédictive à la française :

« Prévoir le droit positif tient [...] de la gageure. [...] Certes, la prédictibilité de la solution paraît possible lorsque la plus haute juridiction a tranché le point de droit avec fermeté et de manière répétée. De même, semble-t-il, lorsqu’elle donne des signes annonciateurs d’un revirement possible de la jurisprudence. Mais, au-delà, la jurisprudence, même émanant de nos plus hautes juridictions, est bien souvent délicate à prévoir, notamment face à des textes récents, mal rédigés, ou à des textes en décalage grave avec les réalités sociales ou économiques. Cela tient à l’art de la rédaction des arrêts qui suppose un lecteur formé au décryptage de formules insuffisamment enseignées. De plus, la Cour de cassation ne peut pratiquer l’ultra petita et ne répond qu’aux moyens du pourvoi. »

Pour l’illustrer, il donne l’exemple de deux jurisprudences récentes de la Cour de cassation.

En fait, il faut garder à l’esprit que toute la com’ — car c’en est — sur les performances de l’IA viennent du besoin des startups et des éditeurs de logiciels de vendre leurs produits. Dès qu’on lit la littérature scientifique, comme vous avez pu le constater supra, les choses sont grandement relativisées. Pour reprendre les mots très directs mais très justes de l’avocate Michèle Bauer [147] :

« Les legaltech ne publient pas leurs chiffres et ne font que des effets d’annonce en prétendant avoir levé des millions d’euros, il est donc impossible de connaître leur véritable pouvoir économique. [...]
Méfiez vous des fakes, des effets d’annonce et des informations diffusées sur le net, les legaltech en sont les artisans, les initiateurs. Le mensonge et l’embellissement de la réalité est une pratique courante sur la toile. »

IA juridique et science-fiction ou les risques de la justice prédictive

Et si on en arrivait un jour là où Google semble être arrivé du fait de l’intégration de machine learning dans ses algorithmes (ses ingénieurs ne savent plus totalement en détail comment leur moteur fonctionne : en tout cas, c’est ce que dit un scientifique chez un rival, Qwant [148]) ? Car c’est un fait : l’IA à base de ML est impénétrable [149]. En arriverait-on à ce que ROSS n’est pas — en tout cas pas encore —, c’est-à-dire une véritable intelligence artificielle ?

Les risques :

  • on ne saurait ni qui exactement nous juge ni pourquoi on nous condamne
  • et "power to the machine". On ferait plus confiance à l’algorithme qu’à l’humain, dans une époque méfiante vis-à-vis de la Justice. On ne tenterait plus sa chance en justice si elle est faible. La situation et ce risques sont assez bien décrits dans une brève intervention d’Antoine Garapon sur France Inter et surtout dans son interview au Point par Laurence Neuer dans la remarquable série Mon petit droit m’a dit [150].

La science-fiction a déjà envisagé ces risques (nous ne parlerons pas ici des lois de la robotique d’Asimov, non pertinentes ici et de toute façon déjà dépassées [151].) :

  • le tome 3 de la bande dessinée SOS Bonheur, un classique du genre publié en 1989 [152] parle de justice automatisée : chaque avocat soumet ses conclusions dans une machine et la machine rend son verdict, le juge n’est là que pour contrôler le bon fonctionnement de cette dernière. Ainsi la justice est aveugle et équitable puisqu’elle est censée rendre le même verdict pour tous ceux qui sont dans la même situation sur tout le territoire. Jusqu’au jour où la machine condamne un homme qui a commis un délit mineur à la peine de mort alors que cette dernière a été abolie il y a déjà de nombreuses années. Peut-on désobéir à la machine au risque de remettre en cause tous les autres jugements déjà rendus ?
  • nous avons (presque) tous vu le film Minority report de Steven Spielberg avec Tom Cruise (d’après la nouvelle éponyme de Philip K. Dick). Même si ce sont des êtres humains spéciaux (des"precogs") qui y tiennent le rôle des logiciels et des données et statistiques, le sens en est clair :
    • les programmes sont écrits par des êtres humains, dans l’intérêt de certains
    • et comme tels seront toujours biaisés. Particulièrement si l’information qui y est entrée est biaisée. Le machine learning a tendance à reprendre et aggraver les biais humains parce que c’est une technologie ultra dépendante des données qu’on lui fournit. Illustrations récentes aux USA avec les programmes prédictifs de la police [153]. Antoine Garapon évoque lui aussi ce risque. Pour une vue plus large et un point sur les principaux programmes en cours.
L’ouvrage Minority report de Philip K. Dick avec pour couverture l’affiche du film

Si le machine learning finit, ce qui est probable selon nous (cf supra), par être utilisé par le juge, il est à espérer que les conclusions d’Antoine Garapon et Marc Clément (dans les articles de revues juridiques cités au début de ce billet) s’imposeront :

Eviter le risque de « l’effet "moutonnier" de la justice prédictive qui pousse au conformisme et réclame plus aux juges qui estiment qu’ils doivent aller à contre-courant, c’est-à-dire faire leur métier tout simplement ! »

« Il sera donc capital que les modes de raisonnement inscrits dans les algorithmes soient parfaitement explicites et maîtrisés par le juge. Il conviendra, de plus, que des méthodes alternatives soient proposées et que l’on ne se retrouve pas en situation de monopole avec une seule technologie utilisable. »

Concernant la justice prédictive, Rubin Sfadj, dans son entretien avec la revue Expertises, souligne que lorsque les outils de justice prédictive seront utilisés par la puissance publique, cet usage devrait reposer sur trois grands principes éthiques — qui, à bien les lire, ne sont pas si exigeants que ça :

  • le principe de responsabilité conduisant à désigner pour chaque algorithme utilisé une personne référente, à l’instar du directeur de publication en droit de la presse
  • le principe de clarté, c’est-à-dire la mention explicite dans une décision de justice élaborée avec l’aide d’un algorithme de ce procédé et la motivation sur laquelle repose le recours à ce type d’outil
  • le principe de précision permettant de corriger une source d’erreur à tout stade du traitement algorithmique.

Quant aux juges, leur réplique à la justice prédictive est déjà prête : "Convainquez-nous avec des arguments juridiques, peu nous chaut vos statistiques". Le Conseil d’Etat, par la voix de Christian Vigouroux, lors du colloque sur l’open data de la jurisprudence organisé en octobre 2016 par la Cour de cassation, a déjà prévenu que la juridiction administrative suprême ferait en sorte que le juge administratif ne puisse pas se voir opposer sa propre jurisprudence [154]. Côté justice judiciaire, selon Xavier Ronsin, Premier président de la cour d’appel de Rennes [155] :

« L’hypothèse selon laquelle des plaideurs assistés d’avocats, renonceraient à aller jusqu’au bout d’un contentieux judiciaire classique, parce qu’ils auraient lu les résultats d’un logiciel dit de "prédictibilité de la justice" et qu’ils décideraient alors de transiger, est contestée par beaucoup et mérite à tout le moins d’être vérifiée. Lorsque l’on constate la difficulté de faire aboutir les "modes alternatifs de règlement des litiges (MARD)", il y a de quoi être sceptique, mais pourquoi ne pas l’espérer ?
Au-delà d’un refus de principe sur la possibilité d’enfermer la future décision d’un juge dans le raisonnement d’un algorithme basé sur des "précédents jurisprudentiels", je pense malgré tout que les magistrats doivent se préparer à comprendre ce processus, et à recevoir des dossiers d’avocats comportant des analyses savantes ainsi que des contenus statistiques de milliers de décisions au soutien d’une thèse et de prétentions de leurs clients. De tels dossiers n’empêcheront de toute façon pas la liberté du juge de faire du "sur-mesure" pour chaque dossier, mais ils pourront peut-être éclairer son raisonnement. »

Dans un entretien avec Acteurs publics.com, Xavier Ronsin ajoute [156] :

« C’est une opération complexe que la motivation intellectuelle d’un juge, une opération subtile qui s’articule à un raisonnement et non à une simple corrélation d’items factuels. »

Du côté des avocats, Pascal Eydoux, président du Conseil national des barreaux (CNB) estime qu’ « il n’est pas question que la profession d’avocats envisage de s’opposer à cette évolution car elle est inéluctable et attendue ». Sanjay Navy, avocat à Lille où il a testé Predictice, pense que « ça peut permettre de dire à l’adversaire : "regardez les condamnations en moyenne, négociez sinon vous risquez d’être condamné à tant, ce n’est pas moi qui le prétends, mais la jurisprudence !" ».

Autrement dit, la justice prédictive aurait pour avantage de faciliter le calcul des chances de gagner ou perdre un contentieux, limitant ainsi la prise de risque et facilitant grandement le travail des assureurs. Pour les assureurs, qui ont déjà développé des bases de données de jurisprudence et de dommages-intérêts comme AGIRA, l’avantage de la justice prédictive est de faciliter la connaissance de la "vraie" (à leurs yeux) jurisprudence, celle des statistiques. La legal tech Predictice reconnaît que, très logiquement, les assureurs font partie de leurs bons clients.

À condition, évidemment, qu’aucune des parties ne fasse appel, que la juridiction suprême ne change pas de jurisprudence "juridique" ou que les textes applicables ne soient pas modifiés. Pour le magistrat Yannick Meneceur, détaché auprès du Conseil de l’Europe, « la forte évolutivité des règles juridiques constitue en elle-même une limite technique pour les algorithmes. Car les règles juridiques n’évoluent pas de façon linéaire comme dans les sciences dures, où une nouvelle règle vient compléter la précédente sans nécessairement l’invalider. Dans les systèmes de droit continental, il suffit que le texte fondamental change pour que la jurisprudence qui était fondée dessus se trouve écartée » [157]. Par ailleurs, comme le rappelle Bruno Mathis, consultant, la justice prédictive est « inutile pour estimer des dommages-intérêts obéissant à un barème [...] et où la justice prédictive sera-t-elle la plus utile ? Dans la masse des décisions qui ne sont ni trop spécifiques ni trop communes. » [158]

On peut aussi craindre une anonymisation insuffisamment forte, c’est-à-dire n’empêchant pas, d’ici les huit ans nécessaires pour que les jugements de première instance accèdent à l’open data [159], la réidentification du fait d’un apprentissage statistique automatique ayant beaucoup progressé et s’appuyant les données indirectement nominatives. Ce risque est réel : le rapport Cadiet sur l’open data des décisions de justice, qui est en réalité d’abord l’œuvre de la haute magistrature [160], préconise une pseudonymisation renforcée, et non une véritable lutte contre la réidentification [161]. Or cette pseudonymisation renforcée ne semble être rien d’autre que la formalisation des pratiques actuelles des juridictions suprêmes, désormais en charge de l’anonymisation (pardon, pseudonymisation), qui font face au coût que cela représente. Confirmation : cette anonymisation insuffisante est bien ce qui est prévu à l’article 19 du projet de loi de programmation pour la justice 2018-2022 (texte de la commission sénatoriale).

Le professeur Anne Debet, ancien commissaire de la CNIL, et un des meilleurs spécialistes français du droit des données personnelles, interrogée par la mission Cadiet, explique pourtant que :

  • au regard de la jurisprudence de la Cour européenne des droits de l’homme, « on peut imaginer une condamnation de la CEDH sur le fondement d’une possible réidentification des personnes dans une décision contenant des données sensibles non correctement anonymisées »
  • au regard des exigences du RGPD, la simple pseudonymisation (le terme même employé par le rapport) est insuffisante : « L’anomymisation doit être conforme aux exigences posées par la loi informatique et libertés et par le RGPD. [...] Il ne doit pas s’agir d’une simple pseudonymisation, [...] Cette amélioration a néanmoins un coût et un budget conséquent doit y être consacré. » On ne saurait être plus clair.

Les avocats craignent aussi une certaine déshumanisation ou une justice au rabais, voire un possible risque de "fainéantisation". Comme le formule Me Navy lui-même : « On vient me voir avec un problème, je tape sur le logiciel, j’ai 90% de chances de le perdre, donc je ne prends pas le dossier alors qu’en s’y penchant bien, je pourrais soulever un point particulier et gagner. » [162]

Certains vont plus loin, en proposant voire exigeant que le code des applications sur lesquelles se fonde une décision de justice soit disponible en open source. Pour reprendre les mots de Michael Benesty : « la confiance que l’on placerait dans des outils de justice prédictive implique, au cours du processus, que le calculs et les caractéristiques du modèle de prédiction soient visibles et compréhensibles par le juriste, avocat ou magistrat, qui les emploie. Cela se traduit par une obligation de transparence sur les algorithmes, que garantit la libération en open source de la solution autant que par une vigilance et une expertise juridique sur les données mobilisées. » [163] Le code source de Supra Legem, l’application de M. Benesty, est déjà en open source [164].

Le magistrat Antoine Garapon, dans son entretien précité aux Petites Affiches, penche, de manière moins radicale, pour la création d’un service public chargé de contrôler le code source, sous condition de secret professionnel [165].

Jacques Lévy-Véhel (Case Law Analytics) [166] est lui aussi favorable à un contrôle du code source par un tiers de confiance, mais il insiste surtout sur la vérification des résultats des logiciels par les juges.

Le magistrat administratif Marc Clément, plus réaliste à mon sens, estime quant à lui que la protection de la propriété intellectuelle des entreprises est un obstacle pur et simple à la divulgation, même limitée du code source, sans parler de sa compréhension.

Un article de la série Futurography sur Slate.com, propose une autre troisième voie entre secret et open source. Un amendement à loi fédérale américaine FOIA (Freedom Of Information Act [167]) donnerait le droit au public de soumettre des jeux de données tests à l’administration. Celle-ci devrait les passer à travers ses programmes et publier les résultats. Experts et journalistes pourraient alors calculer le taux d’erreur de ces algorithmes [168].

Enfin, selon un article d’Internet Actu [169], l’évolution des technologies d’IA pourrait permettre de sortir de l’opacité du fonctionnement de deep learning pour les humains. Algorithmes génétiques et IA symbolique, par exemple, peuvent être compris et débuggués. Il serait aussi possible de demander au programme d’expliquer ce qu’il fait.

En France, notre droit permet en tout cas de demander communication du code source des logiciels créés et utilisés par l’Administration, au titre de la communication des documents administratifs. La Commission d’accès au documents administratifs (CADA) [170] puis le tribunal administratif (TA) de Paris [171] l’ont confirmé à propos du logiciel simulant le calcul de l’impôt sur les revenus des personnes physiques. La DGFiP s’est résolu à s’y conformer l’an dernier, juste avant que le TA ne rende sa décision. La CADA a enfoncé le clou en 2016 en autorisant la communication à une association de lycéens du code source du logiciel Admission post bac (APB) [172]. Le Ministère de l’Education nationale s’y est conformé partiellement [173].

Ne pas oublier non plus que l’article 11 du règlement (européen) général de protection des données (RGPD), applicable en 2018, interdit toute décision automatisée qui affecterait significativement un citoyen européen — toutefois cela a de fortes chances de rester un principe sans application concrète — et que les articles 12 et 14 créent, pour les autres décisions, un "droit à explication" [174]. Une décision de justice prédictive, par exemple [175].

Enfin, du côté des structures privées (les cabinets d’avocats les premiers), les meilleures n’auront-elles pas intérêt à maintenir une expertise en recherche et veille afin de contrôler la pertinence des réponses (car un mémo fourni par ROSS serait bel et bien au minimum une amorce de réponse) ? Attention aux biais dans les contenus et les statistiques ... Pour le dire en anglais : « Content experts and data scientists needed ! »

ROSS, Predictice, Case Law Analytics, des inconnus

Mais pour éviter de trop conjecturer et en apprendre plus, il serait bien de pouvoir tester ces IA. Et de lire autre chose que des communiqués à peine dissimulés.

En effet, il n’existe aucune démo gratuite en accès libre de ROSS ni de Predictice, le site web du produit ROSS est d’un vide intersidéral (le compte Twitter est beaucoup plus riche !) et les cabinets d’avocats utilisateurs ne lâchent aucun exemple d’utilisation ni de recherche ni aucun autre détail.

C’est là que la libre disponibilité de l’interface et du code source de Supra Legem remplissait son office : permettre de tester un outil de "justice prédictive".

Emmanuel Barthe
bibliothécaire documentaliste et veilleur juridique, spécialiste des moteurs de recherche pour le droit et des données juridiques publiques
licence en droit, Faculté de droit de Sceaux


Une "webliographie" sélective et rapide sur ROSS :

Notes de bas de page

[1Sur l’autre sujet combinant les deux mots-clés IA en droit, autrement dit le droit de l’IA, voir ce billet sur le blog de l’avocate Murielle Cahen : Le droit des robots. Voir aussi Intelligence artificielle et enjeux juridiques, par Antoine Chéron, avocat, Village de la Justice, 3 avril 2018.

[2Le site de démonstration Supra Legem, qui se limitait au droit administratif, a été stoppé par son créateur.

[3Legalstart est une startup spécialisée dans les documents juridiques de base pour TPE, comme les statuts, par le biais de formulaires interactifs.

[4Voir la vidéo des interventions des Susskind à Chatham House en mars 2017 (1h04). Une précision personnelle : depuis que je lis les ouvrages de Richard Susskind ou des extraits de ceux-ci, je constate que les choses n’avancent pas exactement comme il tente de le prédire, pas toujours pour les raisons qu’il avance (R. Susskind n’avait pas prévu que ce serait le machine learning qui ferait sauter les limites de l’IA) et surtout, pas à la vitesse prévue ... Et je ne suis pas le seul : voir Lawyers and AI : Saying Susskind is Wrong, par Casey Flaherty, 3 Geeks and a Law Blog, 16 mars 2016.

[6Journaliste freelance, elle couvre les les nouvelles technologies, l’économie et les médias et tient une chronique sur l’informatique juridique dans The Law Society Gazette, une des plus importantes revues anglaises dédiées aux professionnels du droit.

[7Sommaire(PDF) de l’ouvrage.

[8JCP G n° 1-2 du 9 janvier 2017 p. 47-52.

[9Les juges doivent-ils craindre l’arrivée de l’intelligence artificielle ?, Recueil Dalloz, n° 2, 12 janvier 2017 p. 104.

[10Un exemple de ces phrases chocs et excessives : « La plupart des acteurs vont s’équiper s’ils veulent survivre » (Bruno Deffains, professeur de sciences économiques).

[11Expertises des systèmes d’information, n° 420, janvier 2017.

[12L’IA d’IBM, Watson, a d’abord abordé le domaine du diagnostic médical. Ross délivrerait d’assez bons diagnostics en matière de cancer ; il est actuellement (2018) en test dans plusieurs centres de cancérologie aux Etats-Unis selon l’enquête d’Arte sur l’IA. On lui a fait "digérer" toute la littérature disponible sur le cancer. Et IBM aurait également collecté à ce jour (septembre 2018) 90 millions de dossiers médicaux personnels numérisés. L’idée étant probablement de remédier à un défaut de l’application. En effet, selon le site d’information médicale STAT, des documents internes à IBM montrent des témoignages d’experts médicaux affirmant que des erreurs importantes étaient commises en 2017 par le programme. Pour les médecins, ces erreurs proviennent de la méthode utilisée par IBM, qui jusque là entraînait l’IA avec des dossiers de patients fictifs — et non réels.

[14Technology, jobs, and the future of work, McKinsey, briefing note prepared for the December 2016 Fortune Global Forum in Vatican City (PDF).

[15Notes from the AI Frontier, Insights from Hundreds of Use Cases, McKinsey Insights, avril 2018, 36 pages. Exposé de la méthode utilisée pour l’etude..

[16La « legaltech » bouleverse le marché traditionnel du droit, par Blandine Jugé, Lex Web Legal Expert 7 avril 2016.

[17Il existe un annuaire des legal tech francaises tenu à jour sur le Village de la Justice, mais il est autodéclaratif.

[18Initialement, Predictice était en partenariat avec Editions Lefebvre Sarut (ELS), c’est-à-dire le groupe qui détient les éditeurs juridiques Francis Lefebvre, Dalloz et Editions Législatives, pour les données.

[21Voir l’article Intelligence artificielle de Wikipedia.fr.

[22Discussing the limits of artificial intelligence, interview de Gary Marcus par Alice Lloyd George, Tech Crunch, 1er avril 2017.

[23Artificial general intelligence.

[24A. Damasio est l’auteur de : L’Erreur de Descartes (Odile Jacob, 1995), Le Sentiment même de soi (1999), Spinoza avait raison (2003) et L’Ordre étrange des choses (2017). Il n’a eu de cesse de réhabiliter l’importance des émotions et des sentiments dans les processus cognitifs.

[25Antonio Damasio : « Je ne crois pas à des ordinateurs doués de conscience », interview par Yann Verdo, Les Echos.fr, 1er décembre 2017. Extraits :
« Ce que j’affirme ici, c’est que le cerveau et le corps sont étroitement liés et que ce que l’on appelle l’esprit n’est pas le produit du seul cerveau mais bien de son interaction avec le corps. Presque tous les problèmes auxquels se heurte la philosophie de l’esprit viennent de ce que ses penseurs partent du fait, biologiquement faux, que l’esprit est un pur produit du cerveau, et même de cette partie la plus évoluée du cerveau qui en est le cortex. [...]
Si nous avons demain des voitures autonomes qui causent moins d’accidents ou des robots-docteurs qui font des diagnostics plus sûrs que des médecins humains, tant mieux ! Mais je reste, il est vrai, assez sceptique quant à ce qu’on appelle l’« IA forte », la possibilité de construire des ordinateurs ou des robots doués de conscience, ou du moins de certaines des composantes de la conscience.
A commencer par la subjectivité, cette conscience de soi qui fait par exemple que, lorsque je discute avec une personne, comme en ce moment avec vous, ma conscience ne se limite pas aux perceptions visuelles ou auditives de cette personne, il s’y ajoute le fait que je sais que je suis en train de discuter avec elle, que je me vois et m’entends en train de discuter avec elle. Car tout ceci - conscience, subjectivité - suppose un corps vivant régi par l’homéostasie, que par définition les ordinateurs ou les robots n’ont pas. Cela dit, un jeune doctorant de mon laboratoire, le Brain and Creativity Institute, est en train d’essayer de développer un programme d’IA reposant sur une simulation de corps vivant soumis à des processus de type homéostatique - et naturellement je le soutiens...
Disons que je pense que l’IA mérite pleinement son qualificatif d’« artificielle ». Simuler des sentiments est possible, mais simuler n’est pas dupliquer. Tant qu’ils seront privés d’affects, les programmes d’IA, même très intelligents (bien plus que nous !), n’auront rien à voir avec les processus mentaux des êtres humains. Et tant qu’ils seront privés de corps vivants régis par les lois de l’homéostasie, ils seront privés de conscience et d’affects... »

[26We’re told to fear robots. But why do we think they’ll turn on us ?, par Steven Pinker, Population Science, 13 février 2018. Une critique passable de ses arguments peut être lue sur Medium https://medium.com/@jsmp/pinkers-arguments-about-the-robot-uprising-being-a-myth-are-not-very-good-e4a9fd68a66d Le principal contre-argument étant la possibilité pour une AGI d’accéder à Internet.

[27Ubérisation de la profession d’avocat : fake news ?, par Michèle Bauer, Village de la Justice, 30 avril 2018.

[28A relativiser, mais largement vrai (note de l’auteur de ce billet).

[29Je m’excuse d’avance auprès des informaticiens, développeurs et spécialistes pour les simplifications que ce classement implique.

[30Lire Place et rôle de l’IRETIJ dans la communauté scientifique nationale et internationale par Pierre Catala, revue "Informatica e diritto" (Informatique et droit), fascicule n° 2, 1984. L’article a été écrit par M. Catala à son départ de la direction de l’IRETIJ. L’IRETIJ a depuis disparu. Il est symptomatique que l’auteur se plaignait que les effectifs de ce laboratoire de recherche contenaient trop de juristes et pas assez d’informaticiens. Ce sont en effet surtout les informaticiens et mathématiciens qui sont responsables des derniers progrès de l’informatique juridique, bien peu les juristes.

[31L’émergence de systèmes experts juridiques par Martine Quenillet, in Dialogo sobre la informatica juridica, Presses de l’université autonome de Mexico (Mexique), 1989, p. 379-394. Lire aussi L’utilisation d’un "système expert" en droit comparé par Xavier Linant de Bellefonds, Revue internationale de droit comparé vol. 46 n° 2, avril-juin 1994, p. 703-718.

[33L’open data et l’open source, des soutiens nécessaires à une
justice prédictive fiable ?
, par Michael Benesty, Journal of Open Access to Law, vol. 5, n° 1, 2017.

[34L’apprentissage profond avant tout, entretien avec Yann Le Cun, par Serge Abiteboul, blog Le Monde.fr Binaire, 10 novembre 2017.

[35Case Law Analytics évalue l’aléa judiciaire, par Arnaud Dumourier, Le Monde du Droit 6 septembre 2016.

[36Comment le « deep learning » révolutionne l’intelligence artificielle par Morgane Tual, Le Monde.fr 28 juillet 2015. L’enquête d’Arte (octobre 2018) "L’intelligence artificielle va t-elle nous dépasser ?" permet de visualiser une représentation en 3D des réseaux neuronaux, avec une explication audio directement tirée des propos de Y. Le Cun. Voir à partir de 11:16. Extrait : « Un réseau de neurones artificiels se décompose en plusieurs couches, sur lesquelles une multitude de programmes informatiques sont connectés les uns aux autres. [] Chaque neurone apprend à reconnaître un motif [de l’image] particulier. [...] Yann le Cun : "Ca peut nécessiter des systèmes avec des millions de neurones simulés, avec des dizaines ou même quelques fois des centaines de couches de neurones à l’intérieur, avec des dizaines de millions de connexions entre les neurones, quelque fois des centaines de millions de connexions entre les neurones, qui sont toutes ajustables. Et ces systèmes sont quelques fois entraînés avec des centaines de millions ou des milliards d’exemples. Chacun de ces exemples ayant été étiqueté par une personne ou plusieurs personnes. Est-ce que c’est un sac, une marque particulière ou une voiture de marque particulière etc. On peut arriver à déterminer des catégories, avec ces systèmes, qui sont de granularité très fine — une espèce de plante, une espèce de chien ..." »

[37En tout cas en algorithme linéaire. Exemple d’algorithme linéaire.

[38Qui utilisent des algorithmes non linéaires.

[39Plus de détails sur ces sujets dans notre billet Supra Legem, un exemple de machine learning appliqué au droit.

[41Une des méthodes d’analyse syntaxique utilisées est la grammaire de dépendance, qui fonctionne même sur des langues ou l’ordre des mots est libre et non contraint et permet, sans être de la sémantique, de détecter même les relations sémantiques (relations de sens) entre les mots. Un des programmes d’analyse syntaxique ("parsers") les plus puissants et récent est SyntaxNet écrit là encore par une équipe de Google et mis en open source.

[42Avec Word2vec, un mot se définit par son contexte de mots et cette définition est un vecteur. Ce vecteur est exprimé sous forme de chiffre car le machine learning à la base, ce sont des statistiques et les statistiques à la base, ce sont des mathématiques : d’où l’expression du contexte sous forme de vecteur. Lorsque deux vecteurs sont très proches ou identiques, cela signifie donc que les termes auxquels ils font référence, dans le contexte dans lequel ils sont, sont de sens similaire. Dit autrement, Word2vec peut deviner/prédire avec un très, très faible taux d’erreur un mot à partir de son contexte et vice-versa. Pour s’en convaincre, on pouvait jusqu’en 2017 comparer les résultats de deux recherches identiques sur Supra Legem — qui utilisait un dérivé de Word2Vec — et sur la base de jurisprudence administrative de Legifrance. Avant Word2vec, l’algorithme dominant était Latent Semantic Analysis (LSA) : voir pp 8-11 de l’étude des professeurs américains Remus et Levy (analysée plus loin dans le texte de ce billet) pour une très instructive explication de son fonctionnement, similaire à celle de Word2vec. Une explication du fonctionnement des logiciels de NLP en ML nettement plus mathématique — mais qui reste pédagogique — est disponible sur ce billet : Representing Words, par Vered Shwart, une étudiante et chercheuse en mathématiques et machine learning, sur son blog Probably Approximately a Scientific Blog : Human-interpretable computer science and other ramblings, 3 janvier 2016.

[43The State of Legal AI – a Q&A, par Ron Friedmann, prismlegal.com, 4 octobre 2017.

[44Ces trois termes n’ont pas d’équivalent en droit français. Nous ne les traduisons donc pas.

[45Le test a été mené sous la supervision de professeurs de droit des universités de Stanford, Duke et Southern California. Le résumé du test et de ses résultats en une infographie : AI vs. Lawyers, Law Geex. L’étude (PDF) détaillée : Comparing the Performance of Artificial Intelligence to Human Lawyers in the Review of Standard Business Contracts, LawGeex, février 2018. Deux articles sur le test : AI roundly beats lawyers on contract review in a fraction of the time, The Global Legal Post, 26 février 2018. LawGeex Hits 94% Accuracy in NDA Review vs 85% for Human Lawyers, Artificial Lawyer, 26 février 2018.

[46Source : Quand le droit s’appropriera l’IA, Capital Finance, 17 septembre 2018. NB : on parle là des bureaux anglais et/ou américains de ces cabinets. En 2018, les bureaux français sont seulement en début de test ou d’adoption.

[47eBrevia Applies Machine Learning To Contract Review, by Ben Kepes, Forbes.com 20 février 2015.

[49Tableau greffe la préparation de données à sa plateforme, par Cyrille Chausson, Le Mag IT, 24 avril 2018

[50Qlik : un Qlik Sense qui avance lentement vers l’AI, le Big Data et le multi-cloud, par Craig Stedman, Le Mag IT, 7 mai 2018. Posts tagged : Machine Learning, Microsoft Power BI Blog. Tableau Applies Machine Learning Algorithms to Analytics, par Mike Vizard, IT Business Edge, 2 juin 2017.

[51Rapport Anticiper les impacts économiques et sociaux de l’intelligence artificielle, par Lionel Janin et Rand Hindi, France Stratégie, 21 mars 2017 (PDF, 48 pages).

[52"Je reste convaincu qu’une partie du travail de la justice ne pourra jamais être automatisée", B. Warusfel, propos recueillis par Samorya Wilson, ActuEL Direction Juridique, 27 octobre 2017.

[54Par exemple, comme le dénonce Frédéric de Gombert, président d’une startup spécialisée dans l’intelligence artificielle (L’homme continue d’avoir le dernier mot, Le Monde.fr, 2 janvier 2018), « le questionnement relatif à la supériorité de l’IA (sur l’intelligence humaine) a été ­déplacé du domaine de la probabilité vers celui de la temporalité. Autrement dit, la question ne serait plus " est-ce possible ? ", mais plutôt " quand cela aura-t-il lieu ? ". Si les prouesses de l’IA y sont pour beaucoup, elles ne suffisent pas à expliquer ce déplacement sémantique. Le storytelling compte aussi pour une bonne part. Et ce, depuis les origines de cette technologie ».

[55IA washing : des experts dénoncent le recours abusif au terme d’"intelligence artificielle", par Alexis Orsini, Numerama, 25 juillet 2017. Un article du New York Times estime que l’IA est, avec la blockchain, un des deux concepts les plus « buzzed about and least understood in the tech universe ».
Voici quelques exemples d’IA washing et d’exagération sur les performances de l’IA en matière de justice prédictive. Commençons par l’article cité ici de Daily Business Review faisant le compte-rendu de l’usage de ROSS en droit américain de la faillite par le cabinet Salazar Jackson : il prétend que Ross rédige un mémo synthétisant sa recherche, alors que le New York Times explique que c’est en fait un juriste qui le fait.
Autre exemple, plus banal et hélas plus répandu : Ross, le robot avocat qui va bouleverser le monde juridique : le post de blog sur Ross bien "ranké" par Google, sans vérification ni note de bas de page. Rédigé par une étudiante en droit, il reprend tels quels les pseudo-arguments des articles publiés fin 2016 à la louange de Ross, notamment celui de Forbes.com, écrivant par exemple : « Ross peut ainsi occuper une place d’assistant juridique hors pair, capable d’étudier toutes les possibilités et toutes les failles potentielles de l’argumentaire de l’avocat ». À rapporter à l’article du NYT.
Continuons : La justice prédictive, mélange de droit et d’intelligence artificielle, Le Parisien.fr, 1er février 2017 : l’article de presse trop rapide, quasi-communiqué de presse. Ici, on présente les deux produits commerciaux (on oublie la démo non commerciale Supra Legem), on aligne des citations des deux startups sans rien tester ni demander l’avis d’utilisateurs non référencés, on ajoute une citation de haut magistrat et c’est bon.
Un autre exemple d’IA washing ou d’IA exagération dans la catégorie involontaire (autrement dit faute de travail journalistique suffisant, de temps et par sacrifice à la mode) : l’actu de newsletter d’éditeur juridique : La justice prédictive, bientôt au cœur de toutes les directions juridiques ?, ActuEL Direction juridique, 15 décembre 2017. Premier problème dès le titre : aucune direction juridique d’aucune entreprise n’est citée ni interviewée. Celui qui parle des directions juridiques est un avocat. Or son cabinet est à la fois client et "early adopter" de Predictice, un des trois acteurs français de justice prédictive. L’autre personne massivement citée est un spécialiste du marketing des cabinets d’avocats. Il est très compétent dans son domaine (le marketing juridique), mais il n’est pas avocat, encore moins directeur juridique. Il ne peut pas prétendre parler au nom des directeurs juridiques. Enfin, la photo qui accompagne l’article peut donner à première vue une impression de foule du fait de son champ resserré mais il n’en est rien : on est au salon des legal tech début décembre 2017 et la salle est en fait petite et même pas entièrement remplie.
Nous verrons plus loin dans cette étude que les acteurs les plus avancés dans l’IA juridique sont à la fois les plus modestes ... et les plus discrets.

[56Salazar Jackson Enters World of AI With Ross Intelligence par Gina Passarella, Daily Business Review 4 novembre 2016. Extraits : « " Je suis un avocat spécialisé en faillite avec 20 ans d’expérience et si j’y passe le temps nécessaire et fais ma propre recherche, les réponses de Ross seraient grosso modo les mêmes que celles que je pourrais faire ", dit Salazar. C’est un sacré compliment pour le logiciel en termes de crédibilité. Mais, sur un plan économique, est-il rationnel d’utiliser Ross ? Sur ce point, Salazar est également convaincu. » (traduction par nos soins)

[57ROSS Artificial Intelligence Outperforms Westlaw and LexisNexis, Study Finds par Robert Ambrogi, Law sites (blog de R. Ambrogi) 17 janvier 2017. Robert Ambrogi est des consultants américains les plus respectés en "legal IT".

[58A.I. Is Doing Legal Work. But It Won’t Replace Lawyers, Yet par Steve Lohr, New York Times 19 mars 2017.

[59Selon Andrew Arruda, dirigeant et co-fondateur de Ross Intelligence : « Le système, aussi, demande aux juristes de noter positif ou négatif les résultats de la recherche, de manière à ce que Ross puisse apprendre à mieux répondre aux questions à l’avenir. Une fois que le système comprend ce que vous demandez, il commence à apprendre à devenir meilleur. Ross est dynamique et non statique. » (traduction par nos soins)

[60Machine Learning : Supervision Optional par Ernest Tavares III, Medium.com 29 octobre 2016.

[61ROSS Intelligence lands $8.7M Series A to speed up legal research with AI, par John Mannes, Tech Crunch, 11 octobre 2017. Ne pas prêter attention à l’exagération marketing habituelle du style "là où ça prenait des semaines, on a réduit à quelques heures".

[62L’avènement des robots avocats, Les Affiches parisiennes, 14 mars 2017.

[63Avocats d’affaires, passez en mode robot !, par Chloé Enkaoua, Agefi Hebdo, 9 février 2017.

[64U of T students’ artificially intelligent robot signs with Dentons law firm, par Jeff Gray, The Globe and Mail, 9 août 2015.

[65IBM déploie Watson dans la régulation financière,
L’Agefi quotidien, 14 juin 2017(accès réservé).

[66Japanese company replaces office workers with artificial intelligence, par Justin McCurry, Guardian.com 5 janvier 2017.

[69Par Morgane Tual, Le Monde.fr 13 mars 2017.

[71Orange : comment le groupe envisage son nouveau management, Lettre de l’Expansion du 16 janvier 2017.

[73Les avancées de l’intelligence artificielle, Episode 3 : IBM Watson et le marketing de l’intelligence artificielle, par Olivier Ezratty sur son blog Opinions libres, 17 mai 2016. O. Ezratty est consultant pour les startups et l’industrie informatique, après avoir travaillé 15 ans dans le marketing pour Microsoft. Extraits de son billet, le meilleur document sur Watson que j’ai pu trouver : « Reste à savoir comment se positionne IBM par rapport à l’éventail de solutions du marché. L’impression est donnée d’un spectre fonctionnel assez limité et focalisé sur la création d’agents conversationnels. » « Créer une application Watson revient donc à créer du code, du contenu et à réaliser un travail d’intégration pour créer un agent conversationnel intelligent. Dans des approches verticales, il faut définir des scénarios de dialogues assez précis et avoir sous la main beaucoup de données exploitables, aussi bien structurées que non structurées. »

[74IBM pitched its Watson supercomputer as a revolution in cancer care. It’s nowhere close, par Casey Ross et Ike Swetlitz, STAT, 5 septembre 2017. STAT est un magazine en ligne américain spécialisé sur les sciences du vivant et de la médecine. Les journalistes Casey Ross et Ike Swetlitz, qui ont interrogé de nombreux médecins à travers le monde, mais aussi des responsables d’IBM et des spécialistes de l’IA.

[75IBM’s Watson supercomputer recommended ‘unsafe and incorrect’ cancer treatments, internal documents show, par Casey Ross et Ike Swetlitz, 25 juillet 2018. Cet article de STAT a aussi été relayé par Numerama.

[76Cette dépendance à la "data" se vérifie même dans le processus d’apprentissage : ainsi, selon Michael Benesty, il faut d’abord alimenter Word2vec avec des corpus de textes généralistes et thématiquement très éloignés du domaine dans lequel on veut spécialiser, puis se rapprocher progressivement de ce domaine. Ici, en droit, cela veut dire commencer par exemple par la base Gutenberg pour finir par Legifrance ou Jurispedia.

[77Legal Jobs in the Age of Artificial Intelligence : Moving from Today’s Limited Universe of Data Toward the Great Beyond, par Philip Segal, Charles Griffin Intelligence LLC, Legal SSRN, 13 décembre 2017, à paraître en 2018 à la Savannah Law Review.

[78Voir l’interview de Me Sfadj dans Expertises.

[79Pas en accès libre, mais en revanche, d’importants fonds (sélectifs) de jurisprudence de première instance sont disponibles sur les plateformes payantes des éditeurs, surtout celles de Lexbase et LexisNexis.

[80Jugements des juges de proximité (JP), tribunaux d’instance (TI), tribunaux de grande instance (TGI), tribunaux de commerce (Tcom), conseils de prud’hommes (CPH), tribunaux paritaires des baux ruraux, tribunaux des affaires de sécurité sociale (TASS) etc.

[81La loi du 7 octobre 2016 pour une République numérique parle d’open data des décisions du fond (articles 20 et 21) mais reste à obtenir les moyens techniques (XMLisation de tous les documents avec DTD ou schéma XML, rénovation massive du parc informatique et augmentation très importante du débit des connexions intranet et internet), humains (les greffiers, en sous-effectifs et débordés) et financiers. Ajoutez que l’ensemble des décisions de justice judiciaire françaises représente actuellement environ 3,8 million de documents par an, que l’anonymisation, justement en l’absence de schéma ou DTD XML, est extrêmement difficile et reste peu efficace même en machine learning, et qu’en première instance, il reste un stock purement papier. Ronan Guerlot, adjoint au directeur du Service de documentation, des études et du rapport (SDER) de la Cour de cassation, cité par Libération, estime qu’il faudra patienter quatre à cinq ans une fois que le décret d’application de la loi sera entré en vigueur pour permettre d’informatiser toutes les décisions de justice. « Le plus difficile sera de faire remonter les décisions de première instance du TGI. Nous disposons souvent de minutes [original d’un acte de justice, ndlr] papier, il faudra donc créer des outils informatiques », explique-t-il. En revanche, pour la justice administrative, c’est déjà prêt : les décisions des cours administratives d’appel sont déjà sur Legifrance et celles des tribunaux administratifs sont déjà en base de données — non disponible au public. Pour plus de détails, lire notre billet L’open data des décisions des cours d’appel et tribunaux n’est pas pour demain.

[82En effet, seuls les éditeurs juridiques ont l’ensemble des données nécessaires, particulièrement les commentaires (la doctrine, qui non contente de livrer les clés indispensables pour comprendre le droit brut, augmente très nettement la pertinence des recherches). C’est le sens de la tribune de Fabien Girard de Barros, directeur de la publication de l’éditeur Lexbase, intitulée La legaltech est morte ... Vive l’édition juridique ! (22 décembre 2016). Ce n’est pas un hasard si Predictice a, comme expliqué supra, un partenariat pour les données de jurisprudence — et la commercialisation — avec le groupe Wolters Kluwer France (Lamyline). Le bénéfice devrait en être mutuel. Comme nous l’avons vu plus haut, l’accès à des données de haute qualité est aussi une des raisons (parmi d’autres évidemment ...), aux Etats-Unis, du choix de Ravel Law de se laisser racheter par LexisNexis.

[83Watson, le savant calcul d’IBM, par Sandrine Cassini et Chloé Hecketsweiler, Le Monde 3 octobre 2017.

[84Artificial Intelligence in Law : The State of Play 2016 (Part 2), par Michael Mills, Legal Executive Institute, 1er mars 2016.

[85Patent, copyright, trademark, antitrust, securities, employment, commercial, product liability et federal bankruptcy appeals.

[86Lexis Advance Now Integrates Attorney Analytics from Lex Machina, par by Robert Ambrogi, Law Sites, 14 décembre 2017.

[88Laboratoire Analyse et Traitement Informatique de la Langue Française, membre du CNRS.

[89La legaltech, une chance ou une menace pour les professions du droit ?, entretien avec Antoine Garapon, par Jonathan Vayr, Les Petites affiches, 18 septembre 2017, p. 4.

[90Extrait de l’article de Libération : « En tapant des mots-clés plus prosaïques tels que "licenciement" et "ivresse", l’algorithme est capable d’estimer que dans 19 % des cas comprenant ces deux critères, un "licenciement sans cause réelle et sérieuse" a été prononcé. En la matière, un avocat a davantage de chances de succès à Rennes (où les statistiques sont de 35 %) qu’à Versailles (12 %), juridiction manifestement plus répressive avec l’alcool. »

[91Xavier Ronsin : “Ce logiciel de justice prédictive ne nous apportait aucune plus-value”, interview par Soazig Le Nevé, Acteurs publics.com, 27 novembre 2017.

[92Communiqué du ministère de la Justice et de la Première présidence de la cour d’appel de Rennes, 9 octobre 2017.

[93Justice-robot. Les magistrats rennais pas convaincus, Le Télégramme, 10 octobre 2017.

[94Jacques Lévy Véhel fut directeur de recherche à l’Inria Bretagne Atlantique, à Nantes, à la tête du projet Anja. Son équipe concevait des modèles mathématiques fondés notamment sur la théorie des probabilités et les statistiques, destinés à l’économie, à la finance, au droit et à l’archéologie.

[96Sur Case Law Analytics : Un outil pour mieux évaluer le risque juridique, lettre Emergences n° 41, 19 mai 2016. Justice prédictive : vers une analyse très fine du risque juridique ... (entretien avec Jacques Lévy-Véhel et Jérôme Dupré), Le Village de la Justice, 22 mars 2017. La start-up Case Law Analytics utilise l’Intelligence artificielle pour prédire la justice, par Amandine Dubiez, Journal des entreprises, 2 mai 2017. Case Law Analytics quantifie le risque juridique et judiciaire, par Catherine Moal, Alliancy, 30 août 2017 (ce post fait partie d’une série pour les 50 ans de l’INRIA). Une longue interview d’un de ses deux fondateurs sur le podcast Ekipio : Jacques Lévy Véhel (Case Law Analytics) - La vraie voix des juges. Jacques Lévy Véhel, Case Law Analytics : « Dans l’IA, l’homme reprend toujours la main », Kiss My Frogs, 9 mai 2018. Case Law Analytics modélise les prises de décision des juges, par Pierre Vandeginste, La Recherche n° 535, mai 2018 (cet article est de loin le plus précis sur les techniques utilisées, plus précis même que l’interview donnée à Ekipio).

[97L’article d’Alliancy précité cite les deux fondateurs de CLA : « Selon eux, leur solution offrira à terme la possibilité aux magistrats de se "recentrer sur leur cœur de métier en évacuant les contentieux de masse et ce, sans aucune contrainte".

[98Cas d’un arrêt en matière de garde d’enfants où le juge de première instance nomme expert un psychiatre criminologue n’ayant aucune spécialisation en pédopsychiatrie. En appel, le juge ne rouvre pas l’instruction, ne se pose aucune question et confirme le jugement de première instance sur la base de la parole et de l’intérêt des enfants, tels que définis par l’expert en première instance.

[99Nous reproduisons ci-dessous in extenso l’extrait clé de l’article que le mensuel La Recherche a consacré en mai 2018 à Case Law Analytics : « "Nous travaillons au cas par cas. Lorsque nous nous attaquons à un nouveau type de contentieux, nous commençons par aller voir les juristes spécialistes. Nous déterminons avec eux la liste des critères de décision pris en compte par les juges concernés. Leur nombre se situe en général entre vingt et cinquante. Ensuite, nous analysons la jurisprudence et nous construisons une base de données de décisions de justice. Une quantité variable, qui peut aller jusqu’à des centaines de milliers. Nous utilisons bien sûr des outils de traitement du langage naturel, pour retrouver automatiquement certains critères, mais une partie du travail est effectuée manuellement, par des humains."
La troisième étape consiste à créer un logiciel ad hoc qui va se nourrir de cette jurisprudence codifiée pour modéliser la prise de décision d’un juge dans ce type d’affaires. "Nous faisons appel, sans a priori, à toutes les techniques d’apprentissage automatique à notre disposition. Il peut s’agir de réseaux de neurones, de forêts aléatoires, de machines à vecteurs de support, de réseaux bayésiens ... Nous choisissons ceux qui nous semblent efficaces dans le cas de figure et nous construisons un logiciel unique à partir de là." Le logiciel va avaler la jurisprudence et produire un outil ad hoc de quantification du risque juridique. Case Law Analytics offre ses services en mode SaaS (Software as a Service, ou application en mode locatif hébergé), c’est-à-dire via un site web payant. »

[100Partenariat entre Flichy Grangé Avocats et Case Law Analytics, Le Monde du droit, 17 novembre 2017.

[102Parmi les ancêtres de la jurimétrie, en France, il y avait le cédérom d’Alain Lemagny GPDoc (que j’évoque dans mon billet Indemnifying personal injury in France : tools for calculating damages), les travaux de Serge Bories à l’IRETIJ de Montpellier et auprès de LexisNexis et l’exceptionnel et prémonitoire article de Jean Goulet à la revue québécoise Les Cahiers de droit vol. 9, n° 1, 1967-1968, p. 9–36.

[104Des arrêts peuvent venir à l’origine de la base JuriCA, mais une fois résumés, abstractés et analysés, ils passent dans la base Juris-Data.

[105De la recherche à l’analyse statistique interactive des décisions de justice,, Le Village de la Justice, 22 novembre 2017. Il s’agit d’un article promotionnel pour la base Données quantifiées Juris-Data. J’y ai repris le chiffre de 50 000 arrêts. En revanche, les mentions d’IA y semblent très "marketing".

[106La meilleure preuve en est la présence des classiques mots vides : le, la, les, un, une, des, mais, ou, et, pour ...

[1076 façons d’utiliser les algorithmes prédictifs pour améliorer vos recherches de jurisprudence, par Michael Benesty, Blog de Supra Legem 6 mai 2016. Voir aussi sur ce blog le billet résultant de notre entretien avec M. Benesty : Supra Legem, un exemple de machine learning appliqué au droit.

[108L’open data et l’open source, des soutiens nécessaires à une
justice prédictive fiable ?
, par Michael Benesty, Journal of Open Access to Law, vol. 5, n° 1, 2017.

[109Le groupe Editions Lefebvre Sarut (ELS) auquel appartient Dalloz travaille avec Predictice et Wolters Kluwer France (Lamy) va assurer la diffusion commerciale de Predictice. Et le groupe LexisNexis a racheté la startup américaine Lex Machina, dont le produit est spécialisé en droit américain de la propriété intellectuelle, en novembre 2015 et a intégré fin janvier 2017 les fonctions "analytics" (autrement dit de "justice prédictive") de celle-ci à sa principale plateforme américaine Lexis Advance. Par ailleurs, il y a l’annonce précitée de Lexis qu’il va donner accès à ses contenus et à son expertise, ainsi que celle de sa filiale LexMachina, à cinq start-ups américaines. Enfin, LexisNexis à racheté en juin 2017 la start-up Ravel Law, LA spécialiste américaine du ML en droit.

[110Si l’on excepte la récente montée des notes explicatives pour les arrêts I de la Cour de cassation et les communiqués du Conseil constitutionnel.

[111Jean-Jacques Urvoas dénonce une justice "sinistrée", AFP/Les Echos.fr 3 avril 2016.

[112Confions la justice à l’intelligence artificielle  !, par Laurent Alexandre (chirurgien, co-fondateur de Doctissimo et chantre du transhumanisme en France) et Olivier Babeau, Les Echos.fr 21 septembre 2016.

[113Extraits du dossier de presse (PDF) pp. 18 et 20-21 : « En dépit d’une augmentation régulière et soutenue de ses moyens depuis 15 ans, le budget de la justice demeure insuffisant pour lui permettre d’accomplir ses missions et n’apparaît pas digne d’une grande démocratie. [...]
L’utilisation des technologies doit permettre de mieux prévenir le contentieux civil et la saisine des tribunaux, notamment par le développement du règlement alternatif des litiges en ligne et des outils de "justice prédictive", fondés sur l’exploitation de l’ouverture des données judiciaires par l’intelligence artificielle et la prévisibilité des décisions de justice.
Bien utilisés, les outils de "justice prédictive" permettraient de favoriser des accords entre les parties, au vu du résultat probable d’une action contentieuse, sans saisir le juge. L’intervention du ministère de la justice doit viser à assurer la complémentarité entre la justice traditionnelle et ces nouveaux outils technologiques appliqués à la justice.
Outre l’apport des outils de « justice prédictive » pour l’harmonisation des jurisprudences ou l’évaluation des magistrats, des outils technologiques d’aide à la décision et à la rédaction des jugements méritent aussi d’être développés au bénéfice du travail juridictionnel. Plus largement, la technologie doit aussi faciliter le travail des magistrats et des greffes. »

[115Sur le délai prévisible pour que les systèmes de machine learning efficaces en droit français apparaissent et ses raisons, voir supra dans le corps du texte.

[116D’autant plus que d’après les articles de presse américain, ROSS remplace des juristes stagiaires et de jeunes collaborateurs, pas des documentalistes juridiques expérimentés et dotés de meilleures méthodes de recherche.

[117IA : les vrais enjeux de la formation, par Rémy Demichelis, Les Echos.fr, 24 avril 2018.

[118Businesses turn to software robots for office work, par Richard Waters, Financial Times, 8 mars 2018 (accès réservé).

[119Automation to impact 750,000 low skilled Indian jobs, but create 300,000 mid-high skilled jobs by 2022, par Phil Fersht, et Jamie Snowdon, Horses for Sources (HFS), 3 février 2018.

[120Comme l’envisage et le promeut sereinement et sans se poser la moindre question le journaliste des Echos Rémy Demichelis, pourtant lui aussi "knowledge worker", dans son article précité IA : les vrais enjeux de la formation. Alors que selon l’adage bien connu et le droit du travail, tout travail (ici supplémentaire/non prévu au contrat de travail) mérite salaire.

[121Article précité IA : les vrais enjeux de la formation. Pour aller plus loin sur le sujet de l’adaptation de l’emploi et des RH à l’IA, voir l’étude Intelligence artificielle et capital humain. Quels défis pour les entreprises ?, BCG/Malakoff Médéric, mars 2018. Cette étude est présentée et résumée par un article des Echos : Travailler avec l’IA : deux scénarios possibles.

[122Si vous voulez vous faire une idée des défauts d’une IA de ce type, testez donc le bot Flint et revenez ici donner votre point de vue dans les commentaires. Personnellement, trois semaines de test assidu ne m’ont pas *du tout* convaincu.

[123Commentaire de Kristin Hodgins, daté du 24 mai 2017 sous le billet I, Robot publié le 17 mai 2017 par Lyonette Louis-Jacques sur le blog collaboratif Slaw. La traduction est de nous.

[124This Week In Legal Tech : Book Review Of "Robots In Law", par Robert Amrogi, Above The Law 6 mars 2017.

[125Lille : Les avocats testent un logiciel de "justice prédictive", par Mikael Libert, 20minutes.fr 12 février 2017.

[126Legal Jobs in the Age of Artificial Intelligence : Moving from Today’s Limited Universe of Data Toward the Great Beyond, par Philip Segal, Savannah Law Review, 2018, 27 pages. Ecrit le 9 décembre 2017.

[128Et si l’intelligence artificielle rendait votre vie inutile ? par Pierre Alexandre Messner, consultant en marketing digital, Siècle Digital 27 février 2017.

[129Les robots détruiront plus d’emplois qu’ils n’en créeront, selon une étude par Gabriel Siméon, Liberation.fr 1er septembre 2015. Phil Fersht, dirigeant et fondateur de la firme de consultants en externalisation de services tertiaires (et d’abord de services informatiques) Horses for Sources (HFS), n’y va pas par quatre chemins : « L’IA est indirectement et inextricablement liée à l’élimination du travail "inutile", en ce qu’elle développe des systèmes qui deviennent de plus en plus intelligents à chaque incident et chaque transaction » (Since when did AI become the job creation antidote to automation’s job destruction ? Time for an augmented reality check..., Horses for Sources, 9 novembre 2017).

[130Un monde sans travail ?, par Tiffany Blandin, Seuil/Reporterre, 2017, 128 p.

[131Automatisation, numérisation et emploi, tome 1, Conseil d’orientation pour l’emploi, 10 janvier 2017.

[132La destruction créatrice vous salue bien, par Jean-Luc Parquet, Le Canard Enchaîné 6 septembre 2017.

[133Capital publie des articles comme :

  • Jusqu’où l’uberisation de la société va-t-elle aller ? par François Miguet, avec Raphaël Goument, Capital.fr 8 octobre 2015
  • L’ubérisation, ce tsunami qui va déchirer notre économie, entretien avec Bruno Teboul, enseignant-chercheur à l’Université Paris-Dauphine, directeur de l’innovation, de la recherche et du développement du cabinet de conseil en nouvelles technologies Keyrus et auteur de « Ubérisation = économie déchirée ? ». Selon lui, l’invasion des Airbnb, Uber... et autres trublions de la nouvelle économie numérique n’aboutira qu’à détruire plus de valeur qu’elle n’en créera. Il redoute l’avènement d’une société totalement précarisée.

[134When Will AI Exceed Human Performance ? Evidence from AI Experts, par Katja Grace, John Salvatier, Allan Dafoe, Baobao Zhang et Owain Evans (des chercheurs de Yale et Oxford), pre-print publié le 30 mai 2017 sur Arxiv.

[135Experts predict when AI will exceed human performance, Business Insister, 11 juin 2017.

[136Newton Howard est professeur à l’Université d’Oxford, directeur du Mind Machine Project au MIT et ancien directeur de la stratégie d’In-Q-Tel, le fonds d’investissement de la CIA.

[137Cet homme veut mettre une puce dans votre cerveau, par Guillaume Grallet, Le Point.fr, 15 mars 2018.

[138En 2050, les gens avec moins de 150 de QI ne serviront à rien, par Pierre Belmont, Nom de Zeus, 24 mars 2016.

[139Les avancées de l’intelligence artificielle, Episode 9 : la robotisation en marche des métiers, par Olivier Ezratty sur son blog Opinions libres, 12 mai 2016.

[140Nous ne ferons pas référence au rapport de l’Office parlementaire d’évaluation des choix scientifiques et technologiques (OPECST) Pour une intelligence artificielle maîtrisée, utile et démystifiée du 15 mars 2017, car sa partie sur l’emploi traite essentiellement de l’impact de la robotisation et ne donne aucun chiffre sur les professions intellectuelles, a fortiori les juristes et documentalistes. Par ailleurs, ses conclusions font très "déjà vu", après les recommandations du Parlement européen (voir infra dans les notes).

[142Quel est l’impact des robots sur les destructions et créations d’emplois ? par Sophia Qadiri, L’Atelier BNP Paris 24 mars 2016.

[144Artificial intelligence unlikely to replace lawyers anytime soon, report suggests, par Thomas Connelly, LegalCheek 27 février 2017. Study finds AI and other technology less of a threat to lawyers’ jobs than believed, par By Dan Bindman, Legal Futures 24 février 2017. L’étude : Can Robots Be Lawyers ? Computers, Lawyers, and the Practice of Law, par Dana Remus et Frank Levy, PDF, 77 Pages, 27 novembre 2016.

[145Il faut dire que cette activité a déjà été massivement informatisée et externalisée ou délocalisée.

[146De la prédiction du droit, par Joël Monéger, professeur émérite à l’université Paris-Dauphine, Loyers et Copropriété n° 3, Mars 2017, repère 3.

[149L’intelligence artificielle va t-elle rester impénétrable ?, par Hubert Guillaud, Internet Actu 9 septembre 2016. D’après Is Artificial Intelligence Permanently Inscrutable ?, par Aaron M. Bornstein, Nautilus, 1er septembre 2016. Machine Learning Works Great—Mathematicians Just Don’t Know Why, par Ingrid Daubechies, professeur de mathématique, génie électrique et génie informatique à l’université Duke (Etats-Unis), Wired 12 décembre 2015. Publié initialement dans Quanta Magazine sous le titre Big Data’s Mathematical Mysteries, 3 décembre 2015.

[150"La justice prédictive risque de transformer la liberté en destin", par Laurence Neuer, Le Point.fr, 20 septembre 2017 (accès réservé). Extrait : « Une argumentation bien construite peut provoquer une nouvelle interprétation de la loi et renverser une jurisprudence bien établie. La "prédiction" algorithmique du résultat d’une affaire ne doit pas faire oublier que la justice se précise au cas par cas et qu’elle n’est pas dite une fois pour toutes. »

[151Les lois de la robotique d’Isaac Asimov ne concernent que la sécurité physique des humains face aux robots. De plus, elles sont suffisamment dépassés pour que le Parlement européen vienne d’adopter (BBC News 12 janvier 2017) des recommandations destinées à la Commission européenne concernant des règles de droit civil sur la robotique (voir le communiqué de presse du PE 12 janvier 2017).

[152Cité par mon collègue Rémy Nerrière sur la liste Juriconnexion. Scénario de Jean Van Hamme, dessin de Griffo.

[153The minority report : Chicago’s new police computer predicts crimes, but is it racist ?, par Matt Stroud, The Verge, 19 février 2014. Predictive Policing Is Not Like ’Minority Report’ — It’s Worse, par Natasha Lennard, Vice News, 27 juin 2014. Peut-on vraiment prédire les crimes ?, par Paul Molga, Les Echos.fr, 29 mai 2017, et l’encadré "Estimer la récidive reste un défi pour l’IA".

[154« Nous réfléchissons à préserver la pleine autonomie de chaque juridiction alors même qu’elle s’opposera à elle-même et qu’on lui opposera des données sur sa propre activité.[...] Nous ne souhaitons pas répondre "présents" à l’appel récent "confions la justice à l’intelligence artificielle !" » Open data et juge administratif, intervention de Christian Vigouroux, président de section au Conseil d’Etat, au colloque La jurisprudence dans le mouvement de l’open data, Cour de cassation 14 octobre 2016. Actes parus au supplément au JCP G du 27 janvier 2017, points 14 à 16 pp. 30-31.

[155"Un logiciel ne remplacera jamais un juge", interview par Aurore Lanchart de Xavier Ronsin, Premier président de la CA Rennes, blog de Doctrine.fr, 29 mars 2017.

[156Xavier Ronsin : “Ce logiciel de justice prédictive ne nous apportait aucune plus-value”, interview par Soazig Le Nevé, Acteurs publics.com, 27 novembre 2017.

[158La justice prédictive est compliquée mais pas dangereuse, par Bruno Mathis, Village de la justice, 6 février 2018.

[160Voir la composition de la mission et l’identité du rédacteur du rapport.

[163L’open data et l’open source, des soutiens nécessaires à une justice prédictive fiable ?, par Michael Benesty, Journal officiel Open Accessoires tout Law (JOAL) vol. 5 n° 1, 2017.

[164SupraLegem.fr open source la justice prédictive ! par Michael Benesty, Blog de Supra Legem 3 novembre 2016. Le code source de Supra Legem, dit OPJ (pour OpenPredictive Justice), est sur GitHub.

[165« LPA – Comment s’assurer que la manière dont sont conçus ces
algorithmes n’ait pas une influence sur les résultats ?
A. G. – C’est l’autre problème : la conception de ces algorithmes n’est pas neutre, on peut d’ailleurs se demander s’il ne faudrait pas créer un service public capable d’effectuer ce contrôle. Un service qui soit tenu par le secret professionnel et qui puisse exiger de récupérer le code source afin de le faire expertiser par un spécialiste. »

[166Dans son interview avec Ekipio citée supra.

[167L’équivalent français est la loi dite "CADA" (Commission d’accès aux documents administratifs) du 17 juillet 1978, codifiée dans le livre III du Code des relations entre le public et l’administration (CRPA).

[168How to Hold Governments Accountable for the Algorithms They Use, par Nicholas Diakopoulos, Future Tense 11 février 2016. Future Tense est une rubrique de Slate.com résultant de la collaboration entre l’Université de l’Etat d’Arizona, le think tank New America et Slate.

[169Intelligence artificielle : comment sortir de l’opacité, par Rémi Susan, Internet Actu 18 octobre 2016.

[170Avis CADA n° 20144578 du 8 janvier 2015 Direction générale des finances publiques (DGFIP).

[171TA Paris 5e section 2e chambre, 10 mars 2016, n°1508951/5-2 Direction générale des finances publiques.

[172Avis CADA n° 20161989 du 23 juin 2016 Ministère de l’éducation nationale, de l’enseignement supérieur et de la recherche.

[174EU regulation on algorithmic decision-making and a "right to explanation", par Bryce Goodman, Seth Flaxman, arXiv:1606.08_13v1 [stat.ML] 31 août 2016.

Répondre à cet article

1 Message