Actualités : derniers articles

Impossible de retrouver les revues

Refonte du site AMF : attention, dégâts collatéraux

Utilisez le nouveau moteur en attendant que Google répare

Jeudi 27 février 2020


La nouvelle page Erreur 404 du site AMF

Depuis ce jeudi 27 février, l’Autorité des marchés financiers (AMF) est en train d’implémenter une nouvelle version de son site web.

Il y a des plus :

  • c’est plus élégant
  • adapté aux smartphones (site dit "responsive web design" — RWD — ou adaptatif).

Mais elle a aussi des effets de bord très gênants :

  • très nombreux liens en Error 404, comme les Voeux 2020 de Robert Ophèle ou les Priorités AMF 2020. Notre évaluation pour l’instant : au minimum 50% des URL des documents récents sont en Error 404 [1]
  • les recherches Google sont donc touchées : plus de la moitié des liens ne fonctionnent pas
  • à part les bases BDIF et la GECO, l’ancien moteur de recherche interne du site, que ce soit sa version simple ou sa version avancée, ne répond plus, alors qu’il est toujours accessible en haut de très nombreuses pages
  • impossible de retrouver les archives des revues COB et AMF. La rubrique Publications finit sur une page qui ne liste que des rapports, études et analyses. Les anciennes URLs de la Revue mensuelle de la COB mènent vers des erreurs 404, trois de plus
  • sur un ordinateur de bureau, la page est "trouée" comme un gruyère et peu pratique à lire ni à utiliser.

Il semble donc que, pour l’implémentation de cette nouvelle version de ce site, certaines bonnes pratiques n’aient pas été prises en compte [2]. Notamment :

  • assurer la permanence des liens
  • et prévenir à l’avance les utilisateurs.

Dommage, d’autant que communication et dialogue existent par exemple chez l’ADLC qui vient elle aussi de refaire son site [3].


A part la BDIF, pas d’archive des documents AMF sur data.gouv.fr

La question se pose, car actuellement les utilisateurs du site de l’AMF (financiers, banquiers, juristes, documentalistes, particuliers) sont perdus et ont beaucoup de mal à retrouver "leurs" documents et services. C’est gênant car les documents du site AMF ne sont pas archivés en libre accès ailleurs, notamment pas sur data.gouv.fr. Alors que les jeux de données de la CNIL y sont, eux.


La loupe mène au (nouveau) moteur de recherche du site

Solutions / quoi faire :

  • surtout, sachez repérer cette petite loupe qui mène au *nouveau* moteur de recherche (qui fonctionne, lui). En attendant que Google et Bing indexent les nouvelles URLs, c’est par là qu’il faut passer
  • pour la BDIF, son moteur spécialisé marche toujours, utilisez-le. Idem pour la base GECO (gestion collective : en un mot, les SICAV/OPCVM)
  • pour les communiqués, positions et recommandations AMF (la doctrine AMF), si vous ne les retrouvez pas par Google ou par les liens que vous avez cliqués :
    • allez sur la page d’accueil de la Doctrine AMF et utilisez la table des matières à gauche (ça, ça n’a pas changé). Idem pour le RGAMF
    • sinon, si vous avez un abonnement à Lexis 360, allez-y. L’essentiel devrait y être. Comme quoi, parfois, l’archivage privé de données publiques peut dépanner. Même si très franchement, ce n’est pas une situation à reproduire ni à faire perdurer.

Emmanuel Barthe
juriste documentaliste, veilleur

Coronavirus : relativiser, épidémie, précautions, droit du travail

Mardi 25 février 2020

Parce que j’ai l’impression que la France va être plus concernée que ça par l’épidémie de coronavirus 2019, j’ai pris le temps de faire ce point (au 24 février). Pour le rédiger, j’ai consulté de nombreuses sources fiables (site de l’OMS, presse, études scientifiques).

Re-la-ti-vi-ser

La grippe espagnole, de 1918 à 1919, fut responsable d’environ 50 millions de morts. La grippe classique en France cause 10 000 à 15 000 décès chaque année (entre 8000 et 9900 durant l’hiver 2018-2019 selon Santé publique France). A l’heure actuelle, en France, le coronavirus 2019 a causé un décès (soit un taux de mortalité de 1 pour 67 millions) et sa létalité (taux de mortalité des personnes diagnostiquées comme touchées par le virus, en anglais "case fatality rate") globale depuis le début de l’épidémie ne dépasse pas 3%.

En clair : en France, on risque plus de mourir d’un cancer, de la grippe classique ou d’un accident automobile que du coronavirus. Ce qui, entre parenthèses, n’est absolument pas une raison pour ne pas prendre de précautions (voir infra).

C’est à se demander si le risque le plus important n’est pas :

  • dans l’embouteillage des hôpitaux, qui seraient alors incapables de traiter les autres affections
  • et dans un potentiel arrêt de l’économie [4]. En effet, le COVID-19 fait d’autant plus peur qu’il est invisible.


Source : Le Monde.fr 22 février 2020.

Appellations

Il y a deux choses : le virus et la maladie qu’il déclenche. Les termes utilisés ressortent de l’un ou de l’autre :

  • nouveau coronavirus (il existe plusieurs types de coronavirus, celle-ci est la plus récente, apparue en 2019)
  • 2019-nCoV (appellation temporaire du virus)
  • SARS-CoV-2 (nom définitif du virus)
  • pneumonie ou pneumopathie de Wuhan
  • COVID-19 (nom définitif de la maladie).

Aspects médicaux du coronavirus 2019

Le coronavirus 2019 est assimilable à une grosse, très méchante grippe de par ses symptômes (ses effets sur le corps humain).

Symptômes (signes permettant de repérer la maladie) : fièvre (augmentation température), fatigue, toux sèche, manque de souffle, des difficultés à respirer, pneumonie, insuffisance rénale.

S’attrape par contact avec les fluides (éternuement, morve, goutelettes de salive) des personnes infectées. Donc suite à une forte proximité (moins d’un mètre) avec eux.

Période d’incubation (pendant laquelle on est déjà contaminant mais on n’a ) :

  • 14 jours maximum selon les autorités chinoises
  • une étude non encore "peer-reviewed" parle toutefois de 24 jours

Taux de létalité officiel global de 3% mais en réalité incertain [5] (létalité des coronavirus précédents : SRAS 10%, MERS 34%) [6] Des sources parlent de 18% en Chine et 5% hors de Chine. Selon la docteure Sybille Bernard-Stoecklin, experte à Santé publique France, « les modèles épidémiologiques estiment ce taux à environ 1% » [7]. La létalité de la grippe classique est de 0,1%.

Le Covid-2019 est toutefois plus dangereux que la grippe par au moins un aspect : il est plus contagieux [8] et entraîne des cas sévères sur des gens de plus de 50 ans, ce qui est très rare pour la grippe, explique le Dr Bernard-Stoecklin au Parisien.

Le COVID-19 est très dangereux pour les personnes déjà faibles (personnes âgées) ou affaiblies par des maladies pré-existantes. 80% des décès causés par le nouveau coronavirus concernent des personnes de 60 ans et plus et les personnes de plus de 80 ans touchées par la maladie ont 18% de chances (au 24 février) 15% de chances d’en décéder contre 0,2% pour les 20-29 ans.

Les enfants sont moins infectés que les adultes et semblent également plus résistants. Aucune personne infectée de moins de 9 ans n’est décédée jusqu’ici. Ce qui ne veut pas dire que les enfants sont à l’abri du virus. Aucune catégorie ne l’est [9].


Source : Early epidemiological analysis of the coronavirus disease 2019 outbreak based on crowdsourced data : a population-level observational study, The Lancet, 20 février 2020.

Traitements :

  • aucun médicament spécifique n’est recommandé pour prévenir ou traiter l’infection par le nouveau coronavirus
  • le coronavirus est un virus, les antibiotiques sont donc sans effet sur lui
  • on n’attrape pas deux fois le même type (souche) de grippe. Après avoir attrapé le coronavirus (Covid-2019), on devrait donc être en quelque sorte vacciné.

Géographie : l’épidémie est sortie de Chine et touche désormais toute l’Asie, particulièrement le Japon. Les pays hors Asie officiellement touchés au 22 février sont : Australie, Iran, Liban, Israël, Égypte, Italie (la région de Milan, où six personnes sont mortes du coronavirus ce week-end), France, Allemagne, Suisse, Finlande, Suède, Royaume-Uni, Espagne, Belgique, USA, Canada.

Pourquoi les spécialistes sont inquiets. Ou la quasi-certitude de la pandémie

Ce qui inquiète dernièrement les spécialistes des épidémies, ce n’est pas la remontée du nombre de cas, mais :

  • l’apparition de foyers infectieux loin de et/ou sans lien clairement établi avec la Chine (Japon, Iran, Liban, Italie ...)
  • leur certitude — discrète — que le nombre de cas réel est beaucoup plus important que celui des cas diagnostiqués. Ainsi une étude estime que début février à Wuhan, le nombre de cas diagnostiqués était 19 fois inférieur à la réalité. Les tests utilisés sont d’ailleurs reconnus comme imparfaits
  • le risque énorme que constitue l’Afrique, dont la Chine est le premier partenaire commercial et avec qui les pays africains n’ont pas interrompu les liaisons aériennes
  • enfin, leur quasi-certitude que la pandémie est pour bientôt. Pour le secrétaire général de l’OMS , « ce virus est [...] l’ennemi public numéro un et il n’est pas traité comme tel ». L’OMS ajoutait vendredi 21 que « la fenêtre de tir pour enrayer l’épidémie est en train de se réduire ». La Russie vient de fermer ses frontières avec la Chine.

Les précautions à prendre - Les gestes d’hygiène

Pour l’essentiel, des recommandations de l’Organisation mondiale de la santé (OMS).

- Nettoyez-vous les mains fréquemment avec un produit hydroalcoolique ou à l’eau et au savon.

- Couvrez-vous la bouche et le nez avec le pli du coude ou avec un mouchoir en cas de toux ou d’éternuement – jetez le mouchoir immédiatement après dans une poubelle fermée.

- Dans les lieux très fréquentés, particulièrement au travail et dans les transports en commun, évitez de toucher les rampes, colonnes et poignées de porte. Nettoyez-vous les mains aussitôt après en être sorti.

- Evitez de porter vos mains à votre bouche, votre nez ou vos yeux sauf si vous venez de vous les laver. Le virus passe essentiellement par là. Cela dit, le virus ne passe pas par la peau. Mais en revanche, il survit un certain temps sur votre peau. A fortiori sur les surfaces touchées par des dizaines, centaines, milliers de personnes par jour.

- Port de masque de protection faciale : les informations sont contradictoires ou ambigües, probablement parce qu’elles cherchent, face à la pénurie [10], à éviter une ruée des particuliers sur les masques les plus protecteurs (les FFP2) et à privilégier les soignants dans les hôpitaux, qui sont les plus exposés. Plus en détail :

  • la meilleure qualité de masques est en pratique réservée, vu la pénurie mondiale, aux hôpitaux [11]. C’est le FFP2 [12]. Il protège non seulement les autres d’un porteur du masque malade mais aussi le porteur du masque des personnes malades
    • l’OMS vous dit de ne porter un masque que si vous toussez ou éternuez (pour éviter de contaminer les autres) ou bien si vous vous occupez d’une personne malade. Ce qui revient à dire que les masques ne servent pas à grand’ chose mais qu’en même temps ils servent à quelque chose. En fait, explique François Godement, conseiller pour l’Asie à l’Institut Montaigne et interviewé par l’AFP, il ne faut pas confondre « les masques chirurgicaux (limitant la contamination vers autrui) avec les masques plus élaborés (N95 et de norme minimale FFP2) qui limitent la contamination vers leurs porteurs »
    • les masques ne doivent pas être réutilisés ni lavés. Ils doivent être changés et jetés toutes les 3 à 8 heures (et on se lave les mains après).

- Tenez-vous à plus d’un mètre d’une personne qui tousse ou éternue et ne porte pas de masque. Les gouttelettes respirables se projettent à 1 m au maximum d’une personne qui tousse ou éternue.


Les gestes d’hygiène contre la grippe classique sont parfaitement adaptés au coronavirus 2019 : vidéo de Pierre Parneix, président de la Société française d’hygiène hospitalière

- Evitez les transports en commun autant que possible. Allez au travail en vélo, moto, trottinette ou voiture.

- Demandez à votre employeur si vous pouvez télétravailler au maximum.

- En cas de fièvre, de toux, consultez un médecin.

- Ne partagez pas les objets comme les verres, les couverts et évidemment les brosses à dents ou les serviettes de bain et les gants de toilette.

- Aérez votre intérieur tous les jours entre 10 et 15 minutes pour renouveler l’air et éviter la prolifération des virus.

- Nettoyez les nids à microbes comme les poignées de porte, les télécommandes, les écrans de téléphone... Lavez le plus souvent possible les serviettes et gants de toilette.

- Il est sans danger de recevoir une lettre ou un colis de Chine. Les coronavirus ne survivent en effet pas longtemps sur des objets.

- Nos amis animaux domestiques ne risquent pas d’attraper la maladie.

- NB : d’après le même François Godement, « la France – et la plupart des pays européens – possèdent très peu de scanners thermiques ».

Coronavirus et travail

Il faut d’abord regarder si le plan de continuité d’activité (PCA) de l’entreprise a prévu quelque chose dans le cas d’une épidémie.

Ensuite, selon le droit positif, l’employeur doit prendre toutes les mesures nécessaires pour assurer la sécurité et protéger la santé physique de ses salariés (article L. 4121-1 du Code du travail). Lorsque le risque est exclusivement ou principalement environnemental, comme une pandémie grippale, les employeurs sont tenus, au minimum, à une obligation de moyens (circulaire DGT 2009/16 du 3 juillet 2009 émise à l’occasion de l’épidémie de grippe H1N1). Mais cette précision doit aujourd’hui être interprétée au regard de l’évolution jurisprudentielle de l’obligation de sécurité vers une obligation de prévention des risques professionnels depuis l’arrêt Air France du 25 novembre 2015 (Cass. soc., 25 novembre 2015, nº 14-24.444).

En théorie, les salariés peuvent :

    • en cas de danger grave et imminent au travail pour leur santé, invoquer leur droit de retrait (= ne pas venir travailler ; article L. 4131-1 du Code du travail : les salariés peuvent se retirer de toute situation de travail dont ils ont un motif raisonnable de penser qu’elle présente un danger grave et imminent pour leur vie ou leur santé), sans que l’employeur puisse les contraindre à reprendre le travail ni les sanctionner (C. trav., art. L. 4131-3). Le droit de retrait s’apprécie du point de vue du salarié. L’appréciation est donc subjective. Le salarié n’a pas à démontrer qu’il y a bien un danger, mais il doit se sentir menacé par un risque sérieux de blessure, d’accident ou de maladie. Mais le droit de retrait ne peut pas être utilisé comme substitut de la grève ou pour faire passer des revendications classiques sur les conditions de travail
    • ou demander, dans la mesure où cela est techniquement possible, à télétravailler.

Mais en l’absence d’une claire épidémie en France (contrairement aux salariés basés en Chine), il n’est pas certain qu’ils puissent l’exiger. Toutefois, le ministre français de la santé Olivier Véran déclarait au Parisien ce dimanche 23 février : « Une épidémie ? Nous nous y préparons. »

Il est donc plus prudent pour les salariés d’aborder le sujet par le biais du CSE et de chercher à organiser avec l’employeur un télétravail extensif et/ou un roulement des équipes.

Cela dit, et comme le souligne BFM Bourse, un argument évident et scientifique à la fois devrait pousser l’enployeur à laisser ses salariés prendre des arrêts de travail ou rester chez eux au moindre risque : selon une étude d’Erik Nesson, professeur à l’Université Ball State (Indiana), parue dans la revue Economics & Human Biology, à propos de la grippe, les employeurs devraient rapidement prendre conscience que si quelqu’un vient travailler alors qu’il est malade, cela pourrait lui coûter énormément d’argent, du fait du risque de contaminer un nombre de salariés plus important encore. D’après l’universitaire, chaque augmentation du taux d’emploi d’un point de pourcentage correspondrait à une hausse de 16% des visites médicales liées à la grippe, et l’effet semble d’autant plus fort que la composante des services est importante dans l’économie.

Il faut exiger de l’employeur la mise à disposition de masques, gel hydroalcoolique, mouchoirs et lingettes et le rappel des consignes.

Si le salarié est confiné/mis à l’isolement par un médecin, avec arrêt de travail, un décret du 31 janvier 2020 lui donne le droit de toucher exceptionnellement des indemnités journalières pendant 20 jours alors même qu’il n’est pas malade [13].

Pour se tenir au courant

Trois comptes Twitter et trois pages web dédiées au suivi de l’épidémie de coronavirus :

Timelines et cartes tenues à jour :

Compteurs, statistiques :

Informations médicales et articles scientifiques :

  • OMS : Q&A on coronaviruses (COVID-19) (en anglais) (version française moins à jour)
  • European Centre for Disease Prevention and Control (ECDC) : COVID-19
  • The Lancet : COVID-19 Resource Centre (accès libre et gratuit aux articles de la célèbre revue médicale)
  • l’article de Wikipedia en anglais et ses références (bibliographie)
  • un groupe d’archivistes a publié un répertoire contenant plus de 5000 études liées aux coronavirus sur The-Eye.eu L’objectif est de booster la recherche médicale en donnant accès à ces informations à un maximum de scientifiques. Cette manœuvre est illégale, mais ils estiment que le droit d’auteur ne doit pas primer sur le libre accès à la connaissance scientifique. Pour plus d’informations sur cette initiative, lire l’article de l’Usine Digitale et celui d’origine de Motheboard. Fin janvier 2020, certains éditeurs, dont Elsevier, Wiley et Springer Nature, ont annoncé la suppression de leurs "paywalls" pour certaines études liées aux coronavirus. Le directeur de la communication d’Elsevier a déclaré que l’éditeur mettra bientôt en libre accès plus de 2400 articles de recherche sur plusieurs souches du coronavirus sur ScienceDirect.

Emmanuel Barthe
veilleur

Les robots, avocats et juges de demain ? Pas vraiment ... Mais la contrainte budgétaire y pousse

Intelligence artificielle en droit : derrière la "hype", la réalité

Justice prédictive, legal tech, analyse de contrats, Ross, Westlaw, Lexis, Case Law Analytics, Predictice, Softlaw, Hyperlex, Minority report, machine learning, réseaux neuronaux, NLP, Big data etc.

Mercredi 19 février 2020

[Ce "paper", initialement publié en janvier 2017, est régulièrement mis à jour. Une version plus courte et plus synthétique a été publiée à la Semaine juridique édition Générale (JCP G) du 8 avril 2019 sous le titre "Les outils de l’intelligence artificielle pour le droit français".]

Legal tech, justice prédictive et plus encore "intelligence artificielle" (IA) en droit sont devenus des sujets à la mode depuis 2015-2016 [14].

Mais discours marketing et flou sur les technologies comme sur les performances sont légion dans la majorité des articles disponibles — qui ressemblent souvent plus à de la communication qu’à de l’information.

De qui et de quoi parle-t-on exactement quand on parle d’IA : quelles sociétés, quelles fonctions, quelles technologies ?
Quels sont les outils juridiques méritant l’appellation IA ?
Quels sont les véritables risques pour l’emploi des professionnels du droit (avocats, stagiaires, juristes d’entreprise, magistrats, notaires) et de leurs "paralegals", documentalistes et veilleurs ?
Quels sont, également, les risques de la justice prédictive ?

C’est le sujet de ce billet, qui vise à démystifier les fonctionnalités et performances des applications présentées comme des "IA" (intelligences artificielles) en droit, tant pour le présent que pour le futur. Il s’appuie sur la lecture d’une bonne partie de la littérature disponible et sur des discussions personnelles avec certains acteurs.

Résumé / Executive summary (TL ;DR)

En quelques paragraphes pour ceux qui sont pressés :

  • L’intelligence artificielle est d’abord un champ de recherche et un terme de marketing très vendeur mais fourre-tout. Les spécialistes la définissent comme la frange la plus avancée de l’informatique. Autrement dit, les réalisations dignes de ce nom, particulièrement en droit, sont rares. Le reste, c’est de l’informatique très classique.
  • Techniquement, l’IA en droit se caractérise par l’utilisation combinée :
    • du Big data
    • du machine learning (ML), pour l’instant peu utilisé
    • de calculs de probabilité, avec toutes les limites des statistiques
    • et surtout du traitement du langage naturel (TAL) — en anglais "natural language processing" (NLP). Soit (cas rare) dopé par le machine learning et l’analyse syntaxique, soit (cas le plus fréquent) à base de systèmes experts s’appuyant eux-mêmes sur les chaînes de caractères. Ce qui signifie que les soi-disant "intelligences artificielles" en droit sont en fait a) des moteurs de recherche de nouvelle génération (tous) et b) des systèmes d’aide à la décision (en France, uniquement Predictice et Case Law Analalytics). Pas des cerveaux juridiques
    • et de systèmes experts, où on formalise l’expertise de spécialistes, notamment par le biais d’arbres hiérarchiques ou dans le domaine du vocabulaire (ce qui participe au TAL).
  • La valeur créée par l’intelligence artificielle provient des données nécessaires à l’apprentissage bien plus que de l’algorithme, dont les développements se font en open source. Autrement dit, les données comptent plus que les logiciels. Cela devrait permettre aux éditeurs juridiques français traditionnels, actuellement à la traîne, de revenir dans la course car ce sont eux qui détiennent les données les plus riches en droit français, tout particulièrement la doctrine.
  • Si on a beaucoup parlé de Ross, l’IA d’IBM, c’est d’abord grâce à une offensive marketing et communicationnelle de première ampleur. Mais ses performances réelles sont en deçà de sa réputation. Elle ne fait que de la recherche et de l’analyse sur la jurisprudence de droit américain dans des domaines précis, comme les faillites ou la propriété intellectuelle.
  • A plus faible dose mais régulièrement depuis une dizaine d’années, Westlaw et Lexis Advance intègrent des petits bouts d’IA, essentiellement du NLP pour améliorer la pertinence des recherches par une sorte de synonymie et de désambigüisation améliorées, mais aussi, depuis peu, par des statistiques par juge ou avocat.
  • Cet accent sur la recherche et la justice dite "prédictive" (la traduction correcte de l’anglais est "justice prévisible") fait oublier que le type d’application d’IA juridique le plus répandu sont probablement les logiciels de "contract review" (détection, analyse et classification de clauses dans les contrats anglo-saxons) : eBrevia, Kira ou Luminance par exemple.
  • En droit français, à l’heure actuelle, seul un nombre limité d’applications peuvent prétendre à être qualifiés d’IA :
    • en "contract review", Softlaw et Hyperlex
    • en justice (dite) prédictive, Predictice, Case Law Analytics et Legalmetrics de Lexbase [15]. Tous ne travaillent que sur la jurisprudence, à l’exclusion du contentieux pénal, Case Law Analytics ayant une approche très délimitée et haute couture, quand Predictice est de facto plus axé sur le droit du travail et la responsabilité civile. On peut à la limite ajouter le pionnier Jurisprudence chiffrée de Francis Lefebvre, qui travaillait déjà sur le langage naturel en 2010. Les apports de ces applications : une recherche facilitée, et le calcul du montant prévisible des dommages-intérêts et des chances de gagner un procès. Cet apport ne suffit pas toujours à convaincre les magistrats, qui disposent d’outils internes mieux adaptés (barèmes), mais suscite l’intérêt croissant des cabinets d’avocats et des assureurs
    • sur les textes officiels, RegMind de Luxia, une application de veille et de suivi automatiques du droit bancaire et financier.
  • Les risques de suppression nette d’emplois dans le secteur juridique sont un sujet de débat mais il demeure que les tâches simples et "découpables" seront automatisées et que les collaborateurs, les "paralegals" et les documentalistes juridiques devront apprendre à travailler avec l’IA (et non à côté d’elle), autrement dit à l’utiliser et l’améliorer. Quant à l’IA connectée au cerveau, même si des recherches existent, on en est très loin.
  • La justice dite prédictive entraînerait de sérieux risques, au premier plan desquels le jugement sur des critères obscurs et le conformisme des juges à ce qui a déjà été jugé. Des limites légales existent déjà et des parades techniques sont proposées, notamment l’open source du code ou des tests de vérification à partir de jeux de données. La justice dite prédictive a pour avantage de faciliter le calcul des chances de gagner ou perdre un contentieux, ce qui pousse à la transaction et peut réduire l’encombrement des tribunaux, confrontés à un sous-financement budgétaire.
  • En conclusion, vu l’importance des enjeux et en même temps le fossé entre la com’ et les fantasmes d’une part et la réalité d’autre part, nous recommandons fortement de tester par soi-même ces nouvelles applications. Aucune n’étant en open source ni disponible en démo gratuite, il est nécessaire de se faire sa propre opinion, par soi-même.

Sommaire

Un sujet très tendance depuis 2016

Début janvier 2017, Les Echos publient un article au titre provocateur : Les robots seront-ils vraiment les avocats de demain ?.

En fait, ses auteurs, Pierre Aidan, cofondateur de Legalstart.fr [16] et Florence Gsell, professeur de droit à l’université de Lorraine et ancien conseiller scientifique du Conseil national des barreaux (CNB) de 2007 à 2017, réagissent, dans le but de rassurer les professions judiciaires, à un autre article.

Ce dernier, beaucoup plus provocateur sur le fond, a été publié en octobre 2016 à la Harvard Business Review, par le célèbre consultant en informatique juridique britannnique Richard Susskind et son fils Daniel, économiste : Technology Will Replace Many Doctors, Lawyers, and Other Professionals (Les nouvelles technologies remplaceront beaucoup de médecins, juristes et autres professionnels libéraux). Cet article est en fait un résumé du dernier ouvrage des Susskind publié en octobre 2015 : The Future of the Professions : How Technology Will Transform the Work of Human Experts (Le futur des professions libérales : comment les nouvelles technologies vont transformer le travail des experts humains, Oxford University Press, OUP) [17]. Quant au consultant américain Jaap Bosman, son ouvrage Death of a law firm (Mort d’un cabinet d’avocats) prédit la fin du "business model" actuel des cabinets d’avocats en soulevant l’épineuse question de la standardisation du service juridique grâce à l’intelligence artificielle (IA) [18].

Et en novembre 2016, la journaliste britannique Joanna Goodman [19] publie Robots in Law : How Artificial Intelligence is Transforming Legal Services (Les robots juridiques : comment l’intelligence artificielle transforme les services juridiques, Ark Group) [20].

Toujours début janvier 2017, la Semaine juridique publie, elle, une étude d’Antoine Garapon, magistrat, secrétaire général de l’Institut des hautes études sur la Justice (IHEJ) et spécialiste reconnu des questions de justice, intitulée « Les enjeux de la justice prédictive » [21]. Et pour ne pas être en reste, le Recueil Dalloz s’empare aussi du sujet avec une tribune de Marc Clément, Premier conseiller à la cour administrative d’appel de Lyon [22]. C’est la newsletter Dalloz Actualité qui a publié peut-être un des meilleurs articles sur le sujet : L’intelligence artificielle va provoquer une mutation profonde de la profession d’avocat, par Caroline Fleuriot, 14 mars 2017. Le seul reproche que je ferais à cet article est de reprendre, sans recul, des phrases chocs, excessives, destinées à impressionner ou à faire peur [23].

La revue Expertises, enfin, publie en janvier 2017 une interview de Rubin Sfadj, avocat aux barreaux de Marseille et New York et grand blogueur et twitteur devant l’Eternel. Interview portant sur l’IA juridique [24] et plus concrète et plus claire — plus tranchée, peut-on dire — que les deux articles précédents.

Depuis fin 2016, donc, le sujet ne quitte plus la Une des revues juridiques françaises, de la presse économique et des nombreux sites consacrés à la "French legal tech".

C’est en fait depuis les premiers succès commerciaux de Ross, l’IA d’IBM en droit [25], que l’attention des médias s’est portée sur l’IA appliquée au domaine du droit. Depuis l’application du système de machine learning Watson développé par IBM au droit américain des faillites ou de la propriété intellectuelle, l’intelligence artificielle (IA) en droit est devenue tendance [26]. On parle beaucoup aussi de justice prédictive.

A lire aussi sur ce même sujet :

On peut rapprocher ces publications d’une note de McKinsey (décembre 2016) sur le futur du travail [27]. Elle prévoit dans le monde entier une automatisation croissante des tâches, pouvant supprimer 5% des emplois actuels et en modifier beaucoup plus.

Toujours selon McKinsey (avril 2018), ce ne sera pas le secteur des professions juridiques ni même celui des consultants ou des professions libérales qui devrait le plus bénéficier — en terme de création de valeur/augmentation de revenus — de l’IA mais la vente et le marketing (services aux clients, recommandations d’achat, tarification dynamique), la logistique et la production (maintenance prédictive) et le voyage (Bookings.com, Liligo, Trainline et autres comparateurs de prix d’hôtels et de billets d’avion et de train) [28].

De quoi parle-t-on exactement ? Ou comment définir les legal tech et l’IA en droit aujourd’hui

Les différents types de technologies utilisés en "IA"

Les différents types de technologies utilisés en "IA" (NB : pas de robotique en droit et la "vision" mentionnée dans ce schéma recouvre en fait le machine learning (ML) et d’autres technologies)

Pour comprendre où en est l’intelligence artificielle en droit, il faut savoir de quoi on parle. Et pour savoir de quoi on parle, il faut bien commencer par des catégories et des définitions. Le premier stade de ce travail de définition et de catégorisation, c’est celui des technologies utilisées et des entreprises impliquées.

Définir les technologies, car s’en tenir à la définition d’origine de l’intelligence artificielle, vu son flou, est impossible. Le terme « intelligence artificielle », créé par John McCarthy, est défini par l’un de ses créateurs, Marvin Lee Minsky, comme « la construction de programmes informatiques qui s’adonnent à des tâches qui sont, pour l’instant, accomplies de façon plus satisfaisante par des êtres humains car elles demandent des processus mentaux de haut niveau tels que : l’apprentissage perceptuel, l’organisation de la mémoire et le raisonnement critique ». La définition du Larousse est un peu moins floue mais reste insuffisante : « l’ensemble des théories et des techniques mises en œuvre en vue de réaliser des machines capables de simuler l’intelligence ». Voici enfin la définition de l’IA par le meilleur dictionnaire de langue française, celui élaboré par l’ATILF [29], le Trésor de la langue française (TLF) : « Intelligence artificielle : recherche de moyens susceptibles de doter les systèmes informatiques de capacités intellectuelles comparables à celles des êtres humains ».

Dans la même veine, selon Jean-Gabriel Ganascia, chercheur au Laboratoire informatique de Sorbonne-Université (LIP6) et président du comité d’éthique du CNRS, l’IA « désigne une discipline scientifique qui a pour but de décomposer l’intelligence en fonctions élémentaires, au point qu’on puisse fabriquer un ordinateur pour les simuler » [30].

Le philosophe et chercheur en sciences de l’information et de la communication Pierre Lévy, avec franchise, définit ainsi l’IA : « L’intelligence artificielle est une expression de type "marketing" pour designer en fait la zone la plus avancée et toujours en mouvement des techniques de traitement de l’information » [31].

Robert Bentz, qui a créé et dirigé une équipe de cinquante personnes spécialisée en IA au sein du Commissariat à l’énergie atomique (CEA) écrit, dans une tribune au Monde : « La mise au point de ces algorithmes n’a jamais prétendu faire appel à l’intelligence artificielle, mais plutôt à des modèles mathématiques, de la linguistique, du traitement du signal. Alors pourquoi parler de solutions d’intelligence artificielle ? [...] Oui, l’informatique nous aide par sa rapidité, mais en rien par une intelligence non démontrée. Ce que nous appelons intelligence artificielle, doit se nommer algorithmique rapide, évoluée ou avancée » [32].

Cet aspect « avancé » est aussi ce sur quoi Jean-Gabriel Ganascia insiste : « certains [dans les années 1990] préféraient parler d’“informatique avancée” ou d’“intelligence augmentée” » (qui permettent en plus de conserver l’acronyme « IA »). Luc Julia, cocréateur de Siri (Apple), penche pour cette dernière expression, en soulignant que « c’est notre intelligence à nous qui est augmentée ». Mais, reconnaît-il, « c’est compliqué de changer de terme maintenant, c’est entré dans le langage courant, c’est utilisé depuis soixante ans… C’est l’image qu’il y a dans la tête des gens qu’il faut changer. On a fait une erreur dans le terme, maintenant il faut expliquer ce qu’il y a derrière » [33].

L’Université d’Helsinki, dans son remarquable cours en ligne (MOOC) d’initiation à l’IA, si elle reconnaît l’absence de définition officielle de l’intelligence artificielle, propose de dépasser la définition — trop simple — proposée plus haut d’informatique avancée. Ce cours, intitulé Elements of AI, propose une définition de l’IA centrée sur l’autonomie et l’adaptivité. Pour citer le cours : « Autonomie : capacité d’effectuer des tâches dans des environnements complexes sans être constamment guidé par un utilisateur. Adaptivité : capacité d’améliorer le rendement en tirant des leçons de l’expérience. » [34] Cette définition est certes reliée aux technologies qui dominent actuellement le domaine de l’IA : le machine learning, et plus particulièrement le deep learning et ses réseaux de neurones. Mais comme nous allons le voir, elle éclaire assez bien le champ de l’IA en droit.

Quant au but marketing cité par Pierre Lévy [35], il se voit dès l’origine même du terme "intelligence artificielle". Selon Tom Morisse, research manager chez Faber Novel : « si le mathématicien de formation John McCarthy utilise ces mots pour proposer le Dartmouth Summer Research Project — atelier de l’été 1956 que beaucoup considèrent comme le coup d’envoi de la discipline — c’est autant pour la distinguer des travaux connexes qu’étaient la théorie des automates et la cybernétique que pour la doter d’une définition idoine » [36].

L’aspect marketing est toujours très prégnant, aujourd’hui, dans les produits estampillés "IA". Concrètement, les "tech" se sont retrouvées dans une ruée vers l’or de l’intelligence artificielle. Mais, comme le dit Meredith Whittaker, cofondatrice d’AI Now et dirigeante du groupe Google Open Research, à The Verge, « de nombreuses affirmations sur les avantages et l’utilité de l’intelligence artificielle et des algorithmes ne sont pas étayées par des preuves scientifiques publiquement accessibles » [37]. Ses propos sont recoupés par ceux d’Olivier Ezratty sur FrenchWeb : « L’IA est parée de capacités qu’elle n’a pas encore et n’est pas prête d’avoir. On est en pleine construction d’une vision mythique de l’IA, basée sur des mécanismes de propagande de l’innovation [...]. Ces mécanismes sont amplifiés par la communication marketing des fournisseurs tels qu’IBM et Google qui embellissent toujours la mariée, par une stratégie de la sidération, par la difficulté de vérifier les faits avancés ou la fainéantise intellectuelle ambiante, et par l’absence généralisée de connaissances techniques sur l’IA, même chez la majorité des spécialistes du numérique » [NB : notamment chez les journalistes et les prospectivistes] [38]

Mike Mallazzo, un spécialiste du marketing pour applications et e-commerce, est allé plus loin dans un post Medium de juin 2019, en affirmant que « les startups rebaptisent sans vergogne les algorithmes rudimentaires d’apprentissage machine comme l’aube de la singularité, avec l’aide d’investisseurs et d’analystes qui ont un intérêt direct dans le développement du battage publicitaire. » Selon M. Mallazo, « la définition de l’intelligence artificielle devient [alors] si confuse que toute application du terme devient défendable. » [39] Il cite notamment cet article de Devin Coldewey publié sur Tech Crunch en 2017 : ‘AI-powered’ is tech’s meaningless equivalent of ‘all natural’ ("IA" est l’équivalent technologique et sans signification de "naturel"). Pour Mike Mallazo, les journalistes (américains) savent parfaitement que c’est du « f...age de gu... » mais y sacrifient sans problème.

Le terme même de discipline, pour l’IA, est sujet à caution. En tout cas, il ne s’agit pas vraiment d’une discipline scientifique bien délimitée. On emploiera plus facilement les termes de matière, de sujet ou encore de champ de recherches. En ce sens, voir la partie 7-1.1 Les disciplines de l’intelligence artificielle de la thèse de Daniel K. Schneider sur la Modélisation de la démarche du décideur politique dans la perspective de l’intelligence artificielle [40] :

« L’intelligence artificielle n’a pas d’objet de recherche académique bien défini à part l’intérêt porté au "mental" et aux représentations de connaissances. Elle s’est divisée en de nombreuses sous-disciplines focalisant sur des problèmes bien distincts (tel que la vision, la résolution de problèmes, la compréhension du langage, l’apprentissage,...). Il n’existe pas de paradigme unifié de recherche et certaines branches de l’IA sont devenues des terrains d’échanges multidisciplinaires où se côtoient philosophes, psychologues, informaticiens et autres qui s’intéressent aux divers problématiques de l’intelligence. »

Il y a donc des technologies, qu’il faut distinguer les unes des autres, et derrière ces technologies, il y a des applications (des logiciels, si vous préférez) et leurs développeurs, grosses sociétés de l’informatique et de l’Internet ou start-ups, l’ensemble des sociétés travaillant sur l’application des technologies informatiques au droit étant communément appelé les "legal tech" [41]. Les entreprises et les produits d’IA en droit sont un sous-ensemble des legal tech. Pour autant, il faut bien distinguer l’IA de l’ensemble des legal tech.

Que font les legal tech ?

Pour sa granularité/précision, on reprendra ici la liste très complète de Benoît Charpentier développée dans son article précité. Les legal tech « proposent de très nombreux services et produits, comme :

  • le calcul de probabilité concernant les décisions de justice [ça, c’est de l’IA. De l’IA (très) faible, mais de l’IA. Voir plus loin pour les explications]
  • le financement de contentieux (third-party litigation funding)
  • les plateformes d’actions collectives
  • la génération automatisée de documents juridiques dynamiques [ici aussi, il peut y avoir de l’IA (très) faible]
  • le déploiement de systèmes intelligents ou d’intelligence artificielle (fondés par exemple sur le machine learning, notamment ses variantes natural language processing et deep learning)
  • les plateformes de mise en relation avec des professionnels du droit
  • les solutions cloud
  • l’édition de logiciels spécialisés
  • la résolution de litiges non contentieux en ligne
  • les procédures d’arbitrage en ligne
  • les procédures de divorce en ligne
  • la signature électronique
  • la certification de documents (par exemple grâce à la technologie blockchain)
  • la réalisation de formalités et de dépôts en ligne (mise en demeure, acte introductif d’instance)
  • la visualisation de données complexes issues du Big Data
  • la programmation de contrats intelligents (smart contracts)
  • la mise en oeuvre d’outils collaboratifs
  • la revue de documents assistée par la technologie (Technology Assisted Review (TAR))
  • les outils de conformité
  • les outils de calculs fiscaux
  • les outils de gestion de contrats (contract management, audit de contrats) [auxquels j’ajouterais les outils d’automatisation (partielle) de la production de contrats]
  • les outils de recherche juridique [là aussi, il peut y avoir de l’IA. Toujours (très) faible] ».

Une autre classification, plus resserrée mais moins évocatrice, est disponible sur l’article de Case.One (une de ces legal tech) LegalTech 2018 : où allons-nous ? (janvier 2018) :

  • information juridique
  • rédaction d’actes
  • litiges en ligne
  • mise en relation [avec des avocats]
  • outils métier [pour avocats ou juristes d’entreprise].
  • IA/machine learning/justice prédictive. Selon une enquête réalisée fin 2018 par le site d’actualité des startups Maddyness et les Actualités du droit (Wolters Kluwer), 19% des legal tech disent utiliser l’IA dans leurs technologies mais 13% seulement selon l’annuaire des legal tech du Village de la Justice [42]. En réalité, et au vu des startups listées dans le segment IA dans l’annuaire du Village de la Justice si on s’en tient à une définition stricte de l’IA (voir infra), le chiffre est probablement encore plus faible.

Qui sont ces legal tech ?

Il existe une liste gratuite, fiable et quasi-exhaustive des legal techs françaises ou implantées en France (PDF), celle de Benoît Charpentier, consultant et avocat, mais elle date de début 2017. En décembre 2018, Florian Herlicq, product manager de LegalCluster, une legal tech elle-même, a entrepris de mettre à jour sa liste Les 100+ de la Legaltech française [43]. Une autre liste est celle de l’annuaire des legal tech du Village de la Justice, certes autodéclaratif, mais qui a l’avantage d’être mis à jour en continu. Pour une liste mondiale, voir [44] :

A mon goût, beaucoup de ces initiatives sont certes "legal" mais leur degré d’innovation en "tech" est faible : par exemple, simple mise en ligne de formulaires ou intermédiation entre avocats et prospects. Alors voici une liste personnelle de legal tech françaises (ou plutôt présentes en France), non triée, forcément incomplète mais tendant à se focaliser sur l’innovation technologique (machine learning, big data, analytics, langages de programmation simplifiés pour juristes, moteurs de recherche améliorés ...) :

Sur la production partiellement automatisée de contrats pour TPE et particuliers, voir le rigoureux comparatif — plus précisément une « évaluation de la qualité d’un “contrat de prestations de services” généré “en temps réel” » — publié par Philippe Gabillault (Toltec) fin janvier 2019 : Contribution #3–10 Legal Techs au banc d’essai..

A noter, car très souvent citée par les articles présents sur le Net mais non présente en France : DoNotPay conteste les PV de stationnement en justice sans avocat et avec un taux de succès important.

IA juridique ancienne (logiciels experts) et IA juridique récente (ML, NLP)

Attention : très peu parmi ces sociétés se rangent dans la catégorie de l’intelligence artificielle telle qu’on la pratique aujourd’hui, autrement dit une IA à base de machine learning et/ou de traitement du langage naturel (natural language processing, NLP).

Beaucoup se rangent dans les logiciels experts, une catégorie d’IA déjà ancienne à laquelle le cloud donne une nouvelle jeunesse mais qui n’est pas de l’IA telle qu’on la voit aujourd’hui (sur les logiciels experts et l’IA récente, voir infra). Cette IA "à l’ancienne" de type logiciel expert peut être très efficace si ses concepteurs ont accumulé beaucoup d’expérience et à condition de ne pas lui en demander trop. L’exemple le plus connu et le plus utilisé est probablement la génération automatisée de documents, qui s’appuie sur l’ancienne technique des formulaires.

Un exemple plus "récent" et très innovant à l’époque est Jurisprudence chiffrée conçu chez l’éditeur juridique Francis Lefebvre il y a une dizaine d’années (voir infra). Ce produit utilise les cartouches sémantiques ex-Luxid (devenues Cognito Discover) conçues et développées justement depuis plus de vingt cinq ans par la société Expert System (ex-Temis) [50]. Ces cartouches se retrouvent chez de nombreux éditeurs juridiques, y compris LexisNexis et Legifrance [51].

Les technologies qui caractérisent l’IA d’aujourd’hui

Après avoir présenté les prestations et les entreprises du secteur des legal tech et avoir défini l’intelligence artificielle, voici les cinq principales technologies en cause dans l’IA en droit aujourd’hui [52] :

  • les systèmes experts. Un système expert est, selon Wikipedia, un outil capable de reproduire les mécanismes cognitifs d’un expert, dans un domaine particulier, par des règles logiques. Cette première des voies tentant d’aboutir à l’intelligence artificielle a donné des résultats décevants : par exemple, à partir d’une centaine de règles voire moins, certaines se contredisent et il devient nécessaire de les pondérer, ce qui est en fait peu rigoureux ; leur coût élevé est un autre écueil. Un exemple de système expert en droit, le prototype NATIONALITE du défunt IRETIJ (Institut de recherche et d’études pour le traitement de l’information juridique [53]) est décrit dans une contribution de 1989 [54]. En droit français, sur ce type de technologie, on doit beaucoup aux trois pionniers de ce qu’on n’appelait pas de l’IA mais simplement de l’informatique juridique : Pierre Catala (IRETIJ, Montpellier, un laboratoire défunt), à l’origine notamment de la base de données Juris-Data (un partenariat entre le ministère de la Justice et les Editions du JurisClasseur), Jean-Paul Buffelan-Lanore (Institut de recherche en informatique juridique, IRIJ - Université de Paris VIII), auteur de Jurindex, première banque de données juridiques française en 1970-1971 aux Éditions Masson et Lucien Mehl (droit public). Fondamentalement, dans les années 60 à 80 en France, l’informatique juridique, c’est essentiellement des systèmes experts et, surtout, des thésaurus et des index (qui auront beaucoup plus de succès sur le long terme que les systèmes experts).
    Les logiciels de gestion de contrats sont un bon exemple de logiciels experts en droit. L’autre grand exemple est l’utilisation des chaînes de caractères et des expressions régulières (regex) pour la recherche de notions exprimables de dizaines de façons différentes, même si l’utilisation de règles et la modélisation y sont peu développées et d’un niveau peu élevé. Ce travail sur le vocabulaire et les chaînes de caractères, c’est aussi une forme de traitement automatique du langage (TAL, NLP en anglais). Du TAL à l’ancienne, avec ses limites, mais bien rodé, notamment dans les cartouches de langage d’Expert System (ex-Temis), utilisées par plusieurs grands éditeurs juridiques, que nous avons citées supra à propos de l’application Jurisprudence Chiffrée. C’est de l’IA "de papa" : rien de révolutionnaire, en réalité, mais ça fonctionne.
    Mais c’est l’émergence des quatre technologies suivantes qui a relancé les espoirs des spécialistes de la recherche en IA
  • le big data et surtout le (legal data) analytics. Il ne s’agit là que de technologies correspondant à des logiciels (Apache Hadoop, MongoDB, Microsoft Azure ...) faits pour traiter des masses de données énormes et/ou des données pas assez structurées, nécessitant des logiciels différents des systèmes de gestion de base de données (SGBD) classiques
  • les calculs de probabilité, avec toutes les limites des statistiques. Par exemple, en justice dire prédictive, où il s’agit d’estimer l’issue d’un contentieux, ces limites seront :
    • pour les fonds de décisions de justice utilisés (l’échantillon, comme on dit en "stats") :
      • non exhaustivité, voire forte sélectivité
      • les biais contenus dans les données
      • le manque de motivation (l’argumentation du juge), extrêmement fréquente en première instance en pénal. En pratique, en première instance, même si l’obligation de motivation au pénal existe [55], les motifs de la condamnation soit sont implicites ou très brefs car les faits sont établis, soit sont dans le dossier, mais celui-ci n’est ni consultable ni transmissible aux tiers. Le côté peu pratique et trop exigeant du logiciel utilisé pour la rédaction des décisions n’aide pas
    • le côté "déformant" de la moyenne, à laquelle hélas la plupart des juristes sont habitués, comme le grand public — la médiane est moins déformante
    • l’absence de correction des biais statistiques
  • le machine learning [56] (ML, en français apprentissage automatique). Cet apprentissage peut être supervisé (des humains apprennent à l’algorithme à reconnaître les formes ou les notions, ils vérifient et corrigent) ou non supervisé. Michael Benesty, avocat fiscaliste et data scientist français, auteur de l’ancien site de démonstration Supra Legem, définit ainsi le machine learning utilisé actuellement dans le cadre du droit [57] :

    « Il s’agit d’une expression vague qui regroupe toute une famille d’algorithmes qui ont en commun d’apprendre par eux-mêmes en observant des données. Ces algorithmes sont inspirés de différentes sciences et notamment des statistiques.
    En matière de justice prédictive, c’est la sous-famille des algorithmes supervisés qui est utilisée. »

Une excellente interview donnée par le chercheur français Yann LeCun, directeur du laboratoire d’IA de Facebook, au journal Le Monde, explique de manière simple comment fonctionnent les réseaux neuronaux, l’apprentissage supervisé et l’apprentissage non supervisé [58]. Ross d’IBM, aux Etats-Unis, utilise le machine learning, dans sa version supervisée : des juristes, des avocats ont "enseigné" et "corrigé" l’application et continuent de le faire. Thomson Reuters, propriétaire de Westlaw, a lancé un laboratoire en 2015 et collabore avec IBM pour intégrer la technologie Watson dans ses produits. Ross est un système à apprentissage automatique supervisé. En France, Case Law Analytics [59] utilise (en partie) aussi le machine learning (Supra Legem l’utilisait aussi).

  • le deep learning (apprentissage automatique profond), concrètement, est un développement du machine learning. Il utilise à fond la technique des réseaux neuronaux pour tenter de se passer complètement d’une vérification/correction par des humains. Les réseaux neuronaux sont une technologie développée à l’origine pour la reconnaissance automatique d’image ("pattern recognition"). Pour (tenter de) comprendre, il faut lire les exemples de fonctionnement d’un réseau neuronal donnés par deux spécialistes français interviewés par Le Monde [60] :

Yann LeCun : « Le deep learning utilise lui aussi l’apprentissage supervisé, mais c’est l’architecture interne de la machine qui est différente : il s’agit d’un "réseau de neurones", une machine virtuelle composée de milliers d’unités (les neurones) qui effectuent chacune de petits calculs simples. La particularité, c’est que les résultats de la première couche de neurones vont servir d’entrée au calcul des autres. Ce fonctionnement par "couches" est ce qui rend ce type d’apprentissage "profond". »

Yann Ollivier, chercheur en IA au CNRS et spécialiste du sujet, donne un exemple parlant : « Comment reconnaître une image de chat ? Les points saillants sont les yeux et les oreilles. Comment reconnaître une oreille de chat ? L’angle est à peu près de 45°. Pour reconnaître la présence d’une ligne, la première couche de neurones va comparer la différence des pixels au-dessus et en dessous : cela donnera une caractéristique de niveau 1. La deuxième couche va travailler sur ces caractéristiques et les combiner entre elles. S’il y a deux lignes qui se rencontrent à 45°, elle va commencer à reconnaître le triangle de l’oreille de chat. Et ainsi de suite. »


Deep learning : intervention de Yann LeCun, à l’USI, 22 juin 2015. Autre vidéo de Yann LeCun disponible sur le même sujet : celle de son intervention au Collège de France le 4 février 2016

On peut aussi citer le résumé utilisé par le journaliste des Echos Rémy Demichelis [61] :

« [Les] réseaux de neurones [sont] la technologie à l’origine du grand retour en grâce de l’IA ces dernières années pour sa capacité d’apprendre à partir de grandes bases de données ; le Big Data constitue son carburant. Sous le capot, il faut s’imaginer plein de cellules qui font des opérations d’une simplicité enfantine — on pourrait utiliser un tableur Excel pour y parvenir. Ces cellules commencent par des valeurs aléatoires puis ajustent leurs calculs au fil de leur entraînement, de leurs erreurs ou de leurs succès : c’est ainsi que le réseau constitué de ces « neurones » artificiels apprend. Un peu comme dans un jeu vidéo : " Perdu, essaie encore ! " Seulement, il faut énormément de données, et souvent aussi un humain derrière pour dire quand la réponse est bonne ou mauvaise. »

D’après Michael Benesty, le créateur de Supra Legem, toutefois, en machine learning sur du droit, on est plus dans le traitement automatique du langage (NLP) (voir juste infra) [62] que dans les réseaux neuronaux [63]. Les réseaux neuronaux ici réduisent le traitement des données en amont, mais leur apport en droit est très inférieur à ce qu’ils ont fait pour la reconnaissance d’image. De plus, ils coûtent très cher du fait de la puissance et du temps de calcul nécessaires (location de serveurs et de logiciels) [64].

Un réseau de neurones convolutifs schématisé
  • le traitement automatique du langage naturel ou TALN (dit traitement automatique des langues ou TAL) (en anglais "natural language processing", NLP). Ross, Predictice ou Supra Legem [65] sont des applications utilisant le NLP. Plus précisément le NLP tel qu’on le pratique aujourd’hui : à base de techniques d’analyse syntaxique ("parsing", en anglais) [66], voire de machine learning, et non plus d’analyse sémantique. Le top du NLP actuel, c’est l’application du machine learning, en version non assistée, au langage, plus précisément aux textes. Le NLP à base de machine learning a été énormément facilité par la diffusion en open source en 2013 par Google du logiciel Word2vec (W2V), qui transforme les mots en vecteurs. Concrètement, Word2vec devine les termes similaires (proches par le sens) d’un mot en utilisant les autres mots faisant partie du contexte de ce mot [67].
    Le successeur de Word2vec est BERT. Egalement issu de la recherche de développeurs de Google, et également publié en open source, il a été implémenté sur les pages de langue française dans Google Web Search en décembre 2019. BERT (Bidirectional Encoder Representations from Transformers) est un progrès par rapport à Word2vec en termes de désambiguïsation du langage naturel (face à la polysémie par exemple), notamment par une meilleure "compréhension" par l’algorithme du sens des phrases (sujet verbe complément) et du contexte. BERT consiste à utiliser un "modèle de langage" pré-entraîné ("pre-trained language model") par les ordinateurs surpuissants de Google, un modèle mis à disposition par Google. BERT utilise aussi le deep learning. BERT semble encore très peu utilisé par l’IA juridique.
    En revanche, on parle plus de spaCy et de Flair, même s’ils sont considérés comme moins efficaces en pseudonymisation. Ainsi, dans une vidéo publiée mi-novembre 2019, Juliette, linguiste computationnelle chez Predictice, révèle qu’ils s’apprêtent à utiliser spaCy.
    Toutefois, si le NLP à la sauce ML détecte — indirectement et implicitement — le sens des mots, il ne sait pas en détecter la logique : licéité et illicéité, par exemple, risquent fort d’être similaires pour lui — sauf si BERT réussit à lever cette ambiguïté.

Enfin, il faut bien comprendre que pour imiter des fonctions caractéristiques des humains, comme classer automatiquement des documents par thème, un simple logiciel ne suffit pas :

  • déjà, de nombreux programmes informatiques (de type ML ou logiciel expert comme vu précédemment) doivent être testés, combinés et adaptés par un ou des développeurs. Ce ne sont pas des produits sur étagère, ce sont ce que l’on appelle dans l’industrie informatique des développements spécifiques
  • ensuite — et c’est encore moins connu —, le machine learning et les réseaux neuronaux nécessitent une architecture matérielle et réseau très spécifique elle aussi, autrement dit choisir les composants — notamment les processeurs, massivement utilisés pour l’"apprentissage automatique" en machine/deep learning — et savoir assembler ad hoc des serveurs très puissants, avec leurs systèmes d’exploitation (OS), repérer les goulots d’étranglement dans la circulation et le traitement des données sur Internet, dans les serveurs et entre eux, savoir comment régler et "booster" les performances de ces matériels ... Pour les petits et moyens programmes, cela passe par la location (vite onéreuse) de ressources en "cloud computing" : du temps et de la capacité de serveur disponible par Internet. Le plus utilisé est Amazon Web Services (AWS). On peut citer aussi Microsoft Azure et Google Cloud (avec son produit applicatif TensorFlow). Sur les gros programmes d’IA, le travail sur cette architecture matérielle mobilise jusqu’à la moitié des spécialistes affectés au projet. Sur ce segment, Google, Facebook, Amazon et Microsoft ont une puissance et une avance énormes sur leurs concurrents. Pour avoir une idée de l’importance des aspects hardware dans les technologies dites d’IA, jetez un coup d’oeil sur les slides 1 à 29 de cette présentation [68]. De ce point de vue, il n’est pas surprenant que ce soit justement l’IA qui succède au Big data en matière de hype. L’arrivée de l’informatique quantique [69] et sa généralisation d’ici 2028 [70] promettent des pas de géant au machine learning et particulièrement à sa variante le deep learning.

NB : pour celles et ceux qui veulent plus de précisions sur les systèmes experts, le machine learning, le deep learning et l’infrastructure matérielle nécessaire, je recommande la lecture de l’ebook gratuit d’Olivier Ezratty, déjà mis à jour à trois reprises : Les usages de l’intelligence artificielle 2018 (PDF, 522 p.).

Dans cette présentation des technologies dites d’IA, il reste enfin à expliquer dans quels produits, concrètement, on les emploie.

Selon Ron Friedmann, consultant américain en informatique juridique depuis 30 ans [71], sur le marché américain, « il existe au moins quatre utilisations presque banales de l’intelligence artificielle que les cabinets d’avocats et les directions juridiques peuvent aisément déployer à partir de produits IA standards, de manière similaire à d’autres technologies :

  • "document review" dans la procédure [très américaine] d’"e-discovery" ("predictive coding”) [72]
  • l’audit/vérification en masse de contrats et de clauses (Kira, LawGeex, Luminance, Hyperlex, SoftLaw ... : voir infra)
  • outils de recherche dans de multiples domaines juridiques (Westlaw, Lexis Advance, Ross, Context, Supra Legem, Case Law Analytics, Predictice ... : voir infra). C’est le second domaine en terme d’importance de l’implémentation. Là, les progrès ont essentiellement consisté en une synonymie contextuelle automatique et une classification automatique par domaines du droit très améliorées
  • saisie et gestion des temps et des dossiers.

Comme on vient de le voir, il faut être concret et relativiser les performances des outils à base d’IA utiles pour les directions juridiques. Leur emploi est techniquement circonscrit. Le degré de cet emploi au sein des DAJ est également faible pour l’instant, à l’exception des banques et assureurs. L’étude de PwC Avocats Digitalisation de la fonction juridique : quelles priorités en 2018 ? publiée en mai 2018 qualifie l’intelligence artificielle de « machine à fantasme ». L’étude précise : « Les réponses dénotent également une certaine confiance dans cette technologie dont les capacités actuelles ne sont peut être pas au niveau des attentes sur tous ces points. Néanmoins, les répondants n’envisagent pas d’intégrer de l’IA à court terme, ce qui est en phase avec leur maturité digitale. »

Cet emploi de l’IA dans les DAJ est toutefois amené à s’étendre. Une étude similaire publiée en février 2019 [73] et réalisée conjointement par le Cercle Montesquieu, CMS Francis Lefebvre Avocats et le cabinet de conseil Day One « conclut que 2019 sera une année de bascule dans la prise en main des technologies par les directions juridiques ». A noter tout particulièrement cet extrait du communiqué :
« Les directions juridiques prévoient une transformation digitale profonde de leur métier d’ici cinq ans, avec le déploiement du "Machine Learning", du "Natural Language Processing" (NLP) et des "Knowledge Graph", autant d’outils englobés par l’intelligence artificielle qui bouleverseront la gestion des dossiers juridiques. Ces technologies vont permettre :

  • l’automatisation de l’analyse de documents, la création et la saisie automatiques de la base contractuelle selon le type de contrats
  • la détection de lois obsolètes dans les contrats ainsi que la vérification des clauses contractuelles, de leur présence, de leur intégrité et de leur pertinence
  • et enfin la prise en charge des réponses aux questions récurrentes via des chatbot ou voicebot pour alléger le quotidien des juristes. »

Je me demande si la percée de l’IA dans le milieu juridique ne se fera pas aussi via les logiciels brassant et combinant des données de sources et formats divers [74] pour faire de la "business intelligence" (dits également "logiciels orientés visualisation de données") comme Tableau Desktop, Microsoft Power BI ou, Qlik Sense Enterprise. Notamment dans les départements dits de "business development" (BD) et de "knowledge management" (KM). Pour l’instant, ces applications ne sont pas de l’IA très moderne ni très juridique, mais plutôt du logiciel expert (fonctionnant à base de règles métiers et des arbres décisionnels) combiné avec des macros. Mais c’est nettement en train d’évoluer : le machine learning rentre dans ce secteur [75].

A propos des chatbots (agents conversationnels en bon français) : ceux utilisés en droit, par exemple ceux de ce cabinet d’avocats, semblent pour l’instant difficilement qualifiables d’IA, au sens des critères que nous avons exposés supra. Ou alors de la très ancienne IA, car le niveau d’arbre décisionnel et de traitement du langage naturel qu’ils utilisent reste extrêmement basique. Par exemple, un chatbot juridique s’exprimant en anglais ne comprend pas que Yikes est une forme argotique de Yes ou bien, à propos du RGPD, oublie de vous préciser que le 25 mai 2018 est déjà passé depuis longtemps et qu’appliquer le RGPD est devenu urgent. En fait, le nombre de questions que l’on peut poser à un chatbot juridique est très limité.

Ces lacunes ne sont pas spécifiques aux chatbots juridiques, mais générales, comme l’avoue un article de ZDNet traduit en français [76] : « La qualité des chatbots est mauvaise. Une série de nouveaux articles de Facebook et de ses partenaires universitaires offrent cependant de nouvelles orientations prometteuses. L’objectif du dialogue fluide avec un humain semble encore cependant assez lointain. » Et on ne parle même pas ici d’un dialogue juridique, juste d’une aide (très limitée) à la recherche d’un livre ou d’une tentative d’empathie.

L’apport, le "truc" du chatbot se situe ailleurs : c’est un petit logiciel servant à engager la discussion avec un prospect ou un utilisateur par des questions principalement à réponse de type Oui/Non et à l’amener à préciser sa demande afin de l’orienter ... vers le mail d’un humain [77]. Un des autres noms des chatbots, justement, est assistant virtuel.

Les données comptent plus que les applications

Nous venons de présenter les technologies impliquées dans l’IA en droit. Et de voir que les deux critères principaux (et alternatifs) pour parler d’IA (faible) en droit, sont soit l’appartenance de l’application à la catégorie des systèmes experts soit l’utilisation de machine learning.

Pourtant, sur le plan stratégique, le plus important en IA n’est pas là. Pour le comprendre, il faut lire le rapport de France Stratégie sur l’IA publié en mars 2017 [78].

Dans ce rapport, la contribution spécifique du Conseil National du Numérique (CNNum) souligne l’importance fondamentale des données :

« La valeur créée par l’intelligence artificielle provient des données nécessaires à l’apprentissage bien plus que de l’algorithme, dont les développements se font de manière ouverte (en open source). En conséquence, les organisations doivent prendre conscience de l’importance stratégique des données qu’elles détiennent. Il s’agit également, à plus long terme, d’engager une réflexion sur les modes de partage de la valeur entre acteurs privés. En ce sens, le Conseil s’est par ailleurs saisi de la question de la libre circulation des données aux niveaux international et européen, d’un point de vue de transfert entre les territoires mais également entre acteurs économiques. »

En droit français, cette difficulté donne raison au professeur (et avocat) Bertrand Warusfel, quand il écrit, interrogé par ActuEL Direction Juridique (Editions Législatives) [79] :

« on va certainement [...] dématérialiser plus encore les procédures, voire les audiences. A mon sens, ce n’est qu’une fois que cette première phase de dématérialisation de la justice aura été menée à bien qu’il serait justifié d’envisager d’introduire des outils plus "intelligents". Sauter une étape serait sans doute peu cohérent, voire dangereux. »

Ce sont justement leurs bases de données qui font l’avance de Google et Facebook. C’est pourquoi cela ne les gêne pas de mettre leurs logiciels en open source. Au contraire, cela accélère l’adoption de l’IA par les développeurs puis la société dans son ensemble.

Une démarche imitée de manière un peu différente par les sociétés qui rejoignent LexisNexis USA, mais où on retrouve l’importance cruciale de l’accès à certains "data repositories" précieux et bien précis — Lexis gagnant, elle, en technologie :

  • l’éditeur américain annonce en mars 2017 qu’il va donner accès à ses contenus et à son expertise, ainsi que celle de sa filiale LexMachina, à cinq start-ups sélectionnées : Visabot, TagDox, Separate.us, Ping, and JuriLytics [80]. Lexis espère profiter de leurs innovations. Mais ce type de démarche chez LexisNexis est rare : en général, le rapprochement et donc le partage des données se fait par un rachat voire une joint-venture (cf le rachat de Lex Machina en novembre 2015 puis de Ravel Law en juin 2017 et la joint-venture avec Knowable en juillet 2019 ; voir juste infra)
  • juste après l’annonce du rachat par Lexis, en juin 2017, de Ravel Law, le fondateur de Ravel Law Daniel Lewis explique à cette occasion que le rachat donnera à Ravel Law « accès à un vaste assortiment de données de haute qualité, quelque chose qui est nécessaire. Même la meilleure IA ne peut surmonter les défauts dus à un accès limité en terme de données », dit-il. « On a besoin de données de haute qualité en entrée », ajoute-t-il. « Si vous avez de la mauvaise qualité en entrée, vous avez de la mauvaise qualité en sortie. » [81]
  • rebelote en juillet 2019 avec la joint-venture entre Lexis et l’éditeur de l’application d’analyse automatique de contrats Knowable. Le CEO de Knowable, Mark Harris explique qu’ « en Lexis, sa société a trouvé un partenaire qui [...] a de profondes réserves de contenu sur lesquelles s’appuyer » [82].

Nous venons de présenter les produits et les sociétés des legal tech puis de définir l’IA en droit, pour éviter de gober le discours marketing selon lequel tout ce qui est legal tech serait IA et, plus généralement, selon lequel tout ce qui est IA aurait des performances à la limite du miraculeux.

Ce discours, ce storytelling d’ "IA partout" et d’ "IA miracle" [83] inonde depuis 2016 la presse, les pages web et le café du commerce. Au point qu’on peut parler de « hype » (battage médiatique) et d’ "IA washing" [84]. D’autant qu’une part importante d’applications, de produits présentés comme des IA n’en sont pas sur le plan des technologies utilisées (cf l’étude très commentée de la société de capital-risque britannique MMC Ventures The State of AI : Divergence 2019 mais aussi le billet précité de Mike Mallazo sur la fausse IA — « phony AI ») [85].

Le battage médiatico-publicitaire inonde même le secteur juridique. Dera Nevin est spécialiste de l’"information governance" et de l’"e-discovery" au cabinet Baker McKenzie. Voici ce qu’elle en dit (traduction par nos soins) [86] :
« Je n’aime pas beaucoup le marketing autour de la legal tech. En tant qu’évaluateur et acheteur de longue date de technologie juridique, j’estime que les informations qui me sont fournies sur les produits ne m’aident pas à comprendre l’impact potentiel de la technologie sur celui pour qui je l’achète — le juriste en cabinet d’avocats ou en direction juridique — et à la mettre en œuvre. »

Le fondateur de Predictice le reconnaît lui-même [87] : « Quand on parle de justice prédictive, c’est purement marketing ». On peut aussi citer le point de vue d’un avocat geek spécialiste du contentieux puisque ancien avoué [88] : « Depuis le jour où j’entends parler de justice prédictive, je suis méfiant. Car à l’heure où le robot le plus intelligent de Google ne sait que prendre un rendez-vous chez le coiffeur sans se planter, je me suis toujours dit que nous étions loin de prédire le droit (ou alors l’acception du mot « prédire » m’échappe…). » Ou encore celui de Xavier Ronsin, premier président de la Cour d’appel de Rennes, en 2017 [89] : « On est encore loin du fantasme de la "justice bouton". »

Nous verrons plus loin dans cette étude que les acteurs les plus avancés dans l’IA juridique en France sont à la fois les plus modestes ... et les plus discrets.

Nous allons continuer à river son clou à ce phénomène en présentant maintenant en détail les outils IA de recherche et d’analyse de la jurisprudence (encore une fois, des IA faibles). Nous commencerons par l’IA vedette américaine — j’ai nommé Ross — puis nous verrons les implémentation de l’IA (du NLP surtout) dans les grandes plateformes des éditeurs juridiques américains traditionnels et enfin les IA juridiques françaises.

Ross : points forts et limites d’un moteur de recherche en langage naturel à base de machine learning avec supervision

Fin 2016-début 2017, c’est surtout le produit d’IBM qui faisait parler de lui — voir notamment notre "webliographie" sélective sur Ross infra. Et même si, de fait, on peut parler d’une intense campagne de presse, je crois quand même qu’on tient confirmation d’une amélioration radicale de la recherche documentaire en droit dans les articles sur l’implémentation de Ross par le petit cabinet d’avocats américain Salazar Jackson : en effet, selon le principal associé de cette firme, Ross fait les recherches sur la jurisprudence aussi bien et plus vite qu’un jeune collaborateur [90]. Ce que semble confirmer une étude réalisée par une firme indépendante (certes payée par IBM) qui parle d’un gain de temps dans les recherches de 30% [91].

Ross serait même, soi-disant, capable de résumer sa recherche en un mémo ? L’avocat Rubin Sfadj estime que la prétendue capacité de Ross à sortir un mémo est exagérée. Il a raison. Jimoh Ovbiagele, le CTO de Ross, a fini par reconnaître devant un journaliste du New York Times que des humains se chargent du brouillon produit par Ross et créent le mémo final, et c’est pour cela que ça prend un jour entier [92].

Bien sûr, Ross nécessite une interaction homme-machine. Il s’améliore en apprenant des retours des juristes sur ses recherches [93]. C’est donc de l’apprentissage automatique avec supervision [94].

Ross est pour l’instant spécialisé uniquement dans la jurisprudence américaine en droit de la faillite (US bankruptcy law) et en propriété intellectuelle (US IP law) — il s’agit en fait de deux applications différentes, Ross ne traite pas les deux matières en même temps [95]. Mais la diversité des tâches et des domaines possibles est une caractéristique du machine learning le plus récent (depuis environ 2015). Le cabinet américain Latham & Watkins, implanté à Paris, est en phase de « test » avec Ross [96], suivi par de plus petites structures et l’Ordre des avocats de Lille.

Le dirigeant et co-fondateur de Ross Intelligence, Andrew Arruda, expliquait justement en août 2016 :

« La version actuelle du système est utilisée pour aider les juristes spécialisés en procédures collectives travaillant dans des firmes américaines. Les futures versions du système couvriront d’autres domaines du droit et d’autres juridictions. »

Rubin Sfadj estime quant à lui que Ross sera capable de gérer les textes officiels (en sus de la jurisprudence) français.

Dans son enquête de février 2017, l’Agefi Hebdo concluait sur Ross : « Le résultat ? Pour l’heure, moyennement convaincant. » [97] L’Agefi cite Bénédicte Brémond, avocate en charge du knowledge management chez Latham & Watkins Paris :

« Quoique déjà très performants, des outils comme Ross sont encore pour la plupart en phase de test dans les firmes et devront encore apprendre avant de fournir aux avocats un service fiable adapté à leurs pratiques. »

NB : Ross a été développé à l’origine par des étudiants de l’Université de Toronto au Canada, en 2014-2016 [98]. De fait, avec les Etats-Unis, Israël et la Chine, le Canada est le 4e pays vraiment "bon en IA". Et avec Lexum, l’éditeur dédié aux avocats, l’Institut canadien d’information juridique (CanLII), et le Laboratoire de cyberjustice de l’Université de Montréal, le Canada est également en avance sur la maîtrise de la donnée juridique numérique et des bases de données associées.

Ross aura visiblement encore bien d’autres applications en droit. À l’image de Watson, l’application d’IBM dont Ross est dérivé. Watson sert déjà à de multiples tâches. Comme :

Autres exemples de la capacité du machine learning à s’appliquer à tous les domaines :

  • la Lettre de l’Expansion du 16 janvier signale que le réseau social interne développé par Orange, installé chez eux à l’automne 2015 [104] et également vendu par l’opérateur sous le nom de Business Together Sharespace [105] « s’appuie sur la technologie "machine learning" [...] et inclut des robots à même de suggérer à l’utilisateur des informations pertinentes ou des collègues susceptibles d’enrichir son activité »
  • Google a présenté fin novembre un algorithme repérant des signes de rétinopathie diabétique dans des photos du fond d’oeil. Et Facebook comme Microsoft ont dévoilé cette année des systèmes capables de "regarder" des images et en décrire le contenu pour les aveugles [106]

A priori (le manque d’information détaillées sur Ross étant criant), les limites d’un système comme Ross, sont :

  • les applications dérivées du Watson d’IBM sont toutes étroitement spécialisées (et non généralistes sur un domaine) et nécessitent d’énormes développements informatiques spécifiques et un très gros travail d’input et d’apprentissage par des experts [107], travail qui peut ne pas suffire. A titre d’exemple de promesse non tenue et de difficulté avec la méthode retenue par IBM : selon une enquête du média américain d’investigation STAT [108]. L’article a été relayé par Business Insider puis par Numerama.]], la « révolution » promise par IBM avec son outil de conseil en matière de traitement contre le cancer accuse un retard conséquent au centre de traitement et de recherche sur le cancer Memorial Sloan Kettering Cancer Center. Pire : en juillet 2018, les mêmes journalistes expliquent que le superprogramme a régulièrement prodigué de mauvaises recommandations pour traiter des cancers [109]. La conclusion des journalistes de STAT est que l’IA semble incapable de conseiller les bons traitements sans apprendre à partir de cas réels
  • comme la plupart des bases de données en ligne actuelles, son manque de confidentialité. Je sais que les éditeurs de services en ligne garantissent la "confidentialité" des données de leurs clients, mais de fait, si elles ne sont pas cryptées de bout en bout, elles ne sont pas réellement confidentielles. Il serait intéressant à cet égard de savoir si Ross crypte les données de ses clients
  • sa dépendance à la "data". Si les données sont incomplètes, non exhaustives ou comportent un biais, les résultats seront biaisés [110]
  • le poids du passé (même s’il pourra certainement intégrer les projets de loi), car la donnée c’est du passé
  • sa dépendance aux compétences des personnes qui "l’entraînent" (cas du machine learning supervisé)
  • son degré d’acceptation par la société, encore limité mais qui croîtra selon tout vraisemblance. Voir la dernière partie de cette étude et, juste infra, les paragraphes sur les limites des applications de justice prédictive françaises
  • à court et moyen terme, le délai d’implémentation en droit français. Ross — tout comme ses concurrents français — ne pourra pas être implémenté en droit français global avec une pleine efficacité avant un minimum de huit ans à compter de 2017. Là aussi, je vous renvoie aux paragraphes sur qui suivent les limites des applications de justice prédictive françaises.

Il faut enfin noter, pour être complet sur Ross, qu’IBM a du mal à rentabiliser son activité "cognitive" (l’adjectif à la mode pour désigner les activités d’IA). Comme le relève une enquête du Monde [111], le chiffre d’affaires du groupe — qui a parié sur l’IA pour sa croissance et a investi 15 milliards de dollars depuis le lancement du projet Watson (alors appelé DeepQ) en 2007 — décroît de 2011 à 2016 : « au final, en cinq ans, un quart des recettes a disparu. La capitalisation boursière [est passée] de presque 250 milliards de dollars en 2011 à un peu plus de 136 milliards aujourd’hui. Pour l’instant, Watson a du mal à tenir ses promesses. » (Le CA d’IBM est toutefois remonté en 2017.) Selon Le Monde, les raisons sont principalement liées :

  • à l’absence d’étude longue de longue durée à sur la fiabilité des diagnostics livrés par Watson et ses conjugaisons
  • au fait qu’il s’agit à chaque fois d’un développement spécifique, pas de l’installation d’un produit standard. Les prospects hésitent : il faut investir un budget, un temps de travail de plusieurs mois minimum (18 mois pour le Crédit Mutuel, pourtant client de longue date d’IBM), des équipes et des petites mains pour "former" le progiciel. Le retour sur investissement est long. C’est cet aspect que souligne la directrice du KM de Latham Paris dans la citation précédente extrait de l’article de l’Agefi Hebdo
  • les concurrents, même si leur marketing et leur communication sont moins efficaces, sont très actifs. Le cabinet d’avocats d’affaires international Baker & McKenzie a ainsi annoncé, en août 2017, adopter comme principal outil d’intelligence artificielle non pas Ross, mais eBrevia (cf supra).

Westlaw, Lexis Advance : les améliorations machine learning en cours et prévisibles

D’après Michael Mills [112], co-fondateur et chief strategy officer de Neota Logic (une société précurseur dans les outils d’aide à la décision en droit puis d’IA juridique aux Etats-Unis), cela fait 11 ans que LexisNexis et Weslaw ont commencé à intégrer du NLP dans leurs moteurs de recherche. Et Lexis a racheté Lex Machina en 2015 puis Ravel Law en 2017, LE spécialiste américain du ML sur la jurisprudence (voir infra).

Par exemple, la fonction Westlaw Answers répond carrément directement aux questions courantes/"bateau" en quelques phrases, avec les citations de jurisprudence qui conviennent.

Autre exemple : Lexis Advance offre la possibilité de chercher en langage naturel (fonction ”Run search as natural language") et surtout d’ajouter à la recherche les expressions juridiques synonymes de celles saisies (fonction "Include legal phrases equivalents"). Et depuis 2017, un clic sur le nom juge ou de l’avocat permet de consulter des tableaux de données sur eux, cela ne marchant que pour les domaines de pratique couverts par Lex Machina [113]. A partir de ces tableaux, les abonnés à Lex Machina peuvent analyser plus avant. Là, cependant, il ne s’agit plus d’IA à strictement parler, juste d’"analytics" [114]. Pour résumer, Lex Machina utilise les décisions disponibles dans PACER et fournit des données utiles pour la stratégie judiciaire.

A noter chez Bloomberg Law, un concurrent de Lexis et Thomson West apparu récemment : grâce au machine learning, Points of Law identifie, parmi les opinions des juges américains, les phrases qui font jurisprudence [115]

Les améliorations prévisibles résident dans la continuation et l’amélioration des précédentes :

  • du NLP state "of the art"
  • des suggestions/recommandations (soit de notions à ajouter, soit de régimes juridiques/bases légales) découlant de l’analyse par le machine learning du comportement des utilisateurs dans leurs recherches. Notamment, en analysant les arrêts déjà mis de côté/sélectionnés par l’utilisateur, il est possible d’en déduire ceux qui manquent. Ce type d’amélioration exploite à fond les excellentes perfomances du ML en catégorisation ("taxonomy" lit-on souvent)
  • plus de "direct answers"
  • des statistiques sur les tendances des juges américains. Dans Lexis Advance, c’est fait en décembre 2018, suite à l’intégration de Ravel Law : Lexis USA lance enfin la suite de Ravel Law : Context, son premier véritable outil de justice prédictive [116]. Pour le texte intégral, il faut un accès à Lexis Advance, avec lequel cette application fonctionne apparemment en tandem
  • une interaction vocale avec l’application, grâce à l’envol de l’utilisation des smartphones, y compris les fonctions d’envoi des résultats et d’impression.

Audit de contrats : l’offre existante

C’est clairement dans ce domaine de l’audit/vérification de contrats et de clauses que les progrès de l’IA juridique ont été les plus grands, comme l’illustre la victoire en février 2018 du logiciel LawGeex AI (qui utilise le ML avec apprentissage) sur 20 juristes de droit des affaires très expérimentés dans un test de rapidité et de pertinence : il s’agissait d’analyser les risques/failles présents dans cinq contrats de confidentialité ("non-disclosure agreement" ou NDA) de 2 à 6 pages, un outil très classique aux Etats-Unis [117]. Le "contract review", plus précisément, consiste en l’analyse en masse de contrats pour en extraire informations et clauses contestables ou à revoir. Les principaux acteurs sont :

  • côté anglo-saxon [118] :
    • la société canadienne Kira Systems et son logiciel d’audit de contrats de cession d’actions/parts de société est selon la société déployé dans 200 établissements. Il a été notamment adopté par les cabinets d’avocats Linklaters, Clifford Chance, Allen & Overy, DLA Piper, Freshfields et Latham & Watkins [119].
    • Seal Software
    • LawGeex
    • Luminance, dont le produit a été adopté notamment par le cabinet anglais Slaughter & May, et qui a abordé le marché européen courant 2018
    • eBrevia, conçu par une start-up créée en 2011 dans l’Etat du Connecticut, a, tout comme Ross, un partenariat universitaire fort : sa technologie a été initialement développée à l’Université de Columbia [120]. L’application, utilise le machine learning pour faire du "contract review". Signe des temps : eBrevia vient, début mars 2018, de s’allier avec le groupe d’édition juridique Thomson Reuters, le propriétaire de la plateforme Westlaw [121]
    • RAVN a été racheté par iManage, mélangeant ainsi le "document management" avec l’IA de type NLP et classification automatique [122]. Le produit a été utilisé en 2017 par une équipe d’investigateurs de l’agence anti-corruption britannique (Serious Fraud Office) pour fouiller 30 millions de documents à la vitesse de 600 000 par jour [123] dans une affaire de pots-de-vin et de corruption impliquant un important industriel [124]. Autre gros client : British Telecom [125]. Une particularité d’iManage est son intégration étroite et de longue date avec la suite Office de Microsoft et particulièrement sa messagerie Outlook. Un détail qui compte
    • Neota Logic est spécialisé dans la préparation de contrats de confidentialité de droit américain (NDAs), le même secteur que LawGeex, mais le but ici est de proposer des "templates" et non de faire de l’audit ("review")
    • Klarity gère la revue de contrats de droit américain en cloud dans des fichiers Word qui sont automatiquement annotés
    • Legal Sifter : signale les parties importantes d’un contrat de droit américain afin de le vérifier (ou négocier) avant de le signer [126]
    • Knowable, un récent "spin off" d’Axiom, a formé une "joint-venture" avec LexisNexis, a pour ambition d’aller plus loin que ses concurrents américains en "contract analytics" en répondant à des questions comme "Pouvons-nous sortir de certains des contrats de notre récente acquisition ?" [127]
    • on mentionne parfois HotDocs dans ce compartiment mais ce produit est en réalité largement basé sur une technologie très ancienne [128]. Grosso modo, HotDocs est un générateur de modèles (de contrats) ("contract automation") se basant sur les précédents de la structure
  • côté français :
    • en audit de contrats pour des fusions-acquisitions et en compliance, la startup française Softlaw, créée par Sandrine Morard [129], ex-avocate collaboratrice en M&A, travaille uniquement en interne (pas de cloud pour répondre aux demandes des directions juridiques et avocats qui ne veulent pas le moindre risque de fuite) et en français
    • Hyperlex, fondée en 2017 par trois ingénieurs, est une société française développant une solution en ligne de gestion et d’analyse de contrats pour les entreprises] [130]. Pour citer Alexandre Grux, le dirigeant d’Hyperlex, interviewé par le Data Analytics Post : « Notre outil permet [à nos clients] de trier leurs contrats pour les ranger et y accéder plus rapidement, y retrouver des clauses précises ou des données contractuelles (dates, montants…) avec un système d’alertes automatiques, générer automatiquement une synthèse pour faciliter la prise de décision ». Hyperlex a pour particularité d’utiliser toutes les technologies d’IA disponibles, y compris la reconnaissance de formes dans les images (ici identifier un tampon ou un logo dans un scan). Cette utilisation de la diversité de l’IA rapproche Hyperlex de Case Law Analytics (voir infra dans nos développements sur la justice prédictive). L’expertise d’Hyperlex va être utilisée par la Chambre des notaires de Paris pour taguer automatiquement des documents notariaux. Dans un premier temps, ce sont les notaires et leurs collaborateurs qui vont mettre manuellement les labels sur ces documents et il s’agira de reconnaître uniquement le type de document. Mais le projet veut aller jusqu’à ce que Hyperlex fait pour les contrats, un "audit" (dans le sens anglo-saxon du terme, ici : repérer des clauses problématiques) des documents. Ce projet, nommé VictorIA, doit s’étaler sur plusieurs années [131].

Olivier Ezratty, dans son ebook précité Les usages de l’intelligence artificielle 2018, liste également un tout autre type d’application métier en juridique : la propriété industrielle (marques et brevets). Parmi les sociétés qu’il cite, je retiendrai celles-ci :

  • Juristat (USA) « réalise des "analytics" sur les données publiques sur les brevets et les avis des agents de l’USPTO pour optimiser les stratégies de protection de brevets »
  • Turbo Patent (USA) et son application RoboReview [132]
  • Lex Machina (acquis par LexisNexis, on en a parlé plus haut)
  • Data&Data (créée en 2012, France) fait de la veille sur les ventes de contrefaçons des produits de luxe sur les sites marchands et les réseaux sociaux [133]. « L’outil à base d’IA s’appuie sur la détection d’anomalies dans les prix et les images des articles en vente ». Ses algorithmes sont basés en partie sur la technologie Azure Machine Learning du cloud Microsoft
  • Clarivate Analytics est arrivée dans l’IA, explique O. Ezratty, « via son acquisition de TrademarkVision qui utilise le deep learning pour reconnaître les logos des marques et faire des recherches d’antériorité. »

Justice prédictive : calculer les chances de gagner un procès en droit français (avec ou sans machine learning)

Abordons maintenant les IA juridiques françaises. Si l’on excepte les applications de contract review Softlaw et Hyperlex précitées, ce sont des applications dites de justice prédictive — ou qui visent à le devenir. Là aussi, comme pour le terme "intelligence artificielle", l’emploi de l’expression "justice prédictive" a un côté marketing accentué.

Au niveau des technologies, le machine learning est très peu utilisé, les systèmes experts et le traitement automatique du langage naturel (l’IA "à la papa") dominent.

Les limites des "IA" juridiques françaises en matière de justice prédictive

Côté justice prédictive, pour le moment, on n’en est en réalité qu’à une analyse (par thème, par juridiction, par société [134], des montants des dommages-intérêts ou de quel type de camp a gagné) de la jurisprudence disponible et à une recherche en langage naturel sur celle-ci. C’est le sens du billet très mesuré du professeur Dondero cité en introduction. Plus généralement, déjà en 2014, un spécialiste du machine learning, le professeur Michael Jordan, estimait qu’on attendait beaucoup trop beaucoup trop tôt du deep learning et du big data [135]. Antoine Garapon pointe l’origine anglo-saxonne du terme et rappelle très justement que la traduction exacte est « justice prévisible » et non prédictive [136]. On pourrait aussi traduire par "justice prévisionnelle", même si cela sonne bizarre.

Pour l’instant, le machine learning en droit français — quand il est réellement utilisé, ce qui, on va le voir, est rare — n’est pas de l’intelligence artificielle au sens fort du terme (cf propos infra sur l’IA forte et faible). Du temps de la lutte entre Microsoft et les autres éditeurs de logiciels de bureautique (années 80), on appelait ça du vaporware : annoncer des sorties d’applications entre 6 mois et 2 ans à l’avance pour pousser les clients à attendre la nouvelle version. Et à ne surtout pas aller chez la concurrence — ici, je dirais : ne pas se servir de ce qui marche déjà très bien, comme les compétences des meilleurs documentalistes juridiques ou l’application Jurisprudence chiffrée (cf juste infra).

L’article précité de Valérie de Senneville aux Echos le souligne :

« pour le moment, " il y a beaucoup d’effets d’annonce ", remarque Jean Lassègue, philosophe et chercheur au CNRS. L’épistémologue, qui a consacré de nombreux travaux à l’informatique [il est l’auteur, avec Antoine Garapon, de l’ouvrage de référence « Justice digitale »], invite à s’interroger sur le problème de la qualification des faits et de leur catégorisation. " La machine ne peut pas régler cela ", affirme Jean Lassègue. »

Antoine Garapon, secrétaire général de l’Institut des hautes études sur la justice (IHEJ), ne dit pas autre chose dans son entretien avec Les Petites Affiches (septembre 2017) [137] :

« LPA — L’impact réel des legaltechs sur le droit ne reste-t-il pas néanmoins encore assez limité ?
A. G. — Bien sûr et je pense que l’impact le plus important du de la legaltech se situe en réalité sur le plan imaginaire. [...] Il est en effet frappant de constater à quel point on évoque legaltech et justice prédictive quand les réalisations pratiques restent très mineures puisque ces technologies ne sont pas encore matures. »

Seuls Predictice et plus encore Case Law Analytics [138], comme on le verra plus loin, peuvent avoir la prétention — toute relative — de prédire, avec une marge d’erreur, les jugements.

D’abord, définir. La "justice prédictive" est, selon le rapport Cadiet, remis en 2017 à la Chancellerie, « un ensemble d’instruments développés grâce à l’analyse de grandes masses de données de justice qui proposent, notamment à partir d’un calcul de probabilités, de prévoir autant qu’il est possible l’issue d’un litige ». Notez bien le « notamment », car il est également possible de modéliser les critères de prise des décisions de justice au lieu de les "statistiser" et c’est un point capital du débat.

Le Dictionnaire de droit privé de Serge Braudo propose, lui, la définition suivante : « "La jutice prédictive" est une notion récente évoquée par une partie de la presse, et par une partie des professionnels du Droit qui partent de la constatation que toute décision judiciaire comporte sa part d’aléa. Le calcul portant sur la fréquence des décisions rendues par les tribunaux devrait permettre de dégager des algorithmes mesurant les risques courus dans l’engagement d’une procédure ou d’un arbitrage. Le fait de quantifier le risque juridique permettrait de désengorger les juridictions et un traitement de masse des dossiers libérant les professionnels de la réalisation de tâches bien trop souvent répétitives. »

Autre tentative de définition : Eloi Buat-Ménard, adjoint au directeur du Service de documentation, des études et du rapport (SDEC) de la Cour de cassation, dans sa contribution à un dossier sur Les défis de la justice numérique, veut écarter les fantasmes sur ce qu’est la justice dite "prédictive" [139]. Nous le citons quasiment in extenso car ce propos vient d’un magistrat très bien placé pour parler de la justice prédictive, vu son poste :
« Est "prédictif" ce qui permet de prévoir des faits à partir d’éléments donnés. Si l’on entend par "prévoir" le fait d’apprécier la probabilité d’un fait futur, alors oui, le concept de justice prédictive peut avoir du sens, à l’instar de la notion de médecine prédictive, qui détermine, par l’étude des gènes, la probabilité de développer une maladie donnée. [...]
Mais si l’on rattache la notion, non à la prévision mais à la prédiction, c’est-à-dire à l’action d’annoncer à l’avance un événement, comme sa racine l’y invite, alors le concept est inepte. Cela pour une raison très simple : la jurisprudence n’est pas un système clos. Autrement dit, une décision de justice n’est, et de loin, pas la résultante des seules décisions passées mais d’une pluralité de facteurs plus ou moins bien identifiés : contexte jurisprudentiel, certes, mais aussi normatif, politique, social, professionnel, médiatique, voire affectif, climatique (juge-t-on de la même façon en période orageuse ou de canicule ?), alimentaire (juge-t-on de la même façon le ventre creux ?), familial (juge-t-on de la même façon sous le coup d’une rupture douloureuse ?), culturel, etc. Bref, tout ce qui fait que la justice est et demeurera, du moins l’espère-t-on, une oeuvre humaine.
Dans cette acception, un algorithme proprement "prédictif", c’est-à-dire capable de prendre en compte une telle pluralité d’interactions causales, reste à ce jour une pure vue de l’esprit, sauf à envisager une drastique restriction du champ des causalités jurisprudentielles à la seule raison juridique (déjà quelque peu délicate à identifier précisément), figée - ou limitée - dans son évolution, ce qui nous éloigne immanquablement du concept même de justice. Les juristes romains avaient déjà parfaitement perçu le danger d’une "justice" totalement prévisible dans son application qu’ils tenaient précisément pour une forme d’injustice : c’est ce qu’exprime l’adage summus ius, summa iniuria. »

Il est en effet difficile de prétendre que la justice prédictive au sens de prévision judiciaire — comme la prévision météorologique — existerait actuellement en France. Et le terme, comme nous l’avons vu plus, haut porte beaucoup (trop) de "hype" en lui. Le concept d’analyse mathématique et algorithmique des décisions de justice est plus proche de la réalité. Plus concrètement, il s’agit de statistique et/ou de modélisation imparfaites des décsions de justice. Cette description nous semble plus réaliste et plus opérationelle. [140]. C’est ce que nous allons tenter de montrer.

Imparfaite pour l’instant, car 200 000 décisions judiciaires publiées par an, alors que 3.8 millions sont rendues sur la même période, c’est un échantillon insuffisant en termes de statistiques. Sans compter que dans de nombreux cas, les faits ne sont pas détaillés ou insuffisamment détaillés, même dans le jugement de première instance, si on l’avait (cas classique des décisions pénales, que par déontologie Predictive et Case Law Analytics ont choisi d’exclure — ce qui nous semble justifié).

A court et moyen terme, le délai d’implémentation de la justice prédictive sur la grande masse du contentieux est incompressible. En effet, elle ne pourra pas être implémenté sur l’ensemble des décisions de justice de première instance et avec une pleine efficacité avant un minimum de huit ans à compter de 2017.

Explication. Compte tenu des spécificités du droit français (pas de la common law ... mais pas un véritable problème [141]), de la (relativement) petite taille du marché français du droit, de l’absence pour l’instant de disponibilité en accès libre et gratuit (open data) [142] des décisions judiciaires de première instance [143] avant des années malgré la loi Lemaire pour une République numérique [144], de la nécessité d’un partenariat entre un éditeur juridique et un éditeur de système de machine learning [145], cela devrait prendre au minimum huit ans à compter de 2017 et peut-être plus.

A noter que le NLP à la "sauce" machine learning, en droit français, sert de nos jours de plus en plus à pseudonymiser (on ne dit plus anonymiser, ça c’était avant le RGPD) automatiquement les décisions de justice. Le legal tech Doctrine.fr s’était lancé dès ses débuts en 2016 dans cette tâche, ce qui avait d’ailleurs entraîné à l’époque un débat [146] très intéressant avec le développeur et ingénieur ML Michaël Benesty, attelé à la même tâche, sur les limites des performances du ML en la matière. L’état de l’art en 2016-2017 était en fait très insatisfaisant. Pour citer M. Benesty fin 2016 :
« Pour avoir un taux d’erreur de 10% (qui est déjà important), il faudrait un algorithme ayant un taux d’identification par mention de plus de 99% (en théorie). L’état de l’art en septembre 2016 des algorithmes mis au point dans les universités (donc en avance sur les systèmes utilisés dans l’industrie) est à 92%. Même en “trichant” par l’ajout de règles manuelles, on arrive péniblement à 96%. Or, d’une manière générale en machine learning, plus le taux est haut, plus il faut d’efforts pour progresser.
En matière de bases de données en santé (où le problème de l’anonymisation des données se pose aussi), le taux de rappel (différent de l’accuracy, on en parle ici pour comparaison des grandeurs) rapporté en anglais (langue plus facile à traiter pour les machines, car morphologiquement pauvre) est de 94%.
On voit bien que l’approche anonymisation à 100% via le machine learning (c’est-à-dire sans aucune intervention humaine) se heurte à un plafond de verre. »

Toutefois, les ingénieurs machine learning/"data scientists" d’Etalab (EIG) envoyés assister la Cour de cassation ont beaucoup beaucoup progressé en 2019 en utilisant deux librairies de "Named Entity Recognition" bien connues, Spacy et Zalando Flair : « diminution de 32% du taux d’erreur avec une meilleure utilisation de la connaissance de l’ensemble des données au lieu de simplement travailler au niveau de la phrase » et atteinte d’un « taux de réussite de 99,96 % sur les noms et prénoms » [147]. Selon l’article d’Acteurs Publics (accés réservé) :
« La mission Etalab se chargera, à ce titre, de faire office de courroie de transmission avec les autres institutions désireuses d’appliquer la méthode de la Cour de cassation pour anonymiser leurs documents. Pour autant, la généralisation du nouveau moteur d’anonymisation à toutes les institutions judiciaires n’est pas pour demain, tant le paysage des applicatifs informatiques du ministère de la Justice reste encore aujourd’hui éclaté. En attendant, la Cour devrait adopter le nouveau logiciel mis au point par les deux EIG d’ici la fin de l’année [2019]. »

Revenons à notre notion d’analyse statistique imparfaite des décisions de justice. Elle vaut aussi pour l’avenir. Car l’idée qu’on va pouvoir vérifier que, dans une même situation, les juges rendent des décisions identiques, au-delà même des inconvénients de la pression politico-médiatico-sociale que cela leur mettrait, est largement biaisée. Ce, pour plusieurs raisons :

  • « un seul et même juge peut adopter des solutions divergentes dans des affaires présentant les mêmes caractéristiques » [148]
  • la notion de "même situation" est une illusion : dans le détail, les situations de fait sont très rarement totalement identiques dans les décisions de justice (et j’en ai lues beaucoup). C’est la qualification juridique de ces faits qui peut donner cette impression
  • les statistiques sont une autre illusion (vu les interprétations hâtives et abusives qu’on en fait le plus souvent, notamment en utilisant des graphiques), mais *en partie* seulement (sauf si elles sont faites sans suivre les règles, ce qui arrive plus souvent qu’on croit : représentativité échantillon, biais ...). Elles permettent en revanche de *tenter* de décrypter la jurisprudence [149]. Comme le disait le Premier président de la Cour de cassation Bertrand Louvel lors du colloque de 2016 sur l’open data de la jurisprudence : la « jurisprudence », c’est « la tendance habituelle d’une juridiction ou d’une catégorie de juridictions à juger dans tel sens » [150]
  • une statistique est une *simplification*, outrancière si elle manque de finesse (préférer les déciles ou la médiane à la moyenne, par ex.). Cette simplification permet toutefois de détecter ou prouver des tendances.

A l’heure actuelle, les statistiques de la justice prédictive restent donc fragiles car leur substrat est peu représentatif. On constate aussi, à tester les outils, que ces statistiques nécessitent fréquemment des interprétations et des explications. De plus, la qualité varie selon les outils.

Les statistiques de la justice prédictive restent fragiles également parce que comme le souligne le sociologue et chercheur CNRS Julien Larrègue les applis et expériences menées nous « apprennent peu de choses sur les raisons et le sens des décisions » [151] (sans même parler du problème de l’explicabilité des résultats de l’IA).

Encore une fragilité des statistiques de justice prédictive (cf à nouveau J. Larrègue [152]) : en droit pénal (et peut-être en droit civil — droit de garde lors du divorce, voire procédures collectives), les applications ignorent les recherches menées en sciences sociales et celles de "jurimetrics" menées depuis les années 40.

Notez bien que nous avons parlé jusqu’ici des limites des *statistiques* en matière de décisions de justice. Pas des limites de la *modélisation* de la prise de ces décisions, ce qui est fait par une seul acteur, Case Law Analytics, et s’avère in fine, particulièrement face au manque très net de décisions couvrant le même cas dans le même type de contentieux (y compris en droit du licenciement, plus rigoureux. Ainsi, pour obtenir des statistiques solides en droit du licenciement sans cause réelle et séreuse, il faudrait avoir quelques centaines de décisions du même bassin d’emploi ou au minimum émanant de tribunaux du même ressort de cour d’appel, de moins de 5 ans d’écart, sur le même type de poste/métier, même niveau de responsabilité, même niveau de rémunération et même ancienneté. Actuellement, dans le meilleur des cas, on arrive à quelques dizaines de décisions de ce type, souvent liées à un unique gros plan social. Or le fait même que ces décisions soient de facto majoritairement issues de la même affaire est un biais statistique lié à l’échantillon ... C’est pourquoi modéliser les critères de la décision de justice est une piste plus intéressante.

Dernière limite, enfin, le degré d’acceptation par la société, encore limité (cf la dernière partie de ce billet). Toutefois, si l’on s’en tient à l’histoire récente des innovations, les systèmes de machine learning en droit finiront, selon toute probabilité, par être assez rapidement acceptés par les consommateurs de droit. Les professionnels du droit vont donc, à terme, devoir suivre. En fait, un nombre important d’avocats et encore plus important d’assureurs se sont déjà lancés, en prenant des abonnements chez Predictice et Case Law Analytics. Comme le rappelle un professionnel américain des enquêtes ("fact finding") pour avocats, dans un excellent article qui remet les pendules à l’heure, les "IA" d’aujourd’hui sont les "logiciels" de demain [153].

Les limites des "IA" juridiques françaises en matière de recherche en langage naturel

Marc Clément, président de chambre au tribunal administratif de Lyon, ex-rapporteur à la cour d’appel administrative de Lyon et important commentateur des apports du numérique aux juridictions administratives [154] fait remarquer que « dans la réflexion sur la "justice prédictive", il est très rarement fait allusion au fait que l’outil informatique est déjà au cœur du métier du juge », et ce, à travers les recherches sur les bases de données de jurisprudence et de doctrine, particulièrement les juges administratifs qui bénéficient de l’ensemble des grandes plateformes des éditeurs juridiques (pas les magistrats de l’ordre judiciaire, pauvre, lui). En effet, face au nombre de résultats trop important pour qu’on les lise tous, les juristes sont obligés, soit de diminuer ce nombre en ajoutant des mots-clés soit de faire confiance à l’algorithme de tri par pertinence. Le choix d’un "mauvais" mot-clé peut faire disparaître des résultats pertinents, tandis que les règles dirigeant l’algorithme de tri par pertinence ont leurs propres biais [155].

Entre parenthèses, l’argument — tout à fait exact — de M. Clément renforce la nécessité d’apprendre aux jeunes juristes à chercher en suivant tout simplement les tables des matières, index alphabétiques, plan de classement, thésaurus, notes de bas de page et autres accès hiérarchiques ou guidés. Le plan de classement de la jurisprudence administrative (PCJA) maintenu par les équipes du Conseil d’État n’est rien d’autre que ça : un guide extrêmement performant pour trouver rapidement toute la "JP" faisant autorité sur un sujet. Evidemment, les outils hiérarchiques et d’indexation matière ont leurs propres limites : ils ne sont jamais exhaustifs, coûtent cher à maintenir et, du fait de leur réalisation humaine [156], ne pourraient probablement pas traiter une masse de plusieurs millions de documents (les juridictions judiciaires rendent 3,8 millions de décisions par an, dont 1,2 pour les décisions pénales [157]). C’est justement pour ça qu’on cherche aujourd’hui par mots-clés et que les technologies de l’IA s’attaquent aux limites de ce mode de recherche.

Pour autant, les techniques de recherche utilisant le machine learning ont leurs limites à elles, bien plus gênantes si on considère qu’on ne sait pas précisément pourquoi tel mot va trouver tel résultat. C’est le fameux problème de la transparence des IA, non résolu à cette heure, et que Marc Clément rappelle à juste titre. Oui, mais si l’algorithme est plus pertinent que la recherche en texte intégral, on est globalement gagnant, me direz-vous. Certes, mais avec l’IA actuelle, on va vers des logiciels dont les utilisations seront différentes et les conséquences bien plus importantes puisqu’on parle de statistiques sur les solutions des litiges, le montants des indemnisations et potentiellement les peines de prison. Le manque de transparence de l’IA est alors autrement plus gênant.

Marc Clément, toujours lui, fait également remarquer que « les structures des textes juridiques sont des points d’appui précieux pour construire une analyse automatique. On peut ainsi sans trop de difficultés identifier des références à des articles de code ou à des jurisprudences, ce qui place d’emblée un texte juridique dans un réseau d’autres textes » [158].

En pure théorie, M. Clément a raison : les références, dans les documents juridiques [159], aux autres documents sont autant de liens et de recommandations implicites qui devraient aider les algorithmes de machine learning à identifier les documents les plus pertinents par rapport à la "question" posée — la requête devrait-on dire.

Mais la réalité est autre :

  1. Primo, si c’était si simple, les legal tech, depuis trois ans qu’elles existent en France, auraient dû arriver à quelque chose de mieux, avec les arrêts des juridictions suprêmes et des cours d’appel, que ce qui existe actuellement. C’est donc qu’il y a de sérieuses difficultés dans ces arrêts.
  2. Les décisions des juridictions administratives sont beaucoup mieux structurées que celles des juridictions judiciaires. Parce qu’elles ont plus de moyens financiers et en personnel [160], parce qu’elles produisent plus de dix fois moins de décisions (260 000 par an contre 3,8 millions), parce qu’elles n’ont pas la même indépendance que celle des cours d’appel et tribunaux judiciaires et que les règles de rédaction des décisions sont donc précises et unifiées [161]. Cette bien meilleure structuration rend leur mise en base de données, leur pseudonymisation et les recherches dessus beaucoup plus faciles — c’était évident quand on interrogeait Supra Legem — et moins chères. Exemple de ce qu’il faudrait faire sur les décisions judiciaires, un travail collaboratif dans le cadre du forum Open Law en 2017 a permis de dégager une quarantaine de champs et d’annoter environ 400 décisions extraites de Legifrance. Pour plus de détails, voir notre billet L’open data des décisions des cours d’appel et tribunaux n’est pas pour demain.
  3. Et puis, les décisions des tribunaux judiciaires de première instance ne sont pour l’instant pas disponibles : ni numérisées nativement dans la très grande majorité des cas [162], ni suffisamment structurées, ni suffisamment balisées au plan du code informatique. Même les jugements des tribunaux de commerce ne sont pas ni assez structurés ni assez balisés informatiquement pour pouvoir être "mangés" efficacement par une base de données. L’objet du fameux contrat entre Infogreffe et Doctrine.fr (finalement résilié par Infogreffe) était justement probablement de traiter ces jugements pour résoudre en partie ce problème [163] — les autres aspects étant leur pseudonymisation [164] leur "mise en base de données".

Tout ceci explique très largement pourquoi, selon toute probabilité et à l’exception totale de l’ex-Supra Legem [165] et partielle de Case Law Analytics, les applications de justice prédictive utilisent essentiellement, pour leur moteur de recherche et l’analyse des décisions, des systèmes fondés sur les chaînes de caractères et les expressions régulières (regex), dont le précurseur en France sont les cartouches ex-Luxid (devenues Cognito Discover) de la société Expert System, ex-Temis [166], dont nous avons parlé plus haut.

Voyons maintenant les produits un par un.

Predictice

Créé en 2016 par le jeune avocat Louis Larret-Chahine, Predictice est un outil d’aide à la décision à destination des professionnels du droit et des assureurs [167]. Dans une première étape, il permet d’accéder à la jurisprudence via [168] :

  • un moteur de recherche en langage naturel utilisant des technologies d’analyse syntaxiques simples mais aussi les opérateurs booléens classiques [169], ce qui est un plus pour les spécialistes de la recherche (et pas seulement les documentalistes)
  • des filtres : juridictions, chef de demande dans le dispositif de la décision, s’il a été accepté ou refusé, montant alloué, type de solution (confirmation, infirmation, partielle ou pas), base légale/texte cité. Certains filtres sont spécifiques à une matière, comme ceux du salaire brut et de l’ancienneté du salarié en matière de licenciement
  • une fois arrivé sur une décision, des suggestions de décisions similaires.

Une fois les résultats atteints, la deuxième étape est l’analyse statistique du contentieux (dite "prédictive"). On sélectionne un chef de demande parmi ceux trouvés par l’application lors de la recherche — on peut aussi en taper un autre. Un algorithme calcule alors les probabilités de résolution du contentieux, le montant des indemnités potentielles et identifie les moyens de droit ou les faits les plus influents dans les décisions antérieures rendues par les juridictions [170]. La restitution des analyses se fait sous forme graphique ou statistiques. L’application utilise des technologies de NLP (TAL) simples à base de synonymie et de règles pour chercher dans les décisions de justice, les analyser et extraire les données.

Concrètement, chez Predictice, il s’agit d’abord de lister le type de partie vainqueur et donc de donner un pourcentage de chances de remporter un procès sur un type de contentieux, et de déterminer les montants de dommages-intérêts alloués selon la cour d’appel, sans oublier la répartition des montants (par décile par exemple), le tout cartographié [171]. S’ajoute à ces informations les décisions les plus récentes en votre faveur ou en votre défaveur, celles ayant alloué les dommages-intérêts les plus importants et les moins importants et d’autres statistiques plus détaillées. L’analyse produite est facile à télécharger ou imprimer — et donc à présenter au client ou à la partie adverse, c’est prévu et voulu par Predictice. Les analyses statistiques sont réalisées avec les avocats et juristes partenaires.

D’abord en pilote auprès de structures partenaires (Orange, AXA, Covéa, Dentons, Solocal, Taylor Wessing), Predictice est commercialisé depuis septembre 2017 [172].

Le test de l’application au sein des deux cours d’appel de Rennes et Douai s’est terminé début octobre 2017 : les magistrats n’ont pas adopté l’outil, estimant que, malgré sa « modernité », il « méritait d’être sensiblement amélioré [173].

En fait, ce que les magistrats testeurs reprochaient à l’application, c’était la non-prise en compte de biais statistiques [174] : « Xavier Ronsin est le premier président de la cour d’appel de Rennes. Ses magistrats ont testé un logiciel (Predictice, pas celui développé à Nantes) pendant quelques mois. Bilan  ? "C’est la déception. Rien ne remplace le regard d’un juge. Le logiciel que nous avons testé n’apporte aucune plus-value dans le travail des magistrats." Xavier Ronsin évoque même des "biais de raisonnement" du logiciel qui se fonde sur des comparaisons de décisions passées, sans forcément en examiner les motivations. »

Il faut lire l’interview de Xavier Ronsin donnée à Dalloz Actualité en 2017 pour mieux comprendre ce que techniquement les magistrats reprochaient à l’outil [175] :

« On se situe plus dans un projet d’approche statistique et quantitative que qualitative. Parfois, les résultats peuvent même être aberrants. Prenons l’exemple d’un calcul d’indemnités de licenciement sans cause réelle et sérieuse. Les montants sont calculés par le juge en mois de salaire. Or le salaire d’un cadre n’est pas le même qu’un ouvrier. Il suffit qu’une décision de justice concerne un cadre pour fausser complètement l’analyse, selon l’affaire ou le bassin d’emplois, et pour que le résultat proposé ne dise rien du cas à résoudre. Il serait plus pertinent de privilégier une approche selon le nombre de mois de salaire alloué, plutôt que savoir si le résultat probable sera de 4 000 ou 8 000 €. [...]
Le logiciel ne s’intéresse qu’au dispositif d’une décision de justice. L’algorithme ne sait pas lire toutes les subtilités de la motivation, surtout lorsque la décision est complexe. »

 [176]

Après deux mois d’utilisation intensive de Predictice, l’avocat geek Frédéric Cuif a fait son bilan [177]. Il apporte d’autres éléments intéressants.

En 2018, le nombre d’abonnés a visiblement cru — sans que la société publie de chiffre. Les assureurs Covéa, Allianz, la Maif et Pacifica sont clients [178]. La page d’accueil du site de Predictice affiche les cabinets d’avocats utilisateurs.

Case Law Analytics

Case Law Analytics (CLA) était en fait, jusqu’à il y a peu, une recherche INRIA (Institut national de recherche en informatique et automatique). Ce n’est qu’en septembre 2017 que CLA est devenu une société. Elle est basée à l’Atlanpole de Nantes et a été sélectionnée par Microsoft pour son programme d’incubation au sein de Station F à Paris. Cet "offshoot" de l’INRIA a été créé à l’origine mi ou fin 2015 par Jacques Lévy Véhel, mathématicien et à l’époque directeur de recherche à l’INRIA [179] et Jérôme Dupré, alors magistrat en disponibilité, et devenu depuis avocat au barreau de Nantes. C’est J. Lévy Véhel qui a créé la société [180] et il est aujourd’hui associé principal [181] — mais d’après lui, Jérôme Dupré continue à jouer un rôle de conseiller.

Sur Case Law Analytics, il y avait jusqu’au printemps 2017 très peu de choses à lire. La startup était alors très discrète sur le plan médiatique. Le passage au statut de société approchant [182], les publications se sont ensuite succédées [183]. Il s’agissait à l’origine d’une évaluation probabiliste des dommages-intérêts, elle-même découlant de travaux sur les montants des indemnités de licenciement faits pour la préparation de la loi Travail et d’un intérêt personnel du fondateur de CLA pour la quantification des décisions de justice, ayant été lui-même confronté à un contentieux [184]. En 2014, Jacques Lévy Véhel avait initié une collaboration avec le magistrat Jérôme Dupré, autour de la modélisation des prestations compensatoires. Extrait de l’article du Village de la Justice (mars 2017) :

« " Il ne s’agit pas de dire la probabilité d’aller au contentieux mais plutôt d’estimer les sommes d’argent que vous pouvez être condamné à payer dans tel ou tel cas de figure, explique Jérôme Dupré. Nous n’aimons pas l’expression “justice prédictive”, qui est à notre avis trompeuse et parfois même dangereuse. C’est pourquoi nous ne donnons pas un chiffre unique mais une distribution probabiliste des montants de condamnation possibles. Il est difficile de calculer ce risque parce que les aspects procéduraux sont complexes à modéliser pour le moment mais c’est possible dans certains cas. " »

Ensuite, Case Law Analytics a évolué vers un logiciel qui fonctionne pour partie comme un système expert et pour partie comme un outil d’aide à la décision. Mais ses créateurs se fondent moins que Predictice sur la statistique — J. Lévy Véhel refuse notamment de donner des moyennes — et plus sur un système qu’ils qualifient de « juges virtuels ». L’interview de J. Lévy Véhel par Ekipio et celle par le MediaLab de France Télévisions soulignent les points-clés de son produit :

  • Case Law Analytics fonctionnant en partie comme un système expert (voir infra), il ne dépend pas de la disponibilité d’une masse de décisions statistiquement significative et peut donc compenser le manque de magistrats face au nombre de dossiers (une différence fondamentale avec Predictice) [185]. Au moins, lui est clair là-dessus. Au demeurant, en tant que justiciable et juriste en même temps, je ne partage pas complètement son avis : quantité d’affaires qui paraissent basiques, qui selon des juges ne méritent pas qu’on y passe du temps, le mériteraient (il faudrait faire des recherches, en fait et en droit, qui ne sont pas faites [186]) et sont traitées par dessus la jambe. Là-dessus (pour les particuliers justiciables de base), la justice prédictive, selon moi, ne permettra en effet que de gagner du temps — rien d’autre
  • comme Louis Larret-Chahine de Predictice, J. Lévy Véhel dit ne pas croire pas au danger d’uniformisation de la jurisprudence. Pour lui, son logiciel est un outil d’aide à la décision. Entre parenthèses, questionné par un de ses interviewers, J. Lévy Véhel reconnaît qu’il faut « un peu de formation » pour les justiciables et recommande une formation de base en mathématiques et statistiques pour les juristes, ce qui montre l’importance — et la difficulté relative — d’interpréter les résultats des applications de justice prédictive
  • CLA ne travaille que sur un nombre limité de domaines du droit, relativement étroits et homogènes. Par opposition, Predictice est un généraliste. CLA se limite actuellement (fin 2018) à une quinzaine de domaines : rupture brutale des relations commerciales, marchés publics, abus de position dominante , baux commerciaux, licenciement sans cause réelle et sérieuse, opérations d’initiés (droit boursier). Les manquements d’initiés sont un domaine où les décisions sont très peu nombreuses (on parle d’environ 230 décisions à fin novembre 2018), ce qui illustre assez bien le côté système expert. Idem pour la rupture brutale : 2200 décisions environ. CLA ne peut pas travailler sur un dossier exceptionnel, en revanche
  • les techniques et étapes utilisées : dans un premier temps, J. Lévy Véhel et son équipe font parler « un grand nombre de magistrats et d’avocats spécialistes du domaine pour établir l’ensemble des critères intervenant dans la prise de décision » (entre 20 et 120) et le raisonnement utilisés par les juges pour trancher. Ça, c’est une technique d’IA à l’ancienne : c’est du logiciel expert (cf supra). Et cela permet à CLA de dire qu’ils offrent des « juges virtuels ». Un « référentiel » plutôt, en réalité, pour reprendre un autre terme utilisé par J. Lévy Véhel.
    Dans un deuxième temps, CLA constitue une base de données de décisions de justice sur le sujet (peu d’IA là-dedans). J. Lévy Véhel : « Nous utilisons bien sûr des outils de traitement du langage naturel, pour retrouver automatiquement certains critères, mais une partie du travail est effectuée manuellement, par des humains. »
    Dans un troisième temps, en utilisant les critères dégagés à l’étape 1 et les données regroupées dans l’étape 2, CLA "apprend" à la machine à s’approcher d’un raisonnement de juge. En clair, la troisième étape consiste à créer un logiciel ad hoc qui va se nourrir de cette jurisprudence codifiée pour repérer les zones dans les arrêts où se trouvent les critères de décision des juges et modéliser la prise de décision d’un juge dans ce type d’affaires. J. Lévy Véhel : « Nous faisons appel, sans a priori, à toutes les techniques d’apprentissage automatique à notre disposition. Il peut s’agir de réseaux de neurones, de forêts aléatoires, de machines à vecteurs de support, de réseaux bayésiens ... Nous choisissons ceux qui nous semblent efficaces dans le cas de figure et nous construisons un logiciel unique à partir de là. » La voilà, l’IA.
    Enfin, après que l’utilisateur ait choisi dans l’interface ses réponses aux critères (ses paramètres en quelque sorte), CLA sort un éventail de décisions et de dommages-intérêts représentatifs [187]. Plus précisément, « Case Law Analytics n’ambitionne pas de produire un seul jugement, mais une palette des décisions possibles ». Comme l’explique J. Lévy Véhel : « J’entraîne dans ma machine 100 juges virtuels. Ces 100 juges vont chacun prendre une décision et l’ensemble de ces 100 jugements ne reflètent ni plus ni moins que les décisions qui seraient prises à la cour d’appel de Paris à tel moment, sur tel dossier. » La fiabilité des résultats, selon le mathématicien, « oscille entre 85 % et 95 % » [188].
    Clairement, à travers ces techniques et les propos de J. Lévy Véhel, CLA se positionne comme de la "justice prédictive" haute couture, pas du prêt-à-porter. Case Law Analytics n’est pas un éditeur de logiciel mais une sorte de SSII vendant ce qui s’apparente en réalité à des développements spécifiques. Pour citer J. Lévy Véhel : CLA travaille « au cas par cas »
  • CLA n’offre pas de moteur de recherche de décisions, une fonctionnalité pourtant présente chez tous les autres acteurs de la justice prédictive, particulièrement Predictice. CLA fournit juste les n° RG d’une sélection de décisions représentatives, à titre d’illustration. Et contrairement à Predictice, CLA ne fournit pas le texte intégral des arrêts
  • CLA n’a pas accès aux arrêts hors des bases CASS, INCA et JuriCA, sauf décisions inédites fournies par ses partenaires (situation très similaire à celle de Predictice). Pas de jugements de première instance pour l’instant
  • J. Lévy Véhel refuse de se ranger dans la course à la taille. Pour lui, un échantillon de 1500 décisions (isolées dans une base beaucoup plus grande, cf étape 1) suffisent à la machine pour "apprendre". En même temps, les 2000 arrêts rendus par la CA de Paris depuis 2012 sur la rupture brutale des relations commerciales sont insuffisantes : c’est notamment pour surmonter cela que CLA utilise sa technique dite de "juge virtuel"
  • CLA refuse de profiler les juges et les avocats. Elle anonymise leurs noms dans les décisions. Et comme Predictice, Lévy Vehel et son associé refuse de travailler sur le contentieux pénal.

En novembre 2017, le cabinet d’avocats (spécialisé en droit social) Clichy Grangé a annoncé s’être équipé de l’outil Case Law Analytics [189]. Autres clients selon CLA : le cabinet d’avocats Quinn Emanuel, la direction juridique de SNCF Réseau et les assureurs Axa Protection juridique et Allianz. D’autres utilisateurs sont listés sur la page d’accueil du site de CLA.

Comme chez Predictice, les abonnements ont semble-t-il cru en 2018 — là aussi sans chiffres publiés.

Au vu de ses particularités, CLA mérite donc plus que les autres applications de justice prédictive le qualificatif d’IA.

Legalmetrics (Lexbase)

Legalmetrics, sorti à l’été 2018, utilise le fonds jurisprudentiel de l’éditeur juridique Lexbase. A partir du nom d’une société, il affiche un camembert avec les divers types de contentieux qui l’ont concernée. Il s’agit en fait de notions juridiques directement reliées aux tables du Bulletin des arrêts civils de la Cour de cassation. Cliquer sur les tranches amène ensuite aux décisions.

La démarche est certes innovatrice et apprend à l’utilisateur quelque chose d’impossible à trouver/déduire avec les bases traditionnelles de jurisprudence, mais on aimerait voir l’éditeur aller plus loin dans l’analyse du contentieux et proposer d’autres fonctionnalités. Legalmetrics laisse l’impression d’un POC ("proof of concept").

Peu d’IA et pas de justice prédictive là dedans, donc.

Deux prédécesseurs : Jurisprudence chiffrée et Données quantifiées Juris-Data

C’est quelque chose que l’éditeur juridique Francis Lefebvre avait déjà approché avec son produit Jurisprudence chiffrée fondé sur les faits et chiffres présents dans les arrêts de cour d’appel de la base JuriCA. Jurisprudence chiffrée trouve depuis 2010 des arrêts de cour d’appel correspondants aux critères exacts donnés et le montant des dommages-intérêts. Par exemple, à partir de la profession et l’ancienneté, Jurisprudence chiffrée donne le montant des dommages-intérêts pour licenciement sans cause réelle et sérieuse [190]. Jurisprudence chiffrée utilise un programme qui identifie les zones des arrêts d’appel riches en information de type juridiction, adresse, profession, âge, ancienneté, montant des indemnités etc., isole ces informations et permet de mener une recherche d’arrêts très rigoureuse par ces critères combinés. Mais à l’époque de sa conception, les avancées du machine learning commençaient à peine, il est donc peu probable que Jurisprudence chiffrée utilise le ML [191]. En revanche, il y a un travail fin sur le langage naturel, à base de cartouches de langage d’Expert System (ex-Temis, cf supra).

Jurisprudence chiffrée est un outil de traitement du langage naturel (TAL). A ce titre, il a été le précurseur.

Interface de recherche de l’application Jurisprudence chiffrée en matière d’indemnité d’éviction (baux commerciaux)

La base (et ouvrage) rivale de LexisNexis Contentieux de l’indemnisation devenue JurisData Analytics (et accessible par l’onglet Pratique & Outils de Lexis360, mais non comprise dans l’abonnement standard à Lexis360) est elle, en revanche, faite "à la main" et sans TAL/NLP, ce qui permet tout au plus de la ranger dans la catégorie analyse prédictive (les résultats sont présentés sous une forme assez dans le style "tableau de bord") mais pas dans celle de l’IA [192]. Fondée sur une conception de l’informatique juridique datant des années 60, elle est nourrie avec une sélection d’arrêts d’appel "épluchés" pour leurs données et provenant de la base Juris-Data [193], soit 50 000 arrêts à novembre 2017 [194]. Tout comme Jurisprudence chiffrée, elle ne traite que certains thèmes : licenciement, rupture de bail commercial, pension alimentaire et prestation compensatoire ...

Doctrine.fr

Doctrine.fr, malgré son nom, ne contient pas de doctrine, mais des liens (très nombreux) vers des actualités gratuites des éditeurs juridiques (EFL Actualités, Dalloz Actualité, site de la Gazette du Palais, LegalNews ...), vers des billets de blogs juridiques (celui du professeur Dondero y est en bonne place) et vers quelques sites de définitions (le Dictionnaire de droit privé de Serge Braudo) ou de synthèse (Open Dalloz). En matière de doctrine (et encore, Dalloz.fr mis à part, je parlerais plutôt d’actualités), c’est donc un métamoteur. Pour le reste et pour l’essentiel, c’est une base de données de jurisprudence brute qui a récemment perdu son avance en termes de contenu [195].

Ses apports sont ailleurs :

  • d’abord, proposer un moteur de recherche de jurisprudence extrêmement simple à utiliser et extrêmement rapide (dit "search-as-you-type") [196]. Le "learning curve" (délai d’apprentissage) est quasiment nul. Certes, construire une plateforme et un moteur "from scratch" aide beaucoup ici. Il n’empêche : les éditeurs juridiques traditionnels feraient bien d’en prendre de la graine et certains ont déjà adopté la technologie plébiscitée du type-as-you-search [197]
  • également, le moteur personnalise les résultats en fonction du profil de l’utilisateur (recherches déjà effectuées, résultats visualisés), en agissant sur leur tri [198]
  • ensuite, utiliser le machine learning pour pseudonymiser les décisions de justice, pour les classer par matière suite à une recherche (voir la colonne de gauche) et pour aider à sélectionner les documents à envoyer dans les alertes email. Le NLP à la "sauce" ML ne semble pas utilisé directement pour la recherche elle-même, mais pour classer automatiquement les décisions de justice par domaine du droit — le résultat est pertinent — et les découper (date, numéro, motifs, dispositif etc.) [199], ce qui aide à affiner les résultats de la recherche. Il est également utilisé par Doctrine.fr pour pseudonymiser (anonymiser disait-on avant le RGPD) les décisions, c’est-à-dire remplacer les noms de parties personnes physiques par des lettres majuscules comme A..., B...
  • enfin, le "business analytics", version "legal" : Doctrine.fr lie les entreprises (définies par leur numéro RCS) à leur fiche RCS, lie les décisions sur les entreprises aux avocats qui ont travaillé sur l’affaire et présente des statistiques à partir de cela. Il est possible que le repérage des noms des avocats utilise du machine learning, mais fondamentalement, les champs Parties (retirés depuis quelques années [200] mais bien présents auparavant) et texte intégral des bases de données actuelles de jurisprudence permettent déjà d’établir ce type de liens [201], certes de manière nettement moins pratique.

Pour l’instant, le moteur de Doctrine.fr fonctionne donc essentiellement comme un "full text" [202] à réponse quasi-instantanée. L’application n’appartient donc pas au segment de la justice prédictive. Et même s’il utilise des technologies d’IA, il est difficile de qualifier l’ensemble d’IA au sens où le coeur du système, le moteur de recherche semble en utiliser peu.

JuriPredis

JuriPredis, lancé officiellement en octobre 2018, est un moteur de recherche de jurisprudence sur le fonds Legifrancehttps://www.data.gouv.fr/fr/reuses/juripredis/] (bases CASS, INCA, CAPP — pas JuriCA, payante —, JADE, CONSTIT). Autrement dit la Cour de cassation, le Conseil d’Etat et les cours administratives d’appel, et un tout petit peu de cours d’appel.

Il utilise, selon nos tests, un moteur de recherche capable, sur certaines requêtes, de très bien "ranker" les arrêts, et de moins bien "comprendre" la requête de l’utilisateur sur d’autres [203]. NLP à la sauce ML ou bons vieux systèmes à base de chaînes de caractères ? Au vu des informations disponibles, le second cas. Ce qui n’est pas surprenant, Supra Legem, la seule application française de justice dite prédictive à implémenter du ML, n’a pu le faire que parce que son auteur travaillait sur la seule jurisprudence administrative, fortement structurée et à la rédaction de facto très normée.

Selon l’interview donnée à BFM TV par son fondateur le professeur Frédéric Rouvière, de l’Université d’Aix-Marseille, spécialiste de droit civil et de théorie du droit, JuriPredis veut faciliter la recherche par mots-clés, « limiter les déchets dans la recherche ». Ce nouveau moteur de recherche de jurisprudence ne va pas pour l’instant vers le prédictif (proposer des statistiques ou des solutions), mais s’y intéresse quand même.

Le financement est probablement venu de l’incubateur du Barreau de Marseille, cité sur la page partenaires du site de JuriPredis. Ce soutien financier supposant une forte approbation du projet par le Barreau. Après 7 mois seulement de développement, est déjà en mode commercialisation depuis novembre 2018 (abonnement et "marque grise") [204].

La marque "born South" est décidément très nette sur cette application. En sus des traits déjà notés (ses créateurs, son incubateur), Juri’Predis « annonce être soutenue par une vingtaine de cabinets, à 90 % implantés en Provence Alpes Côte d’Azur ». Les tests et l’évaluation initiale pourraient bien être l’oeuvre des 10 juristes du cabinet aixois LexCausa voire d’autres ayant adopté le moteur. Et les chercheurs en droit de l’Université d’Aix-Marseille ont visiblement aidé. Et l’article (assez promotionnel vu l’insistance sur les termes "IA" et "machine learning") précité de la Tribune n’est pas publié par la Tribune tout court mais pas son édition locale Provence Alpes Côte d’Azur et sur une URL dédiée marseille.latribune.fr.

Les tarifs sont publics — jusqu’à 5 utilisateurs. Fait notable, car cela devient de plus en plus rare dans l’édition juridique.

En résumé, au vu du sujet et de l’angle d’attaque de cette étude, JuriPredis, c’est un tout petit peu d’IA (dans le moteur) — et encore, à l’ancienne — mais pas de justice prédictive.

Dernier né, Justice.cool

La médiation est devenue obligatoire depuis le 1er janvier 2020 pour la grande majorité des litiges de moins de 5000 euros (loi de réforme de la justice du 23 mars 2019), se lance le premier site de médiation en ligne français assisté, selon eux-mêmes, par l’intelligence artificielle : Justice.cool [205]. Il a été créé par le Français qui a lancé en 2016 le site RefundMyTicket (réclamation automatisée d’indemnisation pour retard d’avion important), toutefois par le biais d’une société distincte et dont le siège est à une adresse différente (Europe Médiation SAS, créée le 31 décembre 2019, pour Justice.cool, et Claim Assistance pour Refundmyticket). Soyons clair : en matière de plateforme de médiation en ligne française, ce n’est pas le premier site. Mais en terme de plateforme de médiation avec assistance par l’IA, ça semble bien être le premier. Le fondateur, Romain Drosne en est à sa quatrième entreprise, après dix-sept ans dans le marketing digital.

Le modèle d’affaires (cf la FAQ du site) s’inspire de celui de RefundMyTicket et va au-delà :

  • ils ne prennent en médiation un dossier que :
    • en dessous de 5000 euros
    • pour l’instant, uniquement en droit des transports (retard ou annulation d’hôtel ou de vol, donc proche de RefundMyTicket) ou en droit du travail (licenciement, modification du contrat de travail)
    • et si vous avez plus de chances d’arriver à un accord que d’échouer. Attention, le site ne dit pas que cet accord sera forcément à votre avantage. A vous de vérifier si l’accord vous convient avant d’accepter
  • les frais (forfaitaires) sont de 36 euros et sont remboursés si vous ne trouvez pas un accord avec la partie adverse sous 60 jours
  • en cas d’échec de la médiation, et selon votre score, le site propose de continuer les démarches avec l’un de leurs avocats partenaires. Justice.cool avance alors les frais de justice, mais prend une commission de succès de 25% TTC.

A propos de leur technologie, voici ce que dit l’article 5.3 de leurs conditions générales d’utilisation (CGU) et leur page Indicateurs :

  • sur les chances de succès (le "Score") :
    « L’algorithme qui permet d’établir ce score repose sur deux approches statistiques conjuguées :
    La première s’appuie sur une approche de modélisation manuelle élaborée par nos juristes, nos partenaires avocats et universitaires.
    La seconde résulte d’un traitement par apprentissage automatique (Machine Learning) qui compare les faits présentés à une base de données de 1,8 million de décisions de Justice.
    Ce score est ensuite présenté de plusieurs façons :
    Un score par demande qui indique au demandeur le nombre de décisions similaires qui ont fait droit à sa demande
    Le score global qui représente la moyenne des scores de l’ensemble des demandes effectuées par le demandeur. »
    « Une fois le Litige enregistré et l’Opposant identifié par le Demandeur, celui-ci obtiendra un Score. [...]
    Le Score tient compte des éléments fournis par le Demandeur relativement au Litige, de la réglementation en vigueur et des décisions de justice rendues dans des situations présentant des éléments de similitudes avec les faits tels que rapportés par l’Utilisateur.
    D’une part, le Score est calculé grâce à un système expert de modélisation de la loi, élaboré par une équipe de juristes, d’ingénieurs et et d’avocats. D’autre part, le Score est pondéré par un algorithme d’apprentissage automatique, dit "Machine Learning", qui se fonde sur une analyse par similarité d’un nombre significatif de décisions de justice rendues par différentes juridictions. [...]
    Le Score de Justice.cool n’est pas une décision de justice, ni conseil juridique ou une décision de médiation. Le Score de Justice.cool ne prétend pas à l’exhaustivité : il reflète une analyse statistique de la situation par rapport à la loi et à la jurisprudence et ne présume pas de l’issue réelle d’un litige. Ce Score doit être utilisé en bonne intelligence par les Utilisateurs, comme un indicateur et ne lie ni Justice.cool ni les Utilisateurs. »
  • sur l’estimation des dommages-intérêts :
    « Les évaluations présentées tout au long du processus résultent, tout comme pour le score, d’une approche conjuguée :
    d’algorithmes manuellement définis par nos juristes et par nos partenaires avocats et universitaires sur la base des calculs établis par les textes de lois (codes, conventions collectives, réglementations, accords d’entreprises etc.)
    d’une approche comparée à la jurisprudence dans laquelle un traitement par apprentissage automatique (Machine Learning) est appliqué pour comparer le cas décrit à l’ensemble de la jurisprudence disponible (1,8 million de décisions de Justice). »

Il serait intéressant de savoir qui sont les juristes et avocats de l’équipe et d’en apprendre un peu plus sur l’algorithme utilisé (protégé par le secret des affaires, dixit les CGU) ainsi que sur le fonds de 1,8 millions de décisions de justice sur lesquelles s’appuie la startup. En effet, il existe peu de décisions de première instance disponibles et sur les petits litiges, peu vont en appel.

Supra Legem, l’IA gratuite de droit public

Seule application de "justice prédictive" (en fait, on vient de le voir, de recherche fine et d’aide à la décision) à proposer une démo grandeur nature, qui plus est gratuite, Supra Legem (le site a été mis hors ligne), développée par l’avocat fiscaliste, programmeur et data scientist Michael Benesty avec l’aide d’un ami ingénieur machine learning (travaillant incidemment chez Google) [206], aidait à améliorer la pertinence et la rapidité des recherches, identifier un revirement de jurisprudence, identifier les moyens de l’administration qui n’ont pas fonctionné, identifier des tendances de certaines chambres, voire prédire des revirements de jurisprudence du Conseil d’Etat [207]. A lire absolument pour plus de précisions sur le projet Supra Legem et de manière générale sur les applications de justice prédictive, le compte-rendu que M. Benesty en a fait au Journal of Open Access to Law (JOAL) début 2017 [208].

Pour autant, les déductions qu’on pouvait tirer des analyses des statistiques présentées par Supra Legem doivent être prises avec des pincettes, comme l’a montré un vif débat lors du lancement de l’application et des premiers articles écrits sur elle.

À noter qu’un de mes contacts estime que le machine learning en droit a beaucoup d’avenir si le deep learning non supervisé y perce. Et ce, même sur des marchés juridiques en régression comme le marché français. Imaginons par exemple que les algorithmes de deep learning arrivent à détecter des similitudes ("patterns") indépendantes de la langue et entre les documents juridiques allemands (un marché en meilleure santé) et français : les recherches entreprises sur le droit allemand — un marché bien plus rentable que le droit français — seraient alors transposables et réutilisables en droit français ...

On remarque que les éditeurs juridiques français traditionnels (groupe ELS avec Francis Lefebvre, Dalloz et Editions Législatives, Lexbase, LexisNexis SA, Wolters Kluwer France, Lextenso) ne proposent pas de produit incorporant du machine learning. Pour certains, je dirais : pas encore, mais je serais surpris que cela tarde [209] D’autant que ce sont les éditeurs qui détiennent le commentaire de la jurisprudence (dit aussi doctrine). Or en droit français, la donnée qui relie entre elles et permet de comprendre les décisions de justice, c’est la doctrine. Alors qu’en pays de "common law", le "case law" (jurisprudence) contient ses propres liens et son propre commentaire. En effet, le principe du "stare decisis" impose au juge anglo-saxon de citer les précédents pertinents et les juges des cours donnent leur "opinion" — autrement dit, ils commentent leur propre décision, chose impensable en France [210].

Arbitrage international

A noter que l’arbitrage international est en train d’attirer les regards du secteur :

  • le français Case Law Analytics a embauché fin 2019 une experte en droit international avec une spécialisation en arbitrage pour « de nouveaux modules »
  • ArbiLex, une legal tech américaine incubée au Harvard Innovation Lab et utilisant un machine learning bayésien, se prépare début 2020 à se lancer [211]
  • la legal tech française Jus Mundi, sans correspondre exactement à la définition de l’IA, s’est lancé à l’automne 2018 sur le secteur du droit international (traités, règlements d’arbitrage, sentences arbitrales) en commençant par l’arbitrage international d’investissement (CIRDI etc.).

L’IA et les textes officiels

Legal tech d’avant les legal tech, créée en 2009, l’éditeur juridique et SSII éditoriale Luxia est le créateur de la base de données Alinea by Luxia, qui avec une licence Legifrance, reprend textes officiels et jurisprudence, améliore la présentation ("time lines" notamment), la recherche et propose de la veille.

Luxia a lancé en janvier 2019 RegMind, une application qui fait de la veille automatisée en droit bancaire et financier (français et européen) à destination des banques et cabinets d’avocats [212]. Elle consolide automatiquement les textes, colorise les modifications (une fonctionnalité historique d’Alinea by Luxia) [213] et les lie entre eux [214], y compris des autorités de régulation, signale les modifications et facilite leur suivi par les juristes, dans un domaine intéressant ici car particulièrement complexe. Jurisprudence et sanctions sont intégrées, dit l’article du Monde du Droit [215]. Luxia n’utilise pas le terme d’IA pour la qualifier et sa présentation n’évoque pas l’utilisation de machine learning [216], mais elle tente bien d’automatiser un processus humain.

Quatre banques – dont Natixis, à l’origine du projet et qui a investi dedans — et un cabinet d’avocats testent et améliorent RegMind depuis au moins un an.

Formé par l’informaticien pionnier de l’information juridique publique Robert Mahl qui depuis le Centre de recherches en informatique (CRI) de l’Ecoles Mines a participé à la création du site Adminet, Georges-André Silber, le président fondateur de Luxia, a travaillé avec Christian Le Hir, directeur juridique de Natixis.

RegMind est le premier outil d’IA juridique français portant sur les textes officiels — et non la jurisprudence.

Pourquoi une montée des "IA" en droit ?

Une première raison du lancement des applications de justice prédictive en France ces dernières années est conjoncturelle. Elle réside tout simplement dans les promesses d’open data judiciaire des décisions d’appel et de première instance insérées en 2016 dans la loi Lemaire pour une République numérique (articles 12 bis A et 12 bis B nouveaux, devenus après renumérotation articles 20 et 21) par des amendements surprises venus de l’entourage de la secrétaire d’Etat Axelle Lemaire, en charge du projet de loi [217]. Autant dire la promesse d’une abondante matière première gratuite. 2016, c’est le lancement de Doctrine.fr et Predictice ... Il faut toutefois préciser que ces promesses n’ont pas été tenues : le décret d’application de la loi Lemaire n’a jamais été publié et ne le sera pas, ou en tout cas pas en tant que tel, puisque la loi de programmation et de réforme de la justice du 23 mars 2019 [218] a ajouté aux articles 20 et 21 de la loi de 2016. L’article 33 de la loi de 2019 a ajouté que les éléments permettant d’identifier les personnes physiques doivent être occultés (application du RGPD et de la loi Informatique et libertés, entre parenthèses) et que les noms des professionnels de justice, avocats mis à part, ne doivent être ni cherchables ni traités. Un autre décret (d’application de cette loi de 2019) doit donc être pris — il a été annoncé. Les raisons de ce retard sont fondamentalement au-delà de la problématique de la pseudonymisation renforcée (ex-anonymisation) amenée par la loi de 2016 (exigence d’« analyse du risque de ré-identification des personnes ») et plus encore celle de 2019 [219]. Elles existaient déjà début 2016 avant la loi Lemaire et sont toujours là [220] :

  • exigence de pseudonymisation découlant de la position de la CNIL, interprétant la loi Informatique et libertés — exigence reprise et renforcée depuis par le RGPD [221]
  • les moyens humains et budgétaires nécessaires n’existent tout simplement pas
  • sur le plan informatique, rien ne sera ni prêt ni adapté avant longtemps. Même si les data scientists d’Etalab envoyés assister la Cour de cassation ont beaucoup progressé en 2019 en utilisant deux librairies de "Named Entity Recognition" bien connues, Spacy et Zalando Flair [222] : « diminution de 32% du taux d’erreur avec une meilleure utilisation de la connaissance de l’ensemble des données au lieu de simplement travailler au niveau de la phrase ».

Si on se penche maintenant sur les aspects structurels, une des raisons de la montée des IA en droit s’impose : les économies — qu’elles soient réalisées ou juste attendues. C’est, avec la rapidité, LE motif mis en avant par le managing partner d’une "small law firm" spécialisée en droit américain des faillites, le premier domaine de Ross.
En droit américain, l’argument des économies de personnel réalisées dans le cabinet d’avocats sent déjà son pesant de marketing. En droit français, qui n’est pas un droit de common law mais un droit écrit et où les recherches de jurisprudence sont à la fois moins cruciales et moins complexes, on ne peut guère avancer cet avantage. Du reste, nous n’avons pas trouvé trace de témoignages en ce sens.
La rapidité pour déterminer les montants moyens ou maximaux des condamnations, en revanche, est souvent invoquée et s’avère fondée.

Les économies potentielles sont à chercher ailleurs. La Justice française a un problème budgétaire criant, reconnu par le ministre de la Justice de 2016, Jean-Jacques Urvoas [223] et régulièrement mise en évidence [224] par des rapports de la Cour des comptes et de la Commission européenne pour l’efficacité de la justice du Conseil de l’Europe (CEPEJ) [225]. Une tribune iconoclaste aux Echos, rédigée par des non juristes (évidemment ...), propose d’ailleurs carrément de confier la justice française à l’intelligence artificielle [226]. Et confirmation le 5 avril : la proposition n° 48 du rapport de la mission d’information sénatoriale sur le redressement de la justice présidée par Philippe Bas (voir pp. 20, 21 et 36 du dossier de presse) consiste à « mettre les outils de la "justice prédictive" au service du bon fonctionnement de la justice et de la qualité des décisions de justice et prévenir leurs dérives possibles » [227].

La volonté des pouvoirs exécutif et législatif de profiter de la justice prédictive pour compenser le manque de moyens et les retards de la Justice française par la médiation et la transaction tout court est tout aussi claire dans la loi de programmation 2018-2022 pour la Justice, où on autorise les services de médiation en ligne et permet même leur certification (facultative) [228]. Si, comme l’écrivent les Affiches Parisiennes à propos de l’étude (autodéclarative) 2018 sur les legal tech publiée par Maddyness et les Actualités du droit (Lamy) [229], « le pourcentage des start-up qui proposent une plateforme de médiation en ligne est faible », c’est probablement parce que les investisseurs attendent ce feu vert officiel. Pour citer les Affiches : « Alors que le projet de loi Justice leur consacre spécifiquement un article, seules 1,6 % [des legal tech] proposent, pour l’heure, un tel service. Le boom aura certainement lieu l’an prochain [en 2020, donc], après le vote de la réforme » [230].

Comme par hasard, un an après ce constat d’Actualités du droit, c’est le lendemain même de l’entrée en vigueur de l’obligation de médiation pour les petits litiges (loi de réforme de la justice du 23 mars 2019), que le site Justice.cool, en fait un site de médiation assisté par IA (cf supra), se lançait [231].

De leur côté, les dirigeants de Case Law Analytics l’assument depuis l’origine : leur produit est taillé pour favoriser les transactions et désengorger les tribunaux [232] :

« Les assureurs sont également des clients, en particulier les assureurs de protection juridique. On a un outil très performant pour les assurés qui ont très rapidement une vision précise du risque et de l’analyse de leur cas. L’objectif premier étant d’éviter le procès et de raccourcir les délais d’indemnisation.
Notre outil va également avoir son rôle à jouer pour favoriser les modes alternatifs de règlement des litiges.
En effet, le nombre de litiges augmente, et il n’y aura pas deux fois plus de juges dans 10 ans et il n’y aura pas 2 fois plus de budget dans 10 ans. En revanche, il y aura beaucoup d’outils qui vont permettre de s’assoir autour d’une table pour décider et négocier sur des bases solides. »

On retrouve le même objectif, affirmé cette fois par Predictice et un assureur, dans un article de l’Argus de l’assurance [233] :

« " Si nous avons un outil prédictif, nous disposons d’un argument supplémentaire pour convaincre les clients de faire un compromis. C’est un outil d’aide à la décision augmentée ", explique Christophe Bardet, directeur général de Covéa PJ. Selon un sondage anonyme réalisé par Predictice auprès de treize de ses utilisateurs, tous déclarent que cette solution leur permet de mieux négocier et de favoriser un mode alternatif de résolution des litiges. »

Impact prévisible des "IA" sur les jeunes collaborateurs, stagiaires, paralegals et documentalistes juridiques ?

Avant d’aborder, très concrètement, ce que l’IA modifie actuellement et peut modifier à l’avenir dans le travail des juristes et des administratifs qui travaillent pour eux, il faut revenir sur la définition de l’intelligence artificielle. Là déjà, on peut calmer les peurs, les fantasmes que déclenche le seul terme d’IA.

Les limites de l’IA faible

On l’a vu plus haut, ce qu’on appelle IA est, à strictement parler, un champ de recherche. Par extension, on qualifie aussi d’IA les produits qui se rangent dans ce champ [234]. On parle bien ici de *recherche* : on n’en est pas à reproduire le fonctionnement d’une intelligence humaine. Un des deux co-fondateurs de l’équipe de recherche en IA de Uber, Gary Marcus, professeur de psychologie à l’Université de New York, le dit clairement [235] : « Il y a tout ce que vous pouvez faire avec le deep learning [...]. Mais ça ne veut pas dire que c’est de l’intelligence. L’intelligence est une variable multi-dimensionnelle. Il y a beaucoup de choses qui rentrent dedans. [...] La véritable IA est plus éloignée que ce que pensent les gens. »

En fait, ce que nous voyons aujourd’hui, c’est ce que les spécialistes de l’IA appellent "week AI" (ou "narrow AI"). Comme l’expliquent Wikipédia et Techopedia, l’IA faible est une intelligence artificielle non-sensible qui se concentre sur une tâche précise. Autrement dit, l’IA faible consiste à imiter une fonction étroite typiquement humaine, comme reconnaître un chat sur une photo floue (reconnaissance de forme/d’image) et de le faire plus rapidement. L’IA faible est définie par contraste avec l’IA forte (une machine dotée de conscience, de sensibilité et d’esprit, tout comme un être humain) ou l’intelligence artificielle générale ou AGI [236] (une machine capable d’appliquer l’intelligence à tout problème plutôt qu’un problème spécifique et douée de conscience). Le point le plus important ici est que tous les systèmes d’IA actuellement existants sont considérés comme des intelligences artificielles faibles.

Face à l’affirmation récente tant par Mark Zuckerberg que par Shane Legg, le directeur du programme DeepMind de Google, que d’ici 2020 on aura atteint une IA de niveau humain, Melanie Mitchell, professeur d’informatique à l’Université d’Etat de Portland s’inscrit en faux dans le New York Times [237]. Pour elle, ce ne sont pas le machine learning ni les réseaux neuronaux qui parviendront à une réelle compréhension et au simple bon sens des humains [238].

Certains spécialistes du cerveau et de la connaissance estiment même une AGI quasi-impossible. Ainsi, Antonio Damasio, le neuroscientifique directeur du Brain and Creativity Institute à Los Angeles [239], « reste assez sceptique quant à ce qu’on appelle l’"IA forte" » à cause de la part émotionnelle et physiologique en jeu dans le fonctionnement du cerveau et des processus cognitifs de l’être humain [240].

Pierre Lévy écrit, lui : « Aussi bien les journalistes que les auteurs de roman ou de série TV présentent les robots ou l’intelligence artificielle comme capable d’autonomie et de conscience, que ce soit dès maintenant ou dans un futur proche. Cette représentation est à mon avis fausse, mais elle fonctionne très bien parce qu’elle joue ou bien sur la peur d’être éliminé ou asservi par des machines, ou bien sur l’espoir que l’intelligence artificielle va nous aider magiquement à résoudre tous nos problèmes ou – pire – qu’elle représenterait une espèce plus avancée que l’homme. » [241] Il ajoute qu’ « il faut bien constater l’échec théorique de l’IA puisque, malgré la multitude des outils algorithmiques disponibles, l’intelligence artificielle ne peut toujours pas exhiber de modèle convaincant de la cognition. La discipline a prudemment renoncé à simuler l’intelligence dans son intégralité. » [242]

Enfin, selon les mots du célèbre psychologue cognitiviste canadien Steven Pinker dans un magazine américain de vulgarisation scientifique [243] : « On nous a dit de craindre les robots, [mais] le soulèvement des robots est un mythe. [...] [Sa] première fausseté est une confusion entre intelligence et motivation, entre connaissances et désirs, entre inférences et buts, pensée et volonté. »

D’ailleurs, vu les fonctionnalités et performances réelles des produits que nous avons exposées plus haut, il est évident que parler d’intelligence artificielle en droit au sens strict est très exagéré. On devrait plutôt parler des différents types ou niveaux d’IA.

Il faut ajouter à toutes ces limites deux obstacles classiques : la résistance au changement, si tant est que cette résistance ne découle pas d’un manque d’anticipation ... de la résistance (inévitable) ou d’une relation managers-employés brisée [244], et la difficulté des dirigeants à saisir ce qu’une nouvelle technologie peut leur apporter [245]. Enfin, si tant est que cette nouvelle technologie offre un progrès réel ou quelque chose de réellement nouveau (cf infra). On notera par exemple que si le machine learning permet aux investisseurs d’exploiter d’énormes masses de données comme les publications sur les réseaux sociaux, en dépit de ce potentiel, ses performances restent mitigées. L’indice Eurekahedge AI Hedge Fund, qui retrace le rendement de 13 "hedge funds" qui utilisent le machine learning, n’a gagné que 7% par an sur 2013-2017, quand l’indice S&P 500 gagnait 13%. Selon Marcos López de Prado, responsable machine learning chez AQR Capital Management et auteur du livre Advances in Financial Machine Learning (Wiley, 2018), l’un des pièges potentiels des stratégies d’apprentissage automatique est le rapport signal/bruit extrêmement faible sur les marchés financiers. Les algorithmes d’apprentissage automatique identifieront toujours un motif, même s’il n’en existe aucun, dit-il. Les algorithmes sont donc susceptibles d’identifier de fausses stratégies. Il faut une connaissance approfondie des marchés pour appliquer avec succès l’apprentissage automatique aux séries financières [246].

Il y a aussi un débat sur la légalité et l’opportunité de laisser les legal tech investir le marché du droit (principalement celui des avocats mais aussi celui des notaires) et de l’information juridique. Sur ce sujet, je vous renvoie aux articles cités en première partie plus haut. Sur les risques de la justice prédictive, voir infra. On peut aussi citer l’avocate Michèle Bauer [247] :

« Les legaltech ne sont rien sans les avocats [248]. Les services proposés sont la plupart du temps des services dans lesquels sont associés les avocats : rédaction de statuts de société pas chère, demandes de devis, recherche d’un postulant ... »

IA et documentalistes

Les outils d’IA juridique auront un impact sur la recherche — et donc la veille — documentaire juridique : les tâches répétitives et "découpables" en petits morceaux seront robotisées, les autres ne le seront pas. Par exemple, Ross réalise la recherche booléenne et la première analyse des résultats. Selon les termes d’Andrew Arruda [249] (traduction par nos soins) :

« La technologie AI de ROSS remplace le besoin d’utiliser les opérateurs et mots-clés de la recherche booléenne par du langage ordinaire. Si un juriste d’affaires a besoin de connaître la différence entre les deux concepts juridiques "loss" et "recoupment", tout ce dont le juriste a besoin est de demander à ROSS : "Quelle est la différence entre "loss" et "recoupment" ?
Le résultat fourni par le système va au-delà de la simple identification des arrêts pertinents. Au lieu de cela, il attire l’attention du juriste sur les passages clés dans l’affaire qui devrait répondre idéalement à la question posée.
Quand vous posez une question à ROSS sur l’état du droit, vous la posez comme vous le feriez avec un collègue humain. ROSS découpe la phrase pour déterminer le sens de la question, puis conduit la recherche. »

Autrement dit, les applications de justice prédictives restent des moteurs de recherche (nettement) améliorés et des outils (statistiques) d’aide à la décision. Ce ne sont pas de véritables intelligences juridiques globales. Elles ne menacent guère que la fonction recherche — et encore : lisez ce qui suit.

Si on se projette dans environ sept ans [250], plus le travail du documentaliste juridique français procédera, « d’heuristiques pointues pratiquant pour partie un mode intuitif (opérer par rapprochements semi conscients) » [251], plus il aura une conscience d’artisan et d’expert de haut vol (notamment dans la maîtrise des sources méconnues ou mal indexées [252]), et moins au final il aura de chances d’être automatisé.

Mais aussi : plus il travaillera *avec* l’IA. Le documentaliste, le veilleur, le paralegal, le stagiaire juriste, le collaborateur, l’éditeur vérifieront, compléteront et amélioreront le travail de l’IA. Selon Christophe Tricot, expert IA chez Kynapse (son compte Twitter), « le collaborateur qui participe à la création d’une IA va devoir expliciter les règles, ses tâches au quotidien et comment il les aborde, parce que souvent les choses sont cachées ». Se former à l’IA, c’est donc savoir aussi parler de son fonctionnement quotidien, même lorsqu’on n’y prête pas attention et, encore mieux, le formaliser avec des règles. Par exemple : « S’il n’y a plus de papier dans la photocopieuse, alors il faut en remettre dans le tiroir. » Les règles en « si... alors... » (implication logique) sont facilement formalisables en langage informatique [253].

Comme l’écrit de manière futuriste, provocatrice mais pertinente Tyler Cowen, professeur d’économie à la George Mason University et blogueur connu sur Marginal revolution, dans son ouvrage Average is Over (Dutton, 2013, non traduit en français) :

« Les travailleurs se classeront de plus en plus en deux catégories. Les questions clés seront : Savez-vous bien travailler avec des machines intelligentes ou pas ? Vos compétences sont-elles un complément aux compétences de l’ordinateur, ou l’ordinateur fonctionne-t-il mieux sans vous ? Pire : est-ce que vous vous battez contre l’ordinateur ? » (traduction par nos soins)

D’ores et déjà, si l’on en croit les consultants spécialisés dans l’externalisation des services tertiaires, les applications de type RPA (Robotics Process Automation ou automation software) "carburant" au machine learning [254] sont en train de frapper à la porte des bureaux des Indiens, Philippins et autres pays d’externalisation [255].

Dans le secteur de la bibliothèque documentation juridique, en réalité, l’automatisation n’a pas attendu l’IA, le machine learning ni les réseaux neuronaux. Elle a commencé il y a plus de vingt ans, avec le téléchargement des notices de catalogue OCLC et Gallica puis les produits de veille directement destinés aux juristes, comme Dalloz Actualité, PaRR ou Mlex.

Voyons pour le futur.

Côté gestion de bibliothèque, on peut penser au bulletinage des revues électroniques ou au catalogage et à l’indexation et classement matière des ebooks. Encore que cela suppose que les éditeurs juridiques laissent des logiciels étrangers rentrer sur leurs serveurs et dans leurs systèmes — on touche là aux multiples problèmes pratiques et très ras-de-terre que pose l’IA. Les imprimés, c’est nettement moins évident vu leur nature physique.

Côté documentation juridique et open legal data, voici un exemple donné par Jean Gasnault :

« La préparation [des] données est essentielle pour un bon fonctionnement des algorithmes les traitant. Les documentalistes ont une carte à jouer dans cette évolution, en raison de leur compétence spécifique d’enrichissement des données. Cela donne un axe bien identifiable de progression de leurs connaissances : métadonnées, FRBR, normes ELI-ECLI, etc. »

Cela dit, fournir un savoir-faire sans contrepartie [256] n’aurait guère de sens. Il serait prudent de poser des questions sur les utilisations futures des outils de gestion des mails et des tâches et autres "bases de knowledge" et en l’absence de précisions, de savoir garder pour soi ses trucs et techniques de haut-vol.

D’ailleurs, il vaut mieux, pour le professionnel de l’information et le juriste, comme pour leur employeur, garder la connaissance des processus métiers de base mêmes, quand bien même certains — et c’est là toute la contradiction — ne seraient pratiquement plus utilisés. En effet, comme l’explique Sylvain Duranton du Boston Consulting Group (BCG) [257] :

« "Un risque énorme est la perte du savoir-faire métier. Car c’est le savoir-faire qui permet de perfectionner les outils." Un opérateur peut se contenter de suivre les instructions d’une IA sans lui-même savoir comment la perfectionner. C’est à ce moment que son emploi est menacé, pas tellement par l’IA [NB : impossible de ne pas relever ici une certaine hypocrisie, mêlée de réalisme], mais par la baisse du niveau de compétence requis : plus besoin d’être qualifié pour faire son job. »

Puisqu’une partie — à déterminer, car les obstacles sont légion et le plus souvent incontournables — de leur travail est à terme — un terme là aussi à déterminer — automatisable et sera automatisée, une partie croissante du travail des bibliothécaires documentalistes juridiques va consister à détecter, tester, sélectionner et pousser les nouveaux produits des éditeurs et legal tech et les nouvelles techniques de bibliothèque, documentation, recherche documentaire, veille, gestion électronique de documents, gestion des archives et knowledge management. Mais aussi à détecter les prétentions sans fondement dans le discours marketing, autrement dit ce qui ne marche pas. Des qualités de curieux, de découvreur, de testeur, de geek, d’évangélisateur et de créatif devraient devenir beaucoup plus importantes chez les documentalistes juridiques — et peut-être aussi chez les paralegals.

Pour la formation et les recherches — ainsi que les conseils et l’aide à la recherche —, je ne vois pas de substitution prochaine, vu que les questions qui sont posées aux documentalistes juridiques sont presque toujours difficiles et très spécifiques. La réalité, c’est que les bibliothécaires documentalistes juridiques interviennent à la demande du juriste, quand il ne s’en sort pas. Ils sont de facto des "super searchers", comme l’ex-"librarian" américaine Reva Basch a qualifié la profession. Certes, les nouveaux moteurs développés par les startups tendent à constituer une base de données des "intentions", domaines de travail et préférences personnelles des utilisateurs avant de traiter leurs requêtes. Mais ces algorithmes ont de nombreux défauts et biais [258] et s’ils fonctionnent (à peu près) correctement, là encore, le documentaliste devra débugguer et former, les mains dans le cambouis.

Les documentalistes juridiques sont des professionnels de la recherche dans les bases de données de jurisprudence. Le plus souvent, dans les cabinets d’avocats, ce sont les documentalistes, et plus rarement les KML et PSL (knowledge management lawyers, practice support lawyers) qui doivent faire les recherches thématiques sur les décisions inédites [259], non sélectionnées [260] et non commentées [261], qui représentent la très grande masse des décisions disponibles dans les bases de données. Les stagiaires, du fait notamment de l’absence de formation dédiée dans les formations universitaires et les BU, sont généralement mal outillés sur le plan méthodologique et pratique face à cette tâche.

Par "déformation professionnelle" ;-) nous sommes très exigeants sur la qualité et l’exhaustivité de la donnée et la performance des outils de recherche. Nous avons une expertise là-dessus, on peut le dire. Les documentalistes juridiques (et les paralegals) ont donc un rôle clé de testeur, d’évaluateur et d’acheteur d’applications de justice prédictive, d’audit de contrats et plus généralement d’IA. Comme l’écrit Dera Nevin, spécialiste de l’"information governance" et de l’"e-discovery" au cabinet Baker McKenzie [262] : « Beaucoup de ces nouvelles technologies nécessiteront un travail humain significatif (souvent non refacturable au client) pour entraîner et gérer les entrées de données et les données produites par ces technologies ; c’est particulièrement vrai du machine learning [...] Il y a souvent des coûts nouveaux (et parfois plus élevés) associés à la technologie qui doivent être pris en compte [...] Les acheteurs de technologie juridique peuvent jouer un rôle critique dans l’amélioration de l’achat de cette technologie en s’assurant que les questions stratégiques sont posées et traitées avant d’être mises sur le marché. »

Il y a encore bien d’autres choses qu’un documentaliste juridique apporte *en plus* d’un robot. Sur ce sujet, voir notre billet Documentaliste : un nouveau métier, de nouveaux noms. Pour ne pas rallonger le présent billet, je me contenterai de (re)citer une bibliothécaire documentaliste juridique américaine [263] :

« L’IA est itérative et continuera à s’améliorer, mais elle ne sait pas grand chose du facteur qu’est le contexte de la question posée ni comment le gérer. Pour que l’IA soit utile dans des recherches complexes (et non juste des recherches sur références bibliographiques) dans la plupart des structures juridiques, j’estime qu’elle aura besoin d’apports significatifs en savoir interne. Il est déjà difficile de faire correctement (voire de faire tout court) du KM. Comment alors allons nous documenter le savoir historique de la structure de manière à ce qu’un robot puisse correctement l’interpréter et l’appliquer ? Ce qui est saisi ne constitue pas réellement la totalité de la requête que l’on entre dans une machine : il y a bien plus de choses à préciser pour que la machine puisse fournir une réponse. »

Il faut aussi lire ce billet de Christophe Doré, consultant, professionnel de haut niveau de la veille, domaine ou excellent les documentalistes : La Veille : 70% d’humain et 30% d’informatique. J’ai appris en lisant cet article un nouveau concept aux termes assez éclairants : la pensée latérale. Les systèmes de veille automatique, les chatbots (cf supra) et les agrégateurs de sources numériques ne sont pas si performants en eux-mêmes. Ils ont besoin d’humains pour déterminer les sources à surveiller et affiner les requêtes booléennes. De plus, on a encore besoin d’un humain pour identifier et suivre les signaux faibles, pour sortir des sentiers battus, pour laisser agir la sérendipité et regarder là où la machine n’ira pas parce que ce n’est pas dans son algorithme.

Un des meilleurs "papers" sur ce sujet, sur un plan technique — et non économique — est celui publié à la Savannah Law Review [264] par l’"investigateur" américain Philip Segal (Charles Griffin Intelligence), spécialiste des recherches de personnes, d’informations et de faits dont le contentieux américain est friand. P. Segal est donc très proche du métier des documentalistes juridiques. Il parle d’améliorations sur des outils que nous utilisons déjà, comme YouTube par exemple, qui devrait bientôt pouvoir se voir appliquer des moteurs de recherche vidéo très puissants. Et en ce qui concerne les nouveaux outils pour son métier, il est loin de les craindre. Il signale précisément leurs avantages comme leurs limites. Ainsi, il recommande :

  • de comparer et évaluer les IA comme toute autre base de données en ligne *avant* de les acheter
  • d’accumuler une expérience concrète des "trucs" à savoir pour les interroger sans se "faire avoir" par leurs biais.

Ces deux tâches sont clairement une des voies de développement naturel — j’allais écrire normal — des métiers de documentaliste juridique et de "legal knowledge manager". En tout cas, les professionnels de l’information juridique sont outillés et légitimes pour s’en occuper. Ils pourront sans problème conseiller les dirigeants de leurs structures sur ces sujets, gérer le projet d’acquisition ou de co-développement interne et son adaptation aux besoins de la structure, former les juristes et négocier les prix — qui promettent pour l’instant d’être élevés.

IA et avocats

La journaliste britannique Joanna Goodman, dans son ouvrage précité Robots in Law : How Artificial Intelligence is Transforming Legal Services écrit que l’IA pour les juristes n’est pas une option. Selon elle, les juristes qui accepteront la réalité de l’IA et l’incorporeront dans leur pratique professionnelle sont ceux qui réussiront le mieux dans les années à venir, car l’IA modifie le partage de la valeur entre les acteurs de la "chaîne" juridique. Lire à ce propos le compte-rendu du livre par Robert Ambrogi [265]. Cette collaboration-amélioration avec l’IA est déjà en cours en France avec Case Law Analytics et Predictice : leurs analyses prédictives ont été développées et validées avec des cabinets d’avocats ou des directions juridiques partenaires. Par exemple, les cabinets Taylor Wessing, Vogel & Vogel, Dentons ou Bruzzo Dubucq pour Predictice. SNCF, Axa ou le cabinet Flichy Grangé pour Case Law Analytics.

Une autre façon, française cette fois et plus diplomate, de formuler cela : l’Ordre des avocats au barreau de Lille étant partenaire de Prédictice, son bâtonnier a cherché à convaincre ses collègues [266] de l’utiliser. Voici ce qu’il en dit :

« Il faut tuer tout de suite le fantasme, ça ne remplacera pas les avocats dont les analyses ne peuvent être automatisées »

Selon lui, il s’agit plutôt d’un outil stratégique :

« Le défenseur peut, entre autres, voir quelle juridiction sera la plus encline à rendre une décision favorable à son client. »

Comme le dit Guillaume Drouot, professeur de droit privé à l’Université de Bordeaux [267] (le gras est de nous) :

« M. Neuville, dans un ouvrage de philosophie à l’attention des juristes, expose l’idée suivante : " [...] la méthode d’apprentissage qui consiste à former les étudiants pour qu’ils deviennent de bons techniciens du droit capables de mémoriser quantité de textes afin de trouver la meilleure solution, sans leur donner d’ailleurs les moindres rudiments de philosophie du droit. Cette méthode sera évidemment bien vite dépassée avec le développement de l’intelligence artificielle. "
Le développement des algorithmes et de l’intelligence artificielle invite ainsi à envisager notre manière de penser le droit, à mieux définir ce qu’est le droit, tout comme, si l’on veut raisonner par analogie, la dématérialisation invite à repenser certains mécanismes juridiques (la saisie, le droit de rétention) pour en extraire l’essence, la véritable raison d’être.
Quoiqu’ignorant dans une large mesure ce dont sont exactement capables les algorithmes, il nous paraît peu probable qu’ils remplacent un jour les juristes. Non pas parce que nous doutons de leurs capacités de calcul, mais bien plutôt parce que, même performants, les algorithmes n’ont aucune conscience de ce qu’ils font.
[...]
L’irruption des algorithmes et la pensée de Kropotkine nous invitent à revenir à une vision du droit comme science (ou art) du juste et de l’injuste. L’idée du droit que donne François Ost à partir des symboles de la justice (glaive, balance, bandeau) apparaît à cet égard particulièrement pertinente [...] : " Pour le juriste au quotidien, le symbole du bandeau implique une méthodologie du doute qui le conduit non seulement à s’enquérir du point de vue minoritaire (...), mais encore à résister aux paradigmes scientifiques dominants, ainsi qu’à la pseudo-évidence des faits. Sa tâche est de rendre justice et non de décrire la réalité : dire le droit implique un arbitrage entre vérités multiples s’articulant souvent sur des plans distincts. (...) Telle est la fonction essentielle du droit, trop souvent oubliée aujourd’hui : dire le sens de la vie en société. Au-delà de ses rôles répressifs et gestionnaires, le droit est d’abord cela : une parole, socialement autorisée, qui nomme, classe et départage ". »

Et là encore, il faut lire le "paper" précité de l’"investigateur" américain Philip Segal à la Savannah Law Review. Il reconnaît que l’IA apportera d’importants changements dans la pratique des juristes américains. Mais il est loin de craindre ces nouveaux outils pour son métier.

IA et jeunes collaborateurs/paralegals

Pour les postes de paralegals orientés recherches et veille (par exemple, les spécialistes de la recherche, de la veille et de l’enregistrement des brevets) et pour les jeunes collaborateurs (qui font aux Etats-Unis énormément de recherches, ce qui correspond en France aux stagiaires, mais en font aussi beaucoup en France durant leur première année), une étude d’Altman Weill datant de 2015 est pessimiste [268]. La brève précitée de la Lettre de l’Expansion est encore plus explicite :

« Watson [...] est réputé pour son rôle dans la destruction d’emplois. »

Pour les autres paralegals, le risque à court terme, surtout en France, est faible mais à long terme, leurs tâches découpables seront probablement automatisées.

Un monde sans travail ?

Plus généralement, de nombreux entrepreneurs millionnaires comme Bill Gates ou Elon Musk (voitures électriques Tesla) et des scientifiques comme l’astrophysicien Stephen Hawking ou le docteur Laurent Alexandre (fondateur de Doctissimo) estiment que l’IA va créer du chômage et que les conséquences sociales de cette nouvelle révolution sont encore largement sous-estimées. Elon Musk estimait par exemple le 15 février 2017 que les conducteurs professionnels (soit 15% de la population active mondiale) pourraient se retrouver sans emploi dans les 20 prochaines années, et qu’il y aura de moins en moins de métiers qu’un robot ne pourra pas faire [269]. Le cabinet américain Forrester anticipe, pour le marché de l’emploi des Etats-Unis, une disparition nette de 7% des jobs d’ici 2025 imputable à l’automatisation [270].

Côté France, la journaliste indépendante Tiffany Blandin préconise en conclusion de son enquête Un monde sans travail ? [271], de « regarder l’automatisation dans les yeux ». Elle explique que « personne ne peut dire précisément combien d’emplois vont disparaître à cause de l’intelligence artificielle » et que « c’est pour cela que les dirigeants de la Silicon Valley se sont pris de passion pour le revenu universel ». Et le Canard Enchaîné d’ironiser sur les 10% de postes en danger d’être détruits selon le rapport précité du 10 janvier 2017 du Conseil d’orientation pour l’emploi (COE) [272], en notant que cela représente quand même 3 millions de chômeurs en plus [273].

On ne parlera pas ici de l’ubérisation, que redoutent aussi bien le magazine Capital qu’un un enseignant de l’Université Paris Dauphine [274].

Les spécialistes en intelligence artificielle, eux, vont même plus loin : un sondage (pre-print) mené fin 2016 auprès de 352 chercheurs en IA également auteurs d’articles et présents lors de deux conférences sur le sujet [275] a donné le résultat suivant : selon eux, en se plaçant donc en 2016, il y a une chance sur deux que l’IA soit meilleure que les humains à à peu près tout type de tâche individuelle ("High level machine intelligence - AI human tasks") dans 45 ans. et une chance sur deux que tous les emplois humains soient automatisés ("AI human jobs"), y compris la recherche en IA, dans 122 ans (voir les graphiques en fin d’article). Fin 2017, ce sondage est encore fréquemment cité.

Re-la-ti-vi-ser. Ou les (grosses) limites de l’IA juridique

Mais le magazine Business Insider, en rendant compte [276] de ce sondage, appelle à la prudence. Il commence par rappeller que de nombreuses prédictions d’experts dans le passé se sont avérées fausses. Surtout, Business Insider explique que :

« Quarante ans est un chiffre important lorsque les humains font des prédictions parce que c’est la durée de la vie active de la plupart des gens. Donc, si un changement est censé se réaliser après, cela signifie qu’il se produira au-delà de la durée de vie active de tous ceux qui travaillent aujourd’hui. En d’autres termes, il ne peut se produire avec une technologie dont les experts d’aujourd’hui ont une expérience pratique. Cela suggère qu’il s’agit d’un chiffre à traiter avec prudence. »

Quant à l’IA connectée au cerveau, ce n’est vraiment pas pour tout de suite. Des recherches existent, comme le projet Kiwi de la société Nitoo de Newton Howard [277]. Nitoo a mis au point un prototype d’implant neuronal de la taille d’un grain de riz et pesant moins de 2 grammes, qui pourrait être implanté dans la cloison nasale. Cet implant permet de capter des informations envoyées par les neurones et de leur répondre.

Mais pour Ricardo Chavarriaga Lozano, spécialiste de l’interface cerveau-machine à l’Ecole Polytechnique Fédérale de Lausanne, « il faut prendre des pincettes : beaucoup de recherches doivent encore être effectuées avant de pouvoir modifier le vivant » [278]. Le chirurgien français Laurent Alexandre, fondateur du site Doctissimo, et partisan de l’être humain augmenté (ou transhumanisme), commentant les prédictions du singulariste (et par ailleurs employé de Google) Ray Kurzweil, estime qu’ « un cerveau connecté, on en est encore loin. Croire qu’on y arrivera d’ici 15/20 ans, il me semble que c’est faire preuve de naïveté neuro-technologique. Pour l’instant, les seules choses que nous arrivons à faire, c’est recréer des faux souvenirs chez des rats par exemple, en les "connectant". Mais on leur bousille le cerveau, on est très loin d’être au point sur ce sujet-là » [279].

Surtout, comme l’explique Olivier Ezratty (ancien de Microsoft France), les livres et articles sur l’impact de l’IA sur l’emploi font l’impasse sur plusieurs points clés [280] :

  • « au démarrage des précédentes révolutions industrielles, les métiers disparus comme les nouveaux métiers ont rarement été bien anticipés. Pour ce qui est du futur, à vrai dire, on n’en sait pas grand chose », car il y a « [trop de] paramètres à prendre en compte »
  • un phénomène induit par le numérique et qui n’a rien à voir avec l’intelligence artificielle : « le transfert du travail non pas seulement vers les machines mais aussi vers les clients » (clic work ou digital labor [281]). Exemples : les formulaires et modèles de contrats en ligne que nous remplissons nous-mêmes ou les guichets automatiques bancaires
  • ils se focalisent sur la situation aux Etats-Unis, ignorant la plupart du temps totalement le reste du monde
  • ils ont « bien du mal à faire le tri dans les évolutions de l’emploi entre ce qui provient de l’automatisation, de la globalisation et de la concurrence asiatique dans l’industrie manufacturière et même indienne, dans les emplois concernant les services informatiques. L’emploi a surtout migré géographiquement. Les emplois perdus dans l’industrie aux USA et en Europe se sont retrouvés en Asie » [et en Europe de l’Est].

Autre publication relativisant les choses : selon le rapport précité du COE [282], moins de 10% des emplois sont "très exposés" aux mutations technologiques et présentent donc le risque d’être supprimés — mais près de la moitié des emplois devront toutefois évoluer [283]. Les emplois juridiques évoqués supra ne sont pas dans la liste des 10% du COE. Et Anne-France de Saint-Laurent Kogan, spécialiste des transformations du travail liées au numérique, tempère elle aussi les choses [284].

Dans une autre étude (américano-britannique), The Future of Skills’ Employment in 2030, le panel des personnes interrogées estime que tant les juristes que les bibliothécaires documentalistes feront partie des métiers pour lesquels la demande va augmenter à l’échéance 2030. Cette enquête a été produite par l’éditeur scolaire et universitaire Pearson, NESTA, une fondation pour l’innovation globale et l’Oxford Martin School. Surprise : les bibliothécaires documentalistes sont carrément listés dans le segment "haute croissance". Toutefois, les compétences demandées aux bibliothécaires documentalistes vont probablement évoluer dans les années à venir [285]

Menée par les professeurs américains Dana Remus (Faculté de droit de Université de Caroline du Nord) et Frank Levy (économiste, Massachusetts Institute of Technology, le fameux MIT), une étude publiée en novembre 2016 suggère que l’IA a « un effet modéré » sur des métiers tels que la recherche documentaire juridique et la rédaction de contrats [286]. L’étude indique que les tâches précitées représentent environ 40% de la facturation globale des avocats.

Cela dit, selon cette étude — un gros article scientifique de 77 pages publié sur le Legal SSRN —, l’impact estimé de l’IA sur des domaines tels que le "fact-checking" (vérification des faits, typique du droit anglo-saxon), le conseil aux clients, la gestion électronique de documents (GED), la rédaction de conclusions et les audiences — le tout représentant près de 55% des heures facturées — est « faible ».

Mais l’intelligence artificielle a un rôle plus important à jouer dans d’autres domaines. Selon l’étude, l’impact estimé de l’IA sur l’examen de documents ("document review", là aussi une procédure inconnue en droit français) — qui consiste essentiellement à passer en revue de grandes masses de documents pour y chercher les détails pertinents dans le cadre d’un contentieux — est « fort ». Heureusement pour les avocats anglo-saxons, l’étude ajoute que cela représente seulement 4% des heures facturées [287].

Le professeur Joël Monéger, spécialiste des baux, dans une tribune à la revue Loyers et Copropriété [288], formule ainsi les possibilités et les limites de la justice prédictive à la française :

« Prévoir le droit positif tient [...] de la gageure. [...] Certes, la prédictibilité de la solution paraît possible lorsque la plus haute juridiction a tranché le point de droit avec fermeté et de manière répétée. De même, semble-t-il, lorsqu’elle donne des signes annonciateurs d’un revirement possible de la jurisprudence. Mais, au-delà, la jurisprudence, même émanant de nos plus hautes juridictions, est bien souvent délicate à prévoir, notamment face à des textes récents, mal rédigés, ou à des textes en décalage grave avec les réalités sociales ou économiques. Cela tient à l’art de la rédaction des arrêts qui suppose un lecteur formé au décryptage de formules insuffisamment enseignées. De plus, la Cour de cassation ne peut pratiquer l’ultra petita et ne répond qu’aux moyens du pourvoi. »

Pour l’illustrer, il donne l’exemple de deux jurisprudences récentes de la Cour de cassation.

En fait, il faut garder à l’esprit que toute la com’ — car c’en est — sur les performances de l’IA viennent du besoin des startups et des éditeurs de logiciels de vendre leurs produits. Dès qu’on lit la littérature scientifique, comme vous avez pu le constater supra, les choses sont grandement relativisées. Comme l’avocate Michèle Bauer le dit — très directement — avec ses mots [289] :

« Les legaltech ne publient pas leurs chiffres et ne font que des effets d’annonce en prétendant avoir levé des millions d’euros, il est donc impossible de connaître leur véritable pouvoir économique. [...]
Méfiez-vous des fakes, des effets d’annonce et des informations diffusées sur le net, les legaltech en sont les artisans, les initiateurs. Le mensonge et l’embellissement de la réalité est une pratique courante sur la toile. »

IA juridique et science-fiction ou les risques de la justice prédictive

Et si on en arrivait un jour là où Google semble être arrivé du fait de l’intégration de machine learning dans ses algorithmes (ses ingénieurs ne savent plus totalement en détail comment leur moteur fonctionne : en tout cas, c’est ce que dit un scientifique chez un rival, Qwant [290]) ? Car c’est un fait : l’IA à base de ML est impénétrable [291]. En arriverait-on à ce que Ross n’est pas, c’est-à-dire une véritable intelligence artificielle ?

Les risques :

  • on ne saurait ni qui exactement nous juge ni pourquoi on nous condamne
  • et "power to the machine". On ferait plus confiance à l’algorithme qu’à l’humain, dans une époque méfiante vis-à-vis de la Justice. On ne tenterait plus sa chance en justice si elle est faible. La situation et ce risques sont assez bien décrits dans une brève intervention d’Antoine Garapon sur France Inter et surtout dans son interview au Point par Laurence Neuer dans la remarquable série Mon petit droit m’a dit [292]
  • la possibilité, en droit pénal, pour un délinquant ou un criminel, de déterminer à l’avance si et comment, en suivant un certain modus operandi, il pourrait échapper à condamnation pour son délit/crime. Sur ce point précis, la réponse (officielle) de Predictice et Case Law Analytics est d’exclure de travailler sur ce domaine.

La science-fiction a déjà envisagé ces risques (nous ne parlerons pas ici des lois de la robotique d’Asimov, non pertinentes ici et de toute façon déjà dépassées [293].).

Le tome 3 de la bande dessinée SOS Bonheur, un classique du genre publié en 1989 [294] parle de justice automatisée : chaque avocat soumet ses conclusions dans une machine et la machine rend son verdict, le juge n’est là que pour contrôler le bon fonctionnement de cette dernière. Ainsi la justice est aveugle et équitable puisqu’elle est censée rendre le même verdict pour tous ceux qui sont dans la même situation sur tout le territoire. Jusqu’au jour où la machine condamne un homme qui a commis un délit mineur à la peine de mort alors que cette dernière a été abolie il y a déjà de nombreuses années. Peut-on désobéir à la machine au risque de remettre en cause tous les autres jugements déjà rendus ?

Nous avons (presque) tous vu le film Minority report de Steven Spielberg avec Tom Cruise (d’après la nouvelle éponyme de Philip K. Dick). Même si ce sont des êtres humains spéciaux (des"precogs") qui y tiennent le rôle des logiciels et des données et statistiques, le sens en est clair :

A ces programmes de "police prédictive", s’ajoute l’utilisation des énormes progrès de la reconnaissance d’images permis par le deep learning. Ils permettent, notamment en Chine, pays le plus "avancé" dans ce domaine, de repérer et arrêter un délinquant ou un dissident passé entre les mailles du filet policier pendant des années. Or cette technologie, notamment celle chinoise, s’exporte très bien. Sur ce sujet, lire ce court mais instructif billet de The Conversation, un excellent site de vulgarisation écrit par ... des universitaires : How artificial intelligence systems could threaten democracy (avril 2019).

L’ouvrage Minority report de Philip K. Dick avec pour couverture l’affiche du film

Si le machine learning finit, ce qui est probable selon nous (cf supra), par être utilisé par le juge, il est à espérer que les conclusions d’Antoine Garapon et Marc Clément (dans les articles de revues juridiques cités au début de ce billet) s’imposeront :

Eviter le risque de « l’effet "moutonnier" de la justice prédictive qui pousse au conformisme et réclame plus aux juges qui estiment qu’ils doivent aller à contre-courant, c’est-à-dire faire leur métier tout simplement ! »

« Il sera donc capital que les modes de raisonnement inscrits dans les algorithmes soient parfaitement explicites et maîtrisés par le juge. Il conviendra, de plus, que des méthodes alternatives soient proposées et que l’on ne se retrouve pas en situation de monopole avec une seule technologie utilisable. »

Sur l’impact prévisible de la justice prédictive, lire l’ouvrage (beaucoup plus détaillé et complet que cette dernière partie de ce billet) d’Antoine Garapon et Jean Lassègue : Justice digitale : Révolution graphique et rupture anthropologique (PUF, avril 2018). L’adjectif graphique est utilisé ici dans son sens de traitant de l’écriture. L’ouvrage insiste notamment sur la perte prévisible du symbolique, du rituel, pour le gain de la rapidité et du confort, recul de la loi, remplacée par la technique. Mais son sujet est plus vaste que celui de la justice prédictive, puisqu’il traite en fait de la numérisation et du passage en ligne de la justice. Ce sont les chapitres VIII et X qui sont spécifiquement consacrés à la justice prédictive, avec quelques interrogations clés, dont :

  • peut-on remplacer la causalité par la corrélation  ?
  • quelle est la taille suffisante (de la base pour obtenir des statistiques significatives) ?
  • le futur peut-il être déduit du passé  ?
  • la pression de la multitude.

Isabelle Sayn formule ainsi ses propres craintes : « le pouvoir d’appréciation du juge peut être affecté, selon qu’il connaît ou non les décisions prises par les autres magistrats. À quel point ces connaissances vont-elles donc avoir une influence sur l’activité du juge, et en quoi sont-elles compatibles avec la conception hiérarchique de la règle de droit ? En effet, nous ne nous situons pas dans un système de précédent, de common law. Laisser croire à des usagers qu’ils peuvent se défendre en justice via les solutions fournies par des legaltech, basées sur la jurisprudence, n’est donc pas forcément une bonne idée. Et puis, il y a aussi la crainte des magistrats qu’elles soient utilisées pour automatiser les décisions » [304].

I. Sayn redoute également une justice prédictive reproduisant les biais illégitimes des décisions, comme, en matière de prestations compensatoires et alimentaires, le sexe du juge ou la présence d’un avocat lorsqu’elle n’est pas obligatoire [305].

I. Sayn souligne enfin que beaucoup de choix faits par les parties (stratégie judiciaire ...) sont absents de la décision [306]. Là encore, donc, s’appuyer sur les décisions pour faire des prédictions rencontrerait ses limites.

Aurore-Angélique Hyde, maître de conférences en droit privé à l’Université de Rouen et chercheuse associée à l’Institut des hautes études sur la justice (IHEJ) et au CERDI, dans un article à la fois pragmatique et très pertinent au Recueil Dalloz écrit sur l’intérêt pour un avocat d’utiliser des outils de justice prédictive, suite à une décision canadienne reprochant à un avocat de ne pas avoir utilisé d’IA [307]. Elle conclut que « bien que les outils de justice prédictive soient à la mode, l’obligation d’y recourir, outre qu’elle entraverait la liberté professionnelle des avocats, ne protégerait aucunement ces derniers de toute responsabilité en cas de solution erronée ou insuffisamment pertinente ». En effet, pour elle, « l’obligation pour un avocat de consulter des outils de justice prédictive est parfaitement discutable, et ce à plus d’un titre. D’une part, c’est surtout la pertinence du résultat obtenu par l’avocat qui doit compter et non le moyen auquel il recourt pour y parvenir. [...] D’autre part, tous les outils existants ne proposent pas exactement le même service. ». Enfin, elle décrit ses tests d’outils et met le doigt dans la plaie : leurs limites, notamment quand il s’agit d’identifier la jurisprudence la plus récente et la plus pertinente [308].

Il faut préciser ici que les tests logiciels, non seulement lors du développement, mais aussi en production et en permanence, sont impératifs en intelligence artificielle. Cela fait partie d’une bonne assurance qualité, comme l’illustre cet article de Forbes.com [309].

Toutefois, les tests dont on parle ici ne sont pas ceux faits par les utilisateurs finaux (documentalistes et juristes) dont nous parlions plus haut — et c’est bien là que le bât blesse. Il s’agit pour les programmeurs et développeurs eux-mêmes de tester le code ou au minimum des unités (on parle alors de "unit tests") de l’application. Il y a des niveaux de test et des méthodes de test bien connues pour cela (voir la page Wikipedia EN Software testing), parmi lesquelles celle, fondamentale en IA, de l’échantillon de données (dont on connaît d’avance les résultats prévisibles) mis de côté et sur lequel l’algorithme n’a pas été entraîné.

Concernant la justice prédictive, Rubin Sfadj, dans son entretien précité avec la revue Expertises, souligne que lorsque les outils de justice prédictive seront utilisés par la puissance publique, cet usage devrait reposer sur trois grands principes éthiques — qui, à bien les lire, ne sont pas si exigeants que ça :

  • le principe de responsabilité conduisant à désigner pour chaque algorithme utilisé une personne référente, à l’instar du directeur de publication en droit de la presse
  • le principe de clarté, c’est-à-dire la mention explicite dans une décision de justice élaborée avec l’aide d’un algorithme de ce procédé et la motivation sur laquelle repose le recours à ce type d’outil
  • le principe de précision permettant de corriger une source d’erreur à tout stade du traitement algorithmique.

Quant aux juges, leur réplique à la justice prédictive est déjà prête : "Convainquez-nous avec des arguments juridiques, peu nous chaut vos statistiques". Le Conseil d’Etat, par la voix de Christian Vigouroux, lors du colloque sur l’open data de la jurisprudence organisé en octobre 2016 par la Cour de cassation, a déjà prévenu que la juridiction administrative suprême ferait en sorte que le juge administratif ne puisse pas se voir opposer sa propre jurisprudence [310]. Côté justice judiciaire, selon Xavier Ronsin, Premier président de la cour d’appel de Rennes [311] :

« L’hypothèse selon laquelle des plaideurs assistés d’avocats, renonceraient à aller jusqu’au bout d’un contentieux judiciaire classique, parce qu’ils auraient lu les résultats d’un logiciel dit de "prédictibilité de la justice" et qu’ils décideraient alors de transiger, est contestée par beaucoup et mérite à tout le moins d’être vérifiée. Lorsque l’on constate la difficulté de faire aboutir les "modes alternatifs de règlement des litiges (MARD)", il y a de quoi être sceptique, mais pourquoi ne pas l’espérer ?
Au-delà d’un refus de principe sur la possibilité d’enfermer la future décision d’un juge dans le raisonnement d’un algorithme basé sur des "précédents jurisprudentiels", je pense malgré tout que les magistrats doivent se préparer à comprendre ce processus, et à recevoir des dossiers d’avocats comportant des analyses savantes ainsi que des contenus statistiques de milliers de décisions au soutien d’une thèse et de prétentions de leurs clients. De tels dossiers n’empêcheront de toute façon pas la liberté du juge de faire du "sur-mesure" pour chaque dossier, mais ils pourront peut-être éclairer son raisonnement. »

Dans un entretien avec Acteurs publics.com, Xavier Ronsin ajoute [312] :

« C’est une opération complexe que la motivation intellectuelle d’un juge, une opération subtile qui s’articule à un raisonnement et non à une simple corrélation d’items factuels. »

Du côté des avocats, Pascal Eydoux, président du Conseil national des barreaux (CNB) estime qu’ « il n’est pas question que la profession d’avocats envisage de s’opposer à cette évolution car elle est inéluctable et attendue ». Sanjay Navy, avocat à Lille où il a testé Predictice, pense que « ça peut permettre de dire à l’adversaire : " regardez les condamnations en moyenne, négociez sinon vous risquez d’être condamné à tant, ce n’est pas moi qui le prétends, mais la jurisprudence ! " » [313].

Autrement dit, la justice prédictive aurait pour avantage de faciliter le calcul des chances de gagner ou perdre un contentieux, limitant ainsi la prise de risque et facilitant grandement le travail des avocats et plus encore des assureurs. Pour les assureurs, qui ont déjà développé des bases de données de jurisprudence et de dommages-intérêts comme AGIRA, l’avantage de la justice prédictive est de faciliter la connaissance de la "vraie" (à leurs yeux) jurisprudence, celle des statistiques. Les assureurs Allianz, Covéa, la Maif et Pacifica font partie des clients de Predictice [314], et Axa Protection Juridique ainsi qu’Allianz font partie des utilisateurs de Case Law Analytics [315].

À condition, évidemment, qu’aucune des parties ne fasse appel, qu’une juridiction suprême ne procède pas à un revirement de jurisprudence et que les textes applicables ne soient pas modifiés. Pour le magistrat Yannick Meneceur, détaché auprès du Conseil de l’Europe, « la forte évolutivité des règles juridiques constitue en elle-même une limite technique pour les algorithmes. Car les règles juridiques n’évoluent pas de façon linéaire comme dans les sciences dures, où une nouvelle règle vient compléter la précédente sans nécessairement l’invalider. Dans les systèmes de droit continental, il suffit que le texte fondamental change pour que la jurisprudence qui était fondée dessus se trouve écartée » [316]. Sur ce point, le bouleversement du droit du licenciement et de la procédure prud’homale par la loi Travail en 2016 puis les ordonnances Macron en 2017 constitue un excellent exemple : le contentieux de droit du travail pré-2017 a perdu une partie importante de son intérêt, particulièrement le montant des indemnités. Par ailleurs, comme le rappelle Bruno Mathis, consultant, la justice prédictive est « inutile pour estimer des dommages-intérêts obéissant à un barème [...] et où la justice prédictive sera-t-elle la plus utile ? Dans la masse des décisions qui ne sont ni trop spécifiques ni trop communes. » [317]

Il y a un risque que je n’ai vu mentionner que par l’ouvrage de Garapon et Lassègue. Il est caractéristique des soucis de ma profession, centrée sur l’information et les documents, leur production, leur recherche, leur diffusion. Il faut absolument le souligner : quid à long terme de la justice prédictive si celle-ci progresse et avec elle la déjudiciarisation, c’est-à-dire l’appauvrissement relatif des moyens humains et financiers du service public de la Justice ? Quid, parce que si, comme nous l’avons vu plus haut, la justice prédictive [318] et la modernisation de l’action publique (MAP, ex-RGPP) favorisent, développent, poussent vers le compromis, la transaction, la médiation, la conciliation et l’arbitrage (dits modes alternatifs de résolution des litiges ou MARL), alors les décisions ne seront plus disponibles, car par définition ces procédures ne sont pas publiques [319] et leurs décisions non plus. Alors, plus d’open data judiciaire, plus de données et plus de justice prédictive possible. A titre d’illustration, on estime, en arbitrage commercial international, que les diverses revues et bases de données disponibles [320] ne publient qu’au mieux 3000 sentences arbitrales par an. Essayez donc de faire de la statistique avec ça.

On peut aussi craindre une anonymisation insuffisamment forte, c’est-à-dire n’empêchant pas, d’ici les huit ans (à compter de 2017) nécessaires pour que les jugements de première instance accèdent à l’open data [321], la réidentification du fait d’un apprentissage statistique automatique ayant beaucoup progressé et s’appuyant les données indirectement nominatives. Ce risque est réel : le rapport Cadiet sur l’open data des décisions de justice, qui est en réalité d’abord l’œuvre de la haute magistrature [322], préconise une pseudonymisation renforcée, et non une véritable lutte contre la réidentification [323]. Or cette pseudonymisation renforcée ne semble être rien d’autre que la formalisation des pratiques actuelles des juridictions suprêmes, désormais en charge de l’anonymisation (pardon, pseudonymisation) et qui doivent faire face au coût que cela représente. La confirmation de cette anonymisation insuffisante est arrivée avec l’article 33 de la loi de programmation et de réforme 2018-2022 pour la justice.

Le professeur Anne Debet, ancien commissaire de la CNIL, et un des meilleurs spécialistes français du droit des données personnelles, interrogée par la mission Cadiet, explique pourtant que :

  • au regard de la jurisprudence de la Cour européenne des droits de l’homme, « on peut imaginer une condamnation de la CEDH sur le fondement d’une possible réidentification des personnes dans une décision contenant des données sensibles non correctement anonymisées »
  • au regard des exigences du RGPD, la simple pseudonymisation (le terme même employé par le rapport) est insuffisante : « L’anomymisation doit être conforme aux exigences posées par la loi informatique et libertés et par le RGPD. [...] Il ne doit pas s’agir d’une simple pseudonymisation, [...] Cette amélioration a néanmoins un coût et un budget conséquent doit y être consacré. » On ne saurait être plus clair.

Les avocats craignent aussi une certaine déshumanisation ou une justice au rabais, voire un possible risque de "fainéantisation". Comme le formule Me Navy lui-même : « On vient me voir avec un problème, je tape sur le logiciel, j’ai 90% de chances de le perdre, donc je ne prends pas le dossier alors qu’en s’y penchant bien, je pourrais soulever un point particulier et gagner. » [324]

Directement concerné par ces soucis éthiques, Predictice a choisi :

  • de créer un Comité éthique et scientifique de la justice prédictive, dont les membres, des avocats et enseignants en droit [325], ont accès à l’application de Predictice
  • et de commander une étude à l’Ecole de droit de Sciences-Po [326], intitulée Les enjeux éthiques de la justice prédictive et rendue publique le 21 novembre 2018 [327]. Bien que le commanditaire de l’étude soit Predictice, les rédacteurs ont consulté et pris en compte l’ensemble des acteurs (legal techs comme éditeurs juridiques) présentant des solutions que l’on pourrait assimiler à de la justice prédictive. L’essentiel des recommandations de l’étude :
    • documenter les processus, les choix, les contenus et les échantillons (pp. 52-66 de l’étude). Par exemple, documenter le processus de constitution des bases de données utilisées pour la justice prédictive. Si les décisions sont différentes ou si elles ne sont pas enrichies et structurées de la même façon, les résultats, notamment les statistiques, devraient en effet être très différents. Documenter aussi la logique de constitution des échantillons d’apprentissage automatique. Etc. L’idée est celle d’une certaine transparence, pour permettre d’expliquer les différences de résultats entre outils. Si l’on y réfléchit, cela aurait pour avantage d’éviter de mettre en cause les fondements mêmes de la justice prédictive, et ainsi de protéger cette toute jeune activité
    • repenser le travail du juge, qui va clairement être tenté d’automatiser ses décisions (voir supra ce qu’expose Florence G’Sell, notamment l’exemple américain du logiciel Compass, souvent cité)
    • Philippe Glaser, associé du cabinet Taylor Wessing et associé à ces travaux, va plus loin, proposant de soumettre les algorithmes à une procédure d’audit réalisée par une institution une autorité administrative indépendante comme la CNIL, et, en attendant, faire adopter une charte éthique, que pour l’instant seul Predictice s’est engagé à suivre.

Côté solutions, certains vont plus loin, en proposant voire exigeant que le code des applications sur lesquelles se fonde une décision de justice soit disponible en open source. Pour reprendre les mots de Michael Benesty : « la confiance que l’on placerait dans des outils de justice prédictive implique, au cours du processus, que le calculs et les caractéristiques du modèle de prédiction soient visibles et compréhensibles par le juriste, avocat ou magistrat, qui les emploie. Cela se traduit par une obligation de transparence sur les algorithmes, que garantit la libération en open source de la solution autant que par une vigilance et une expertise juridique sur les données mobilisées. » [328] Le code source de Supra Legem, l’application de M. Benesty, est déjà en open source [329].

Le magistrat Antoine Garapon, dans son entretien précité aux Petites Affiches, penche, de manière moins radicale, pour la création d’un service public chargé de contrôler le code source, sous condition de secret professionnel [330].

Jacques Lévy Véhel (Case Law Analytics) [331] est lui aussi favorable à un contrôle du code source par un tiers de confiance, mais il insiste surtout sur la vérification des résultats des logiciels par les juges.

Le magistrat administratif Marc Clément, plus réaliste à mon sens, estime quant à lui que la protection de la propriété intellectuelle des entreprises est un obstacle pur et simple à la divulgation, même limitée du code source, sans parler de sa compréhension.

Un article de la série Futurography sur Slate.com, propose une autre troisième voie entre secret et open source. Un amendement à loi fédérale américaine FOIA (Freedom Of Information Act [332]) donnerait le droit au public de soumettre des jeux de données tests à l’administration. Celle-ci devrait les passer à travers ses programmes et publier les résultats. Experts et journalistes pourraient alors calculer le taux d’erreur de ces algorithmes [333].

Enfin, selon un article d’Internet Actu [334], l’évolution des technologies d’IA pourrait permettre de sortir de l’opacité du fonctionnement de deep learning pour les humains. Algorithmes génétiques et IA symbolique, par exemple, peuvent être compris et débuggués. Il serait aussi possible de demander au programme d’expliquer ce qu’il fait.

En France, notre droit permet en tout cas de demander communication du code source des logiciels créés et utilisés par l’Administration, au titre de la communication des documents administratifs. La Commission d’accès au documents administratifs (CADA) [335] puis le tribunal administratif (TA) de Paris [336] l’ont confirmé à propos du logiciel simulant le calcul de l’impôt sur les revenus des personnes physiques. La DGFiP s’est résolu à s’y conformer l’an dernier, juste avant que le TA ne rende sa décision. La CADA a enfoncé le clou en 2016 en autorisant la communication à une association de lycéens du code source du logiciel Admission post bac (APB) [337]. Le Ministère de l’Education nationale s’y est conformé partiellement [338].

Ne pas oublier non plus que l’article 11 du règlement (européen) général de protection des données (RGPD), applicable en 2018, interdit toute décision automatisée qui affecterait significativement un citoyen européen et que les articles 12 et 14 créent, pour les autres décisions, un "droit à explication" [339]. Une décision de justice prédictive, par exemple [340]. Toutefois, si en dehors des décisions de justice, cela a de fortes chances de rester un principe sans application concrète, en vue de l’open data des décisions, la loi de réforme de la justice du 23 mars 2019 interdit expressément les

Enfin, du côté des structures privées (les cabinets d’avocats les premiers), les meilleures n’auront-elles pas intérêt à maintenir une expertise en recherche et veille afin de contrôler la pertinence des réponses ? Attention aux biais dans les contenus et les statistiques ... Pour le dire en anglais : « Content experts and data scientists needed ! »

Ross, Predictice, Case Law Analytics, des inconnus

Pour éviter de trop conjecturer et en apprendre plus, il faut tester ces IA. Et lire l’ouvrage de Garapon et Lassègue, "Justice digitale".

En effet, il n’existe aucune démo gratuite en accès libre de Ross ni de Predictice ou Case Law Analytics (CLA), le site web du produit Ross est d’un vide intersidéral (le compte Twitter est beaucoup plus riche !) et les structures utilisatrices donnent très peu d’exemples d’utilisation ni de recherche et, à l’exception notable de CLA, aucun autre détail.

C’est là que la libre disponibilité de l’interface et du code source de Supra Legem remplissait son office : permettre au grand public de tester un outil de "justice prédictive".

En conclusion, vu l’importance des enjeux et en même temps le fossé entre la com’ et les fantasmes d’une part et la réalité d’autre part, nous recommandons fortement de tester par soi-même ces nouvelles applications. Il est grand temps de déchirer le voile de hype et d’opacité de l’IA et que chacun se fasse sa propre opinion par soi-même.

Emmanuel Barthe
bibliothécaire documentaliste et veilleur juridique, spécialiste des moteurs de recherche pour le droit et des données juridiques publiques
licence en droit, Faculté de droit de Sceaux

Bibliographie

Où trouver des bibliographies plus complètes que les notes de bas de page de ce billet

Les notes de bas de page (plus de 250) de ce long billet en composent la bibliographie. Une bibliographie en bonne et due forme représenterait trop de travail pour une publication qui reste après tout un exercice de vulgarisation et d’information.

Deux publications permettent toutefois d’accéder à des bibliographies extrêmement riches et beaucoup plus axées "juridique" que nos propres sources :

Les bibliographies de ces deux publications (placées comme toujours à la fin du document) comportent d’abord des références d’articles et ouvrages de juristes sur l’IA, les mathématiques, les statistiques et les algorithmes appliqués au droit (essentiellement français), mais aussi d’articles de mathématiciens, informaticiens et sociologues.

Une "webliographie" sélective et rapide sur Ross (2017)

Dernières brèves

Impossible de retrouver les revues

Refonte du site AMF : attention, dégâts collatéraux

Utilisez le nouveau moteur en attendant que Google répare

Jeudi 27 février 2020

Lire la suite »


La nouvelle page Erreur 404 du site AMF

Depuis ce jeudi 27 février, l’Autorité des marchés financiers (AMF) est en train d’implémenter une nouvelle version de son site web.

Il y a des plus :

  • c’est plus élégant
  • adapté aux smartphones (site dit "responsive web design" — RWD — ou adaptatif).

Mais elle a aussi des effets de bord très gênants :

  • très nombreux liens en Error 404, comme les Voeux 2020 de Robert Ophèle ou les Priorités AMF 2020. Notre évaluation pour l’instant : au minimum 50% des URL des documents récents sont en Error 404 [1]
  • les recherches Google sont donc touchées : plus de la moitié des liens ne fonctionnent pas
  • à part les bases BDIF et la GECO, l’ancien moteur de recherche interne du site, que ce soit sa version simple ou sa version avancée, ne répond plus, alors qu’il est toujours accessible en haut de très nombreuses pages
  • impossible de retrouver les archives des revues COB et AMF. La rubrique Publications finit sur une page qui ne liste que des rapports, études et analyses. Les anciennes URLs de la Revue mensuelle de la COB mènent vers des erreurs 404, trois de plus
  • sur un ordinateur de bureau, la page est "trouée" comme un gruyère et peu pratique à lire ni à utiliser.

Il semble donc que, pour l’implémentation de cette nouvelle version de ce site, certaines bonnes pratiques n’aient pas été prises en compte [2]. Notamment :

  • assurer la permanence des liens
  • et prévenir à l’avance les utilisateurs.

Dommage, d’autant que communication et dialogue existent par exemple chez l’ADLC qui vient elle aussi de refaire son site [3].


A part la BDIF, pas d’archive des documents AMF sur data.gouv.fr

La question se pose, car actuellement les utilisateurs du site de l’AMF (financiers, banquiers, juristes, documentalistes, particuliers) sont perdus et ont beaucoup de mal à retrouver "leurs" documents et services. C’est gênant car les documents du site AMF ne sont pas archivés en libre accès ailleurs, notamment pas sur data.gouv.fr. Alors que les jeux de données de la CNIL y sont, eux.


La loupe mène au (nouveau) moteur de recherche du site

Solutions / quoi faire :

  • surtout, sachez repérer cette petite loupe qui mène au *nouveau* moteur de recherche (qui fonctionne, lui). En attendant que Google et Bing indexent les nouvelles URLs, c’est par là qu’il faut passer
  • pour la BDIF, son moteur spécialisé marche toujours, utilisez-le. Idem pour la base GECO (gestion collective : en un mot, les SICAV/OPCVM)
  • pour les communiqués, positions et recommandations AMF (la doctrine AMF), si vous ne les retrouvez pas par Google ou par les liens que vous avez cliqués :
    • allez sur la page d’accueil de la Doctrine AMF et utilisez la table des matières à gauche (ça, ça n’a pas changé). Idem pour le RGAMF
    • sinon, si vous avez un abonnement à Lexis 360, allez-y. L’essentiel devrait y être. Comme quoi, parfois, l’archivage privé de données publiques peut dépanner. Même si très franchement, ce n’est pas une situation à reproduire ni à faire perdurer.

Emmanuel Barthe
juriste documentaliste, veilleur

Coronavirus : relativiser, épidémie, précautions, droit du travail

Mardi 25 février 2020

Lire la suite »

Parce que j’ai l’impression que la France va être plus concernée que ça par l’épidémie de coronavirus 2019, j’ai pris le temps de faire ce point (au 24 février). Pour le rédiger, j’ai consulté de nombreuses sources fiables (site de l’OMS, presse, études scientifiques).

Re-la-ti-vi-ser

La grippe espagnole, de 1918 à 1919, fut responsable d’environ 50 millions de morts. La grippe classique en France cause 10 000 à 15 000 décès chaque année (entre 8000 et 9900 durant l’hiver 2018-2019 selon Santé publique France). A l’heure actuelle, en France, le coronavirus 2019 a causé un décès (soit un taux de mortalité de 1 pour 67 millions) et sa létalité (taux de mortalité des personnes diagnostiquées comme touchées par le virus, en anglais "case fatality rate") globale depuis le début de l’épidémie ne dépasse pas 3%.

En clair : en France, on risque plus de mourir d’un cancer, de la grippe classique ou d’un accident automobile que du coronavirus. Ce qui, entre parenthèses, n’est absolument pas une raison pour ne pas prendre de précautions (voir infra).

C’est à se demander si le risque le plus important n’est pas :

  • dans l’embouteillage des hôpitaux, qui seraient alors incapables de traiter les autres affections
  • et dans un potentiel arrêt de l’économie [4]. En effet, le COVID-19 fait d’autant plus peur qu’il est invisible.


Source : Le Monde.fr 22 février 2020.

Appellations

Il y a deux choses : le virus et la maladie qu’il déclenche. Les termes utilisés ressortent de l’un ou de l’autre :

  • nouveau coronavirus (il existe plusieurs types de coronavirus, celle-ci est la plus récente, apparue en 2019)
  • 2019-nCoV (appellation temporaire du virus)
  • SARS-CoV-2 (nom définitif du virus)
  • pneumonie ou pneumopathie de Wuhan
  • COVID-19 (nom définitif de la maladie).

Aspects médicaux du coronavirus 2019

Le coronavirus 2019 est assimilable à une grosse, très méchante grippe de par ses symptômes (ses effets sur le corps humain).

Symptômes (signes permettant de repérer la maladie) : fièvre (augmentation température), fatigue, toux sèche, manque de souffle, des difficultés à respirer, pneumonie, insuffisance rénale.

S’attrape par contact avec les fluides (éternuement, morve, goutelettes de salive) des personnes infectées. Donc suite à une forte proximité (moins d’un mètre) avec eux.

Période d’incubation (pendant laquelle on est déjà contaminant mais on n’a ) :

  • 14 jours maximum selon les autorités chinoises
  • une étude non encore "peer-reviewed" parle toutefois de 24 jours

Taux de létalité officiel global de 3% mais en réalité incertain [5] (létalité des coronavirus précédents : SRAS 10%, MERS 34%) [6] Des sources parlent de 18% en Chine et 5% hors de Chine. Selon la docteure Sybille Bernard-Stoecklin, experte à Santé publique France, « les modèles épidémiologiques estiment ce taux à environ 1% » [7]. La létalité de la grippe classique est de 0,1%.

Le Covid-2019 est toutefois plus dangereux que la grippe par au moins un aspect : il est plus contagieux [8] et entraîne des cas sévères sur des gens de plus de 50 ans, ce qui est très rare pour la grippe, explique le Dr Bernard-Stoecklin au Parisien.

Le COVID-19 est très dangereux pour les personnes déjà faibles (personnes âgées) ou affaiblies par des maladies pré-existantes. 80% des décès causés par le nouveau coronavirus concernent des personnes de 60 ans et plus et les personnes de plus de 80 ans touchées par la maladie ont 18% de chances (au 24 février) 15% de chances d’en décéder contre 0,2% pour les 20-29 ans.

Les enfants sont moins infectés que les adultes et semblent également plus résistants. Aucune personne infectée de moins de 9 ans n’est décédée jusqu’ici. Ce qui ne veut pas dire que les enfants sont à l’abri du virus. Aucune catégorie ne l’est [9].


Source : Early epidemiological analysis of the coronavirus disease 2019 outbreak based on crowdsourced data : a population-level observational study, The Lancet, 20 février 2020.

Traitements :

  • aucun médicament spécifique n’est recommandé pour prévenir ou traiter l’infection par le nouveau coronavirus
  • le coronavirus est un virus, les antibiotiques sont donc sans effet sur lui
  • on n’attrape pas deux fois le même type (souche) de grippe. Après avoir attrapé le coronavirus (Covid-2019), on devrait donc être en quelque sorte vacciné.

Géographie : l’épidémie est sortie de Chine et touche désormais toute l’Asie, particulièrement le Japon. Les pays hors Asie officiellement touchés au 22 février sont : Australie, Iran, Liban, Israël, Égypte, Italie (la région de Milan, où six personnes sont mortes du coronavirus ce week-end), France, Allemagne, Suisse, Finlande, Suède, Royaume-Uni, Espagne, Belgique, USA, Canada.

Pourquoi les spécialistes sont inquiets. Ou la quasi-certitude de la pandémie

Ce qui inquiète dernièrement les spécialistes des épidémies, ce n’est pas la remontée du nombre de cas, mais :

  • l’apparition de foyers infectieux loin de et/ou sans lien clairement établi avec la Chine (Japon, Iran, Liban, Italie ...)
  • leur certitude — discrète — que le nombre de cas réel est beaucoup plus important que celui des cas diagnostiqués. Ainsi une étude estime que début février à Wuhan, le nombre de cas diagnostiqués était 19 fois inférieur à la réalité. Les tests utilisés sont d’ailleurs reconnus comme imparfaits
  • le risque énorme que constitue l’Afrique, dont la Chine est le premier partenaire commercial et avec qui les pays africains n’ont pas interrompu les liaisons aériennes
  • enfin, leur quasi-certitude que la pandémie est pour bientôt. Pour le secrétaire général de l’OMS , « ce virus est [...] l’ennemi public numéro un et il n’est pas traité comme tel ». L’OMS ajoutait vendredi 21 que « la fenêtre de tir pour enrayer l’épidémie est en train de se réduire ». La Russie vient de fermer ses frontières avec la Chine.

Les précautions à prendre - Les gestes d’hygiène

Pour l’essentiel, des recommandations de l’Organisation mondiale de la santé (OMS).

- Nettoyez-vous les mains fréquemment avec un produit hydroalcoolique ou à l’eau et au savon.

- Couvrez-vous la bouche et le nez avec le pli du coude ou avec un mouchoir en cas de toux ou d’éternuement – jetez le mouchoir immédiatement après dans une poubelle fermée.

- Dans les lieux très fréquentés, particulièrement au travail et dans les transports en commun, évitez de toucher les rampes, colonnes et poignées de porte. Nettoyez-vous les mains aussitôt après en être sorti.

- Evitez de porter vos mains à votre bouche, votre nez ou vos yeux sauf si vous venez de vous les laver. Le virus passe essentiellement par là. Cela dit, le virus ne passe pas par la peau. Mais en revanche, il survit un certain temps sur votre peau. A fortiori sur les surfaces touchées par des dizaines, centaines, milliers de personnes par jour.

- Port de masque de protection faciale : les informations sont contradictoires ou ambigües, probablement parce qu’elles cherchent, face à la pénurie [10], à éviter une ruée des particuliers sur les masques les plus protecteurs (les FFP2) et à privilégier les soignants dans les hôpitaux, qui sont les plus exposés. Plus en détail :

  • la meilleure qualité de masques est en pratique réservée, vu la pénurie mondiale, aux hôpitaux [11]. C’est le FFP2 [12]. Il protège non seulement les autres d’un porteur du masque malade mais aussi le porteur du masque des personnes malades
    • l’OMS vous dit de ne porter un masque que si vous toussez ou éternuez (pour éviter de contaminer les autres) ou bien si vous vous occupez d’une personne malade. Ce qui revient à dire que les masques ne servent pas à grand’ chose mais qu’en même temps ils servent à quelque chose. En fait, explique François Godement, conseiller pour l’Asie à l’Institut Montaigne et interviewé par l’AFP, il ne faut pas confondre « les masques chirurgicaux (limitant la contamination vers autrui) avec les masques plus élaborés (N95 et de norme minimale FFP2) qui limitent la contamination vers leurs porteurs »
    • les masques ne doivent pas être réutilisés ni lavés. Ils doivent être changés et jetés toutes les 3 à 8 heures (et on se lave les mains après).

- Tenez-vous à plus d’un mètre d’une personne qui tousse ou éternue et ne porte pas de masque. Les gouttelettes respirables se projettent à 1 m au maximum d’une personne qui tousse ou éternue.


Les gestes d’hygiène contre la grippe classique sont parfaitement adaptés au coronavirus 2019 : vidéo de Pierre Parneix, président de la Société française d’hygiène hospitalière

- Evitez les transports en commun autant que possible. Allez au travail en vélo, moto, trottinette ou voiture.

- Demandez à votre employeur si vous pouvez télétravailler au maximum.

- En cas de fièvre, de toux, consultez un médecin.

- Ne partagez pas les objets comme les verres, les couverts et évidemment les brosses à dents ou les serviettes de bain et les gants de toilette.

- Aérez votre intérieur tous les jours entre 10 et 15 minutes pour renouveler l’air et éviter la prolifération des virus.

- Nettoyez les nids à microbes comme les poignées de porte, les télécommandes, les écrans de téléphone... Lavez le plus souvent possible les serviettes et gants de toilette.

- Il est sans danger de recevoir une lettre ou un colis de Chine. Les coronavirus ne survivent en effet pas longtemps sur des objets.

- Nos amis animaux domestiques ne risquent pas d’attraper la maladie.

- NB : d’après le même François Godement, « la France – et la plupart des pays européens – possèdent très peu de scanners thermiques ».

Coronavirus et travail

Il faut d’abord regarder si le plan de continuité d’activité (PCA) de l’entreprise a prévu quelque chose dans le cas d’une épidémie.

Ensuite, selon le droit positif, l’employeur doit prendre toutes les mesures nécessaires pour assurer la sécurité et protéger la santé physique de ses salariés (article L. 4121-1 du Code du travail). Lorsque le risque est exclusivement ou principalement environnemental, comme une pandémie grippale, les employeurs sont tenus, au minimum, à une obligation de moyens (circulaire DGT 2009/16 du 3 juillet 2009 émise à l’occasion de l’épidémie de grippe H1N1). Mais cette précision doit aujourd’hui être interprétée au regard de l’évolution jurisprudentielle de l’obligation de sécurité vers une obligation de prévention des risques professionnels depuis l’arrêt Air France du 25 novembre 2015 (Cass. soc., 25 novembre 2015, nº 14-24.444).

En théorie, les salariés peuvent :

    • en cas de danger grave et imminent au travail pour leur santé, invoquer leur droit de retrait (= ne pas venir travailler ; article L. 4131-1 du Code du travail : les salariés peuvent se retirer de toute situation de travail dont ils ont un motif raisonnable de penser qu’elle présente un danger grave et imminent pour leur vie ou leur santé), sans que l’employeur puisse les contraindre à reprendre le travail ni les sanctionner (C. trav., art. L. 4131-3). Le droit de retrait s’apprécie du point de vue du salarié. L’appréciation est donc subjective. Le salarié n’a pas à démontrer qu’il y a bien un danger, mais il doit se sentir menacé par un risque sérieux de blessure, d’accident ou de maladie. Mais le droit de retrait ne peut pas être utilisé comme substitut de la grève ou pour faire passer des revendications classiques sur les conditions de travail
    • ou demander, dans la mesure où cela est techniquement possible, à télétravailler.

Mais en l’absence d’une claire épidémie en France (contrairement aux salariés basés en Chine), il n’est pas certain qu’ils puissent l’exiger. Toutefois, le ministre français de la santé Olivier Véran déclarait au Parisien ce dimanche 23 février : « Une épidémie ? Nous nous y préparons. »

Il est donc plus prudent pour les salariés d’aborder le sujet par le biais du CSE et de chercher à organiser avec l’employeur un télétravail extensif et/ou un roulement des équipes.

Cela dit, et comme le souligne BFM Bourse, un argument évident et scientifique à la fois devrait pousser l’enployeur à laisser ses salariés prendre des arrêts de travail ou rester chez eux au moindre risque : selon une étude d’Erik Nesson, professeur à l’Université Ball State (Indiana), parue dans la revue Economics & Human Biology, à propos de la grippe, les employeurs devraient rapidement prendre conscience que si quelqu’un vient travailler alors qu’il est malade, cela pourrait lui coûter énormément d’argent, du fait du risque de contaminer un nombre de salariés plus important encore. D’après l’universitaire, chaque augmentation du taux d’emploi d’un point de pourcentage correspondrait à une hausse de 16% des visites médicales liées à la grippe, et l’effet semble d’autant plus fort que la composante des services est importante dans l’économie.

Il faut exiger de l’employeur la mise à disposition de masques, gel hydroalcoolique, mouchoirs et lingettes et le rappel des consignes.

Si le salarié est confiné/mis à l’isolement par un médecin, avec arrêt de travail, un décret du 31 janvier 2020 lui donne le droit de toucher exceptionnellement des indemnités journalières pendant 20 jours alors même qu’il n’est pas malade [13].

Pour se tenir au courant

Trois comptes Twitter et trois pages web dédiées au suivi de l’épidémie de coronavirus :

Timelines et cartes tenues à jour :

Compteurs, statistiques :

Informations médicales et articles scientifiques :

  • OMS : Q&A on coronaviruses (COVID-19) (en anglais) (version française moins à jour)
  • European Centre for Disease Prevention and Control (ECDC) : COVID-19
  • The Lancet : COVID-19 Resource Centre (accès libre et gratuit aux articles de la célèbre revue médicale)
  • l’article de Wikipedia en anglais et ses références (bibliographie)
  • un groupe d’archivistes a publié un répertoire contenant plus de 5000 études liées aux coronavirus sur The-Eye.eu L’objectif est de booster la recherche médicale en donnant accès à ces informations à un maximum de scientifiques. Cette manœuvre est illégale, mais ils estiment que le droit d’auteur ne doit pas primer sur le libre accès à la connaissance scientifique. Pour plus d’informations sur cette initiative, lire l’article de l’Usine Digitale et celui d’origine de Motheboard. Fin janvier 2020, certains éditeurs, dont Elsevier, Wiley et Springer Nature, ont annoncé la suppression de leurs "paywalls" pour certaines études liées aux coronavirus. Le directeur de la communication d’Elsevier a déclaré que l’éditeur mettra bientôt en libre accès plus de 2400 articles de recherche sur plusieurs souches du coronavirus sur ScienceDirect.

Emmanuel Barthe
veilleur

Les robots, avocats et juges de demain ? Pas vraiment ... Mais la contrainte budgétaire y pousse

Intelligence artificielle en droit : derrière la "hype", la réalité

Justice prédictive, legal tech, analyse de contrats, Ross, Westlaw, Lexis, Case Law Analytics, Predictice, Softlaw, Hyperlex, Minority report, machine learning, réseaux neuronaux, NLP, Big data etc.

Mercredi 19 février 2020

Lire la suite »

[Ce "paper", initialement publié en janvier 2017, est régulièrement mis à jour. Une version plus courte et plus synthétique a été publiée à la Semaine juridique édition Générale (JCP G) du 8 avril 2019 sous le titre "Les outils de l’intelligence artificielle pour le droit français".]

Legal tech, justice prédictive et plus encore "intelligence artificielle" (IA) en droit sont devenus des sujets à la mode depuis 2015-2016 [14].

Mais discours marketing et flou sur les technologies comme sur les performances sont légion dans la majorité des articles disponibles — qui ressemblent souvent plus à de la communication qu’à de l’information.

De qui et de quoi parle-t-on exactement quand on parle d’IA : quelles sociétés, quelles fonctions, quelles technologies ?
Quels sont les outils juridiques méritant l’appellation IA ?
Quels sont les véritables risques pour l’emploi des professionnels du droit (avocats, stagiaires, juristes d’entreprise, magistrats, notaires) et de leurs "paralegals", documentalistes et veilleurs ?
Quels sont, également, les risques de la justice prédictive ?

C’est le sujet de ce billet, qui vise à démystifier les fonctionnalités et performances des applications présentées comme des "IA" (intelligences artificielles) en droit, tant pour le présent que pour le futur. Il s’appuie sur la lecture d’une bonne partie de la littérature disponible et sur des discussions personnelles avec certains acteurs.

Résumé / Executive summary (TL ;DR)

En quelques paragraphes pour ceux qui sont pressés :

  • L’intelligence artificielle est d’abord un champ de recherche et un terme de marketing très vendeur mais fourre-tout. Les spécialistes la définissent comme la frange la plus avancée de l’informatique. Autrement dit, les réalisations dignes de ce nom, particulièrement en droit, sont rares. Le reste, c’est de l’informatique très classique.
  • Techniquement, l’IA en droit se caractérise par l’utilisation combinée :
    • du Big data
    • du machine learning (ML), pour l’instant peu utilisé
    • de calculs de probabilité, avec toutes les limites des statistiques
    • et surtout du traitement du langage naturel (TAL) — en anglais "natural language processing" (NLP). Soit (cas rare) dopé par le machine learning et l’analyse syntaxique, soit (cas le plus fréquent) à base de systèmes experts s’appuyant eux-mêmes sur les chaînes de caractères. Ce qui signifie que les soi-disant "intelligences artificielles" en droit sont en fait a) des moteurs de recherche de nouvelle génération (tous) et b) des systèmes d’aide à la décision (en France, uniquement Predictice et Case Law Analalytics). Pas des cerveaux juridiques
    • et de systèmes experts, où on formalise l’expertise de spécialistes, notamment par le biais d’arbres hiérarchiques ou dans le domaine du vocabulaire (ce qui participe au TAL).
  • La valeur créée par l’intelligence artificielle provient des données nécessaires à l’apprentissage bien plus que de l’algorithme, dont les développements se font en open source. Autrement dit, les données comptent plus que les logiciels. Cela devrait permettre aux éditeurs juridiques français traditionnels, actuellement à la traîne, de revenir dans la course car ce sont eux qui détiennent les données les plus riches en droit français, tout particulièrement la doctrine.
  • Si on a beaucoup parlé de Ross, l’IA d’IBM, c’est d’abord grâce à une offensive marketing et communicationnelle de première ampleur. Mais ses performances réelles sont en deçà de sa réputation. Elle ne fait que de la recherche et de l’analyse sur la jurisprudence de droit américain dans des domaines précis, comme les faillites ou la propriété intellectuelle.
  • A plus faible dose mais régulièrement depuis une dizaine d’années, Westlaw et Lexis Advance intègrent des petits bouts d’IA, essentiellement du NLP pour améliorer la pertinence des recherches par une sorte de synonymie et de désambigüisation améliorées, mais aussi, depuis peu, par des statistiques par juge ou avocat.
  • Cet accent sur la recherche et la justice dite "prédictive" (la traduction correcte de l’anglais est "justice prévisible") fait oublier que le type d’application d’IA juridique le plus répandu sont probablement les logiciels de "contract review" (détection, analyse et classification de clauses dans les contrats anglo-saxons) : eBrevia, Kira ou Luminance par exemple.
  • En droit français, à l’heure actuelle, seul un nombre limité d’applications peuvent prétendre à être qualifiés d’IA :
    • en "contract review", Softlaw et Hyperlex
    • en justice (dite) prédictive, Predictice, Case Law Analytics et Legalmetrics de Lexbase [15]. Tous ne travaillent que sur la jurisprudence, à l’exclusion du contentieux pénal, Case Law Analytics ayant une approche très délimitée et haute couture, quand Predictice est de facto plus axé sur le droit du travail et la responsabilité civile. On peut à la limite ajouter le pionnier Jurisprudence chiffrée de Francis Lefebvre, qui travaillait déjà sur le langage naturel en 2010. Les apports de ces applications : une recherche facilitée, et le calcul du montant prévisible des dommages-intérêts et des chances de gagner un procès. Cet apport ne suffit pas toujours à convaincre les magistrats, qui disposent d’outils internes mieux adaptés (barèmes), mais suscite l’intérêt croissant des cabinets d’avocats et des assureurs
    • sur les textes officiels, RegMind de Luxia, une application de veille et de suivi automatiques du droit bancaire et financier.
  • Les risques de suppression nette d’emplois dans le secteur juridique sont un sujet de débat mais il demeure que les tâches simples et "découpables" seront automatisées et que les collaborateurs, les "paralegals" et les documentalistes juridiques devront apprendre à travailler avec l’IA (et non à côté d’elle), autrement dit à l’utiliser et l’améliorer. Quant à l’IA connectée au cerveau, même si des recherches existent, on en est très loin.
  • La justice dite prédictive entraînerait de sérieux risques, au premier plan desquels le jugement sur des critères obscurs et le conformisme des juges à ce qui a déjà été jugé. Des limites légales existent déjà et des parades techniques sont proposées, notamment l’open source du code ou des tests de vérification à partir de jeux de données. La justice dite prédictive a pour avantage de faciliter le calcul des chances de gagner ou perdre un contentieux, ce qui pousse à la transaction et peut réduire l’encombrement des tribunaux, confrontés à un sous-financement budgétaire.
  • En conclusion, vu l’importance des enjeux et en même temps le fossé entre la com’ et les fantasmes d’une part et la réalité d’autre part, nous recommandons fortement de tester par soi-même ces nouvelles applications. Aucune n’étant en open source ni disponible en démo gratuite, il est nécessaire de se faire sa propre opinion, par soi-même.

Sommaire

Un sujet très tendance depuis 2016

Début janvier 2017, Les Echos publient un article au titre provocateur : Les robots seront-ils vraiment les avocats de demain ?.

En fait, ses auteurs, Pierre Aidan, cofondateur de Legalstart.fr [16] et Florence Gsell, professeur de droit à l’université de Lorraine et ancien conseiller scientifique du Conseil national des barreaux (CNB) de 2007 à 2017, réagissent, dans le but de rassurer les professions judiciaires, à un autre article.

Ce dernier, beaucoup plus provocateur sur le fond, a été publié en octobre 2016 à la Harvard Business Review, par le célèbre consultant en informatique juridique britannnique Richard Susskind et son fils Daniel, économiste : Technology Will Replace Many Doctors, Lawyers, and Other Professionals (Les nouvelles technologies remplaceront beaucoup de médecins, juristes et autres professionnels libéraux). Cet article est en fait un résumé du dernier ouvrage des Susskind publié en octobre 2015 : The Future of the Professions : How Technology Will Transform the Work of Human Experts (Le futur des professions libérales : comment les nouvelles technologies vont transformer le travail des experts humains, Oxford University Press, OUP) [17]. Quant au consultant américain Jaap Bosman, son ouvrage Death of a law firm (Mort d’un cabinet d’avocats) prédit la fin du "business model" actuel des cabinets d’avocats en soulevant l’épineuse question de la standardisation du service juridique grâce à l’intelligence artificielle (IA) [18].

Et en novembre 2016, la journaliste britannique Joanna Goodman [19] publie Robots in Law : How Artificial Intelligence is Transforming Legal Services (Les robots juridiques : comment l’intelligence artificielle transforme les services juridiques, Ark Group) [20].

Toujours début janvier 2017, la Semaine juridique publie, elle, une étude d’Antoine Garapon, magistrat, secrétaire général de l’Institut des hautes études sur la Justice (IHEJ) et spécialiste reconnu des questions de justice, intitulée « Les enjeux de la justice prédictive » [21]. Et pour ne pas être en reste, le Recueil Dalloz s’empare aussi du sujet avec une tribune de Marc Clément, Premier conseiller à la cour administrative d’appel de Lyon [22]. C’est la newsletter Dalloz Actualité qui a publié peut-être un des meilleurs articles sur le sujet : L’intelligence artificielle va provoquer une mutation profonde de la profession d’avocat, par Caroline Fleuriot, 14 mars 2017. Le seul reproche que je ferais à cet article est de reprendre, sans recul, des phrases chocs, excessives, destinées à impressionner ou à faire peur [23].

La revue Expertises, enfin, publie en janvier 2017 une interview de Rubin Sfadj, avocat aux barreaux de Marseille et New York et grand blogueur et twitteur devant l’Eternel. Interview portant sur l’IA juridique [24] et plus concrète et plus claire — plus tranchée, peut-on dire — que les deux articles précédents.

Depuis fin 2016, donc, le sujet ne quitte plus la Une des revues juridiques françaises, de la presse économique et des nombreux sites consacrés à la "French legal tech".

C’est en fait depuis les premiers succès commerciaux de Ross, l’IA d’IBM en droit [25], que l’attention des médias s’est portée sur l’IA appliquée au domaine du droit. Depuis l’application du système de machine learning Watson développé par IBM au droit américain des faillites ou de la propriété intellectuelle, l’intelligence artificielle (IA) en droit est devenue tendance [26]. On parle beaucoup aussi de justice prédictive.

A lire aussi sur ce même sujet :

On peut rapprocher ces publications d’une note de McKinsey (décembre 2016) sur le futur du travail [27]. Elle prévoit dans le monde entier une automatisation croissante des tâches, pouvant supprimer 5% des emplois actuels et en modifier beaucoup plus.

Toujours selon McKinsey (avril 2018), ce ne sera pas le secteur des professions juridiques ni même celui des consultants ou des professions libérales qui devrait le plus bénéficier — en terme de création de valeur/augmentation de revenus — de l’IA mais la vente et le marketing (services aux clients, recommandations d’achat, tarification dynamique), la logistique et la production (maintenance prédictive) et le voyage (Bookings.com, Liligo, Trainline et autres comparateurs de prix d’hôtels et de billets d’avion et de train) [28].

De quoi parle-t-on exactement ? Ou comment définir les legal tech et l’IA en droit aujourd’hui

Les différents types de technologies utilisés en "IA"

Les différents types de technologies utilisés en "IA" (NB : pas de robotique en droit et la "vision" mentionnée dans ce schéma recouvre en fait le machine learning (ML) et d’autres technologies)

Pour comprendre où en est l’intelligence artificielle en droit, il faut savoir de quoi on parle. Et pour savoir de quoi on parle, il faut bien commencer par des catégories et des définitions. Le premier stade de ce travail de définition et de catégorisation, c’est celui des technologies utilisées et des entreprises impliquées.

Définir les technologies, car s’en tenir à la définition d’origine de l’intelligence artificielle, vu son flou, est impossible. Le terme « intelligence artificielle », créé par John McCarthy, est défini par l’un de ses créateurs, Marvin Lee Minsky, comme « la construction de programmes informatiques qui s’adonnent à des tâches qui sont, pour l’instant, accomplies de façon plus satisfaisante par des êtres humains car elles demandent des processus mentaux de haut niveau tels que : l’apprentissage perceptuel, l’organisation de la mémoire et le raisonnement critique ». La définition du Larousse est un peu moins floue mais reste insuffisante : « l’ensemble des théories et des techniques mises en œuvre en vue de réaliser des machines capables de simuler l’intelligence ». Voici enfin la définition de l’IA par le meilleur dictionnaire de langue française, celui élaboré par l’ATILF [29], le Trésor de la langue française (TLF) : « Intelligence artificielle : recherche de moyens susceptibles de doter les systèmes informatiques de capacités intellectuelles comparables à celles des êtres humains ».

Dans la même veine, selon Jean-Gabriel Ganascia, chercheur au Laboratoire informatique de Sorbonne-Université (LIP6) et président du comité d’éthique du CNRS, l’IA « désigne une discipline scientifique qui a pour but de décomposer l’intelligence en fonctions élémentaires, au point qu’on puisse fabriquer un ordinateur pour les simuler » [30].

Le philosophe et chercheur en sciences de l’information et de la communication Pierre Lévy, avec franchise, définit ainsi l’IA : « L’intelligence artificielle est une expression de type "marketing" pour designer en fait la zone la plus avancée et toujours en mouvement des techniques de traitement de l’information » [31].

Robert Bentz, qui a créé et dirigé une équipe de cinquante personnes spécialisée en IA au sein du Commissariat à l’énergie atomique (CEA) écrit, dans une tribune au Monde : « La mise au point de ces algorithmes n’a jamais prétendu faire appel à l’intelligence artificielle, mais plutôt à des modèles mathématiques, de la linguistique, du traitement du signal. Alors pourquoi parler de solutions d’intelligence artificielle ? [...] Oui, l’informatique nous aide par sa rapidité, mais en rien par une intelligence non démontrée. Ce que nous appelons intelligence artificielle, doit se nommer algorithmique rapide, évoluée ou avancée » [32].

Cet aspect « avancé » est aussi ce sur quoi Jean-Gabriel Ganascia insiste : « certains [dans les années 1990] préféraient parler d’“informatique avancée” ou d’“intelligence augmentée” » (qui permettent en plus de conserver l’acronyme « IA »). Luc Julia, cocréateur de Siri (Apple), penche pour cette dernière expression, en soulignant que « c’est notre intelligence à nous qui est augmentée ». Mais, reconnaît-il, « c’est compliqué de changer de terme maintenant, c’est entré dans le langage courant, c’est utilisé depuis soixante ans… C’est l’image qu’il y a dans la tête des gens qu’il faut changer. On a fait une erreur dans le terme, maintenant il faut expliquer ce qu’il y a derrière » [33].

L’Université d’Helsinki, dans son remarquable cours en ligne (MOOC) d’initiation à l’IA, si elle reconnaît l’absence de définition officielle de l’intelligence artificielle, propose de dépasser la définition — trop simple — proposée plus haut d’informatique avancée. Ce cours, intitulé Elements of AI, propose une définition de l’IA centrée sur l’autonomie et l’adaptivité. Pour citer le cours : « Autonomie : capacité d’effectuer des tâches dans des environnements complexes sans être constamment guidé par un utilisateur. Adaptivité : capacité d’améliorer le rendement en tirant des leçons de l’expérience. » [34] Cette définition est certes reliée aux technologies qui dominent actuellement le domaine de l’IA : le machine learning, et plus particulièrement le deep learning et ses réseaux de neurones. Mais comme nous allons le voir, elle éclaire assez bien le champ de l’IA en droit.

Quant au but marketing cité par Pierre Lévy [35], il se voit dès l’origine même du terme "intelligence artificielle". Selon Tom Morisse, research manager chez Faber Novel : « si le mathématicien de formation John McCarthy utilise ces mots pour proposer le Dartmouth Summer Research Project — atelier de l’été 1956 que beaucoup considèrent comme le coup d’envoi de la discipline — c’est autant pour la distinguer des travaux connexes qu’étaient la théorie des automates et la cybernétique que pour la doter d’une définition idoine » [36].

L’aspect marketing est toujours très prégnant, aujourd’hui, dans les produits estampillés "IA". Concrètement, les "tech" se sont retrouvées dans une ruée vers l’or de l’intelligence artificielle. Mais, comme le dit Meredith Whittaker, cofondatrice d’AI Now et dirigeante du groupe Google Open Research, à The Verge, « de nombreuses affirmations sur les avantages et l’utilité de l’intelligence artificielle et des algorithmes ne sont pas étayées par des preuves scientifiques publiquement accessibles » [37]. Ses propos sont recoupés par ceux d’Olivier Ezratty sur FrenchWeb : « L’IA est parée de capacités qu’elle n’a pas encore et n’est pas prête d’avoir. On est en pleine construction d’une vision mythique de l’IA, basée sur des mécanismes de propagande de l’innovation [...]. Ces mécanismes sont amplifiés par la communication marketing des fournisseurs tels qu’IBM et Google qui embellissent toujours la mariée, par une stratégie de la sidération, par la difficulté de vérifier les faits avancés ou la fainéantise intellectuelle ambiante, et par l’absence généralisée de connaissances techniques sur l’IA, même chez la majorité des spécialistes du numérique » [NB : notamment chez les journalistes et les prospectivistes] [38]

Mike Mallazzo, un spécialiste du marketing pour applications et e-commerce, est allé plus loin dans un post Medium de juin 2019, en affirmant que « les startups rebaptisent sans vergogne les algorithmes rudimentaires d’apprentissage machine comme l’aube de la singularité, avec l’aide d’investisseurs et d’analystes qui ont un intérêt direct dans le développement du battage publicitaire. » Selon M. Mallazo, « la définition de l’intelligence artificielle devient [alors] si confuse que toute application du terme devient défendable. » [39] Il cite notamment cet article de Devin Coldewey publié sur Tech Crunch en 2017 : ‘AI-powered’ is tech’s meaningless equivalent of ‘all natural’ ("IA" est l’équivalent technologique et sans signification de "naturel"). Pour Mike Mallazo, les journalistes (américains) savent parfaitement que c’est du « f...age de gu... » mais y sacrifient sans problème.

Le terme même de discipline, pour l’IA, est sujet à caution. En tout cas, il ne s’agit pas vraiment d’une discipline scientifique bien délimitée. On emploiera plus facilement les termes de matière, de sujet ou encore de champ de recherches. En ce sens, voir la partie 7-1.1 Les disciplines de l’intelligence artificielle de la thèse de Daniel K. Schneider sur la Modélisation de la démarche du décideur politique dans la perspective de l’intelligence artificielle [40] :

« L’intelligence artificielle n’a pas d’objet de recherche académique bien défini à part l’intérêt porté au "mental" et aux représentations de connaissances. Elle s’est divisée en de nombreuses sous-disciplines focalisant sur des problèmes bien distincts (tel que la vision, la résolution de problèmes, la compréhension du langage, l’apprentissage,...). Il n’existe pas de paradigme unifié de recherche et certaines branches de l’IA sont devenues des terrains d’échanges multidisciplinaires où se côtoient philosophes, psychologues, informaticiens et autres qui s’intéressent aux divers problématiques de l’intelligence. »

Il y a donc des technologies, qu’il faut distinguer les unes des autres, et derrière ces technologies, il y a des applications (des logiciels, si vous préférez) et leurs développeurs, grosses sociétés de l’informatique et de l’Internet ou start-ups, l’ensemble des sociétés travaillant sur l’application des technologies informatiques au droit étant communément appelé les "legal tech" [41]. Les entreprises et les produits d’IA en droit sont un sous-ensemble des legal tech. Pour autant, il faut bien distinguer l’IA de l’ensemble des legal tech.

Que font les legal tech ?

Pour sa granularité/précision, on reprendra ici la liste très complète de Benoît Charpentier développée dans son article précité. Les legal tech « proposent de très nombreux services et produits, comme :

  • le calcul de probabilité concernant les décisions de justice [ça, c’est de l’IA. De l’IA (très) faible, mais de l’IA. Voir plus loin pour les explications]
  • le financement de contentieux (third-party litigation funding)
  • les plateformes d’actions collectives
  • la génération automatisée de documents juridiques dynamiques [ici aussi, il peut y avoir de l’IA (très) faible]
  • le déploiement de systèmes intelligents ou d’intelligence artificielle (fondés par exemple sur le machine learning, notamment ses variantes natural language processing et deep learning)
  • les plateformes de mise en relation avec des professionnels du droit
  • les solutions cloud
  • l’édition de logiciels spécialisés
  • la résolution de litiges non contentieux en ligne
  • les procédures d’arbitrage en ligne
  • les procédures de divorce en ligne
  • la signature électronique
  • la certification de documents (par exemple grâce à la technologie blockchain)
  • la réalisation de formalités et de dépôts en ligne (mise en demeure, acte introductif d’instance)
  • la visualisation de données complexes issues du Big Data
  • la programmation de contrats intelligents (smart contracts)
  • la mise en oeuvre d’outils collaboratifs
  • la revue de documents assistée par la technologie (Technology Assisted Review (TAR))
  • les outils de conformité
  • les outils de calculs fiscaux
  • les outils de gestion de contrats (contract management, audit de contrats) [auxquels j’ajouterais les outils d’automatisation (partielle) de la production de contrats]
  • les outils de recherche juridique [là aussi, il peut y avoir de l’IA. Toujours (très) faible] ».

Une autre classification, plus resserrée mais moins évocatrice, est disponible sur l’article de Case.One (une de ces legal tech) LegalTech 2018 : où allons-nous ? (janvier 2018) :

  • information juridique
  • rédaction d’actes
  • litiges en ligne
  • mise en relation [avec des avocats]
  • outils métier [pour avocats ou juristes d’entreprise].
  • IA/machine learning/justice prédictive. Selon une enquête réalisée fin 2018 par le site d’actualité des startups Maddyness et les Actualités du droit (Wolters Kluwer), 19% des legal tech disent utiliser l’IA dans leurs technologies mais 13% seulement selon l’annuaire des legal tech du Village de la Justice [42]. En réalité, et au vu des startups listées dans le segment IA dans l’annuaire du Village de la Justice si on s’en tient à une définition stricte de l’IA (voir infra), le chiffre est probablement encore plus faible.

Qui sont ces legal tech ?

Il existe une liste gratuite, fiable et quasi-exhaustive des legal techs françaises ou implantées en France (PDF), celle de Benoît Charpentier, consultant et avocat, mais elle date de début 2017. En décembre 2018, Florian Herlicq, product manager de LegalCluster, une legal tech elle-même, a entrepris de mettre à jour sa liste Les 100+ de la Legaltech française [43]. Une autre liste est celle de l’annuaire des legal tech du Village de la Justice, certes autodéclaratif, mais qui a l’avantage d’être mis à jour en continu. Pour une liste mondiale, voir [44] :

A mon goût, beaucoup de ces initiatives sont certes "legal" mais leur degré d’innovation en "tech" est faible : par exemple, simple mise en ligne de formulaires ou intermédiation entre avocats et prospects. Alors voici une liste personnelle de legal tech françaises (ou plutôt présentes en France), non triée, forcément incomplète mais tendant à se focaliser sur l’innovation technologique (machine learning, big data, analytics, langages de programmation simplifiés pour juristes, moteurs de recherche améliorés ...) :

Sur la production partiellement automatisée de contrats pour TPE et particuliers, voir le rigoureux comparatif — plus précisément une « évaluation de la qualité d’un “contrat de prestations de services” généré “en temps réel” » — publié par Philippe Gabillault (Toltec) fin janvier 2019 : Contribution #3–10 Legal Techs au banc d’essai..

A noter, car très souvent citée par les articles présents sur le Net mais non présente en France : DoNotPay conteste les PV de stationnement en justice sans avocat et avec un taux de succès important.

IA juridique ancienne (logiciels experts) et IA juridique récente (ML, NLP)

Attention : très peu parmi ces sociétés se rangent dans la catégorie de l’intelligence artificielle telle qu’on la pratique aujourd’hui, autrement dit une IA à base de machine learning et/ou de traitement du langage naturel (natural language processing, NLP).

Beaucoup se rangent dans les logiciels experts, une catégorie d’IA déjà ancienne à laquelle le cloud donne une nouvelle jeunesse mais qui n’est pas de l’IA telle qu’on la voit aujourd’hui (sur les logiciels experts et l’IA récente, voir infra). Cette IA "à l’ancienne" de type logiciel expert peut être très efficace si ses concepteurs ont accumulé beaucoup d’expérience et à condition de ne pas lui en demander trop. L’exemple le plus connu et le plus utilisé est probablement la génération automatisée de documents, qui s’appuie sur l’ancienne technique des formulaires.

Un exemple plus "récent" et très innovant à l’époque est Jurisprudence chiffrée conçu chez l’éditeur juridique Francis Lefebvre il y a une dizaine d’années (voir infra). Ce produit utilise les cartouches sémantiques ex-Luxid (devenues Cognito Discover) conçues et développées justement depuis plus de vingt cinq ans par la société Expert System (ex-Temis) [50]. Ces cartouches se retrouvent chez de nombreux éditeurs juridiques, y compris LexisNexis et Legifrance [51].

Les technologies qui caractérisent l’IA d’aujourd’hui

Après avoir présenté les prestations et les entreprises du secteur des legal tech et avoir défini l’intelligence artificielle, voici les cinq principales technologies en cause dans l’IA en droit aujourd’hui [52] :

  • les systèmes experts. Un système expert est, selon Wikipedia, un outil capable de reproduire les mécanismes cognitifs d’un expert, dans un domaine particulier, par des règles logiques. Cette première des voies tentant d’aboutir à l’intelligence artificielle a donné des résultats décevants : par exemple, à partir d’une centaine de règles voire moins, certaines se contredisent et il devient nécessaire de les pondérer, ce qui est en fait peu rigoureux ; leur coût élevé est un autre écueil. Un exemple de système expert en droit, le prototype NATIONALITE du défunt IRETIJ (Institut de recherche et d’études pour le traitement de l’information juridique [53]) est décrit dans une contribution de 1989 [54]. En droit français, sur ce type de technologie, on doit beaucoup aux trois pionniers de ce qu’on n’appelait pas de l’IA mais simplement de l’informatique juridique : Pierre Catala (IRETIJ, Montpellier, un laboratoire défunt), à l’origine notamment de la base de données Juris-Data (un partenariat entre le ministère de la Justice et les Editions du JurisClasseur), Jean-Paul Buffelan-Lanore (Institut de recherche en informatique juridique, IRIJ - Université de Paris VIII), auteur de Jurindex, première banque de données juridiques française en 1970-1971 aux Éditions Masson et Lucien Mehl (droit public). Fondamentalement, dans les années 60 à 80 en France, l’informatique juridique, c’est essentiellement des systèmes experts et, surtout, des thésaurus et des index (qui auront beaucoup plus de succès sur le long terme que les systèmes experts).
    Les logiciels de gestion de contrats sont un bon exemple de logiciels experts en droit. L’autre grand exemple est l’utilisation des chaînes de caractères et des expressions régulières (regex) pour la recherche de notions exprimables de dizaines de façons différentes, même si l’utilisation de règles et la modélisation y sont peu développées et d’un niveau peu élevé. Ce travail sur le vocabulaire et les chaînes de caractères, c’est aussi une forme de traitement automatique du langage (TAL, NLP en anglais). Du TAL à l’ancienne, avec ses limites, mais bien rodé, notamment dans les cartouches de langage d’Expert System (ex-Temis), utilisées par plusieurs grands éditeurs juridiques, que nous avons citées supra à propos de l’application Jurisprudence Chiffrée. C’est de l’IA "de papa" : rien de révolutionnaire, en réalité, mais ça fonctionne.
    Mais c’est l’émergence des quatre technologies suivantes qui a relancé les espoirs des spécialistes de la recherche en IA
  • le big data et surtout le (legal data) analytics. Il ne s’agit là que de technologies correspondant à des logiciels (Apache Hadoop, MongoDB, Microsoft Azure ...) faits pour traiter des masses de données énormes et/ou des données pas assez structurées, nécessitant des logiciels différents des systèmes de gestion de base de données (SGBD) classiques
  • les calculs de probabilité, avec toutes les limites des statistiques. Par exemple, en justice dire prédictive, où il s’agit d’estimer l’issue d’un contentieux, ces limites seront :
    • pour les fonds de décisions de justice utilisés (l’échantillon, comme on dit en "stats") :
      • non exhaustivité, voire forte sélectivité
      • les biais contenus dans les données
      • le manque de motivation (l’argumentation du juge), extrêmement fréquente en première instance en pénal. En pratique, en première instance, même si l’obligation de motivation au pénal existe [55], les motifs de la condamnation soit sont implicites ou très brefs car les faits sont établis, soit sont dans le dossier, mais celui-ci n’est ni consultable ni transmissible aux tiers. Le côté peu pratique et trop exigeant du logiciel utilisé pour la rédaction des décisions n’aide pas
    • le côté "déformant" de la moyenne, à laquelle hélas la plupart des juristes sont habitués, comme le grand public — la médiane est moins déformante
    • l’absence de correction des biais statistiques
  • le machine learning [56] (ML, en français apprentissage automatique). Cet apprentissage peut être supervisé (des humains apprennent à l’algorithme à reconnaître les formes ou les notions, ils vérifient et corrigent) ou non supervisé. Michael Benesty, avocat fiscaliste et data scientist français, auteur de l’ancien site de démonstration Supra Legem, définit ainsi le machine learning utilisé actuellement dans le cadre du droit [57] :

    « Il s’agit d’une expression vague qui regroupe toute une famille d’algorithmes qui ont en commun d’apprendre par eux-mêmes en observant des données. Ces algorithmes sont inspirés de différentes sciences et notamment des statistiques.
    En matière de justice prédictive, c’est la sous-famille des algorithmes supervisés qui est utilisée. »

Une excellente interview donnée par le chercheur français Yann LeCun, directeur du laboratoire d’IA de Facebook, au journal Le Monde, explique de manière simple comment fonctionnent les réseaux neuronaux, l’apprentissage supervisé et l’apprentissage non supervisé [58]. Ross d’IBM, aux Etats-Unis, utilise le machine learning, dans sa version supervisée : des juristes, des avocats ont "enseigné" et "corrigé" l’application et continuent de le faire. Thomson Reuters, propriétaire de Westlaw, a lancé un laboratoire en 2015 et collabore avec IBM pour intégrer la technologie Watson dans ses produits. Ross est un système à apprentissage automatique supervisé. En France, Case Law Analytics [59] utilise (en partie) aussi le machine learning (Supra Legem l’utilisait aussi).

  • le deep learning (apprentissage automatique profond), concrètement, est un développement du machine learning. Il utilise à fond la technique des réseaux neuronaux pour tenter de se passer complètement d’une vérification/correction par des humains. Les réseaux neuronaux sont une technologie développée à l’origine pour la reconnaissance automatique d’image ("pattern recognition"). Pour (tenter de) comprendre, il faut lire les exemples de fonctionnement d’un réseau neuronal donnés par deux spécialistes français interviewés par Le Monde [60] :

Yann LeCun : « Le deep learning utilise lui aussi l’apprentissage supervisé, mais c’est l’architecture interne de la machine qui est différente : il s’agit d’un "réseau de neurones", une machine virtuelle composée de milliers d’unités (les neurones) qui effectuent chacune de petits calculs simples. La particularité, c’est que les résultats de la première couche de neurones vont servir d’entrée au calcul des autres. Ce fonctionnement par "couches" est ce qui rend ce type d’apprentissage "profond". »

Yann Ollivier, chercheur en IA au CNRS et spécialiste du sujet, donne un exemple parlant : « Comment reconnaître une image de chat ? Les points saillants sont les yeux et les oreilles. Comment reconnaître une oreille de chat ? L’angle est à peu près de 45°. Pour reconnaître la présence d’une ligne, la première couche de neurones va comparer la différence des pixels au-dessus et en dessous : cela donnera une caractéristique de niveau 1. La deuxième couche va travailler sur ces caractéristiques et les combiner entre elles. S’il y a deux lignes qui se rencontrent à 45°, elle va commencer à reconnaître le triangle de l’oreille de chat. Et ainsi de suite. »


Deep learning : intervention de Yann LeCun, à l’USI, 22 juin 2015. Autre vidéo de Yann LeCun disponible sur le même sujet : celle de son intervention au Collège de France le 4 février 2016

On peut aussi citer le résumé utilisé par le journaliste des Echos Rémy Demichelis [61] :

« [Les] réseaux de neurones [sont] la technologie à l’origine du grand retour en grâce de l’IA ces dernières années pour sa capacité d’apprendre à partir de grandes bases de données ; le Big Data constitue son carburant. Sous le capot, il faut s’imaginer plein de cellules qui font des opérations d’une simplicité enfantine — on pourrait utiliser un tableur Excel pour y parvenir. Ces cellules commencent par des valeurs aléatoires puis ajustent leurs calculs au fil de leur entraînement, de leurs erreurs ou de leurs succès : c’est ainsi que le réseau constitué de ces « neurones » artificiels apprend. Un peu comme dans un jeu vidéo : " Perdu, essaie encore ! " Seulement, il faut énormément de données, et souvent aussi un humain derrière pour dire quand la réponse est bonne ou mauvaise. »

D’après Michael Benesty, le créateur de Supra Legem, toutefois, en machine learning sur du droit, on est plus dans le traitement automatique du langage (NLP) (voir juste infra) [62] que dans les réseaux neuronaux [63]. Les réseaux neuronaux ici réduisent le traitement des données en amont, mais leur apport en droit est très inférieur à ce qu’ils ont fait pour la reconnaissance d’image. De plus, ils coûtent très cher du fait de la puissance et du temps de calcul nécessaires (location de serveurs et de logiciels) [64].

Un réseau de neurones convolutifs schématisé
  • le traitement automatique du langage naturel ou TALN (dit traitement automatique des langues ou TAL) (en anglais "natural language processing", NLP). Ross, Predictice ou Supra Legem [65] sont des applications utilisant le NLP. Plus précisément le NLP tel qu’on le pratique aujourd’hui : à base de techniques d’analyse syntaxique ("parsing", en anglais) [66], voire de machine learning, et non plus d’analyse sémantique. Le top du NLP actuel, c’est l’application du machine learning, en version non assistée, au langage, plus précisément aux textes. Le NLP à base de machine learning a été énormément facilité par la diffusion en open source en 2013 par Google du logiciel Word2vec (W2V), qui transforme les mots en vecteurs. Concrètement, Word2vec devine les termes similaires (proches par le sens) d’un mot en utilisant les autres mots faisant partie du contexte de ce mot [67].
    Le successeur de Word2vec est BERT. Egalement issu de la recherche de développeurs de Google, et également publié en open source, il a été implémenté sur les pages de langue française dans Google Web Search en décembre 2019. BERT (Bidirectional Encoder Representations from Transformers) est un progrès par rapport à Word2vec en termes de désambiguïsation du langage naturel (face à la polysémie par exemple), notamment par une meilleure "compréhension" par l’algorithme du sens des phrases (sujet verbe complément) et du contexte. BERT consiste à utiliser un "modèle de langage" pré-entraîné ("pre-trained language model") par les ordinateurs surpuissants de Google, un modèle mis à disposition par Google. BERT utilise aussi le deep learning. BERT semble encore très peu utilisé par l’IA juridique.
    En revanche, on parle plus de spaCy et de Flair, même s’ils sont considérés comme moins efficaces en pseudonymisation. Ainsi, dans une vidéo publiée mi-novembre 2019, Juliette, linguiste computationnelle chez Predictice, révèle qu’ils s’apprêtent à utiliser spaCy.
    Toutefois, si le NLP à la sauce ML détecte — indirectement et implicitement — le sens des mots, il ne sait pas en détecter la logique : licéité et illicéité, par exemple, risquent fort d’être similaires pour lui — sauf si BERT réussit à lever cette ambiguïté.

Enfin, il faut bien comprendre que pour imiter des fonctions caractéristiques des humains, comme classer automatiquement des documents par thème, un simple logiciel ne suffit pas :

  • déjà, de nombreux programmes informatiques (de type ML ou logiciel expert comme vu précédemment) doivent être testés, combinés et adaptés par un ou des développeurs. Ce ne sont pas des produits sur étagère, ce sont ce que l’on appelle dans l’industrie informatique des développements spécifiques
  • ensuite — et c’est encore moins connu —, le machine learning et les réseaux neuronaux nécessitent une architecture matérielle et réseau très spécifique elle aussi, autrement dit choisir les composants — notamment les processeurs, massivement utilisés pour l’"apprentissage automatique" en machine/deep learning — et savoir assembler ad hoc des serveurs très puissants, avec leurs systèmes d’exploitation (OS), repérer les goulots d’étranglement dans la circulation et le traitement des données sur Internet, dans les serveurs et entre eux, savoir comment régler et "booster" les performances de ces matériels ... Pour les petits et moyens programmes, cela passe par la location (vite onéreuse) de ressources en "cloud computing" : du temps et de la capacité de serveur disponible par Internet. Le plus utilisé est Amazon Web Services (AWS). On peut citer aussi Microsoft Azure et Google Cloud (avec son produit applicatif TensorFlow). Sur les gros programmes d’IA, le travail sur cette architecture matérielle mobilise jusqu’à la moitié des spécialistes affectés au projet. Sur ce segment, Google, Facebook, Amazon et Microsoft ont une puissance et une avance énormes sur leurs concurrents. Pour avoir une idée de l’importance des aspects hardware dans les technologies dites d’IA, jetez un coup d’oeil sur les slides 1 à 29 de cette présentation [68]. De ce point de vue, il n’est pas surprenant que ce soit justement l’IA qui succède au Big data en matière de hype. L’arrivée de l’informatique quantique [69] et sa généralisation d’ici 2028 [70] promettent des pas de géant au machine learning et particulièrement à sa variante le deep learning.

NB : pour celles et ceux qui veulent plus de précisions sur les systèmes experts, le machine learning, le deep learning et l’infrastructure matérielle nécessaire, je recommande la lecture de l’ebook gratuit d’Olivier Ezratty, déjà mis à jour à trois reprises : Les usages de l’intelligence artificielle 2018 (PDF, 522 p.).

Dans cette présentation des technologies dites d’IA, il reste enfin à expliquer dans quels produits, concrètement, on les emploie.

Selon Ron Friedmann, consultant américain en informatique juridique depuis 30 ans [71], sur le marché américain, « il existe au moins quatre utilisations presque banales de l’intelligence artificielle que les cabinets d’avocats et les directions juridiques peuvent aisément déployer à partir de produits IA standards, de manière similaire à d’autres technologies :

  • "document review" dans la procédure [très américaine] d’"e-discovery" ("predictive coding”) [72]
  • l’audit/vérification en masse de contrats et de clauses (Kira, LawGeex, Luminance, Hyperlex, SoftLaw ... : voir infra)
  • outils de recherche dans de multiples domaines juridiques (Westlaw, Lexis Advance, Ross, Context, Supra Legem, Case Law Analytics, Predictice ... : voir infra). C’est le second domaine en terme d’importance de l’implémentation. Là, les progrès ont essentiellement consisté en une synonymie contextuelle automatique et une classification automatique par domaines du droit très améliorées
  • saisie et gestion des temps et des dossiers.

Comme on vient de le voir, il faut être concret et relativiser les performances des outils à base d’IA utiles pour les directions juridiques. Leur emploi est techniquement circonscrit. Le degré de cet emploi au sein des DAJ est également faible pour l’instant, à l’exception des banques et assureurs. L’étude de PwC Avocats Digitalisation de la fonction juridique : quelles priorités en 2018 ? publiée en mai 2018 qualifie l’intelligence artificielle de « machine à fantasme ». L’étude précise : « Les réponses dénotent également une certaine confiance dans cette technologie dont les capacités actuelles ne sont peut être pas au niveau des attentes sur tous ces points. Néanmoins, les répondants n’envisagent pas d’intégrer de l’IA à court terme, ce qui est en phase avec leur maturité digitale. »

Cet emploi de l’IA dans les DAJ est toutefois amené à s’étendre. Une étude similaire publiée en février 2019 [73] et réalisée conjointement par le Cercle Montesquieu, CMS Francis Lefebvre Avocats et le cabinet de conseil Day One « conclut que 2019 sera une année de bascule dans la prise en main des technologies par les directions juridiques ». A noter tout particulièrement cet extrait du communiqué :
« Les directions juridiques prévoient une transformation digitale profonde de leur métier d’ici cinq ans, avec le déploiement du "Machine Learning", du "Natural Language Processing" (NLP) et des "Knowledge Graph", autant d’outils englobés par l’intelligence artificielle qui bouleverseront la gestion des dossiers juridiques. Ces technologies vont permettre :

  • l’automatisation de l’analyse de documents, la création et la saisie automatiques de la base contractuelle selon le type de contrats
  • la détection de lois obsolètes dans les contrats ainsi que la vérification des clauses contractuelles, de leur présence, de leur intégrité et de leur pertinence
  • et enfin la prise en charge des réponses aux questions récurrentes via des chatbot ou voicebot pour alléger le quotidien des juristes. »

Je me demande si la percée de l’IA dans le milieu juridique ne se fera pas aussi via les logiciels brassant et combinant des données de sources et formats divers [74] pour faire de la "business intelligence" (dits également "logiciels orientés visualisation de données") comme Tableau Desktop, Microsoft Power BI ou, Qlik Sense Enterprise. Notamment dans les départements dits de "business development" (BD) et de "knowledge management" (KM). Pour l’instant, ces applications ne sont pas de l’IA très moderne ni très juridique, mais plutôt du logiciel expert (fonctionnant à base de règles métiers et des arbres décisionnels) combiné avec des macros. Mais c’est nettement en train d’évoluer : le machine learning rentre dans ce secteur [75].

A propos des chatbots (agents conversationnels en bon français) : ceux utilisés en droit, par exemple ceux de ce cabinet d’avocats, semblent pour l’instant difficilement qualifiables d’IA, au sens des critères que nous avons exposés supra. Ou alors de la très ancienne IA, car le niveau d’arbre décisionnel et de traitement du langage naturel qu’ils utilisent reste extrêmement basique. Par exemple, un chatbot juridique s’exprimant en anglais ne comprend pas que Yikes est une forme argotique de Yes ou bien, à propos du RGPD, oublie de vous préciser que le 25 mai 2018 est déjà passé depuis longtemps et qu’appliquer le RGPD est devenu urgent. En fait, le nombre de questions que l’on peut poser à un chatbot juridique est très limité.

Ces lacunes ne sont pas spécifiques aux chatbots juridiques, mais générales, comme l’avoue un article de ZDNet traduit en français [76] : « La qualité des chatbots est mauvaise. Une série de nouveaux articles de Facebook et de ses partenaires universitaires offrent cependant de nouvelles orientations prometteuses. L’objectif du dialogue fluide avec un humain semble encore cependant assez lointain. » Et on ne parle même pas ici d’un dialogue juridique, juste d’une aide (très limitée) à la recherche d’un livre ou d’une tentative d’empathie.

L’apport, le "truc" du chatbot se situe ailleurs : c’est un petit logiciel servant à engager la discussion avec un prospect ou un utilisateur par des questions principalement à réponse de type Oui/Non et à l’amener à préciser sa demande afin de l’orienter ... vers le mail d’un humain [77]. Un des autres noms des chatbots, justement, est assistant virtuel.

Les données comptent plus que les applications

Nous venons de présenter les technologies impliquées dans l’IA en droit. Et de voir que les deux critères principaux (et alternatifs) pour parler d’IA (faible) en droit, sont soit l’appartenance de l’application à la catégorie des systèmes experts soit l’utilisation de machine learning.

Pourtant, sur le plan stratégique, le plus important en IA n’est pas là. Pour le comprendre, il faut lire le rapport de France Stratégie sur l’IA publié en mars 2017 [78].

Dans ce rapport, la contribution spécifique du Conseil National du Numérique (CNNum) souligne l’importance fondamentale des données :

« La valeur créée par l’intelligence artificielle provient des données nécessaires à l’apprentissage bien plus que de l’algorithme, dont les développements se font de manière ouverte (en open source). En conséquence, les organisations doivent prendre conscience de l’importance stratégique des données qu’elles détiennent. Il s’agit également, à plus long terme, d’engager une réflexion sur les modes de partage de la valeur entre acteurs privés. En ce sens, le Conseil s’est par ailleurs saisi de la question de la libre circulation des données aux niveaux international et européen, d’un point de vue de transfert entre les territoires mais également entre acteurs économiques. »

En droit français, cette difficulté donne raison au professeur (et avocat) Bertrand Warusfel, quand il écrit, interrogé par ActuEL Direction Juridique (Editions Législatives) [79] :

« on va certainement [...] dématérialiser plus encore les procédures, voire les audiences. A mon sens, ce n’est qu’une fois que cette première phase de dématérialisation de la justice aura été menée à bien qu’il serait justifié d’envisager d’introduire des outils plus "intelligents". Sauter une étape serait sans doute peu cohérent, voire dangereux. »

Ce sont justement leurs bases de données qui font l’avance de Google et Facebook. C’est pourquoi cela ne les gêne pas de mettre leurs logiciels en open source. Au contraire, cela accélère l’adoption de l’IA par les développeurs puis la société dans son ensemble.

Une démarche imitée de manière un peu différente par les sociétés qui rejoignent LexisNexis USA, mais où on retrouve l’importance cruciale de l’accès à certains "data repositories" précieux et bien précis — Lexis gagnant, elle, en technologie :

  • l’éditeur américain annonce en mars 2017 qu’il va donner accès à ses contenus et à son expertise, ainsi que celle de sa filiale LexMachina, à cinq start-ups sélectionnées : Visabot, TagDox, Separate.us, Ping, and JuriLytics [80]. Lexis espère profiter de leurs innovations. Mais ce type de démarche chez LexisNexis est rare : en général, le rapprochement et donc le partage des données se fait par un rachat voire une joint-venture (cf le rachat de Lex Machina en novembre 2015 puis de Ravel Law en juin 2017 et la joint-venture avec Knowable en juillet 2019 ; voir juste infra)
  • juste après l’annonce du rachat par Lexis, en juin 2017, de Ravel Law, le fondateur de Ravel Law Daniel Lewis explique à cette occasion que le rachat donnera à Ravel Law « accès à un vaste assortiment de données de haute qualité, quelque chose qui est nécessaire. Même la meilleure IA ne peut surmonter les défauts dus à un accès limité en terme de données », dit-il. « On a besoin de données de haute qualité en entrée », ajoute-t-il. « Si vous avez de la mauvaise qualité en entrée, vous avez de la mauvaise qualité en sortie. » [81]
  • rebelote en juillet 2019 avec la joint-venture entre Lexis et l’éditeur de l’application d’analyse automatique de contrats Knowable. Le CEO de Knowable, Mark Harris explique qu’ « en Lexis, sa société a trouvé un partenaire qui [...] a de profondes réserves de contenu sur lesquelles s’appuyer » [82].

Nous venons de présenter les produits et les sociétés des legal tech puis de définir l’IA en droit, pour éviter de gober le discours marketing selon lequel tout ce qui est legal tech serait IA et, plus généralement, selon lequel tout ce qui est IA aurait des performances à la limite du miraculeux.

Ce discours, ce storytelling d’ "IA partout" et d’ "IA miracle" [83] inonde depuis 2016 la presse, les pages web et le café du commerce. Au point qu’on peut parler de « hype » (battage médiatique) et d’ "IA washing" [84]. D’autant qu’une part importante d’applications, de produits présentés comme des IA n’en sont pas sur le plan des technologies utilisées (cf l’étude très commentée de la société de capital-risque britannique MMC Ventures The State of AI : Divergence 2019 mais aussi le billet précité de Mike Mallazo sur la fausse IA — « phony AI ») [85].

Le battage médiatico-publicitaire inonde même le secteur juridique. Dera Nevin est spécialiste de l’"information governance" et de l’"e-discovery" au cabinet Baker McKenzie. Voici ce qu’elle en dit (traduction par nos soins) [86] :
« Je n’aime pas beaucoup le marketing autour de la legal tech. En tant qu’évaluateur et acheteur de longue date de technologie juridique, j’estime que les informations qui me sont fournies sur les produits ne m’aident pas à comprendre l’impact potentiel de la technologie sur celui pour qui je l’achète — le juriste en cabinet d’avocats ou en direction juridique — et à la mettre en œuvre. »

Le fondateur de Predictice le reconnaît lui-même [87] : « Quand on parle de justice prédictive, c’est purement marketing ». On peut aussi citer le point de vue d’un avocat geek spécialiste du contentieux puisque ancien avoué [88] : « Depuis le jour où j’entends parler de justice prédictive, je suis méfiant. Car à l’heure où le robot le plus intelligent de Google ne sait que prendre un rendez-vous chez le coiffeur sans se planter, je me suis toujours dit que nous étions loin de prédire le droit (ou alors l’acception du mot « prédire » m’échappe…). » Ou encore celui de Xavier Ronsin, premier président de la Cour d’appel de Rennes, en 2017 [89] : « On est encore loin du fantasme de la "justice bouton". »

Nous verrons plus loin dans cette étude que les acteurs les plus avancés dans l’IA juridique en France sont à la fois les plus modestes ... et les plus discrets.

Nous allons continuer à river son clou à ce phénomène en présentant maintenant en détail les outils IA de recherche et d’analyse de la jurisprudence (encore une fois, des IA faibles). Nous commencerons par l’IA vedette américaine — j’ai nommé Ross — puis nous verrons les implémentation de l’IA (du NLP surtout) dans les grandes plateformes des éditeurs juridiques américains traditionnels et enfin les IA juridiques françaises.

Ross : points forts et limites d’un moteur de recherche en langage naturel à base de machine learning avec supervision

Fin 2016-début 2017, c’est surtout le produit d’IBM qui faisait parler de lui — voir notamment notre "webliographie" sélective sur Ross infra. Et même si, de fait, on peut parler d’une intense campagne de presse, je crois quand même qu’on tient confirmation d’une amélioration radicale de la recherche documentaire en droit dans les articles sur l’implémentation de Ross par le petit cabinet d’avocats américain Salazar Jackson : en effet, selon le principal associé de cette firme, Ross fait les recherches sur la jurisprudence aussi bien et plus vite qu’un jeune collaborateur [90]. Ce que semble confirmer une étude réalisée par une firme indépendante (certes payée par IBM) qui parle d’un gain de temps dans les recherches de 30% [91].

Ross serait même, soi-disant, capable de résumer sa recherche en un mémo ? L’avocat Rubin Sfadj estime que la prétendue capacité de Ross à sortir un mémo est exagérée. Il a raison. Jimoh Ovbiagele, le CTO de Ross, a fini par reconnaître devant un journaliste du New York Times que des humains se chargent du brouillon produit par Ross et créent le mémo final, et c’est pour cela que ça prend un jour entier [92].

Bien sûr, Ross nécessite une interaction homme-machine. Il s’améliore en apprenant des retours des juristes sur ses recherches [93]. C’est donc de l’apprentissage automatique avec supervision [94].

Ross est pour l’instant spécialisé uniquement dans la jurisprudence américaine en droit de la faillite (US bankruptcy law) et en propriété intellectuelle (US IP law) — il s’agit en fait de deux applications différentes, Ross ne traite pas les deux matières en même temps [95]. Mais la diversité des tâches et des domaines possibles est une caractéristique du machine learning le plus récent (depuis environ 2015). Le cabinet américain Latham & Watkins, implanté à Paris, est en phase de « test » avec Ross [96], suivi par de plus petites structures et l’Ordre des avocats de Lille.

Le dirigeant et co-fondateur de Ross Intelligence, Andrew Arruda, expliquait justement en août 2016 :

« La version actuelle du système est utilisée pour aider les juristes spécialisés en procédures collectives travaillant dans des firmes américaines. Les futures versions du système couvriront d’autres domaines du droit et d’autres juridictions. »

Rubin Sfadj estime quant à lui que Ross sera capable de gérer les textes officiels (en sus de la jurisprudence) français.

Dans son enquête de février 2017, l’Agefi Hebdo concluait sur Ross : « Le résultat ? Pour l’heure, moyennement convaincant. » [97] L’Agefi cite Bénédicte Brémond, avocate en charge du knowledge management chez Latham & Watkins Paris :

« Quoique déjà très performants, des outils comme Ross sont encore pour la plupart en phase de test dans les firmes et devront encore apprendre avant de fournir aux avocats un service fiable adapté à leurs pratiques. »

NB : Ross a été développé à l’origine par des étudiants de l’Université de Toronto au Canada, en 2014-2016 [98]. De fait, avec les Etats-Unis, Israël et la Chine, le Canada est le 4e pays vraiment "bon en IA". Et avec Lexum, l’éditeur dédié aux avocats, l’Institut canadien d’information juridique (CanLII), et le Laboratoire de cyberjustice de l’Université de Montréal, le Canada est également en avance sur la maîtrise de la donnée juridique numérique et des bases de données associées.

Ross aura visiblement encore bien d’autres applications en droit. À l’image de Watson, l’application d’IBM dont Ross est dérivé. Watson sert déjà à de multiples tâches. Comme :

Autres exemples de la capacité du machine learning à s’appliquer à tous les domaines :

  • la Lettre de l’Expansion du 16 janvier signale que le réseau social interne développé par Orange, installé chez eux à l’automne 2015 [104] et également vendu par l’opérateur sous le nom de Business Together Sharespace [105] « s’appuie sur la technologie "machine learning" [...] et inclut des robots à même de suggérer à l’utilisateur des informations pertinentes ou des collègues susceptibles d’enrichir son activité »
  • Google a présenté fin novembre un algorithme repérant des signes de rétinopathie diabétique dans des photos du fond d’oeil. Et Facebook comme Microsoft ont dévoilé cette année des systèmes capables de "regarder" des images et en décrire le contenu pour les aveugles [106]

A priori (le manque d’information détaillées sur Ross étant criant), les limites d’un système comme Ross, sont :

  • les applications dérivées du Watson d’IBM sont toutes étroitement spécialisées (et non généralistes sur un domaine) et nécessitent d’énormes développements informatiques spécifiques et un très gros travail d’input et d’apprentissage par des experts [107], travail qui peut ne pas suffire. A titre d’exemple de promesse non tenue et de difficulté avec la méthode retenue par IBM : selon une enquête du média américain d’investigation STAT [108]. L’article a été relayé par Business Insider puis par Numerama.]], la « révolution » promise par IBM avec son outil de conseil en matière de traitement contre le cancer accuse un retard conséquent au centre de traitement et de recherche sur le cancer Memorial Sloan Kettering Cancer Center. Pire : en juillet 2018, les mêmes journalistes expliquent que le superprogramme a régulièrement prodigué de mauvaises recommandations pour traiter des cancers [109]. La conclusion des journalistes de STAT est que l’IA semble incapable de conseiller les bons traitements sans apprendre à partir de cas réels
  • comme la plupart des bases de données en ligne actuelles, son manque de confidentialité. Je sais que les éditeurs de services en ligne garantissent la "confidentialité" des données de leurs clients, mais de fait, si elles ne sont pas cryptées de bout en bout, elles ne sont pas réellement confidentielles. Il serait intéressant à cet égard de savoir si Ross crypte les données de ses clients
  • sa dépendance à la "data". Si les données sont incomplètes, non exhaustives ou comportent un biais, les résultats seront biaisés [110]
  • le poids du passé (même s’il pourra certainement intégrer les projets de loi), car la donnée c’est du passé
  • sa dépendance aux compétences des personnes qui "l’entraînent" (cas du machine learning supervisé)
  • son degré d’acceptation par la société, encore limité mais qui croîtra selon tout vraisemblance. Voir la dernière partie de cette étude et, juste infra, les paragraphes sur les limites des applications de justice prédictive françaises
  • à court et moyen terme, le délai d’implémentation en droit français. Ross — tout comme ses concurrents français — ne pourra pas être implémenté en droit français global avec une pleine efficacité avant un minimum de huit ans à compter de 2017. Là aussi, je vous renvoie aux paragraphes sur qui suivent les limites des applications de justice prédictive françaises.

Il faut enfin noter, pour être complet sur Ross, qu’IBM a du mal à rentabiliser son activité "cognitive" (l’adjectif à la mode pour désigner les activités d’IA). Comme le relève une enquête du Monde [111], le chiffre d’affaires du groupe — qui a parié sur l’IA pour sa croissance et a investi 15 milliards de dollars depuis le lancement du projet Watson (alors appelé DeepQ) en 2007 — décroît de 2011 à 2016 : « au final, en cinq ans, un quart des recettes a disparu. La capitalisation boursière [est passée] de presque 250 milliards de dollars en 2011 à un peu plus de 136 milliards aujourd’hui. Pour l’instant, Watson a du mal à tenir ses promesses. » (Le CA d’IBM est toutefois remonté en 2017.) Selon Le Monde, les raisons sont principalement liées :

  • à l’absence d’étude longue de longue durée à sur la fiabilité des diagnostics livrés par Watson et ses conjugaisons
  • au fait qu’il s’agit à chaque fois d’un développement spécifique, pas de l’installation d’un produit standard. Les prospects hésitent : il faut investir un budget, un temps de travail de plusieurs mois minimum (18 mois pour le Crédit Mutuel, pourtant client de longue date d’IBM), des équipes et des petites mains pour "former" le progiciel. Le retour sur investissement est long. C’est cet aspect que souligne la directrice du KM de Latham Paris dans la citation précédente extrait de l’article de l’Agefi Hebdo
  • les concurrents, même si leur marketing et leur communication sont moins efficaces, sont très actifs. Le cabinet d’avocats d’affaires international Baker & McKenzie a ainsi annoncé, en août 2017, adopter comme principal outil d’intelligence artificielle non pas Ross, mais eBrevia (cf supra).

Westlaw, Lexis Advance : les améliorations machine learning en cours et prévisibles

D’après Michael Mills [112], co-fondateur et chief strategy officer de Neota Logic (une société précurseur dans les outils d’aide à la décision en droit puis d’IA juridique aux Etats-Unis), cela fait 11 ans que LexisNexis et Weslaw ont commencé à intégrer du NLP dans leurs moteurs de recherche. Et Lexis a racheté Lex Machina en 2015 puis Ravel Law en 2017, LE spécialiste américain du ML sur la jurisprudence (voir infra).

Par exemple, la fonction Westlaw Answers répond carrément directement aux questions courantes/"bateau" en quelques phrases, avec les citations de jurisprudence qui conviennent.

Autre exemple : Lexis Advance offre la possibilité de chercher en langage naturel (fonction ”Run search as natural language") et surtout d’ajouter à la recherche les expressions juridiques synonymes de celles saisies (fonction "Include legal phrases equivalents"). Et depuis 2017, un clic sur le nom juge ou de l’avocat permet de consulter des tableaux de données sur eux, cela ne marchant que pour les domaines de pratique couverts par Lex Machina [113]. A partir de ces tableaux, les abonnés à Lex Machina peuvent analyser plus avant. Là, cependant, il ne s’agit plus d’IA à strictement parler, juste d’"analytics" [114]. Pour résumer, Lex Machina utilise les décisions disponibles dans PACER et fournit des données utiles pour la stratégie judiciaire.

A noter chez Bloomberg Law, un concurrent de Lexis et Thomson West apparu récemment : grâce au machine learning, Points of Law identifie, parmi les opinions des juges américains, les phrases qui font jurisprudence [115]

Les améliorations prévisibles résident dans la continuation et l’amélioration des précédentes :

  • du NLP state "of the art"
  • des suggestions/recommandations (soit de notions à ajouter, soit de régimes juridiques/bases légales) découlant de l’analyse par le machine learning du comportement des utilisateurs dans leurs recherches. Notamment, en analysant les arrêts déjà mis de côté/sélectionnés par l’utilisateur, il est possible d’en déduire ceux qui manquent. Ce type d’amélioration exploite à fond les excellentes perfomances du ML en catégorisation ("taxonomy" lit-on souvent)
  • plus de "direct answers"
  • des statistiques sur les tendances des juges américains. Dans Lexis Advance, c’est fait en décembre 2018, suite à l’intégration de Ravel Law : Lexis USA lance enfin la suite de Ravel Law : Context, son premier véritable outil de justice prédictive [116]. Pour le texte intégral, il faut un accès à Lexis Advance, avec lequel cette application fonctionne apparemment en tandem
  • une interaction vocale avec l’application, grâce à l’envol de l’utilisation des smartphones, y compris les fonctions d’envoi des résultats et d’impression.

Audit de contrats : l’offre existante

C’est clairement dans ce domaine de l’audit/vérification de contrats et de clauses que les progrès de l’IA juridique ont été les plus grands, comme l’illustre la victoire en février 2018 du logiciel LawGeex AI (qui utilise le ML avec apprentissage) sur 20 juristes de droit des affaires très expérimentés dans un test de rapidité et de pertinence : il s’agissait d’analyser les risques/failles présents dans cinq contrats de confidentialité ("non-disclosure agreement" ou NDA) de 2 à 6 pages, un outil très classique aux Etats-Unis [117]. Le "contract review", plus précisément, consiste en l’analyse en masse de contrats pour en extraire informations et clauses contestables ou à revoir. Les principaux acteurs sont :

  • côté anglo-saxon [118] :
    • la société canadienne Kira Systems et son logiciel d’audit de contrats de cession d’actions/parts de société est selon la société déployé dans 200 établissements. Il a été notamment adopté par les cabinets d’avocats Linklaters, Clifford Chance, Allen & Overy, DLA Piper, Freshfields et Latham & Watkins [119].
    • Seal Software
    • LawGeex
    • Luminance, dont le produit a été adopté notamment par le cabinet anglais Slaughter & May, et qui a abordé le marché européen courant 2018
    • eBrevia, conçu par une start-up créée en 2011 dans l’Etat du Connecticut, a, tout comme Ross, un partenariat universitaire fort : sa technologie a été initialement développée à l’Université de Columbia [120]. L’application, utilise le machine learning pour faire du "contract review". Signe des temps : eBrevia vient, début mars 2018, de s’allier avec le groupe d’édition juridique Thomson Reuters, le propriétaire de la plateforme Westlaw [121]
    • RAVN a été racheté par iManage, mélangeant ainsi le "document management" avec l’IA de type NLP et classification automatique [122]. Le produit a été utilisé en 2017 par une équipe d’investigateurs de l’agence anti-corruption britannique (Serious Fraud Office) pour fouiller 30 millions de documents à la vitesse de 600 000 par jour [123] dans une affaire de pots-de-vin et de corruption impliquant un important industriel [124]. Autre gros client : British Telecom [125]. Une particularité d’iManage est son intégration étroite et de longue date avec la suite Office de Microsoft et particulièrement sa messagerie Outlook. Un détail qui compte
    • Neota Logic est spécialisé dans la préparation de contrats de confidentialité de droit américain (NDAs), le même secteur que LawGeex, mais le but ici est de proposer des "templates" et non de faire de l’audit ("review")
    • Klarity gère la revue de contrats de droit américain en cloud dans des fichiers Word qui sont automatiquement annotés
    • Legal Sifter : signale les parties importantes d’un contrat de droit américain afin de le vérifier (ou négocier) avant de le signer [126]
    • Knowable, un récent "spin off" d’Axiom, a formé une "joint-venture" avec LexisNexis, a pour ambition d’aller plus loin que ses concurrents américains en "contract analytics" en répondant à des questions comme "Pouvons-nous sortir de certains des contrats de notre récente acquisition ?" [127]
    • on mentionne parfois HotDocs dans ce compartiment mais ce produit est en réalité largement basé sur une technologie très ancienne [128]. Grosso modo, HotDocs est un générateur de modèles (de contrats) ("contract automation") se basant sur les précédents de la structure
  • côté français :
    • en audit de contrats pour des fusions-acquisitions et en compliance, la startup française Softlaw, créée par Sandrine Morard [129], ex-avocate collaboratrice en M&A, travaille uniquement en interne (pas de cloud pour répondre aux demandes des directions juridiques et avocats qui ne veulent pas le moindre risque de fuite) et en français
    • Hyperlex, fondée en 2017 par trois ingénieurs, est une société française développant une solution en ligne de gestion et d’analyse de contrats pour les entreprises] [130]. Pour citer Alexandre Grux, le dirigeant d’Hyperlex, interviewé par le Data Analytics Post : « Notre outil permet [à nos clients] de trier leurs contrats pour les ranger et y accéder plus rapidement, y retrouver des clauses précises ou des données contractuelles (dates, montants…) avec un système d’alertes automatiques, générer automatiquement une synthèse pour faciliter la prise de décision ». Hyperlex a pour particularité d’utiliser toutes les technologies d’IA disponibles, y compris la reconnaissance de formes dans les images (ici identifier un tampon ou un logo dans un scan). Cette utilisation de la diversité de l’IA rapproche Hyperlex de Case Law Analytics (voir infra dans nos développements sur la justice prédictive). L’expertise d’Hyperlex va être utilisée par la Chambre des notaires de Paris pour taguer automatiquement des documents notariaux. Dans un premier temps, ce sont les notaires et leurs collaborateurs qui vont mettre manuellement les labels sur ces documents et il s’agira de reconnaître uniquement le type de document. Mais le projet veut aller jusqu’à ce que Hyperlex fait pour les contrats, un "audit" (dans le sens anglo-saxon du terme, ici : repérer des clauses problématiques) des documents. Ce projet, nommé VictorIA, doit s’étaler sur plusieurs années [131].

Olivier Ezratty, dans son ebook précité Les usages de l’intelligence artificielle 2018, liste également un tout autre type d’application métier en juridique : la propriété industrielle (marques et brevets). Parmi les sociétés qu’il cite, je retiendrai celles-ci :

  • Juristat (USA) « réalise des "analytics" sur les données publiques sur les brevets et les avis des agents de l’USPTO pour optimiser les stratégies de protection de brevets »
  • Turbo Patent (USA) et son application RoboReview [132]
  • Lex Machina (acquis par LexisNexis, on en a parlé plus haut)
  • Data&Data (créée en 2012, France) fait de la veille sur les ventes de contrefaçons des produits de luxe sur les sites marchands et les réseaux sociaux [133]. « L’outil à base d’IA s’appuie sur la détection d’anomalies dans les prix et les images des articles en vente ». Ses algorithmes sont basés en partie sur la technologie Azure Machine Learning du cloud Microsoft
  • Clarivate Analytics est arrivée dans l’IA, explique O. Ezratty, « via son acquisition de TrademarkVision qui utilise le deep learning pour reconnaître les logos des marques et faire des recherches d’antériorité. »

Justice prédictive : calculer les chances de gagner un procès en droit français (avec ou sans machine learning)

Abordons maintenant les IA juridiques françaises. Si l’on excepte les applications de contract review Softlaw et Hyperlex précitées, ce sont des applications dites de justice prédictive — ou qui visent à le devenir. Là aussi, comme pour le terme "intelligence artificielle", l’emploi de l’expression "justice prédictive" a un côté marketing accentué.

Au niveau des technologies, le machine learning est très peu utilisé, les systèmes experts et le traitement automatique du langage naturel (l’IA "à la papa") dominent.

Les limites des "IA" juridiques françaises en matière de justice prédictive

Côté justice prédictive, pour le moment, on n’en est en réalité qu’à une analyse (par thème, par juridiction, par société [134], des montants des dommages-intérêts ou de quel type de camp a gagné) de la jurisprudence disponible et à une recherche en langage naturel sur celle-ci. C’est le sens du billet très mesuré du professeur Dondero cité en introduction. Plus généralement, déjà en 2014, un spécialiste du machine learning, le professeur Michael Jordan, estimait qu’on attendait beaucoup trop beaucoup trop tôt du deep learning et du big data [135]. Antoine Garapon pointe l’origine anglo-saxonne du terme et rappelle très justement que la traduction exacte est « justice prévisible » et non prédictive [136]. On pourrait aussi traduire par "justice prévisionnelle", même si cela sonne bizarre.

Pour l’instant, le machine learning en droit français — quand il est réellement utilisé, ce qui, on va le voir, est rare — n’est pas de l’intelligence artificielle au sens fort du terme (cf propos infra sur l’IA forte et faible). Du temps de la lutte entre Microsoft et les autres éditeurs de logiciels de bureautique (années 80), on appelait ça du vaporware : annoncer des sorties d’applications entre 6 mois et 2 ans à l’avance pour pousser les clients à attendre la nouvelle version. Et à ne surtout pas aller chez la concurrence — ici, je dirais : ne pas se servir de ce qui marche déjà très bien, comme les compétences des meilleurs documentalistes juridiques ou l’application Jurisprudence chiffrée (cf juste infra).

L’article précité de Valérie de Senneville aux Echos le souligne :

« pour le moment, " il y a beaucoup d’effets d’annonce ", remarque Jean Lassègue, philosophe et chercheur au CNRS. L’épistémologue, qui a consacré de nombreux travaux à l’informatique [il est l’auteur, avec Antoine Garapon, de l’ouvrage de référence « Justice digitale »], invite à s’interroger sur le problème de la qualification des faits et de leur catégorisation. " La machine ne peut pas régler cela ", affirme Jean Lassègue. »

Antoine Garapon, secrétaire général de l’Institut des hautes études sur la justice (IHEJ), ne dit pas autre chose dans son entretien avec Les Petites Affiches (septembre 2017) [137] :

« LPA — L’impact réel des legaltechs sur le droit ne reste-t-il pas néanmoins encore assez limité ?
A. G. — Bien sûr et je pense que l’impact le plus important du de la legaltech se situe en réalité sur le plan imaginaire. [...] Il est en effet frappant de constater à quel point on évoque legaltech et justice prédictive quand les réalisations pratiques restent très mineures puisque ces technologies ne sont pas encore matures. »

Seuls Predictice et plus encore Case Law Analytics [138], comme on le verra plus loin, peuvent avoir la prétention — toute relative — de prédire, avec une marge d’erreur, les jugements.

D’abord, définir. La "justice prédictive" est, selon le rapport Cadiet, remis en 2017 à la Chancellerie, « un ensemble d’instruments développés grâce à l’analyse de grandes masses de données de justice qui proposent, notamment à partir d’un calcul de probabilités, de prévoir autant qu’il est possible l’issue d’un litige ». Notez bien le « notamment », car il est également possible de modéliser les critères de prise des décisions de justice au lieu de les "statistiser" et c’est un point capital du débat.

Le Dictionnaire de droit privé de Serge Braudo propose, lui, la définition suivante : « "La jutice prédictive" est une notion récente évoquée par une partie de la presse, et par une partie des professionnels du Droit qui partent de la constatation que toute décision judiciaire comporte sa part d’aléa. Le calcul portant sur la fréquence des décisions rendues par les tribunaux devrait permettre de dégager des algorithmes mesurant les risques courus dans l’engagement d’une procédure ou d’un arbitrage. Le fait de quantifier le risque juridique permettrait de désengorger les juridictions et un traitement de masse des dossiers libérant les professionnels de la réalisation de tâches bien trop souvent répétitives. »

Autre tentative de définition : Eloi Buat-Ménard, adjoint au directeur du Service de documentation, des études et du rapport (SDEC) de la Cour de cassation, dans sa contribution à un dossier sur Les défis de la justice numérique, veut écarter les fantasmes sur ce qu’est la justice dite "prédictive" [139]. Nous le citons quasiment in extenso car ce propos vient d’un magistrat très bien placé pour parler de la justice prédictive, vu son poste :
« Est "prédictif" ce qui permet de prévoir des faits à partir d’éléments donnés. Si l’on entend par "prévoir" le fait d’apprécier la probabilité d’un fait futur, alors oui, le concept de justice prédictive peut avoir du sens, à l’instar de la notion de médecine prédictive, qui détermine, par l’étude des gènes, la probabilité de développer une maladie donnée. [...]
Mais si l’on rattache la notion, non à la prévision mais à la prédiction, c’est-à-dire à l’action d’annoncer à l’avance un événement, comme sa racine l’y invite, alors le concept est inepte. Cela pour une raison très simple : la jurisprudence n’est pas un système clos. Autrement dit, une décision de justice n’est, et de loin, pas la résultante des seules décisions passées mais d’une pluralité de facteurs plus ou moins bien identifiés : contexte jurisprudentiel, certes, mais aussi normatif, politique, social, professionnel, médiatique, voire affectif, climatique (juge-t-on de la même façon en période orageuse ou de canicule ?), alimentaire (juge-t-on de la même façon le ventre creux ?), familial (juge-t-on de la même façon sous le coup d’une rupture douloureuse ?), culturel, etc. Bref, tout ce qui fait que la justice est et demeurera, du moins l’espère-t-on, une oeuvre humaine.
Dans cette acception, un algorithme proprement "prédictif", c’est-à-dire capable de prendre en compte une telle pluralité d’interactions causales, reste à ce jour une pure vue de l’esprit, sauf à envisager une drastique restriction du champ des causalités jurisprudentielles à la seule raison juridique (déjà quelque peu délicate à identifier précisément), figée - ou limitée - dans son évolution, ce qui nous éloigne immanquablement du concept même de justice. Les juristes romains avaient déjà parfaitement perçu le danger d’une "justice" totalement prévisible dans son application qu’ils tenaient précisément pour une forme d’injustice : c’est ce qu’exprime l’adage summus ius, summa iniuria. »

Il est en effet difficile de prétendre que la justice prédictive au sens de prévision judiciaire — comme la prévision météorologique — existerait actuellement en France. Et le terme, comme nous l’avons vu plus, haut porte beaucoup (trop) de "hype" en lui. Le concept d’analyse mathématique et algorithmique des décisions de justice est plus proche de la réalité. Plus concrètement, il s’agit de statistique et/ou de modélisation imparfaites des décsions de justice. Cette description nous semble plus réaliste et plus opérationelle. [140]. C’est ce que nous allons tenter de montrer.

Imparfaite pour l’instant, car 200 000 décisions judiciaires publiées par an, alors que 3.8 millions sont rendues sur la même période, c’est un échantillon insuffisant en termes de statistiques. Sans compter que dans de nombreux cas, les faits ne sont pas détaillés ou insuffisamment détaillés, même dans le jugement de première instance, si on l’avait (cas classique des décisions pénales, que par déontologie Predictive et Case Law Analytics ont choisi d’exclure — ce qui nous semble justifié).

A court et moyen terme, le délai d’implémentation de la justice prédictive sur la grande masse du contentieux est incompressible. En effet, elle ne pourra pas être implémenté sur l’ensemble des décisions de justice de première instance et avec une pleine efficacité avant un minimum de huit ans à compter de 2017.

Explication. Compte tenu des spécificités du droit français (pas de la common law ... mais pas un véritable problème [141]), de la (relativement) petite taille du marché français du droit, de l’absence pour l’instant de disponibilité en accès libre et gratuit (open data) [142] des décisions judiciaires de première instance [143] avant des années malgré la loi Lemaire pour une République numérique [144], de la nécessité d’un partenariat entre un éditeur juridique et un éditeur de système de machine learning [145], cela devrait prendre au minimum huit ans à compter de 2017 et peut-être plus.

A noter que le NLP à la "sauce" machine learning, en droit français, sert de nos jours de plus en plus à pseudonymiser (on ne dit plus anonymiser, ça c’était avant le RGPD) automatiquement les décisions de justice. Le legal tech Doctrine.fr s’était lancé dès ses débuts en 2016 dans cette tâche, ce qui avait d’ailleurs entraîné à l’époque un débat [146] très intéressant avec le développeur et ingénieur ML Michaël Benesty, attelé à la même tâche, sur les limites des performances du ML en la matière. L’état de l’art en 2016-2017 était en fait très insatisfaisant. Pour citer M. Benesty fin 2016 :
« Pour avoir un taux d’erreur de 10% (qui est déjà important), il faudrait un algorithme ayant un taux d’identification par mention de plus de 99% (en théorie). L’état de l’art en septembre 2016 des algorithmes mis au point dans les universités (donc en avance sur les systèmes utilisés dans l’industrie) est à 92%. Même en “trichant” par l’ajout de règles manuelles, on arrive péniblement à 96%. Or, d’une manière générale en machine learning, plus le taux est haut, plus il faut d’efforts pour progresser.
En matière de bases de données en santé (où le problème de l’anonymisation des données se pose aussi), le taux de rappel (différent de l’accuracy, on en parle ici pour comparaison des grandeurs) rapporté en anglais (langue plus facile à traiter pour les machines, car morphologiquement pauvre) est de 94%.
On voit bien que l’approche anonymisation à 100% via le machine learning (c’est-à-dire sans aucune intervention humaine) se heurte à un plafond de verre. »

Toutefois, les ingénieurs machine learning/"data scientists" d’Etalab (EIG) envoyés assister la Cour de cassation ont beaucoup beaucoup progressé en 2019 en utilisant deux librairies de "Named Entity Recognition" bien connues, Spacy et Zalando Flair : « diminution de 32% du taux d’erreur avec une meilleure utilisation de la connaissance de l’ensemble des données au lieu de simplement travailler au niveau de la phrase » et atteinte d’un « taux de réussite de 99,96 % sur les noms et prénoms » [147]. Selon l’article d’Acteurs Publics (accés réservé) :
« La mission Etalab se chargera, à ce titre, de faire office de courroie de transmission avec les autres institutions désireuses d’appliquer la méthode de la Cour de cassation pour anonymiser leurs documents. Pour autant, la généralisation du nouveau moteur d’anonymisation à toutes les institutions judiciaires n’est pas pour demain, tant le paysage des applicatifs informatiques du ministère de la Justice reste encore aujourd’hui éclaté. En attendant, la Cour devrait adopter le nouveau logiciel mis au point par les deux EIG d’ici la fin de l’année [2019]. »

Revenons à notre notion d’analyse statistique imparfaite des décisions de justice. Elle vaut aussi pour l’avenir. Car l’idée qu’on va pouvoir vérifier que, dans une même situation, les juges rendent des décisions identiques, au-delà même des inconvénients de la pression politico-médiatico-sociale que cela leur mettrait, est largement biaisée. Ce, pour plusieurs raisons :

  • « un seul et même juge peut adopter des solutions divergentes dans des affaires présentant les mêmes caractéristiques » [148]
  • la notion de "même situation" est une illusion : dans le détail, les situations de fait sont très rarement totalement identiques dans les décisions de justice (et j’en ai lues beaucoup). C’est la qualification juridique de ces faits qui peut donner cette impression
  • les statistiques sont une autre illusion (vu les interprétations hâtives et abusives qu’on en fait le plus souvent, notamment en utilisant des graphiques), mais *en partie* seulement (sauf si elles sont faites sans suivre les règles, ce qui arrive plus souvent qu’on croit : représentativité échantillon, biais ...). Elles permettent en revanche de *tenter* de décrypter la jurisprudence [149]. Comme le disait le Premier président de la Cour de cassation Bertrand Louvel lors du colloque de 2016 sur l’open data de la jurisprudence : la « jurisprudence », c’est « la tendance habituelle d’une juridiction ou d’une catégorie de juridictions à juger dans tel sens » [150]
  • une statistique est une *simplification*, outrancière si elle manque de finesse (préférer les déciles ou la médiane à la moyenne, par ex.). Cette simplification permet toutefois de détecter ou prouver des tendances.

A l’heure actuelle, les statistiques de la justice prédictive restent donc fragiles car leur substrat est peu représentatif. On constate aussi, à tester les outils, que ces statistiques nécessitent fréquemment des interprétations et des explications. De plus, la qualité varie selon les outils.

Les statistiques de la justice prédictive restent fragiles également parce que comme le souligne le sociologue et chercheur CNRS Julien Larrègue les applis et expériences menées nous « apprennent peu de choses sur les raisons et le sens des décisions » [151] (sans même parler du problème de l’explicabilité des résultats de l’IA).

Encore une fragilité des statistiques de justice prédictive (cf à nouveau J. Larrègue [152]) : en droit pénal (et peut-être en droit civil — droit de garde lors du divorce, voire procédures collectives), les applications ignorent les recherches menées en sciences sociales et celles de "jurimetrics" menées depuis les années 40.

Notez bien que nous avons parlé jusqu’ici des limites des *statistiques* en matière de décisions de justice. Pas des limites de la *modélisation* de la prise de ces décisions, ce qui est fait par une seul acteur, Case Law Analytics, et s’avère in fine, particulièrement face au manque très net de décisions couvrant le même cas dans le même type de contentieux (y compris en droit du licenciement, plus rigoureux. Ainsi, pour obtenir des statistiques solides en droit du licenciement sans cause réelle et séreuse, il faudrait avoir quelques centaines de décisions du même bassin d’emploi ou au minimum émanant de tribunaux du même ressort de cour d’appel, de moins de 5 ans d’écart, sur le même type de poste/métier, même niveau de responsabilité, même niveau de rémunération et même ancienneté. Actuellement, dans le meilleur des cas, on arrive à quelques dizaines de décisions de ce type, souvent liées à un unique gros plan social. Or le fait même que ces décisions soient de facto majoritairement issues de la même affaire est un biais statistique lié à l’échantillon ... C’est pourquoi modéliser les critères de la décision de justice est une piste plus intéressante.

Dernière limite, enfin, le degré d’acceptation par la société, encore limité (cf la dernière partie de ce billet). Toutefois, si l’on s’en tient à l’histoire récente des innovations, les systèmes de machine learning en droit finiront, selon toute probabilité, par être assez rapidement acceptés par les consommateurs de droit. Les professionnels du droit vont donc, à terme, devoir suivre. En fait, un nombre important d’avocats et encore plus important d’assureurs se sont déjà lancés, en prenant des abonnements chez Predictice et Case Law Analytics. Comme le rappelle un professionnel américain des enquêtes ("fact finding") pour avocats, dans un excellent article qui remet les pendules à l’heure, les "IA" d’aujourd’hui sont les "logiciels" de demain [153].

Les limites des "IA" juridiques françaises en matière de recherche en langage naturel

Marc Clément, président de chambre au tribunal administratif de Lyon, ex-rapporteur à la cour d’appel administrative de Lyon et important commentateur des apports du numérique aux juridictions administratives [154] fait remarquer que « dans la réflexion sur la "justice prédictive", il est très rarement fait allusion au fait que l’outil informatique est déjà au cœur du métier du juge », et ce, à travers les recherches sur les bases de données de jurisprudence et de doctrine, particulièrement les juges administratifs qui bénéficient de l’ensemble des grandes plateformes des éditeurs juridiques (pas les magistrats de l’ordre judiciaire, pauvre, lui). En effet, face au nombre de résultats trop important pour qu’on les lise tous, les juristes sont obligés, soit de diminuer ce nombre en ajoutant des mots-clés soit de faire confiance à l’algorithme de tri par pertinence. Le choix d’un "mauvais" mot-clé peut faire disparaître des résultats pertinents, tandis que les règles dirigeant l’algorithme de tri par pertinence ont leurs propres biais [155].

Entre parenthèses, l’argument — tout à fait exact — de M. Clément renforce la nécessité d’apprendre aux jeunes juristes à chercher en suivant tout simplement les tables des matières, index alphabétiques, plan de classement, thésaurus, notes de bas de page et autres accès hiérarchiques ou guidés. Le plan de classement de la jurisprudence administrative (PCJA) maintenu par les équipes du Conseil d’État n’est rien d’autre que ça : un guide extrêmement performant pour trouver rapidement toute la "JP" faisant autorité sur un sujet. Evidemment, les outils hiérarchiques et d’indexation matière ont leurs propres limites : ils ne sont jamais exhaustifs, coûtent cher à maintenir et, du fait de leur réalisation humaine [156], ne pourraient probablement pas traiter une masse de plusieurs millions de documents (les juridictions judiciaires rendent 3,8 millions de décisions par an, dont 1,2 pour les décisions pénales [157]). C’est justement pour ça qu’on cherche aujourd’hui par mots-clés et que les technologies de l’IA s’attaquent aux limites de ce mode de recherche.

Pour autant, les techniques de recherche utilisant le machine learning ont leurs limites à elles, bien plus gênantes si on considère qu’on ne sait pas précisément pourquoi tel mot va trouver tel résultat. C’est le fameux problème de la transparence des IA, non résolu à cette heure, et que Marc Clément rappelle à juste titre. Oui, mais si l’algorithme est plus pertinent que la recherche en texte intégral, on est globalement gagnant, me direz-vous. Certes, mais avec l’IA actuelle, on va vers des logiciels dont les utilisations seront différentes et les conséquences bien plus importantes puisqu’on parle de statistiques sur les solutions des litiges, le montants des indemnisations et potentiellement les peines de prison. Le manque de transparence de l’IA est alors autrement plus gênant.

Marc Clément, toujours lui, fait également remarquer que « les structures des textes juridiques sont des points d’appui précieux pour construire une analyse automatique. On peut ainsi sans trop de difficultés identifier des références à des articles de code ou à des jurisprudences, ce qui place d’emblée un texte juridique dans un réseau d’autres textes » [158].

En pure théorie, M. Clément a raison : les références, dans les documents juridiques [159], aux autres documents sont autant de liens et de recommandations implicites qui devraient aider les algorithmes de machine learning à identifier les documents les plus pertinents par rapport à la "question" posée — la requête devrait-on dire.

Mais la réalité est autre :

  1. Primo, si c’était si simple, les legal tech, depuis trois ans qu’elles existent en France, auraient dû arriver à quelque chose de mieux, avec les arrêts des juridictions suprêmes et des cours d’appel, que ce qui existe actuellement. C’est donc qu’il y a de sérieuses difficultés dans ces arrêts.
  2. Les décisions des juridictions administratives sont beaucoup mieux structurées que celles des juridictions judiciaires. Parce qu’elles ont plus de moyens financiers et en personnel [160], parce qu’elles produisent plus de dix fois moins de décisions (260 000 par an contre 3,8 millions), parce qu’elles n’ont pas la même indépendance que celle des cours d’appel et tribunaux judiciaires et que les règles de rédaction des décisions sont donc précises et unifiées [161]. Cette bien meilleure structuration rend leur mise en base de données, leur pseudonymisation et les recherches dessus beaucoup plus faciles — c’était évident quand on interrogeait Supra Legem — et moins chères. Exemple de ce qu’il faudrait faire sur les décisions judiciaires, un travail collaboratif dans le cadre du forum Open Law en 2017 a permis de dégager une quarantaine de champs et d’annoter environ 400 décisions extraites de Legifrance. Pour plus de détails, voir notre billet L’open data des décisions des cours d’appel et tribunaux n’est pas pour demain.
  3. Et puis, les décisions des tribunaux judiciaires de première instance ne sont pour l’instant pas disponibles : ni numérisées nativement dans la très grande majorité des cas [162], ni suffisamment structurées, ni suffisamment balisées au plan du code informatique. Même les jugements des tribunaux de commerce ne sont pas ni assez structurés ni assez balisés informatiquement pour pouvoir être "mangés" efficacement par une base de données. L’objet du fameux contrat entre Infogreffe et Doctrine.fr (finalement résilié par Infogreffe) était justement probablement de traiter ces jugements pour résoudre en partie ce problème [163] — les autres aspects étant leur pseudonymisation [164] leur "mise en base de données".

Tout ceci explique très largement pourquoi, selon toute probabilité et à l’exception totale de l’ex-Supra Legem [165] et partielle de Case Law Analytics, les applications de justice prédictive utilisent essentiellement, pour leur moteur de recherche et l’analyse des décisions, des systèmes fondés sur les chaînes de caractères et les expressions régulières (regex), dont le précurseur en France sont les cartouches ex-Luxid (devenues Cognito Discover) de la société Expert System, ex-Temis [166], dont nous avons parlé plus haut.

Voyons maintenant les produits un par un.

Predictice

Créé en 2016 par le jeune avocat Louis Larret-Chahine, Predictice est un outil d’aide à la décision à destination des professionnels du droit et des assureurs [167]. Dans une première étape, il permet d’accéder à la jurisprudence via [168] :

  • un moteur de recherche en langage naturel utilisant des technologies d’analyse syntaxiques simples mais aussi les opérateurs booléens classiques [169], ce qui est un plus pour les spécialistes de la recherche (et pas seulement les documentalistes)
  • des filtres : juridictions, chef de demande dans le dispositif de la décision, s’il a été accepté ou refusé, montant alloué, type de solution (confirmation, infirmation, partielle ou pas), base légale/texte cité. Certains filtres sont spécifiques à une matière, comme ceux du salaire brut et de l’ancienneté du salarié en matière de licenciement
  • une fois arrivé sur une décision, des suggestions de décisions similaires.

Une fois les résultats atteints, la deuxième étape est l’analyse statistique du contentieux (dite "prédictive"). On sélectionne un chef de demande parmi ceux trouvés par l’application lors de la recherche — on peut aussi en taper un autre. Un algorithme calcule alors les probabilités de résolution du contentieux, le montant des indemnités potentielles et identifie les moyens de droit ou les faits les plus influents dans les décisions antérieures rendues par les juridictions [170]. La restitution des analyses se fait sous forme graphique ou statistiques. L’application utilise des technologies de NLP (TAL) simples à base de synonymie et de règles pour chercher dans les décisions de justice, les analyser et extraire les données.

Concrètement, chez Predictice, il s’agit d’abord de lister le type de partie vainqueur et donc de donner un pourcentage de chances de remporter un procès sur un type de contentieux, et de déterminer les montants de dommages-intérêts alloués selon la cour d’appel, sans oublier la répartition des montants (par décile par exemple), le tout cartographié [171]. S’ajoute à ces informations les décisions les plus récentes en votre faveur ou en votre défaveur, celles ayant alloué les dommages-intérêts les plus importants et les moins importants et d’autres statistiques plus détaillées. L’analyse produite est facile à télécharger ou imprimer — et donc à présenter au client ou à la partie adverse, c’est prévu et voulu par Predictice. Les analyses statistiques sont réalisées avec les avocats et juristes partenaires.

D’abord en pilote auprès de structures partenaires (Orange, AXA, Covéa, Dentons, Solocal, Taylor Wessing), Predictice est commercialisé depuis septembre 2017 [172].

Le test de l’application au sein des deux cours d’appel de Rennes et Douai s’est terminé début octobre 2017 : les magistrats n’ont pas adopté l’outil, estimant que, malgré sa « modernité », il « méritait d’être sensiblement amélioré [173].

En fait, ce que les magistrats testeurs reprochaient à l’application, c’était la non-prise en compte de biais statistiques [174] : « Xavier Ronsin est le premier président de la cour d’appel de Rennes. Ses magistrats ont testé un logiciel (Predictice, pas celui développé à Nantes) pendant quelques mois. Bilan  ? "C’est la déception. Rien ne remplace le regard d’un juge. Le logiciel que nous avons testé n’apporte aucune plus-value dans le travail des magistrats." Xavier Ronsin évoque même des "biais de raisonnement" du logiciel qui se fonde sur des comparaisons de décisions passées, sans forcément en examiner les motivations. »

Il faut lire l’interview de Xavier Ronsin donnée à Dalloz Actualité en 2017 pour mieux comprendre ce que techniquement les magistrats reprochaient à l’outil [175] :

« On se situe plus dans un projet d’approche statistique et quantitative que qualitative. Parfois, les résultats peuvent même être aberrants. Prenons l’exemple d’un calcul d’indemnités de licenciement sans cause réelle et sérieuse. Les montants sont calculés par le juge en mois de salaire. Or le salaire d’un cadre n’est pas le même qu’un ouvrier. Il suffit qu’une décision de justice concerne un cadre pour fausser complètement l’analyse, selon l’affaire ou le bassin d’emplois, et pour que le résultat proposé ne dise rien du cas à résoudre. Il serait plus pertinent de privilégier une approche selon le nombre de mois de salaire alloué, plutôt que savoir si le résultat probable sera de 4 000 ou 8 000 €. [...]
Le logiciel ne s’intéresse qu’au dispositif d’une décision de justice. L’algorithme ne sait pas lire toutes les subtilités de la motivation, surtout lorsque la décision est complexe. »

 [176]

Après deux mois d’utilisation intensive de Predictice, l’avocat geek Frédéric Cuif a fait son bilan [177]. Il apporte d’autres éléments intéressants.

En 2018, le nombre d’abonnés a visiblement cru — sans que la société publie de chiffre. Les assureurs Covéa, Allianz, la Maif et Pacifica sont clients [178]. La page d’accueil du site de Predictice affiche les cabinets d’avocats utilisateurs.

Case Law Analytics

Case Law Analytics (CLA) était en fait, jusqu’à il y a peu, une recherche INRIA (Institut national de recherche en informatique et automatique). Ce n’est qu’en septembre 2017 que CLA est devenu une société. Elle est basée à l’Atlanpole de Nantes et a été sélectionnée par Microsoft pour son programme d’incubation au sein de Station F à Paris. Cet "offshoot" de l’INRIA a été créé à l’origine mi ou fin 2015 par Jacques Lévy Véhel, mathématicien et à l’époque directeur de recherche à l’INRIA [179] et Jérôme Dupré, alors magistrat en disponibilité, et devenu depuis avocat au barreau de Nantes. C’est J. Lévy Véhel qui a créé la société [180] et il est aujourd’hui associé principal [181] — mais d’après lui, Jérôme Dupré continue à jouer un rôle de conseiller.

Sur Case Law Analytics, il y avait jusqu’au printemps 2017 très peu de choses à lire. La startup était alors très discrète sur le plan médiatique. Le passage au statut de société approchant [182], les publications se sont ensuite succédées [183]. Il s’agissait à l’origine d’une évaluation probabiliste des dommages-intérêts, elle-même découlant de travaux sur les montants des indemnités de licenciement faits pour la préparation de la loi Travail et d’un intérêt personnel du fondateur de CLA pour la quantification des décisions de justice, ayant été lui-même confronté à un contentieux [184]. En 2014, Jacques Lévy Véhel avait initié une collaboration avec le magistrat Jérôme Dupré, autour de la modélisation des prestations compensatoires. Extrait de l’article du Village de la Justice (mars 2017) :

« " Il ne s’agit pas de dire la probabilité d’aller au contentieux mais plutôt d’estimer les sommes d’argent que vous pouvez être condamné à payer dans tel ou tel cas de figure, explique Jérôme Dupré. Nous n’aimons pas l’expression “justice prédictive”, qui est à notre avis trompeuse et parfois même dangereuse. C’est pourquoi nous ne donnons pas un chiffre unique mais une distribution probabiliste des montants de condamnation possibles. Il est difficile de calculer ce risque parce que les aspects procéduraux sont complexes à modéliser pour le moment mais c’est possible dans certains cas. " »

Ensuite, Case Law Analytics a évolué vers un logiciel qui fonctionne pour partie comme un système expert et pour partie comme un outil d’aide à la décision. Mais ses créateurs se fondent moins que Predictice sur la statistique — J. Lévy Véhel refuse notamment de donner des moyennes — et plus sur un système qu’ils qualifient de « juges virtuels ». L’interview de J. Lévy Véhel par Ekipio et celle par le MediaLab de France Télévisions soulignent les points-clés de son produit :

  • Case Law Analytics fonctionnant en partie comme un système expert (voir infra), il ne dépend pas de la disponibilité d’une masse de décisions statistiquement significative et peut donc compenser le manque de magistrats face au nombre de dossiers (une différence fondamentale avec Predictice) [185]. Au moins, lui est clair là-dessus. Au demeurant, en tant que justiciable et juriste en même temps, je ne partage pas complètement son avis : quantité d’affaires qui paraissent basiques, qui selon des juges ne méritent pas qu’on y passe du temps, le mériteraient (il faudrait faire des recherches, en fait et en droit, qui ne sont pas faites [186]) et sont traitées par dessus la jambe. Là-dessus (pour les particuliers justiciables de base), la justice prédictive, selon moi, ne permettra en effet que de gagner du temps — rien d’autre
  • comme Louis Larret-Chahine de Predictice, J. Lévy Véhel dit ne pas croire pas au danger d’uniformisation de la jurisprudence. Pour lui, son logiciel est un outil d’aide à la décision. Entre parenthèses, questionné par un de ses interviewers, J. Lévy Véhel reconnaît qu’il faut « un peu de formation » pour les justiciables et recommande une formation de base en mathématiques et statistiques pour les juristes, ce qui montre l’importance — et la difficulté relative — d’interpréter les résultats des applications de justice prédictive
  • CLA ne travaille que sur un nombre limité de domaines du droit, relativement étroits et homogènes. Par opposition, Predictice est un généraliste. CLA se limite actuellement (fin 2018) à une quinzaine de domaines : rupture brutale des relations commerciales, marchés publics, abus de position dominante , baux commerciaux, licenciement sans cause réelle et sérieuse, opérations d’initiés (droit boursier). Les manquements d’initiés sont un domaine où les décisions sont très peu nombreuses (on parle d’environ 230 décisions à fin novembre 2018), ce qui illustre assez bien le côté système expert. Idem pour la rupture brutale : 2200 décisions environ. CLA ne peut pas travailler sur un dossier exceptionnel, en revanche
  • les techniques et étapes utilisées : dans un premier temps, J. Lévy Véhel et son équipe font parler « un grand nombre de magistrats et d’avocats spécialistes du domaine pour établir l’ensemble des critères intervenant dans la prise de décision » (entre 20 et 120) et le raisonnement utilisés par les juges pour trancher. Ça, c’est une technique d’IA à l’ancienne : c’est du logiciel expert (cf supra). Et cela permet à CLA de dire qu’ils offrent des « juges virtuels ». Un « référentiel » plutôt, en réalité, pour reprendre un autre terme utilisé par J. Lévy Véhel.
    Dans un deuxième temps, CLA constitue une base de données de décisions de justice sur le sujet (peu d’IA là-dedans). J. Lévy Véhel : « Nous utilisons bien sûr des outils de traitement du langage naturel, pour retrouver automatiquement certains critères, mais une partie du travail est effectuée manuellement, par des humains. »
    Dans un troisième temps, en utilisant les critères dégagés à l’étape 1 et les données regroupées dans l’étape 2, CLA "apprend" à la machine à s’approcher d’un raisonnement de juge. En clair, la troisième étape consiste à créer un logiciel ad hoc qui va se nourrir de cette jurisprudence codifiée pour repérer les zones dans les arrêts où se trouvent les critères de décision des juges et modéliser la prise de décision d’un juge dans ce type d’affaires. J. Lévy Véhel : « Nous faisons appel, sans a priori, à toutes les techniques d’apprentissage automatique à notre disposition. Il peut s’agir de réseaux de neurones, de forêts aléatoires, de machines à vecteurs de support, de réseaux bayésiens ... Nous choisissons ceux qui nous semblent efficaces dans le cas de figure et nous construisons un logiciel unique à partir de là. » La voilà, l’IA.
    Enfin, après que l’utilisateur ait choisi dans l’interface ses réponses aux critères (ses paramètres en quelque sorte), CLA sort un éventail de décisions et de dommages-intérêts représentatifs [187]. Plus précisément, « Case Law Analytics n’ambitionne pas de produire un seul jugement, mais une palette des décisions possibles ». Comme l’explique J. Lévy Véhel : « J’entraîne dans ma machine 100 juges virtuels. Ces 100 juges vont chacun prendre une décision et l’ensemble de ces 100 jugements ne reflètent ni plus ni moins que les décisions qui seraient prises à la cour d’appel de Paris à tel moment, sur tel dossier. » La fiabilité des résultats, selon le mathématicien, « oscille entre 85 % et 95 % » [188].
    Clairement, à travers ces techniques et les propos de J. Lévy Véhel, CLA se positionne comme de la "justice prédictive" haute couture, pas du prêt-à-porter. Case Law Analytics n’est pas un éditeur de logiciel mais une sorte de SSII vendant ce qui s’apparente en réalité à des développements spécifiques. Pour citer J. Lévy Véhel : CLA travaille « au cas par cas »
  • CLA n’offre pas de moteur de recherche de décisions, une fonctionnalité pourtant présente chez tous les autres acteurs de la justice prédictive, particulièrement Predictice. CLA fournit juste les n° RG d’une sélection de décisions représentatives, à titre d’illustration. Et contrairement à Predictice, CLA ne fournit pas le texte intégral des arrêts
  • CLA n’a pas accès aux arrêts hors des bases CASS, INCA et JuriCA, sauf décisions inédites fournies par ses partenaires (situation très similaire à celle de Predictice). Pas de jugements de première instance pour l’instant
  • J. Lévy Véhel refuse de se ranger dans la course à la taille. Pour lui, un échantillon de 1500 décisions (isolées dans une base beaucoup plus grande, cf étape 1) suffisent à la machine pour "apprendre". En même temps, les 2000 arrêts rendus par la CA de Paris depuis 2012 sur la rupture brutale des relations commerciales sont insuffisantes : c’est notamment pour surmonter cela que CLA utilise sa technique dite de "juge virtuel"
  • CLA refuse de profiler les juges et les avocats. Elle anonymise leurs noms dans les décisions. Et comme Predictice, Lévy Vehel et son associé refuse de travailler sur le contentieux pénal.

En novembre 2017, le cabinet d’avocats (spécialisé en droit social) Clichy Grangé a annoncé s’être équipé de l’outil Case Law Analytics [189]. Autres clients selon CLA : le cabinet d’avocats Quinn Emanuel, la direction juridique de SNCF Réseau et les assureurs Axa Protection juridique et Allianz. D’autres utilisateurs sont listés sur la page d’accueil du site de CLA.

Comme chez Predictice, les abonnements ont semble-t-il cru en 2018 — là aussi sans chiffres publiés.

Au vu de ses particularités, CLA mérite donc plus que les autres applications de justice prédictive le qualificatif d’IA.

Legalmetrics (Lexbase)

Legalmetrics, sorti à l’été 2018, utilise le fonds jurisprudentiel de l’éditeur juridique Lexbase. A partir du nom d’une société, il affiche un camembert avec les divers types de contentieux qui l’ont concernée. Il s’agit en fait de notions juridiques directement reliées aux tables du Bulletin des arrêts civils de la Cour de cassation. Cliquer sur les tranches amène ensuite aux décisions.

La démarche est certes innovatrice et apprend à l’utilisateur quelque chose d’impossible à trouver/déduire avec les bases traditionnelles de jurisprudence, mais on aimerait voir l’éditeur aller plus loin dans l’analyse du contentieux et proposer d’autres fonctionnalités. Legalmetrics laisse l’impression d’un POC ("proof of concept").

Peu d’IA et pas de justice prédictive là dedans, donc.

Deux prédécesseurs : Jurisprudence chiffrée et Données quantifiées Juris-Data

C’est quelque chose que l’éditeur juridique Francis Lefebvre avait déjà approché avec son produit Jurisprudence chiffrée fondé sur les faits et chiffres présents dans les arrêts de cour d’appel de la base JuriCA. Jurisprudence chiffrée trouve depuis 2010 des arrêts de cour d’appel correspondants aux critères exacts donnés et le montant des dommages-intérêts. Par exemple, à partir de la profession et l’ancienneté, Jurisprudence chiffrée donne le montant des dommages-intérêts pour licenciement sans cause réelle et sérieuse [190]. Jurisprudence chiffrée utilise un programme qui identifie les zones des arrêts d’appel riches en information de type juridiction, adresse, profession, âge, ancienneté, montant des indemnités etc., isole ces informations et permet de mener une recherche d’arrêts très rigoureuse par ces critères combinés. Mais à l’époque de sa conception, les avancées du machine learning commençaient à peine, il est donc peu probable que Jurisprudence chiffrée utilise le ML [191]. En revanche, il y a un travail fin sur le langage naturel, à base de cartouches de langage d’Expert System (ex-Temis, cf supra).

Jurisprudence chiffrée est un outil de traitement du langage naturel (TAL). A ce titre, il a été le précurseur.

Interface de recherche de l’application Jurisprudence chiffrée en matière d’indemnité d’éviction (baux commerciaux)

La base (et ouvrage) rivale de LexisNexis Contentieux de l’indemnisation devenue JurisData Analytics (et accessible par l’onglet Pratique & Outils de Lexis360, mais non comprise dans l’abonnement standard à Lexis360) est elle, en revanche, faite "à la main" et sans TAL/NLP, ce qui permet tout au plus de la ranger dans la catégorie analyse prédictive (les résultats sont présentés sous une forme assez dans le style "tableau de bord") mais pas dans celle de l’IA [192]. Fondée sur une conception de l’informatique juridique datant des années 60, elle est nourrie avec une sélection d’arrêts d’appel "épluchés" pour leurs données et provenant de la base Juris-Data [193], soit 50 000 arrêts à novembre 2017 [194]. Tout comme Jurisprudence chiffrée, elle ne traite que certains thèmes : licenciement, rupture de bail commercial, pension alimentaire et prestation compensatoire ...

Doctrine.fr

Doctrine.fr, malgré son nom, ne contient pas de doctrine, mais des liens (très nombreux) vers des actualités gratuites des éditeurs juridiques (EFL Actualités, Dalloz Actualité, site de la Gazette du Palais, LegalNews ...), vers des billets de blogs juridiques (celui du professeur Dondero y est en bonne place) et vers quelques sites de définitions (le Dictionnaire de droit privé de Serge Braudo) ou de synthèse (Open Dalloz). En matière de doctrine (et encore, Dalloz.fr mis à part, je parlerais plutôt d’actualités), c’est donc un métamoteur. Pour le reste et pour l’essentiel, c’est une base de données de jurisprudence brute qui a récemment perdu son avance en termes de contenu [195].

Ses apports sont ailleurs :

  • d’abord, proposer un moteur de recherche de jurisprudence extrêmement simple à utiliser et extrêmement rapide (dit "search-as-you-type") [196]. Le "learning curve" (délai d’apprentissage) est quasiment nul. Certes, construire une plateforme et un moteur "from scratch" aide beaucoup ici. Il n’empêche : les éditeurs juridiques traditionnels feraient bien d’en prendre de la graine et certains ont déjà adopté la technologie plébiscitée du type-as-you-search [197]
  • également, le moteur personnalise les résultats en fonction du profil de l’utilisateur (recherches déjà effectuées, résultats visualisés), en agissant sur leur tri [198]
  • ensuite, utiliser le machine learning pour pseudonymiser les décisions de justice, pour les classer par matière suite à une recherche (voir la colonne de gauche) et pour aider à sélectionner les documents à envoyer dans les alertes email. Le NLP à la "sauce" ML ne semble pas utilisé directement pour la recherche elle-même, mais pour classer automatiquement les décisions de justice par domaine du droit — le résultat est pertinent — et les découper (date, numéro, motifs, dispositif etc.) [199], ce qui aide à affiner les résultats de la recherche. Il est également utilisé par Doctrine.fr pour pseudonymiser (anonymiser disait-on avant le RGPD) les décisions, c’est-à-dire remplacer les noms de parties personnes physiques par des lettres majuscules comme A..., B...
  • enfin, le "business analytics", version "legal" : Doctrine.fr lie les entreprises (définies par leur numéro RCS) à leur fiche RCS, lie les décisions sur les entreprises aux avocats qui ont travaillé sur l’affaire et présente des statistiques à partir de cela. Il est possible que le repérage des noms des avocats utilise du machine learning, mais fondamentalement, les champs Parties (retirés depuis quelques années [200] mais bien présents auparavant) et texte intégral des bases de données actuelles de jurisprudence permettent déjà d’établir ce type de liens [201], certes de manière nettement moins pratique.

Pour l’instant, le moteur de Doctrine.fr fonctionne donc essentiellement comme un "full text" [202] à réponse quasi-instantanée. L’application n’appartient donc pas au segment de la justice prédictive. Et même s’il utilise des technologies d’IA, il est difficile de qualifier l’ensemble d’IA au sens où le coeur du système, le moteur de recherche semble en utiliser peu.

JuriPredis

JuriPredis, lancé officiellement en octobre 2018, est un moteur de recherche de jurisprudence sur le fonds Legifrancehttps://www.data.gouv.fr/fr/reuses/juripredis/] (bases CASS, INCA, CAPP — pas JuriCA, payante —, JADE, CONSTIT). Autrement dit la Cour de cassation, le Conseil d’Etat et les cours administratives d’appel, et un tout petit peu de cours d’appel.

Il utilise, selon nos tests, un moteur de recherche capable, sur certaines requêtes, de très bien "ranker" les arrêts, et de moins bien "comprendre" la requête de l’utilisateur sur d’autres [203]. NLP à la sauce ML ou bons vieux systèmes à base de chaînes de caractères ? Au vu des informations disponibles, le second cas. Ce qui n’est pas surprenant, Supra Legem, la seule application française de justice dite prédictive à implémenter du ML, n’a pu le faire que parce que son auteur travaillait sur la seule jurisprudence administrative, fortement structurée et à la rédaction de facto très normée.

Selon l’interview donnée à BFM TV par son fondateur le professeur Frédéric Rouvière, de l’Université d’Aix-Marseille, spécialiste de droit civil et de théorie du droit, JuriPredis veut faciliter la recherche par mots-clés, « limiter les déchets dans la recherche ». Ce nouveau moteur de recherche de jurisprudence ne va pas pour l’instant vers le prédictif (proposer des statistiques ou des solutions), mais s’y intéresse quand même.

Le financement est probablement venu de l’incubateur du Barreau de Marseille, cité sur la page partenaires du site de JuriPredis. Ce soutien financier supposant une forte approbation du projet par le Barreau. Après 7 mois seulement de développement, est déjà en mode commercialisation depuis novembre 2018 (abonnement et "marque grise") [204].

La marque "born South" est décidément très nette sur cette application. En sus des traits déjà notés (ses créateurs, son incubateur), Juri’Predis « annonce être soutenue par une vingtaine de cabinets, à 90 % implantés en Provence Alpes Côte d’Azur ». Les tests et l’évaluation initiale pourraient bien être l’oeuvre des 10 juristes du cabinet aixois LexCausa voire d’autres ayant adopté le moteur. Et les chercheurs en droit de l’Université d’Aix-Marseille ont visiblement aidé. Et l’article (assez promotionnel vu l’insistance sur les termes "IA" et "machine learning") précité de la Tribune n’est pas publié par la Tribune tout court mais pas son édition locale Provence Alpes Côte d’Azur et sur une URL dédiée marseille.latribune.fr.

Les tarifs sont publics — jusqu’à 5 utilisateurs. Fait notable, car cela devient de plus en plus rare dans l’édition juridique.

En résumé, au vu du sujet et de l’angle d’attaque de cette étude, JuriPredis, c’est un tout petit peu d’IA (dans le moteur) — et encore, à l’ancienne — mais pas de justice prédictive.

Dernier né, Justice.cool

La médiation est devenue obligatoire depuis le 1er janvier 2020 pour la grande majorité des litiges de moins de 5000 euros (loi de réforme de la justice du 23 mars 2019), se lance le premier site de médiation en ligne français assisté, selon eux-mêmes, par l’intelligence artificielle : Justice.cool [205]. Il a été créé par le Français qui a lancé en 2016 le site RefundMyTicket (réclamation automatisée d’indemnisation pour retard d’avion important), toutefois par le biais d’une société distincte et dont le siège est à une adresse différente (Europe Médiation SAS, créée le 31 décembre 2019, pour Justice.cool, et Claim Assistance pour Refundmyticket). Soyons clair : en matière de plateforme de médiation en ligne française, ce n’est pas le premier site. Mais en terme de plateforme de médiation avec assistance par l’IA, ça semble bien être le premier. Le fondateur, Romain Drosne en est à sa quatrième entreprise, après dix-sept ans dans le marketing digital.

Le modèle d’affaires (cf la FAQ du site) s’inspire de celui de RefundMyTicket et va au-delà :

  • ils ne prennent en médiation un dossier que :
    • en dessous de 5000 euros
    • pour l’instant, uniquement en droit des transports (retard ou annulation d’hôtel ou de vol, donc proche de RefundMyTicket) ou en droit du travail (licenciement, modification du contrat de travail)
    • et si vous avez plus de chances d’arriver à un accord que d’échouer. Attention, le site ne dit pas que cet accord sera forcément à votre avantage. A vous de vérifier si l’accord vous convient avant d’accepter
  • les frais (forfaitaires) sont de 36 euros et sont remboursés si vous ne trouvez pas un accord avec la partie adverse sous 60 jours
  • en cas d’échec de la médiation, et selon votre score, le site propose de continuer les démarches avec l’un de leurs avocats partenaires. Justice.cool avance alors les frais de justice, mais prend une commission de succès de 25% TTC.

A propos de leur technologie, voici ce que dit l’article 5.3 de leurs conditions générales d’utilisation (CGU) et leur page Indicateurs :

  • sur les chances de succès (le "Score") :
    « L’algorithme qui permet d’établir ce score repose sur deux approches statistiques conjuguées :
    La première s’appuie sur une approche de modélisation manuelle élaborée par nos juristes, nos partenaires avocats et universitaires.
    La seconde résulte d’un traitement par apprentissage automatique (Machine Learning) qui compare les faits présentés à une base de données de 1,8 million de décisions de Justice.
    Ce score est ensuite présenté de plusieurs façons :
    Un score par demande qui indique au demandeur le nombre de décisions similaires qui ont fait droit à sa demande
    Le score global qui représente la moyenne des scores de l’ensemble des demandes effectuées par le demandeur. »
    « Une fois le Litige enregistré et l’Opposant identifié par le Demandeur, celui-ci obtiendra un Score. [...]
    Le Score tient compte des éléments fournis par le Demandeur relativement au Litige, de la réglementation en vigueur et des décisions de justice rendues dans des situations présentant des éléments de similitudes avec les faits tels que rapportés par l’Utilisateur.
    D’une part, le Score est calculé grâce à un système expert de modélisation de la loi, élaboré par une équipe de juristes, d’ingénieurs et et d’avocats. D’autre part, le Score est pondéré par un algorithme d’apprentissage automatique, dit "Machine Learning", qui se fonde sur une analyse par similarité d’un nombre significatif de décisions de justice rendues par différentes juridictions. [...]
    Le Score de Justice.cool n’est pas une décision de justice, ni conseil juridique ou une décision de médiation. Le Score de Justice.cool ne prétend pas à l’exhaustivité : il reflète une analyse statistique de la situation par rapport à la loi et à la jurisprudence et ne présume pas de l’issue réelle d’un litige. Ce Score doit être utilisé en bonne intelligence par les Utilisateurs, comme un indicateur et ne lie ni Justice.cool ni les Utilisateurs. »
  • sur l’estimation des dommages-intérêts :
    « Les évaluations présentées tout au long du processus résultent, tout comme pour le score, d’une approche conjuguée :
    d’algorithmes manuellement définis par nos juristes et par nos partenaires avocats et universitaires sur la base des calculs établis par les textes de lois (codes, conventions collectives, réglementations, accords d’entreprises etc.)
    d’une approche comparée à la jurisprudence dans laquelle un traitement par apprentissage automatique (Machine Learning) est appliqué pour comparer le cas décrit à l’ensemble de la jurisprudence disponible (1,8 million de décisions de Justice). »

Il serait intéressant de savoir qui sont les juristes et avocats de l’équipe et d’en apprendre un peu plus sur l’algorithme utilisé (protégé par le secret des affaires, dixit les CGU) ainsi que sur le fonds de 1,8 millions de décisions de justice sur lesquelles s’appuie la startup. En effet, il existe peu de décisions de première instance disponibles et sur les petits litiges, peu vont en appel.

Supra Legem, l’IA gratuite de droit public

Seule application de "justice prédictive" (en fait, on vient de le voir, de recherche fine et d’aide à la décision) à proposer une démo grandeur nature, qui plus est gratuite, Supra Legem (le site a été mis hors ligne), développée par l’avocat fiscaliste, programmeur et data scientist Michael Benesty avec l’aide d’un ami ingénieur machine learning (travaillant incidemment chez Google) [206], aidait à améliorer la pertinence et la rapidité des recherches, identifier un revirement de jurisprudence, identifier les moyens de l’administration qui n’ont pas fonctionné, identifier des tendances de certaines chambres, voire prédire des revirements de jurisprudence du Conseil d’Etat [207]. A lire absolument pour plus de précisions sur le projet Supra Legem et de manière générale sur les applications de justice prédictive, le compte-rendu que M. Benesty en a fait au Journal of Open Access to Law (JOAL) début 2017 [208].

Pour autant, les déductions qu’on pouvait tirer des analyses des statistiques présentées par Supra Legem doivent être prises avec des pincettes, comme l’a montré un vif débat lors du lancement de l’application et des premiers articles écrits sur elle.

À noter qu’un de mes contacts estime que le machine learning en droit a beaucoup d’avenir si le deep learning non supervisé y perce. Et ce, même sur des marchés juridiques en régression comme le marché français. Imaginons par exemple que les algorithmes de deep learning arrivent à détecter des similitudes ("patterns") indépendantes de la langue et entre les documents juridiques allemands (un marché en meilleure santé) et français : les recherches entreprises sur le droit allemand — un marché bien plus rentable que le droit français — seraient alors transposables et réutilisables en droit français ...

On remarque que les éditeurs juridiques français traditionnels (groupe ELS avec Francis Lefebvre, Dalloz et Editions Législatives, Lexbase, LexisNexis SA, Wolters Kluwer France, Lextenso) ne proposent pas de produit incorporant du machine learning. Pour certains, je dirais : pas encore, mais je serais surpris que cela tarde [209] D’autant que ce sont les éditeurs qui détiennent le commentaire de la jurisprudence (dit aussi doctrine). Or en droit français, la donnée qui relie entre elles et permet de comprendre les décisions de justice, c’est la doctrine. Alors qu’en pays de "common law", le "case law" (jurisprudence) contient ses propres liens et son propre commentaire. En effet, le principe du "stare decisis" impose au juge anglo-saxon de citer les précédents pertinents et les juges des cours donnent leur "opinion" — autrement dit, ils commentent leur propre décision, chose impensable en France [210].

Arbitrage international

A noter que l’arbitrage international est en train d’attirer les regards du secteur :

  • le français Case Law Analytics a embauché fin 2019 une experte en droit international avec une spécialisation en arbitrage pour « de nouveaux modules »
  • ArbiLex, une legal tech américaine incubée au Harvard Innovation Lab et utilisant un machine learning bayésien, se prépare début 2020 à se lancer [211]
  • la legal tech française Jus Mundi, sans correspondre exactement à la définition de l’IA, s’est lancé à l’automne 2018 sur le secteur du droit international (traités, règlements d’arbitrage, sentences arbitrales) en commençant par l’arbitrage international d’investissement (CIRDI etc.).

L’IA et les textes officiels

Legal tech d’avant les legal tech, créée en 2009, l’éditeur juridique et SSII éditoriale Luxia est le créateur de la base de données Alinea by Luxia, qui avec une licence Legifrance, reprend textes officiels et jurisprudence, améliore la présentation ("time lines" notamment), la recherche et propose de la veille.

Luxia a lancé en janvier 2019 RegMind, une application qui fait de la veille automatisée en droit bancaire et financier (français et européen) à destination des banques et cabinets d’avocats [212]. Elle consolide automatiquement les textes, colorise les modifications (une fonctionnalité historique d’Alinea by Luxia) [213] et les lie entre eux [214], y compris des autorités de régulation, signale les modifications et facilite leur suivi par les juristes, dans un domaine intéressant ici car particulièrement complexe. Jurisprudence et sanctions sont intégrées, dit l’article du Monde du Droit [215]. Luxia n’utilise pas le terme d’IA pour la qualifier et sa présentation n’évoque pas l’utilisation de machine learning [216], mais elle tente bien d’automatiser un processus humain.

Quatre banques – dont Natixis, à l’origine du projet et qui a investi dedans — et un cabinet d’avocats testent et améliorent RegMind depuis au moins un an.

Formé par l’informaticien pionnier de l’information juridique publique Robert Mahl qui depuis le Centre de recherches en informatique (CRI) de l’Ecoles Mines a participé à la création du site Adminet, Georges-André Silber, le président fondateur de Luxia, a travaillé avec Christian Le Hir, directeur juridique de Natixis.

RegMind est le premier outil d’IA juridique français portant sur les textes officiels — et non la jurisprudence.

Pourquoi une montée des "IA" en droit ?

Une première raison du lancement des applications de justice prédictive en France ces dernières années est conjoncturelle. Elle réside tout simplement dans les promesses d’open data judiciaire des décisions d’appel et de première instance insérées en 2016 dans la loi Lemaire pour une République numérique (articles 12 bis A et 12 bis B nouveaux, devenus après renumérotation articles 20 et 21) par des amendements surprises venus de l’entourage de la secrétaire d’Etat Axelle Lemaire, en charge du projet de loi [217]. Autant dire la promesse d’une abondante matière première gratuite. 2016, c’est le lancement de Doctrine.fr et Predictice ... Il faut toutefois préciser que ces promesses n’ont pas été tenues : le décret d’application de la loi Lemaire n’a jamais été publié et ne le sera pas, ou en tout cas pas en tant que tel, puisque la loi de programmation et de réforme de la justice du 23 mars 2019 [218] a ajouté aux articles 20 et 21 de la loi de 2016. L’article 33 de la loi de 2019 a ajouté que les éléments permettant d’identifier les personnes physiques doivent être occultés (application du RGPD et de la loi Informatique et libertés, entre parenthèses) et que les noms des professionnels de justice, avocats mis à part, ne doivent être ni cherchables ni traités. Un autre décret (d’application de cette loi de 2019) doit donc être pris — il a été annoncé. Les raisons de ce retard sont fondamentalement au-delà de la problématique de la pseudonymisation renforcée (ex-anonymisation) amenée par la loi de 2016 (exigence d’« analyse du risque de ré-identification des personnes ») et plus encore celle de 2019 [219]. Elles existaient déjà début 2016 avant la loi Lemaire et sont toujours là [220] :

  • exigence de pseudonymisation découlant de la position de la CNIL, interprétant la loi Informatique et libertés — exigence reprise et renforcée depuis par le RGPD [221]
  • les moyens humains et budgétaires nécessaires n’existent tout simplement pas
  • sur le plan informatique, rien ne sera ni prêt ni adapté avant longtemps. Même si les data scientists d’Etalab envoyés assister la Cour de cassation ont beaucoup progressé en 2019 en utilisant deux librairies de "Named Entity Recognition" bien connues, Spacy et Zalando Flair [222] : « diminution de 32% du taux d’erreur avec une meilleure utilisation de la connaissance de l’ensemble des données au lieu de simplement travailler au niveau de la phrase ».

Si on se penche maintenant sur les aspects structurels, une des raisons de la montée des IA en droit s’impose : les économies — qu’elles soient réalisées ou juste attendues. C’est, avec la rapidité, LE motif mis en avant par le managing partner d’une "small law firm" spécialisée en droit américain des faillites, le premier domaine de Ross.
En droit américain, l’argument des économies de personnel réalisées dans le cabinet d’avocats sent déjà son pesant de marketing. En droit français, qui n’est pas un droit de common law mais un droit écrit et où les recherches de jurisprudence sont à la fois moins cruciales et moins complexes, on ne peut guère avancer cet avantage. Du reste, nous n’avons pas trouvé trace de témoignages en ce sens.
La rapidité pour déterminer les montants moyens ou maximaux des condamnations, en revanche, est souvent invoquée et s’avère fondée.

Les économies potentielles sont à chercher ailleurs. La Justice française a un problème budgétaire criant, reconnu par le ministre de la Justice de 2016, Jean-Jacques Urvoas [223] et régulièrement mise en évidence [224] par des rapports de la Cour des comptes et de la Commission européenne pour l’efficacité de la justice du Conseil de l’Europe (CEPEJ) [225]. Une tribune iconoclaste aux Echos, rédigée par des non juristes (évidemment ...), propose d’ailleurs carrément de confier la justice française à l’intelligence artificielle [226]. Et confirmation le 5 avril : la proposition n° 48 du rapport de la mission d’information sénatoriale sur le redressement de la justice présidée par Philippe Bas (voir pp. 20, 21 et 36 du dossier de presse) consiste à « mettre les outils de la "justice prédictive" au service du bon fonctionnement de la justice et de la qualité des décisions de justice et prévenir leurs dérives possibles » [227].

La volonté des pouvoirs exécutif et législatif de profiter de la justice prédictive pour compenser le manque de moyens et les retards de la Justice française par la médiation et la transaction tout court est tout aussi claire dans la loi de programmation 2018-2022 pour la Justice, où on autorise les services de médiation en ligne et permet même leur certification (facultative) [228]. Si, comme l’écrivent les Affiches Parisiennes à propos de l’étude (autodéclarative) 2018 sur les legal tech publiée par Maddyness et les Actualités du droit (Lamy) [229], « le pourcentage des start-up qui proposent une plateforme de médiation en ligne est faible », c’est probablement parce que les investisseurs attendent ce feu vert officiel. Pour citer les Affiches : « Alors que le projet de loi Justice leur consacre spécifiquement un article, seules 1,6 % [des legal tech] proposent, pour l’heure, un tel service. Le boom aura certainement lieu l’an prochain [en 2020, donc], après le vote de la réforme » [230].

Comme par hasard, un an après ce constat d’Actualités du droit, c’est le lendemain même de l’entrée en vigueur de l’obligation de médiation pour les petits litiges (loi de réforme de la justice du 23 mars 2019), que le site Justice.cool, en fait un site de médiation assisté par IA (cf supra), se lançait [231].

De leur côté, les dirigeants de Case Law Analytics l’assument depuis l’origine : leur produit est taillé pour favoriser les transactions et désengorger les tribunaux [232] :

« Les assureurs sont également des clients, en particulier les assureurs de protection juridique. On a un outil très performant pour les assurés qui ont très rapidement une vision précise du risque et de l’analyse de leur cas. L’objectif premier étant d’éviter le procès et de raccourcir les délais d’indemnisation.
Notre outil va également avoir son rôle à jouer pour favoriser les modes alternatifs de règlement des litiges.
En effet, le nombre de litiges augmente, et il n’y aura pas deux fois plus de juges dans 10 ans et il n’y aura pas 2 fois plus de budget dans 10 ans. En revanche, il y aura beaucoup d’outils qui vont permettre de s’assoir autour d’une table pour décider et négocier sur des bases solides. »

On retrouve le même objectif, affirmé cette fois par Predictice et un assureur, dans un article de l’Argus de l’assurance [233] :

« " Si nous avons un outil prédictif, nous disposons d’un argument supplémentaire pour convaincre les clients de faire un compromis. C’est un outil d’aide à la décision augmentée ", explique Christophe Bardet, directeur général de Covéa PJ. Selon un sondage anonyme réalisé par Predictice auprès de treize de ses utilisateurs, tous déclarent que cette solution leur permet de mieux négocier et de favoriser un mode alternatif de résolution des litiges. »

Impact prévisible des "IA" sur les jeunes collaborateurs, stagiaires, paralegals et documentalistes juridiques ?

Avant d’aborder, très concrètement, ce que l’IA modifie actuellement et peut modifier à l’avenir dans le travail des juristes et des administratifs qui travaillent pour eux, il faut revenir sur la définition de l’intelligence artificielle. Là déjà, on peut calmer les peurs, les fantasmes que déclenche le seul terme d’IA.

Les limites de l’IA faible

On l’a vu plus haut, ce qu’on appelle IA est, à strictement parler, un champ de recherche. Par extension, on qualifie aussi d’IA les produits qui se rangent dans ce champ [234]. On parle bien ici de *recherche* : on n’en est pas à reproduire le fonctionnement d’une intelligence humaine. Un des deux co-fondateurs de l’équipe de recherche en IA de Uber, Gary Marcus, professeur de psychologie à l’Université de New York, le dit clairement [235] : « Il y a tout ce que vous pouvez faire avec le deep learning [...]. Mais ça ne veut pas dire que c’est de l’intelligence. L’intelligence est une variable multi-dimensionnelle. Il y a beaucoup de choses qui rentrent dedans. [...] La véritable IA est plus éloignée que ce que pensent les gens. »

En fait, ce que nous voyons aujourd’hui, c’est ce que les spécialistes de l’IA appellent "week AI" (ou "narrow AI"). Comme l’expliquent Wikipédia et Techopedia, l’IA faible est une intelligence artificielle non-sensible qui se concentre sur une tâche précise. Autrement dit, l’IA faible consiste à imiter une fonction étroite typiquement humaine, comme reconnaître un chat sur une photo floue (reconnaissance de forme/d’image) et de le faire plus rapidement. L’IA faible est définie par contraste avec l’IA forte (une machine dotée de conscience, de sensibilité et d’esprit, tout comme un être humain) ou l’intelligence artificielle générale ou AGI [236] (une machine capable d’appliquer l’intelligence à tout problème plutôt qu’un problème spécifique et douée de conscience). Le point le plus important ici est que tous les systèmes d’IA actuellement existants sont considérés comme des intelligences artificielles faibles.

Face à l’affirmation récente tant par Mark Zuckerberg que par Shane Legg, le directeur du programme DeepMind de Google, que d’ici 2020 on aura atteint une IA de niveau humain, Melanie Mitchell, professeur d’informatique à l’Université d’Etat de Portland s’inscrit en faux dans le New York Times [237]. Pour elle, ce ne sont pas le machine learning ni les réseaux neuronaux qui parviendront à une réelle compréhension et au simple bon sens des humains [238].

Certains spécialistes du cerveau et de la connaissance estiment même une AGI quasi-impossible. Ainsi, Antonio Damasio, le neuroscientifique directeur du Brain and Creativity Institute à Los Angeles [239], « reste assez sceptique quant à ce qu’on appelle l’"IA forte" » à cause de la part émotionnelle et physiologique en jeu dans le fonctionnement du cerveau et des processus cognitifs de l’être humain [240].

Pierre Lévy écrit, lui : « Aussi bien les journalistes que les auteurs de roman ou de série TV présentent les robots ou l’intelligence artificielle comme capable d’autonomie et de conscience, que ce soit dès maintenant ou dans un futur proche. Cette représentation est à mon avis fausse, mais elle fonctionne très bien parce qu’elle joue ou bien sur la peur d’être éliminé ou asservi par des machines, ou bien sur l’espoir que l’intelligence artificielle va nous aider magiquement à résoudre tous nos problèmes ou – pire – qu’elle représenterait une espèce plus avancée que l’homme. » [241] Il ajoute qu’ « il faut bien constater l’échec théorique de l’IA puisque, malgré la multitude des outils algorithmiques disponibles, l’intelligence artificielle ne peut toujours pas exhiber de modèle convaincant de la cognition. La discipline a prudemment renoncé à simuler l’intelligence dans son intégralité. » [242]

Enfin, selon les mots du célèbre psychologue cognitiviste canadien Steven Pinker dans un magazine américain de vulgarisation scientifique [243] : « On nous a dit de craindre les robots, [mais] le soulèvement des robots est un mythe. [...] [Sa] première fausseté est une confusion entre intelligence et motivation, entre connaissances et désirs, entre inférences et buts, pensée et volonté. »

D’ailleurs, vu les fonctionnalités et performances réelles des produits que nous avons exposées plus haut, il est évident que parler d’intelligence artificielle en droit au sens strict est très exagéré. On devrait plutôt parler des différents types ou niveaux d’IA.

Il faut ajouter à toutes ces limites deux obstacles classiques : la résistance au changement, si tant est que cette résistance ne découle pas d’un manque d’anticipation ... de la résistance (inévitable) ou d’une relation managers-employés brisée [244], et la difficulté des dirigeants à saisir ce qu’une nouvelle technologie peut leur apporter [245]. Enfin, si tant est que cette nouvelle technologie offre un progrès réel ou quelque chose de réellement nouveau (cf infra). On notera par exemple que si le machine learning permet aux investisseurs d’exploiter d’énormes masses de données comme les publications sur les réseaux sociaux, en dépit de ce potentiel, ses performances restent mitigées. L’indice Eurekahedge AI Hedge Fund, qui retrace le rendement de 13 "hedge funds" qui utilisent le machine learning, n’a gagné que 7% par an sur 2013-2017, quand l’indice S&P 500 gagnait 13%. Selon Marcos López de Prado, responsable machine learning chez AQR Capital Management et auteur du livre Advances in Financial Machine Learning (Wiley, 2018), l’un des pièges potentiels des stratégies d’apprentissage automatique est le rapport signal/bruit extrêmement faible sur les marchés financiers. Les algorithmes d’apprentissage automatique identifieront toujours un motif, même s’il n’en existe aucun, dit-il. Les algorithmes sont donc susceptibles d’identifier de fausses stratégies. Il faut une connaissance approfondie des marchés pour appliquer avec succès l’apprentissage automatique aux séries financières [246].

Il y a aussi un débat sur la légalité et l’opportunité de laisser les legal tech investir le marché du droit (principalement celui des avocats mais aussi celui des notaires) et de l’information juridique. Sur ce sujet, je vous renvoie aux articles cités en première partie plus haut. Sur les risques de la justice prédictive, voir infra. On peut aussi citer l’avocate Michèle Bauer [247] :

« Les legaltech ne sont rien sans les avocats [248]. Les services proposés sont la plupart du temps des services dans lesquels sont associés les avocats : rédaction de statuts de société pas chère, demandes de devis, recherche d’un postulant ... »

IA et documentalistes

Les outils d’IA juridique auront un impact sur la recherche — et donc la veille — documentaire juridique : les tâches répétitives et "découpables" en petits morceaux seront robotisées, les autres ne le seront pas. Par exemple, Ross réalise la recherche booléenne et la première analyse des résultats. Selon les termes d’Andrew Arruda [249] (traduction par nos soins) :

« La technologie AI de ROSS remplace le besoin d’utiliser les opérateurs et mots-clés de la recherche booléenne par du langage ordinaire. Si un juriste d’affaires a besoin de connaître la différence entre les deux concepts juridiques "loss" et "recoupment", tout ce dont le juriste a besoin est de demander à ROSS : "Quelle est la différence entre "loss" et "recoupment" ?
Le résultat fourni par le système va au-delà de la simple identification des arrêts pertinents. Au lieu de cela, il attire l’attention du juriste sur les passages clés dans l’affaire qui devrait répondre idéalement à la question posée.
Quand vous posez une question à ROSS sur l’état du droit, vous la posez comme vous le feriez avec un collègue humain. ROSS découpe la phrase pour déterminer le sens de la question, puis conduit la recherche. »

Autrement dit, les applications de justice prédictives restent des moteurs de recherche (nettement) améliorés et des outils (statistiques) d’aide à la décision. Ce ne sont pas de véritables intelligences juridiques globales. Elles ne menacent guère que la fonction recherche — et encore : lisez ce qui suit.

Si on se projette dans environ sept ans [250], plus le travail du documentaliste juridique français procédera, « d’heuristiques pointues pratiquant pour partie un mode intuitif (opérer par rapprochements semi conscients) » [251], plus il aura une conscience d’artisan et d’expert de haut vol (notamment dans la maîtrise des sources méconnues ou mal indexées [252]), et moins au final il aura de chances d’être automatisé.

Mais aussi : plus il travaillera *avec* l’IA. Le documentaliste, le veilleur, le paralegal, le stagiaire juriste, le collaborateur, l’éditeur vérifieront, compléteront et amélioreront le travail de l’IA. Selon Christophe Tricot, expert IA chez Kynapse (son compte Twitter), « le collaborateur qui participe à la création d’une IA va devoir expliciter les règles, ses tâches au quotidien et comment il les aborde, parce que souvent les choses sont cachées ». Se former à l’IA, c’est donc savoir aussi parler de son fonctionnement quotidien, même lorsqu’on n’y prête pas attention et, encore mieux, le formaliser avec des règles. Par exemple : « S’il n’y a plus de papier dans la photocopieuse, alors il faut en remettre dans le tiroir. » Les règles en « si... alors... » (implication logique) sont facilement formalisables en langage informatique [253].

Comme l’écrit de manière futuriste, provocatrice mais pertinente Tyler Cowen, professeur d’économie à la George Mason University et blogueur connu sur Marginal revolution, dans son ouvrage Average is Over (Dutton, 2013, non traduit en français) :

« Les travailleurs se classeront de plus en plus en deux catégories. Les questions clés seront : Savez-vous bien travailler avec des machines intelligentes ou pas ? Vos compétences sont-elles un complément aux compétences de l’ordinateur, ou l’ordinateur fonctionne-t-il mieux sans vous ? Pire : est-ce que vous vous battez contre l’ordinateur ? » (traduction par nos soins)

D’ores et déjà, si l’on en croit les consultants spécialisés dans l’externalisation des services tertiaires, les applications de type RPA (Robotics Process Automation ou automation software) "carburant" au machine learning [254] sont en train de frapper à la porte des bureaux des Indiens, Philippins et autres pays d’externalisation [255].

Dans le secteur de la bibliothèque documentation juridique, en réalité, l’automatisation n’a pas attendu l’IA, le machine learning ni les réseaux neuronaux. Elle a commencé il y a plus de vingt ans, avec le téléchargement des notices de catalogue OCLC et Gallica puis les produits de veille directement destinés aux juristes, comme Dalloz Actualité, PaRR ou Mlex.

Voyons pour le futur.

Côté gestion de bibliothèque, on peut penser au bulletinage des revues électroniques ou au catalogage et à l’indexation et classement matière des ebooks. Encore que cela suppose que les éditeurs juridiques laissent des logiciels étrangers rentrer sur leurs serveurs et dans leurs systèmes — on touche là aux multiples problèmes pratiques et très ras-de-terre que pose l’IA. Les imprimés, c’est nettement moins évident vu leur nature physique.

Côté documentation juridique et open legal data, voici un exemple donné par Jean Gasnault :

« La préparation [des] données est essentielle pour un bon fonctionnement des algorithmes les traitant. Les documentalistes ont une carte à jouer dans cette évolution, en raison de leur compétence spécifique d’enrichissement des données. Cela donne un axe bien identifiable de progression de leurs connaissances : métadonnées, FRBR, normes ELI-ECLI, etc. »

Cela dit, fournir un savoir-faire sans contrepartie [256] n’aurait guère de sens. Il serait prudent de poser des questions sur les utilisations futures des outils de gestion des mails et des tâches et autres "bases de knowledge" et en l’absence de précisions, de savoir garder pour soi ses trucs et techniques de haut-vol.

D’ailleurs, il vaut mieux, pour le professionnel de l’information et le juriste, comme pour leur employeur, garder la connaissance des processus métiers de base mêmes, quand bien même certains — et c’est là toute la contradiction — ne seraient pratiquement plus utilisés. En effet, comme l’explique Sylvain Duranton du Boston Consulting Group (BCG) [257] :

« "Un risque énorme est la perte du savoir-faire métier. Car c’est le savoir-faire qui permet de perfectionner les outils." Un opérateur peut se contenter de suivre les instructions d’une IA sans lui-même savoir comment la perfectionner. C’est à ce moment que son emploi est menacé, pas tellement par l’IA [NB : impossible de ne pas relever ici une certaine hypocrisie, mêlée de réalisme], mais par la baisse du niveau de compétence requis : plus besoin d’être qualifié pour faire son job. »

Puisqu’une partie — à déterminer, car les obstacles sont légion et le plus souvent incontournables — de leur travail est à terme — un terme là aussi à déterminer — automatisable et sera automatisée, une partie croissante du travail des bibliothécaires documentalistes juridiques va consister à détecter, tester, sélectionner et pousser les nouveaux produits des éditeurs et legal tech et les nouvelles techniques de bibliothèque, documentation, recherche documentaire, veille, gestion électronique de documents, gestion des archives et knowledge management. Mais aussi à détecter les prétentions sans fondement dans le discours marketing, autrement dit ce qui ne marche pas. Des qualités de curieux, de découvreur, de testeur, de geek, d’évangélisateur et de créatif devraient devenir beaucoup plus importantes chez les documentalistes juridiques — et peut-être aussi chez les paralegals.

Pour la formation et les recherches — ainsi que les conseils et l’aide à la recherche —, je ne vois pas de substitution prochaine, vu que les questions qui sont posées aux documentalistes juridiques sont presque toujours difficiles et très spécifiques. La réalité, c’est que les bibliothécaires documentalistes juridiques interviennent à la demande du juriste, quand il ne s’en sort pas. Ils sont de facto des "super searchers", comme l’ex-"librarian" américaine Reva Basch a qualifié la profession. Certes, les nouveaux moteurs développés par les startups tendent à constituer une base de données des "intentions", domaines de travail et préférences personnelles des utilisateurs avant de traiter leurs requêtes. Mais ces algorithmes ont de nombreux défauts et biais [258] et s’ils fonctionnent (à peu près) correctement, là encore, le documentaliste devra débugguer et former, les mains dans le cambouis.

Les documentalistes juridiques sont des professionnels de la recherche dans les bases de données de jurisprudence. Le plus souvent, dans les cabinets d’avocats, ce sont les documentalistes, et plus rarement les KML et PSL (knowledge management lawyers, practice support lawyers) qui doivent faire les recherches thématiques sur les décisions inédites [259], non sélectionnées [260] et non commentées [261], qui représentent la très grande masse des décisions disponibles dans les bases de données. Les stagiaires, du fait notamment de l’absence de formation dédiée dans les formations universitaires et les BU, sont généralement mal outillés sur le plan méthodologique et pratique face à cette tâche.

Par "déformation professionnelle" ;-) nous sommes très exigeants sur la qualité et l’exhaustivité de la donnée et la performance des outils de recherche. Nous avons une expertise là-dessus, on peut le dire. Les documentalistes juridiques (et les paralegals) ont donc un rôle clé de testeur, d’évaluateur et d’acheteur d’applications de justice prédictive, d’audit de contrats et plus généralement d’IA. Comme l’écrit Dera Nevin, spécialiste de l’"information governance" et de l’"e-discovery" au cabinet Baker McKenzie [262] : « Beaucoup de ces nouvelles technologies nécessiteront un travail humain significatif (souvent non refacturable au client) pour entraîner et gérer les entrées de données et les données produites par ces technologies ; c’est particulièrement vrai du machine learning [...] Il y a souvent des coûts nouveaux (et parfois plus élevés) associés à la technologie qui doivent être pris en compte [...] Les acheteurs de technologie juridique peuvent jouer un rôle critique dans l’amélioration de l’achat de cette technologie en s’assurant que les questions stratégiques sont posées et traitées avant d’être mises sur le marché. »

Il y a encore bien d’autres choses qu’un documentaliste juridique apporte *en plus* d’un robot. Sur ce sujet, voir notre billet Documentaliste : un nouveau métier, de nouveaux noms. Pour ne pas rallonger le présent billet, je me contenterai de (re)citer une bibliothécaire documentaliste juridique américaine [263] :

« L’IA est itérative et continuera à s’améliorer, mais elle ne sait pas grand chose du facteur qu’est le contexte de la question posée ni comment le gérer. Pour que l’IA soit utile dans des recherches complexes (et non juste des recherches sur références bibliographiques) dans la plupart des structures juridiques, j’estime qu’elle aura besoin d’apports significatifs en savoir interne. Il est déjà difficile de faire correctement (voire de faire tout court) du KM. Comment alors allons nous documenter le savoir historique de la structure de manière à ce qu’un robot puisse correctement l’interpréter et l’appliquer ? Ce qui est saisi ne constitue pas réellement la totalité de la requête que l’on entre dans une machine : il y a bien plus de choses à préciser pour que la machine puisse fournir une réponse. »

Il faut aussi lire ce billet de Christophe Doré, consultant, professionnel de haut niveau de la veille, domaine ou excellent les documentalistes : La Veille : 70% d’humain et 30% d’informatique. J’ai appris en lisant cet article un nouveau concept aux termes assez éclairants : la pensée latérale. Les systèmes de veille automatique, les chatbots (cf supra) et les agrégateurs de sources numériques ne sont pas si performants en eux-mêmes. Ils ont besoin d’humains pour déterminer les sources à surveiller et affiner les requêtes booléennes. De plus, on a encore besoin d’un humain pour identifier et suivre les signaux faibles, pour sortir des sentiers battus, pour laisser agir la sérendipité et regarder là où la machine n’ira pas parce que ce n’est pas dans son algorithme.

Un des meilleurs "papers" sur ce sujet, sur un plan technique — et non économique — est celui publié à la Savannah Law Review [264] par l’"investigateur" américain Philip Segal (Charles Griffin Intelligence), spécialiste des recherches de personnes, d’informations et de faits dont le contentieux américain est friand. P. Segal est donc très proche du métier des documentalistes juridiques. Il parle d’améliorations sur des outils que nous utilisons déjà, comme YouTube par exemple, qui devrait bientôt pouvoir se voir appliquer des moteurs de recherche vidéo très puissants. Et en ce qui concerne les nouveaux outils pour son métier, il est loin de les craindre. Il signale précisément leurs avantages comme leurs limites. Ainsi, il recommande :

  • de comparer et évaluer les IA comme toute autre base de données en ligne *avant* de les acheter
  • d’accumuler une expérience concrète des "trucs" à savoir pour les interroger sans se "faire avoir" par leurs biais.

Ces deux tâches sont clairement une des voies de développement naturel — j’allais écrire normal — des métiers de documentaliste juridique et de "legal knowledge manager". En tout cas, les professionnels de l’information juridique sont outillés et légitimes pour s’en occuper. Ils pourront sans problème conseiller les dirigeants de leurs structures sur ces sujets, gérer le projet d’acquisition ou de co-développement interne et son adaptation aux besoins de la structure, former les juristes et négocier les prix — qui promettent pour l’instant d’être élevés.

IA et avocats

La journaliste britannique Joanna Goodman, dans son ouvrage précité Robots in Law : How Artificial Intelligence is Transforming Legal Services écrit que l’IA pour les juristes n’est pas une option. Selon elle, les juristes qui accepteront la réalité de l’IA et l’incorporeront dans leur pratique professionnelle sont ceux qui réussiront le mieux dans les années à venir, car l’IA modifie le partage de la valeur entre les acteurs de la "chaîne" juridique. Lire à ce propos le compte-rendu du livre par Robert Ambrogi [265]. Cette collaboration-amélioration avec l’IA est déjà en cours en France avec Case Law Analytics et Predictice : leurs analyses prédictives ont été développées et validées avec des cabinets d’avocats ou des directions juridiques partenaires. Par exemple, les cabinets Taylor Wessing, Vogel & Vogel, Dentons ou Bruzzo Dubucq pour Predictice. SNCF, Axa ou le cabinet Flichy Grangé pour Case Law Analytics.

Une autre façon, française cette fois et plus diplomate, de formuler cela : l’Ordre des avocats au barreau de Lille étant partenaire de Prédictice, son bâtonnier a cherché à convaincre ses collègues [266] de l’utiliser. Voici ce qu’il en dit :

« Il faut tuer tout de suite le fantasme, ça ne remplacera pas les avocats dont les analyses ne peuvent être automatisées »

Selon lui, il s’agit plutôt d’un outil stratégique :

« Le défenseur peut, entre autres, voir quelle juridiction sera la plus encline à rendre une décision favorable à son client. »

Comme le dit Guillaume Drouot, professeur de droit privé à l’Université de Bordeaux [267] (le gras est de nous) :

« M. Neuville, dans un ouvrage de philosophie à l’attention des juristes, expose l’idée suivante : " [...] la méthode d’apprentissage qui consiste à former les étudiants pour qu’ils deviennent de bons techniciens du droit capables de mémoriser quantité de textes afin de trouver la meilleure solution, sans leur donner d’ailleurs les moindres rudiments de philosophie du droit. Cette méthode sera évidemment bien vite dépassée avec le développement de l’intelligence artificielle. "
Le développement des algorithmes et de l’intelligence artificielle invite ainsi à envisager notre manière de penser le droit, à mieux définir ce qu’est le droit, tout comme, si l’on veut raisonner par analogie, la dématérialisation invite à repenser certains mécanismes juridiques (la saisie, le droit de rétention) pour en extraire l’essence, la véritable raison d’être.
Quoiqu’ignorant dans une large mesure ce dont sont exactement capables les algorithmes, il nous paraît peu probable qu’ils remplacent un jour les juristes. Non pas parce que nous doutons de leurs capacités de calcul, mais bien plutôt parce que, même performants, les algorithmes n’ont aucune conscience de ce qu’ils font.
[...]
L’irruption des algorithmes et la pensée de Kropotkine nous invitent à revenir à une vision du droit comme science (ou art) du juste et de l’injuste. L’idée du droit que donne François Ost à partir des symboles de la justice (glaive, balance, bandeau) apparaît à cet égard particulièrement pertinente [...] : " Pour le juriste au quotidien, le symbole du bandeau implique une méthodologie du doute qui le conduit non seulement à s’enquérir du point de vue minoritaire (...), mais encore à résister aux paradigmes scientifiques dominants, ainsi qu’à la pseudo-évidence des faits. Sa tâche est de rendre justice et non de décrire la réalité : dire le droit implique un arbitrage entre vérités multiples s’articulant souvent sur des plans distincts. (...) Telle est la fonction essentielle du droit, trop souvent oubliée aujourd’hui : dire le sens de la vie en société. Au-delà de ses rôles répressifs et gestionnaires, le droit est d’abord cela : une parole, socialement autorisée, qui nomme, classe et départage ". »

Et là encore, il faut lire le "paper" précité de l’"investigateur" américain Philip Segal à la Savannah Law Review. Il reconnaît que l’IA apportera d’importants changements dans la pratique des juristes américains. Mais il est loin de craindre ces nouveaux outils pour son métier.

IA et jeunes collaborateurs/paralegals

Pour les postes de paralegals orientés recherches et veille (par exemple, les spécialistes de la recherche, de la veille et de l’enregistrement des brevets) et pour les jeunes collaborateurs (qui font aux Etats-Unis énormément de recherches, ce qui correspond en France aux stagiaires, mais en font aussi beaucoup en France durant leur première année), une étude d’Altman Weill datant de 2015 est pessimiste [268]. La brève précitée de la Lettre de l’Expansion est encore plus explicite :

« Watson [...] est réputé pour son rôle dans la destruction d’emplois. »

Pour les autres paralegals, le risque à court terme, surtout en France, est faible mais à long terme, leurs tâches découpables seront probablement automatisées.

Un monde sans travail ?

Plus généralement, de nombreux entrepreneurs millionnaires comme Bill Gates ou Elon Musk (voitures électriques Tesla) et des scientifiques comme l’astrophysicien Stephen Hawking ou le docteur Laurent Alexandre (fondateur de Doctissimo) estiment que l’IA va créer du chômage et que les conséquences sociales de cette nouvelle révolution sont encore largement sous-estimées. Elon Musk estimait par exemple le 15 février 2017 que les conducteurs professionnels (soit 15% de la population active mondiale) pourraient se retrouver sans emploi dans les 20 prochaines années, et qu’il y aura de moins en moins de métiers qu’un robot ne pourra pas faire [269]. Le cabinet américain Forrester anticipe, pour le marché de l’emploi des Etats-Unis, une disparition nette de 7% des jobs d’ici 2025 imputable à l’automatisation [270].

Côté France, la journaliste indépendante Tiffany Blandin préconise en conclusion de son enquête Un monde sans travail ? [271], de « regarder l’automatisation dans les yeux ». Elle explique que « personne ne peut dire précisément combien d’emplois vont disparaître à cause de l’intelligence artificielle » et que « c’est pour cela que les dirigeants de la Silicon Valley se sont pris de passion pour le revenu universel ». Et le Canard Enchaîné d’ironiser sur les 10% de postes en danger d’être détruits selon le rapport précité du 10 janvier 2017 du Conseil d’orientation pour l’emploi (COE) [272], en notant que cela représente quand même 3 millions de chômeurs en plus [273].

On ne parlera pas ici de l’ubérisation, que redoutent aussi bien le magazine Capital qu’un un enseignant de l’Université Paris Dauphine [274].

Les spécialistes en intelligence artificielle, eux, vont même plus loin : un sondage (pre-print) mené fin 2016 auprès de 352 chercheurs en IA également auteurs d’articles et présents lors de deux conférences sur le sujet [275] a donné le résultat suivant : selon eux, en se plaçant donc en 2016, il y a une chance sur deux que l’IA soit meilleure que les humains à à peu près tout type de tâche individuelle ("High level machine intelligence - AI human tasks") dans 45 ans. et une chance sur deux que tous les emplois humains soient automatisés ("AI human jobs"), y compris la recherche en IA, dans 122 ans (voir les graphiques en fin d’article). Fin 2017, ce sondage est encore fréquemment cité.

Re-la-ti-vi-ser. Ou les (grosses) limites de l’IA juridique

Mais le magazine Business Insider, en rendant compte [276] de ce sondage, appelle à la prudence. Il commence par rappeller que de nombreuses prédictions d’experts dans le passé se sont avérées fausses. Surtout, Business Insider explique que :

« Quarante ans est un chiffre important lorsque les humains font des prédictions parce que c’est la durée de la vie active de la plupart des gens. Donc, si un changement est censé se réaliser après, cela signifie qu’il se produira au-delà de la durée de vie active de tous ceux qui travaillent aujourd’hui. En d’autres termes, il ne peut se produire avec une technologie dont les experts d’aujourd’hui ont une expérience pratique. Cela suggère qu’il s’agit d’un chiffre à traiter avec prudence. »

Quant à l’IA connectée au cerveau, ce n’est vraiment pas pour tout de suite. Des recherches existent, comme le projet Kiwi de la société Nitoo de Newton Howard [277]. Nitoo a mis au point un prototype d’implant neuronal de la taille d’un grain de riz et pesant moins de 2 grammes, qui pourrait être implanté dans la cloison nasale. Cet implant permet de capter des informations envoyées par les neurones et de leur répondre.

Mais pour Ricardo Chavarriaga Lozano, spécialiste de l’interface cerveau-machine à l’Ecole Polytechnique Fédérale de Lausanne, « il faut prendre des pincettes : beaucoup de recherches doivent encore être effectuées avant de pouvoir modifier le vivant » [278]. Le chirurgien français Laurent Alexandre, fondateur du site Doctissimo, et partisan de l’être humain augmenté (ou transhumanisme), commentant les prédictions du singulariste (et par ailleurs employé de Google) Ray Kurzweil, estime qu’ « un cerveau connecté, on en est encore loin. Croire qu’on y arrivera d’ici 15/20 ans, il me semble que c’est faire preuve de naïveté neuro-technologique. Pour l’instant, les seules choses que nous arrivons à faire, c’est recréer des faux souvenirs chez des rats par exemple, en les "connectant". Mais on leur bousille le cerveau, on est très loin d’être au point sur ce sujet-là » [279].

Surtout, comme l’explique Olivier Ezratty (ancien de Microsoft France), les livres et articles sur l’impact de l’IA sur l’emploi font l’impasse sur plusieurs points clés [280] :

  • « au démarrage des précédentes révolutions industrielles, les métiers disparus comme les nouveaux métiers ont rarement été bien anticipés. Pour ce qui est du futur, à vrai dire, on n’en sait pas grand chose », car il y a « [trop de] paramètres à prendre en compte »
  • un phénomène induit par le numérique et qui n’a rien à voir avec l’intelligence artificielle : « le transfert du travail non pas seulement vers les machines mais aussi vers les clients » (clic work ou digital labor [281]). Exemples : les formulaires et modèles de contrats en ligne que nous remplissons nous-mêmes ou les guichets automatiques bancaires
  • ils se focalisent sur la situation aux Etats-Unis, ignorant la plupart du temps totalement le reste du monde
  • ils ont « bien du mal à faire le tri dans les évolutions de l’emploi entre ce qui provient de l’automatisation, de la globalisation et de la concurrence asiatique dans l’industrie manufacturière et même indienne, dans les emplois concernant les services informatiques. L’emploi a surtout migré géographiquement. Les emplois perdus dans l’industrie aux USA et en Europe se sont retrouvés en Asie » [et en Europe de l’Est].

Autre publication relativisant les choses : selon le rapport précité du COE [282], moins de 10% des emplois sont "très exposés" aux mutations technologiques et présentent donc le risque d’être supprimés — mais près de la moitié des emplois devront toutefois évoluer [283]. Les emplois juridiques évoqués supra ne sont pas dans la liste des 10% du COE. Et Anne-France de Saint-Laurent Kogan, spécialiste des transformations du travail liées au numérique, tempère elle aussi les choses [284].

Dans une autre étude (américano-britannique), The Future of Skills’ Employment in 2030, le panel des personnes interrogées estime que tant les juristes que les bibliothécaires documentalistes feront partie des métiers pour lesquels la demande va augmenter à l’échéance 2030. Cette enquête a été produite par l’éditeur scolaire et universitaire Pearson, NESTA, une fondation pour l’innovation globale et l’Oxford Martin School. Surprise : les bibliothécaires documentalistes sont carrément listés dans le segment "haute croissance". Toutefois, les compétences demandées aux bibliothécaires documentalistes vont probablement évoluer dans les années à venir [285]

Menée par les professeurs américains Dana Remus (Faculté de droit de Université de Caroline du Nord) et Frank Levy (économiste, Massachusetts Institute of Technology, le fameux MIT), une étude publiée en novembre 2016 suggère que l’IA a « un effet modéré » sur des métiers tels que la recherche documentaire juridique et la rédaction de contrats [286]. L’étude indique que les tâches précitées représentent environ 40% de la facturation globale des avocats.

Cela dit, selon cette étude — un gros article scientifique de 77 pages publié sur le Legal SSRN —, l’impact estimé de l’IA sur des domaines tels que le "fact-checking" (vérification des faits, typique du droit anglo-saxon), le conseil aux clients, la gestion électronique de documents (GED), la rédaction de conclusions et les audiences — le tout représentant près de 55% des heures facturées — est « faible ».

Mais l’intelligence artificielle a un rôle plus important à jouer dans d’autres domaines. Selon l’étude, l’impact estimé de l’IA sur l’examen de documents ("document review", là aussi une procédure inconnue en droit français) — qui consiste essentiellement à passer en revue de grandes masses de documents pour y chercher les détails pertinents dans le cadre d’un contentieux — est « fort ». Heureusement pour les avocats anglo-saxons, l’étude ajoute que cela représente seulement 4% des heures facturées [287].

Le professeur Joël Monéger, spécialiste des baux, dans une tribune à la revue Loyers et Copropriété [288], formule ainsi les possibilités et les limites de la justice prédictive à la française :

« Prévoir le droit positif tient [...] de la gageure. [...] Certes, la prédictibilité de la solution paraît possible lorsque la plus haute juridiction a tranché le point de droit avec fermeté et de manière répétée. De même, semble-t-il, lorsqu’elle donne des signes annonciateurs d’un revirement possible de la jurisprudence. Mais, au-delà, la jurisprudence, même émanant de nos plus hautes juridictions, est bien souvent délicate à prévoir, notamment face à des textes récents, mal rédigés, ou à des textes en décalage grave avec les réalités sociales ou économiques. Cela tient à l’art de la rédaction des arrêts qui suppose un lecteur formé au décryptage de formules insuffisamment enseignées. De plus, la Cour de cassation ne peut pratiquer l’ultra petita et ne répond qu’aux moyens du pourvoi. »

Pour l’illustrer, il donne l’exemple de deux jurisprudences récentes de la Cour de cassation.

En fait, il faut garder à l’esprit que toute la com’ — car c’en est — sur les performances de l’IA viennent du besoin des startups et des éditeurs de logiciels de vendre leurs produits. Dès qu’on lit la littérature scientifique, comme vous avez pu le constater supra, les choses sont grandement relativisées. Comme l’avocate Michèle Bauer le dit — très directement — avec ses mots [289] :

« Les legaltech ne publient pas leurs chiffres et ne font que des effets d’annonce en prétendant avoir levé des millions d’euros, il est donc impossible de connaître leur véritable pouvoir économique. [...]
Méfiez-vous des fakes, des effets d’annonce et des informations diffusées sur le net, les legaltech en sont les artisans, les initiateurs. Le mensonge et l’embellissement de la réalité est une pratique courante sur la toile. »

IA juridique et science-fiction ou les risques de la justice prédictive

Et si on en arrivait un jour là où Google semble être arrivé du fait de l’intégration de machine learning dans ses algorithmes (ses ingénieurs ne savent plus totalement en détail comment leur moteur fonctionne : en tout cas, c’est ce que dit un scientifique chez un rival, Qwant [290]) ? Car c’est un fait : l’IA à base de ML est impénétrable [291]. En arriverait-on à ce que Ross n’est pas, c’est-à-dire une véritable intelligence artificielle ?

Les risques :

  • on ne saurait ni qui exactement nous juge ni pourquoi on nous condamne
  • et "power to the machine". On ferait plus confiance à l’algorithme qu’à l’humain, dans une époque méfiante vis-à-vis de la Justice. On ne tenterait plus sa chance en justice si elle est faible. La situation et ce risques sont assez bien décrits dans une brève intervention d’Antoine Garapon sur France Inter et surtout dans son interview au Point par Laurence Neuer dans la remarquable série Mon petit droit m’a dit [292]
  • la possibilité, en droit pénal, pour un délinquant ou un criminel, de déterminer à l’avance si et comment, en suivant un certain modus operandi, il pourrait échapper à condamnation pour son délit/crime. Sur ce point précis, la réponse (officielle) de Predictice et Case Law Analytics est d’exclure de travailler sur ce domaine.

La science-fiction a déjà envisagé ces risques (nous ne parlerons pas ici des lois de la robotique d’Asimov, non pertinentes ici et de toute façon déjà dépassées [293].).

Le tome 3 de la bande dessinée SOS Bonheur, un classique du genre publié en 1989 [294] parle de justice automatisée : chaque avocat soumet ses conclusions dans une machine et la machine rend son verdict, le juge n’est là que pour contrôler le bon fonctionnement de cette dernière. Ainsi la justice est aveugle et équitable puisqu’elle est censée rendre le même verdict pour tous ceux qui sont dans la même situation sur tout le territoire. Jusqu’au jour où la machine condamne un homme qui a commis un délit mineur à la peine de mort alors que cette dernière a été abolie il y a déjà de nombreuses années. Peut-on désobéir à la machine au risque de remettre en cause tous les autres jugements déjà rendus ?

Nous avons (presque) tous vu le film Minority report de Steven Spielberg avec Tom Cruise (d’après la nouvelle éponyme de Philip K. Dick). Même si ce sont des êtres humains spéciaux (des"precogs") qui y tiennent le rôle des logiciels et des données et statistiques, le sens en est clair :

A ces programmes de "police prédictive", s’ajoute l’utilisation des énormes progrès de la reconnaissance d’images permis par le deep learning. Ils permettent, notamment en Chine, pays le plus "avancé" dans ce domaine, de repérer et arrêter un délinquant ou un dissident passé entre les mailles du filet policier pendant des années. Or cette technologie, notamment celle chinoise, s’exporte très bien. Sur ce sujet, lire ce court mais instructif billet de The Conversation, un excellent site de vulgarisation écrit par ... des universitaires : How artificial intelligence systems could threaten democracy (avril 2019).

L’ouvrage Minority report de Philip K. Dick avec pour couverture l’affiche du film

Si le machine learning finit, ce qui est probable selon nous (cf supra), par être utilisé par le juge, il est à espérer que les conclusions d’Antoine Garapon et Marc Clément (dans les articles de revues juridiques cités au début de ce billet) s’imposeront :

Eviter le risque de « l’effet "moutonnier" de la justice prédictive qui pousse au conformisme et réclame plus aux juges qui estiment qu’ils doivent aller à contre-courant, c’est-à-dire faire leur métier tout simplement ! »

« Il sera donc capital que les modes de raisonnement inscrits dans les algorithmes soient parfaitement explicites et maîtrisés par le juge. Il conviendra, de plus, que des méthodes alternatives soient proposées et que l’on ne se retrouve pas en situation de monopole avec une seule technologie utilisable. »

Sur l’impact prévisible de la justice prédictive, lire l’ouvrage (beaucoup plus détaillé et complet que cette dernière partie de ce billet) d’Antoine Garapon et Jean Lassègue : Justice digitale : Révolution graphique et rupture anthropologique (PUF, avril 2018). L’adjectif graphique est utilisé ici dans son sens de traitant de l’écriture. L’ouvrage insiste notamment sur la perte prévisible du symbolique, du rituel, pour le gain de la rapidité et du confort, recul de la loi, remplacée par la technique. Mais son sujet est plus vaste que celui de la justice prédictive, puisqu’il traite en fait de la numérisation et du passage en ligne de la justice. Ce sont les chapitres VIII et X qui sont spécifiquement consacrés à la justice prédictive, avec quelques interrogations clés, dont :

  • peut-on remplacer la causalité par la corrélation  ?
  • quelle est la taille suffisante (de la base pour obtenir des statistiques significatives) ?
  • le futur peut-il être déduit du passé  ?
  • la pression de la multitude.

Isabelle Sayn formule ainsi ses propres craintes : « le pouvoir d’appréciation du juge peut être affecté, selon qu’il connaît ou non les décisions prises par les autres magistrats. À quel point ces connaissances vont-elles donc avoir une influence sur l’activité du juge, et en quoi sont-elles compatibles avec la conception hiérarchique de la règle de droit ? En effet, nous ne nous situons pas dans un système de précédent, de common law. Laisser croire à des usagers qu’ils peuvent se défendre en justice via les solutions fournies par des legaltech, basées sur la jurisprudence, n’est donc pas forcément une bonne idée. Et puis, il y a aussi la crainte des magistrats qu’elles soient utilisées pour automatiser les décisions » [304].

I. Sayn redoute également une justice prédictive reproduisant les biais illégitimes des décisions, comme, en matière de prestations compensatoires et alimentaires, le sexe du juge ou la présence d’un avocat lorsqu’elle n’est pas obligatoire [305].

I. Sayn souligne enfin que beaucoup de choix faits par les parties (stratégie judiciaire ...) sont absents de la décision [306]. Là encore, donc, s’appuyer sur les décisions pour faire des prédictions rencontrerait ses limites.

Aurore-Angélique Hyde, maître de conférences en droit privé à l’Université de Rouen et chercheuse associée à l’Institut des hautes études sur la justice (IHEJ) et au CERDI, dans un article à la fois pragmatique et très pertinent au Recueil Dalloz écrit sur l’intérêt pour un avocat d’utiliser des outils de justice prédictive, suite à une décision canadienne reprochant à un avocat de ne pas avoir utilisé d’IA [307]. Elle conclut que « bien que les outils de justice prédictive soient à la mode, l’obligation d’y recourir, outre qu’elle entraverait la liberté professionnelle des avocats, ne protégerait aucunement ces derniers de toute responsabilité en cas de solution erronée ou insuffisamment pertinente ». En effet, pour elle, « l’obligation pour un avocat de consulter des outils de justice prédictive est parfaitement discutable, et ce à plus d’un titre. D’une part, c’est surtout la pertinence du résultat obtenu par l’avocat qui doit compter et non le moyen auquel il recourt pour y parvenir. [...] D’autre part, tous les outils existants ne proposent pas exactement le même service. ». Enfin, elle décrit ses tests d’outils et met le doigt dans la plaie : leurs limites, notamment quand il s’agit d’identifier la jurisprudence la plus récente et la plus pertinente [308].

Il faut préciser ici que les tests logiciels, non seulement lors du développement, mais aussi en production et en permanence, sont impératifs en intelligence artificielle. Cela fait partie d’une bonne assurance qualité, comme l’illustre cet article de Forbes.com [309].

Toutefois, les tests dont on parle ici ne sont pas ceux faits par les utilisateurs finaux (documentalistes et juristes) dont nous parlions plus haut — et c’est bien là que le bât blesse. Il s’agit pour les programmeurs et développeurs eux-mêmes de tester le code ou au minimum des unités (on parle alors de "unit tests") de l’application. Il y a des niveaux de test et des méthodes de test bien connues pour cela (voir la page Wikipedia EN Software testing), parmi lesquelles celle, fondamentale en IA, de l’échantillon de données (dont on connaît d’avance les résultats prévisibles) mis de côté et sur lequel l’algorithme n’a pas été entraîné.

Concernant la justice prédictive, Rubin Sfadj, dans son entretien précité avec la revue Expertises, souligne que lorsque les outils de justice prédictive seront utilisés par la puissance publique, cet usage devrait reposer sur trois grands principes éthiques — qui, à bien les lire, ne sont pas si exigeants que ça :

  • le principe de responsabilité conduisant à désigner pour chaque algorithme utilisé une personne référente, à l’instar du directeur de publication en droit de la presse
  • le principe de clarté, c’est-à-dire la mention explicite dans une décision de justice élaborée avec l’aide d’un algorithme de ce procédé et la motivation sur laquelle repose le recours à ce type d’outil
  • le principe de précision permettant de corriger une source d’erreur à tout stade du traitement algorithmique.

Quant aux juges, leur réplique à la justice prédictive est déjà prête : "Convainquez-nous avec des arguments juridiques, peu nous chaut vos statistiques". Le Conseil d’Etat, par la voix de Christian Vigouroux, lors du colloque sur l’open data de la jurisprudence organisé en octobre 2016 par la Cour de cassation, a déjà prévenu que la juridiction administrative suprême ferait en sorte que le juge administratif ne puisse pas se voir opposer sa propre jurisprudence [310]. Côté justice judiciaire, selon Xavier Ronsin, Premier président de la cour d’appel de Rennes [311] :

« L’hypothèse selon laquelle des plaideurs assistés d’avocats, renonceraient à aller jusqu’au bout d’un contentieux judiciaire classique, parce qu’ils auraient lu les résultats d’un logiciel dit de "prédictibilité de la justice" et qu’ils décideraient alors de transiger, est contestée par beaucoup et mérite à tout le moins d’être vérifiée. Lorsque l’on constate la difficulté de faire aboutir les "modes alternatifs de règlement des litiges (MARD)", il y a de quoi être sceptique, mais pourquoi ne pas l’espérer ?
Au-delà d’un refus de principe sur la possibilité d’enfermer la future décision d’un juge dans le raisonnement d’un algorithme basé sur des "précédents jurisprudentiels", je pense malgré tout que les magistrats doivent se préparer à comprendre ce processus, et à recevoir des dossiers d’avocats comportant des analyses savantes ainsi que des contenus statistiques de milliers de décisions au soutien d’une thèse et de prétentions de leurs clients. De tels dossiers n’empêcheront de toute façon pas la liberté du juge de faire du "sur-mesure" pour chaque dossier, mais ils pourront peut-être éclairer son raisonnement. »

Dans un entretien avec Acteurs publics.com, Xavier Ronsin ajoute [312] :

« C’est une opération complexe que la motivation intellectuelle d’un juge, une opération subtile qui s’articule à un raisonnement et non à une simple corrélation d’items factuels. »

Du côté des avocats, Pascal Eydoux, président du Conseil national des barreaux (CNB) estime qu’ « il n’est pas question que la profession d’avocats envisage de s’opposer à cette évolution car elle est inéluctable et attendue ». Sanjay Navy, avocat à Lille où il a testé Predictice, pense que « ça peut permettre de dire à l’adversaire : " regardez les condamnations en moyenne, négociez sinon vous risquez d’être condamné à tant, ce n’est pas moi qui le prétends, mais la jurisprudence ! " » [313].

Autrement dit, la justice prédictive aurait pour avantage de faciliter le calcul des chances de gagner ou perdre un contentieux, limitant ainsi la prise de risque et facilitant grandement le travail des avocats et plus encore des assureurs. Pour les assureurs, qui ont déjà développé des bases de données de jurisprudence et de dommages-intérêts comme AGIRA, l’avantage de la justice prédictive est de faciliter la connaissance de la "vraie" (à leurs yeux) jurisprudence, celle des statistiques. Les assureurs Allianz, Covéa, la Maif et Pacifica font partie des clients de Predictice [314], et Axa Protection Juridique ainsi qu’Allianz font partie des utilisateurs de Case Law Analytics [315].

À condition, évidemment, qu’aucune des parties ne fasse appel, qu’une juridiction suprême ne procède pas à un revirement de jurisprudence et que les textes applicables ne soient pas modifiés. Pour le magistrat Yannick Meneceur, détaché auprès du Conseil de l’Europe, « la forte évolutivité des règles juridiques constitue en elle-même une limite technique pour les algorithmes. Car les règles juridiques n’évoluent pas de façon linéaire comme dans les sciences dures, où une nouvelle règle vient compléter la précédente sans nécessairement l’invalider. Dans les systèmes de droit continental, il suffit que le texte fondamental change pour que la jurisprudence qui était fondée dessus se trouve écartée » [316]. Sur ce point, le bouleversement du droit du licenciement et de la procédure prud’homale par la loi Travail en 2016 puis les ordonnances Macron en 2017 constitue un excellent exemple : le contentieux de droit du travail pré-2017 a perdu une partie importante de son intérêt, particulièrement le montant des indemnités. Par ailleurs, comme le rappelle Bruno Mathis, consultant, la justice prédictive est « inutile pour estimer des dommages-intérêts obéissant à un barème [...] et où la justice prédictive sera-t-elle la plus utile ? Dans la masse des décisions qui ne sont ni trop spécifiques ni trop communes. » [317]

Il y a un risque que je n’ai vu mentionner que par l’ouvrage de Garapon et Lassègue. Il est caractéristique des soucis de ma profession, centrée sur l’information et les documents, leur production, leur recherche, leur diffusion. Il faut absolument le souligner : quid à long terme de la justice prédictive si celle-ci progresse et avec elle la déjudiciarisation, c’est-à-dire l’appauvrissement relatif des moyens humains et financiers du service public de la Justice ? Quid, parce que si, comme nous l’avons vu plus haut, la justice prédictive [318] et la modernisation de l’action publique (MAP, ex-RGPP) favorisent, développent, poussent vers le compromis, la transaction, la médiation, la conciliation et l’arbitrage (dits modes alternatifs de résolution des litiges ou MARL), alors les décisions ne seront plus disponibles, car par définition ces procédures ne sont pas publiques [319] et leurs décisions non plus. Alors, plus d’open data judiciaire, plus de données et plus de justice prédictive possible. A titre d’illustration, on estime, en arbitrage commercial international, que les diverses revues et bases de données disponibles [320] ne publient qu’au mieux 3000 sentences arbitrales par an. Essayez donc de faire de la statistique avec ça.

On peut aussi craindre une anonymisation insuffisamment forte, c’est-à-dire n’empêchant pas, d’ici les huit ans (à compter de 2017) nécessaires pour que les jugements de première instance accèdent à l’open data [321], la réidentification du fait d’un apprentissage statistique automatique ayant beaucoup progressé et s’appuyant les données indirectement nominatives. Ce risque est réel : le rapport Cadiet sur l’open data des décisions de justice, qui est en réalité d’abord l’œuvre de la haute magistrature [322], préconise une pseudonymisation renforcée, et non une véritable lutte contre la réidentification [323]. Or cette pseudonymisation renforcée ne semble être rien d’autre que la formalisation des pratiques actuelles des juridictions suprêmes, désormais en charge de l’anonymisation (pardon, pseudonymisation) et qui doivent faire face au coût que cela représente. La confirmation de cette anonymisation insuffisante est arrivée avec l’article 33 de la loi de programmation et de réforme 2018-2022 pour la justice.

Le professeur Anne Debet, ancien commissaire de la CNIL, et un des meilleurs spécialistes français du droit des données personnelles, interrogée par la mission Cadiet, explique pourtant que :

  • au regard de la jurisprudence de la Cour européenne des droits de l’homme, « on peut imaginer une condamnation de la CEDH sur le fondement d’une possible réidentification des personnes dans une décision contenant des données sensibles non correctement anonymisées »
  • au regard des exigences du RGPD, la simple pseudonymisation (le terme même employé par le rapport) est insuffisante : « L’anomymisation doit être conforme aux exigences posées par la loi informatique et libertés et par le RGPD. [...] Il ne doit pas s’agir d’une simple pseudonymisation, [...] Cette amélioration a néanmoins un coût et un budget conséquent doit y être consacré. » On ne saurait être plus clair.

Les avocats craignent aussi une certaine déshumanisation ou une justice au rabais, voire un possible risque de "fainéantisation". Comme le formule Me Navy lui-même : « On vient me voir avec un problème, je tape sur le logiciel, j’ai 90% de chances de le perdre, donc je ne prends pas le dossier alors qu’en s’y penchant bien, je pourrais soulever un point particulier et gagner. » [324]

Directement concerné par ces soucis éthiques, Predictice a choisi :

  • de créer un Comité éthique et scientifique de la justice prédictive, dont les membres, des avocats et enseignants en droit [325], ont accès à l’application de Predictice
  • et de commander une étude à l’Ecole de droit de Sciences-Po [326], intitulée Les enjeux éthiques de la justice prédictive et rendue publique le 21 novembre 2018 [327]. Bien que le commanditaire de l’étude soit Predictice, les rédacteurs ont consulté et pris en compte l’ensemble des acteurs (legal techs comme éditeurs juridiques) présentant des solutions que l’on pourrait assimiler à de la justice prédictive. L’essentiel des recommandations de l’étude :
    • documenter les processus, les choix, les contenus et les échantillons (pp. 52-66 de l’étude). Par exemple, documenter le processus de constitution des bases de données utilisées pour la justice prédictive. Si les décisions sont différentes ou si elles ne sont pas enrichies et structurées de la même façon, les résultats, notamment les statistiques, devraient en effet être très différents. Documenter aussi la logique de constitution des échantillons d’apprentissage automatique. Etc. L’idée est celle d’une certaine transparence, pour permettre d’expliquer les différences de résultats entre outils. Si l’on y réfléchit, cela aurait pour avantage d’éviter de mettre en cause les fondements mêmes de la justice prédictive, et ainsi de protéger cette toute jeune activité
    • repenser le travail du juge, qui va clairement être tenté d’automatiser ses décisions (voir supra ce qu’expose Florence G’Sell, notamment l’exemple américain du logiciel Compass, souvent cité)
    • Philippe Glaser, associé du cabinet Taylor Wessing et associé à ces travaux, va plus loin, proposant de soumettre les algorithmes à une procédure d’audit réalisée par une institution une autorité administrative indépendante comme la CNIL, et, en attendant, faire adopter une charte éthique, que pour l’instant seul Predictice s’est engagé à suivre.

Côté solutions, certains vont plus loin, en proposant voire exigeant que le code des applications sur lesquelles se fonde une décision de justice soit disponible en open source. Pour reprendre les mots de Michael Benesty : « la confiance que l’on placerait dans des outils de justice prédictive implique, au cours du processus, que le calculs et les caractéristiques du modèle de prédiction soient visibles et compréhensibles par le juriste, avocat ou magistrat, qui les emploie. Cela se traduit par une obligation de transparence sur les algorithmes, que garantit la libération en open source de la solution autant que par une vigilance et une expertise juridique sur les données mobilisées. » [328] Le code source de Supra Legem, l’application de M. Benesty, est déjà en open source [329].

Le magistrat Antoine Garapon, dans son entretien précité aux Petites Affiches, penche, de manière moins radicale, pour la création d’un service public chargé de contrôler le code source, sous condition de secret professionnel [330].

Jacques Lévy Véhel (Case Law Analytics) [331] est lui aussi favorable à un contrôle du code source par un tiers de confiance, mais il insiste surtout sur la vérification des résultats des logiciels par les juges.

Le magistrat administratif Marc Clément, plus réaliste à mon sens, estime quant à lui que la protection de la propriété intellectuelle des entreprises est un obstacle pur et simple à la divulgation, même limitée du code source, sans parler de sa compréhension.

Un article de la série Futurography sur Slate.com, propose une autre troisième voie entre secret et open source. Un amendement à loi fédérale américaine FOIA (Freedom Of Information Act [332]) donnerait le droit au public de soumettre des jeux de données tests à l’administration. Celle-ci devrait les passer à travers ses programmes et publier les résultats. Experts et journalistes pourraient alors calculer le taux d’erreur de ces algorithmes [333].

Enfin, selon un article d’Internet Actu [334], l’évolution des technologies d’IA pourrait permettre de sortir de l’opacité du fonctionnement de deep learning pour les humains. Algorithmes génétiques et IA symbolique, par exemple, peuvent être compris et débuggués. Il serait aussi possible de demander au programme d’expliquer ce qu’il fait.

En France, notre droit permet en tout cas de demander communication du code source des logiciels créés et utilisés par l’Administration, au titre de la communication des documents administratifs. La Commission d’accès au documents administratifs (CADA) [335] puis le tribunal administratif (TA) de Paris [336] l’ont confirmé à propos du logiciel simulant le calcul de l’impôt sur les revenus des personnes physiques. La DGFiP s’est résolu à s’y conformer l’an dernier, juste avant que le TA ne rende sa décision. La CADA a enfoncé le clou en 2016 en autorisant la communication à une association de lycéens du code source du logiciel Admission post bac (APB) [337]. Le Ministère de l’Education nationale s’y est conformé partiellement [338].

Ne pas oublier non plus que l’article 11 du règlement (européen) général de protection des données (RGPD), applicable en 2018, interdit toute décision automatisée qui affecterait significativement un citoyen européen et que les articles 12 et 14 créent, pour les autres décisions, un "droit à explication" [339]. Une décision de justice prédictive, par exemple [340]. Toutefois, si en dehors des décisions de justice, cela a de fortes chances de rester un principe sans application concrète, en vue de l’open data des décisions, la loi de réforme de la justice du 23 mars 2019 interdit expressément les

Enfin, du côté des structures privées (les cabinets d’avocats les premiers), les meilleures n’auront-elles pas intérêt à maintenir une expertise en recherche et veille afin de contrôler la pertinence des réponses ? Attention aux biais dans les contenus et les statistiques ... Pour le dire en anglais : « Content experts and data scientists needed ! »

Ross, Predictice, Case Law Analytics, des inconnus

Pour éviter de trop conjecturer et en apprendre plus, il faut tester ces IA. Et lire l’ouvrage de Garapon et Lassègue, "Justice digitale".

En effet, il n’existe aucune démo gratuite en accès libre de Ross ni de Predictice ou Case Law Analytics (CLA), le site web du produit Ross est d’un vide intersidéral (le compte Twitter est beaucoup plus riche !) et les structures utilisatrices donnent très peu d’exemples d’utilisation ni de recherche et, à l’exception notable de CLA, aucun autre détail.

C’est là que la libre disponibilité de l’interface et du code source de Supra Legem remplissait son office : permettre au grand public de tester un outil de "justice prédictive".

En conclusion, vu l’importance des enjeux et en même temps le fossé entre la com’ et les fantasmes d’une part et la réalité d’autre part, nous recommandons fortement de tester par soi-même ces nouvelles applications. Il est grand temps de déchirer le voile de hype et d’opacité de l’IA et que chacun se fasse sa propre opinion par soi-même.

Emmanuel Barthe
bibliothécaire documentaliste et veilleur juridique, spécialiste des moteurs de recherche pour le droit et des données juridiques publiques
licence en droit, Faculté de droit de Sceaux

Bibliographie

Où trouver des bibliographies plus complètes que les notes de bas de page de ce billet

Les notes de bas de page (plus de 250) de ce long billet en composent la bibliographie. Une bibliographie en bonne et due forme représenterait trop de travail pour une publication qui reste après tout un exercice de vulgarisation et d’information.

Deux publications permettent toutefois d’accéder à des bibliographies extrêmement riches et beaucoup plus axées "juridique" que nos propres sources :

Les bibliographies de ces deux publications (placées comme toujours à la fin du document) comportent d’abord des références d’articles et ouvrages de juristes sur l’IA, les mathématiques, les statistiques et les algorithmes appliqués au droit (essentiellement français), mais aussi d’articles de mathématiciens, informaticiens et sociologues.

Une "webliographie" sélective et rapide sur Ross (2017)

 

Page parrainée par Convention.fr, le spécialiste des conventions collectives et affichages obligatoires.