Logiciels, Internet, moteurs de recherche

Dernier ajout : 10 juillet.

Derniers articles

Les commentaires sous les articles de presse en ligne : inutiles et nocifs

Vendredi 8 juin 2018

Lire la suite »

Des commentaires sous l'article du Parisien du 8 juin 2018 sur le refus d'intervention des militaires au Bataclan

Les commentaires sous les articles de presse en ligne, à quelques exceptions près (le Financial Times par exemple) sont toujours aussi inutiles et sentent toujours aussi mauvais.

Un exemple récent sur le site du Parisien (groupe Les Échos Le Parisien), sous cet article, dont le sujet est un véritable miel à mouches :
Bataclan : des familles de victimes demandent des comptes à l’Etat, Le Parisien.fr 7 juin 2018

Florilège de com’ [1] :
« Bon courage et bonne chance sa va être très long depuis des années ont protèges les assassins aux noms de présomption d’innocence et Taubira qui en remis une couche ces années vont être chère en vie humaine »
« Cette anomalie choquante laisse à penser que le donneur d’ordre, donc le gouvernement, était secrètement complice des islamistes. Quelle autre explication ?? »

Et ce, malgré les précautions louables mais insuffisantes prises par les journaux : obligation de s’inscrire (création d’un compte ou, plus souvent, connexion à son compte Google ou Facebook) ou carrément d’être client, amélioration des outils et chartes de modération (notamment l’implémentation croissante de Disqus ou Netino).

Certains medias ont mis en place des chartes d’une sévérité drastique. Du genre de celle de Numerama, finalement mise en place en février 2018 et dont l’article 4, par exemple, prévient très franchement :

« La liberté d’expression n’est pas un absolu. Vous avez le droit de tout dire, effectivement, mais également le devoir de subir les conséquences de vos propos. Tout manquement aux règles entraînera la suppression des messages et le bannissement définitif des auteurs impliqués. Numerama est une société privée et ces espaces de discussions sont la propriété d’Humanoid, qui se réserve le droit de les modérer comme elle les entend, sans préavis. »

Dans le cas présent, Le Parisien n’exige que le minimum : se connecter à son compte Google ou FB. C’est clairement insuffisant.

Soyons franc : les journaux, tout comme les réseaux sociaux, "kiffent" les commentaires, le débat, les scandales. En effet, tout ce qui fait le buzz apporte du trafic, donc des revenus publicitaires.

Mais certains se sont rendus compte que le gain était très faible, et les dégâts sur les articles, notamment en terme d’agressivité, désastreux. Ceux-là ont supprimé les commentaires. Un exemple : l’hebdo belge Le Vif/L’Express (groupe Roularta) a décidé de fermer la possibilité de commenter les articles sur son site.

Très franchement, personnellement, c’est pour moi un soulagement que de ne pas tomber sur ces com’ nauséabonds.

La réalité, c’est que les gens heureux n’ont généralement rien à dire, et les mécontents toujours trop à (mé)dire.

De surcroît, le niveau de connaissance moyen du commentateur d’article en ligne est tel qu’il n’apporte aucune information ni aucun argument supplémentaire à l’article. Qui plus est, la plupart des gens commentent sans avoir lu en entier et s’ils ont lu, sans pleinement comprendre. En analysant 70 millions de commentaires depuis dix-sept années, le quotidien britannique The Guardian est arrivé à une conclusion assez déprimante : la zone en bas de ses articles se transforme souvent en champ de bataille et le débat "constructif" entre ses lecteurs est rare.

Les forums, y compris sur les réseaux sociaux (particulièrement Facebook et Twitter [2]), sont d’abord et avant tout un gigantesque défouloir pour les radicaux de tout poil, avec une préférence pour le racisme, l’europhobie et l’anti-mondialisation. Côté politique, l’extrême-droite, très active, est devant l’extrême-gauche. Le reste du spectre politique est quasiment absent [3].

Je le redis : lire les commentaires sous les articles de presse en ligne :

  • me fait désespérer de la nature humaine
  • me donne parfois envie de vomir
  • et me fait perdre mon temps.

On cite souvent le chiffre de 90% de spam parmi la masse d’emails [4]. Il faudrait aussi se poser la question pour le Web. Quel est le taux de déchets informationnel et idéologique sur le Web ?

Et la question de la lutte contre cela. Messieurs-dames de la presse, le fact-checking [5], c’est bien. Mais supprimer les commentaires sous les articles, ce serait mieux.

Emmanuel Barthe
veilleur


Les robots, avocats et juges de demain ? Pas vraiment ...

Intelligence artificielle en droit : derrière la "hype", la réalité

Justice prédictive, legal tech, Ross, Westlaw, Lexis, Supra Legem, Minority report, machine learning, réseaux neuronaux, NLP, Big data etc.

Jeudi 31 mai 2018

Lire la suite »

Legal tech, justice prédictive et plus encore "intelligence artificielle" (IA) en droit sont devenus des sujets à la mode depuis 2015-2016.

Mais discours marketing et flou sur les performances sont légion dans ces informations — qui ressemblent souvent plus à de la communication qu’à de l’information.

De qui et de quoi parle t-on exactement : quelles sociétés, quelles fonctions, quelles technologies ?
Quels sont les véritables risques pour l’emploi des professionnels du droit (avocats, stagiaires, juristes d’entreprise, magistrats, notaires) et de leurs "paralegals", documentalistes et veilleurs ?
Quels sont, également, les risques de la justice prédictive ?

C’est le sujet de ce billet, qui vise à démystifier les fonctionnalités et performances des applications présentées comme des "IA" (intelligence artificielle) en droit, tant pour le présent que pour le futur. Il s’appuie sur la lecture d’une bonne partie de la littérature disponible et sur des discussions personnelles avec certains acteurs.

Résumé / Executive summary (TL ;DR)

En quelques paragraphes pour ceux qui sont pressés :

  • L’intelligence artificielle est d’abord un champ de recherche et les réalisations dignes de ce nom en droit sont rares. Le reste, c’est soit de l’informatique "à la papa" soit des logiciels experts.
  • Techniquement, l’IA en droit se caractérise par l’utilisation combinée :
    • du Big data
    • du machine learning (ML)
    • et surtout du traitement du langage naturel (TAL) — en anglais "natural language processing" (NLP) — plus précisément une version du NLP dopée par le ML et l’analyse syntaxique. Ce qui signifie que les soi-disant "intelligences artificielles" en droit sont en fait des moteurs de recherche de nouvelle génération et des systèmes d’aide à la décision. Pas des cerveaux juridiques.
  • La valeur créée par l’intelligence artificielle provient des données nécessaires à l’apprentissage bien plus que de l’algorithme, dont les développements se font en open source. Autrement dit, les données comptent plus que les logiciels. Cela devrait permettre aux éditeurs juridiques français traditionnels, actuellement à la traîne, de revenir dans la course car c’est eux qui détiennent les données les plus riches en droit français, tout particulièrement la doctrine.
  • Si on a beaucoup parlé de Ross, l’IA d’IBM, c’est d’abord grâce à une offensive marketing et communicationnelle de première ampleur. Mais ses performances réelles sont en deçà de sa réputation. Elle ne fait que de la recherche et de l’analyse sur la jurisprudence de droit américain des faillites ou de la propriété intellectuelle.
  • A plus faible dose mais régulièrement depuis une dizaine d’années, Westlaw et Lexis Advance intègrent des petits bouts d’IA, essentiellement du NLP pour améliorer la pertinence des recherches par une sorte de synonymie et de désambiguisation améliorées, mais aussi, depuis peu, des statistiques par juge ou avocat.
  • Cet accent sur la recherche et la justice dite "prédictive" fait oublier que le type d’application d’IA juridique le plus répandu sont probablement les analyseurs de clauses dans les contrats anglo-saxons. Voir notamment les logiciels Kira ou Softlaw.
  • En droit français à l’heure actuelle, seuls trois systèmes peuvent prétendre à être qualifiés d’IA : Supra Legem, qui se limite au droit administratif, Predictice et Case Law Analytics. Tous ne travaillent que sur la jurisprudence, à l’exclusion du contentieux pénal. On peut à la limite ajouter le pionnier Jurisprudence chiffrée de Francis Lefebvre, qui travaillait déjà sur le langage naturel en 2010. Leur apport : une recherche facilitée, et le calcul du montant prévisible des dommages-intérêts et des chances de gagner un procès. Cet apport ne suffit pas, à l’heure actuelle, à convaincre les magistrats, qui disposent d’outils internes mieux adaptés (barèmes), mais suscite l’intérêt de certains cabinets d’avocats.
  • Les risques de suppression nette d’emplois dans le secteur juridique sont un sujet de débat mais il demeure que les tâches simples et "découpables" seront automatisées et que les collaborateurs, les "paralegals" et les documentalistes juridiques devront apprendre à travailler avec l’IA (et non à côté d’elle), autrement dit à l’utiliser et l’améliorer. Quant à l’IA connectée au cerveau, même si des recherches existent, on en est très loin.
  • La justice dite prédictive entraînerait de sérieux risques, au premier plan desquels le jugement sur des critères obscurs et le conformisme des juges à ce qui a déjà été jugé. Des limites légales existent déjà et des parades techniques sont proposées, notamment l’open source du code ou des tests de vérification à partir de jeux de données. Elle aurait pour avantage de faciliter le calcul des chances de gagner ou perdre un contentieux.

Sommaire

Un sujet très tendance

Début janvier 2017, Les Echos publient un article au titre provocateur : Les robots seront-ils vraiment les avocats de demain ?

En fait, ses auteurs, Pierre Aidan, cofondateur de Legalstart.fr [6] et Florence Gsell, professeur de droit à l’université de Lorraine, réagissent, dans le but de rassurer les professions judiciaires, à un autre article.

Ce dernier, beaucoup plus provocateur sur le fond, a été publié en octobre 2016 à la Harvard Business Review, par le célèbre consultant en informatique juridique britannnique Richard Susskind et son fils Daniel, économiste : Technology Will Replace Many Doctors, Lawyers, and Other Professionals (Les nouvelles technologies remplaceront beaucoup de médecins, juristes et autres professionnels libéraux). Cet article est en fait un résumé du dernier ouvrage des Susskind publié en octobre 2015 : The Future of the Professions : How Technology Will Transform the Work of Human Experts (Le futur des professions libérales : comment les nouvelles technologies vont transformer le travail des experts humains, Oxford University Press, OUP) [7]. Quant au consultant américain Jaap Bosman, son ouvrage Death of a law firm (Mort d’un cabinet d’avocats) prédit la fin du "business model" actuel des cabinets d’avocats en soulevant la question épineuse de la standardisation du service juridique grâce à l’intelligence artificielle (IA) [8].

Et en novembre 2016, la journaliste britannique Joanna Goodman [9] publie Robots in Law : How Artificial Intelligence is Transforming Legal Services (Les robots juridiques : comment l’intelligence artificielle transforme les services juridiques, Ark Group) [10].

Toujours début janvier 2017, la Semaine juridique publie, elle, une étude d’Antoine Garapon, magistrat, secrétaire général de l’Institut des hautes études sur la Justice (IHEJ) et spécialiste reconnu des questions de justice, intitulée « Les enjeux de la justice prédictive » [11]. Et pour ne pas être en reste, le Recueil Dalloz s’empare aussi du sujet avec une tribune de Marc Clément, Premier conseiller à la cour administrative d’appel de Lyon [12]. C’est la newsletter Dalloz Actualité qui a publié peut-être le meilleur article sur le sujet : L’intelligence artificielle va provoquer une mutation profonde de la profession d’avocat, par Caroline Fleuriot, 14 mars 2017. Le seul reproche que je ferais à cet article est de reprendre, sans recul, des phrases chocs, excessives, destinées à impressionner ou à faire peur [13].

La revue Expertises, enfin, publie une interview de Rubin Sfadj, avocat aux barreaux de Marseille et New York et grand blogueur et twitto devant l’Eternel. Interview portant sur l’IA juridique [14] et plus concrète et plus claire — plus tranchée, peut-on dire — que les deux articles précédents.

Depuis fin 2016, donc, le sujet ne quitte plus la Une des revues juridiques françaises et des nombreux sites consacrés à la "French legal tech".

Depuis les premiers succès commerciaux de Ross, l’application au droit des faillites ou de la propriété intellectuelle américain du système de machine learning Watson développé par IBM, l’intelligence artificielle (IA) en droit est devenue tendance [15]. On parle beaucoup aussi de justice prédictive.

A lire aussi :

On peut rapprocher ces publications d’une note de McKinsey (décembre 2016) sur le futur du travail [16]. Elle prévoit dans le monde entier une automatisation croissante des tâches, pouvant supprimer 5% des emplois actuels et en modifier beaucoup plus.

Toujours selon McKinsey (avril 2018), ce ne sera pas le secteur des professions juridiques qui même celui des consultants ou des professions libérales qui devrait le plus bénéficier — en terme de création de valeur/augmentation de revenus — de l’IA mais la vente et le marketing (services aux clients, recommandations d’achat, tarification dynamique), la logistique et la production (maintenance prédictive) et le voyage (Bookings.com, Liligo, Trainline et autres comparateurs de prix d’hôtels et de billets d’avion et de train) [17].

De quoi parle t-on exactement ? Ou comment définir les legal tech et l’IA en droit aujourd’hui

Les différents types de technologies utilisés en "IA"

Les différents types de technologies utilisés en "IA" (NB : pas de robotique en droit et la "vision" est en fait du machine learning)

Pour comprendre où en est l’intelligence artificielle en droit, il faut savoir de quoi on parle. Et pour savoir de quoi on parle, il faut bien commencer par des catégories et des définitions. Le premier stade de ce travail de définition et de catégorisation, c’est celui des technologies utilisées et les entreprises impliquées.

Il y a donc des technologies, qu’il faut distinguer les unes des autres, et derrière ces technologies, il y a des applications (des logiciels, si vous préférez) et leurs développeurs, grosses sociétés de l’informatique et de l’Internet ou start-ups, l’ensemble des sociétés travaillant sur l’application des toutes dernières technologies informatiques au droit étant communément appelé les "legal tech" [18]. Les entreprises et les produits d’IA en droit sont un sous-ensemble des legal tech. Pour autant, il faut bien distinguer l’IA de l’ensemble des legal tech.

Que font ces legal tech ?

Pour sa granularité/précision, on reprendra ici la liste très complète de Benoît Charpentier développée dans son article précité. Les legal tech « proposent de très nombreux services et produits, comme :

  • le calcul de probabilité concernant les décisions de justice [ça, c’est de l’IA. De l’IA (très) faible, mis de l’IA. Voir plus loin pour les explications]
  • le financement de contentieux (third-party litigation funding)
  • les plateformes d’actions collectives
  • la génération automatisée de documents juridiques dynamiques [ici aussi, il peut y avoir de l’IA (très) faible]
  • le déploiement de systèmes intelligents ou d’intelligence artificielle (fondés par exemple sur le machine learning, notamment ses variantes natural language processing et deep learning)
  • les plateformes de mise en relation avec des professionnels du droit
  • les solutions cloud
  • l’édition de logiciels spécialisés
  • la résolution de litiges non contentieux en ligne
  • les procédures d’arbitrage en ligne
  • les procédures de divorce en ligne
  • la signature électronique
  • la certification de documents (par exemple grâce à la technologie blockchain)
  • la réalisation de formalités et de dépôts en ligne (mise en demeure, acte introductif d’instance)
  • la visualisation de données complexes issues du Big Data
  • la programmation de contrats intelligents (smart contracts)
  • la mise en oeuvre d’outils collaboratifs
  • la revue de documents assistée par la technologie (Technology Assisted Review (TAR))
  • les outils de conformité
  • les outils de calculs fiscaux
  • les outils de gestion de contrats (contract management, audit de contrats)
  • les outils de recherche juridique [là aussi, il peut y avoir de l’IA. Toujours (très) faible] ».

Une autre classification, plus resserrée mais moins évocatrice, est disponible sur l’article de Case.One (une de ces legal tech) LegalTech 2018 : où allons-nous ? (janvier 2018) :

  • information juridique
  • rédaction d’actes
  • litiges en ligne
  • mise en relation [avec des avocats]
  • outils métier [pour avocats ou juristes d’entreprise].
  • IA/machine learning/justice prédictive.

Qui sont ces legal tech ?

Il existe une liste gratuite, fiable et quasi-exhaustive des legal techs françaises ou implantées en France (PDF), celle de Benoît Charpentier. Elle date de début 2017. Pour une liste mondiale, voir [19] :

A mon goût, beaucoup de ces initiatives sont certes "legal" mais leur degré d’innovation en "tech" est faible : par exemple, simple mise en ligne de formulaires ou intermédiation entre avocats et prospects. Alors voici une liste personnelle de legal tech françaises (ou plutôt présentes en France), non triée, forcément incomplète mais tendant à se focaliser sur l’innovation technologique (notamment machine learning, big data, analytics ...) :

A noter, car très souvent citée par les articles présents sur le Net mais non présente en France : DoNotPay conteste les PV de stationnement en justice sans avocat et avec un taux de succès important.

Précisions. Ou les limites de l’IA faible

Attention : très peu parmi ces sociétés se rangent dans la catégorie de l’intelligence artificielle telle qu’on la pratique aujourd’hui, autrement dit une IA à base de machine learning. Beaucoup se rangent dans les logiciels experts, une catégorie d’IA déjà ancienne à laquelle le cloud donne une nouvelle jeunesse mais qui n’est pas de l’IA telle qu’on la voit aujourd’hui (sur les logiciels experts et l’IA récente, voir infra). Cette IA "à l’ancienne" de type logiciel expert peut être très efficace si ses concepteurs ont accumulé beaucoup d’expérience et à condition de ne pas lui en demander trop. L’exemple le plus connu et le plus utilisé est probablement la génération automatisée de documents, qui s’appuie sur l’ancienne technique des formulaires. Un exemple plus "récent" et très innovant à l’époque est Jurisprudence chiffrée conçu chez l’éditeur juridique Francis Lefebvre il y a une dizaine d’années (voir infra). Ce produit utilise les cartouches sémantiques Luxid conçues et développées justement depuis plus de vingt cinq ans par la société Expert System (ex-Temis) [21]. Ces cartouches se retrouvent chez de nombreux éditeurs juridiques, y compris LexisNexis et Legifrance [22].

Et à propos d’intelligence artificielle, il faut être clair : ce qu’on appelle IA est, à strictement parler, une discipline scientifique, autrement dit un champ de recherche. Par extension, on qualifie aussi d’IA les produits qui se rangent dans ce champ [23]. On parle bien ici de *recherche* : on n’en est pas à reproduire le fonctionnement d’une intelligence humaine. Un des deux co-fondateurs de l’équipe de recherche en IA de Uber, Gary Marcus, professeur de psychologie à l’Université de New York, le dit clairement [24] :

" Il y a tout ce que vous pouvez faire avec le deep learning [...]. Mais ça ne veut pas dire que c’est de l’intelligence. L’intelligence est une variable multi-dimensionnelle. Il y a beaucoup de choses qui rentrent dedans. [...] La véritable IA est plus éloignée que ce que pensent les gens "

En fait, nous parlons ici de ce que les spécialistes de l’IA appellent "week AI" (ou "narrow AI"). Comme l’expliquent Wikipédia et Techopedia, l’IA faible est une intelligence artificielle non-sensible qui se concentre sur une tâche précise. Autrement dit, l’IA faible consiste à imiter une fonction étroite typiquement humaine, comme reconnaître un chat sur une photo floue (reconnaissance de forme/d’image) et de la faire plus rapidement. L’IA faible est définie par contraste avec l’IA forte (une machine dotée de conscience, de sensibilité et d’esprit, tout comme un être humain) ou l’intelligence artificielle générale ou AGI [25] (une machine capable d’appliquer l’intelligence à tout problème plutôt qu’un problème spécifique et douée de conscience). Le point le plus important ici est que tous les systèmes d’IA actuellement existants sont considérés comme des intelligences artificielles faibles. Certains spécialistes du cerveau et de la connaissance estiment même une AGI quasi-impossible. Ainsi, Antonio Damasio, le neuroscientifique directeur du Brain and Creativity Institute à Los Angeles [26], « reste assez sceptique quant à ce qu’on appelle l’"IA forte" » à cause de la part émotionnelle et physiologique en jeu dans le fonctionnement du cerveau et des processus cognitifs de l’être humain [27]. Selon les mots du célèbre psychologue cognitiviste canadien Steven Pinker dans un magazine américain de vulgarisation scientifique [28] : « On nous a dit de craindre les robots, [mais] le soulèvement des robots est un mythe. [...] [Sa] première fausseté est une confusion entre intelligence et motivation, entre connaissances et désirs, entre inférences et buts, pensée et volonté. »D’ailleurs, vu les fonctionnalités et performances réelles des produits dont nous allons parler, il est évident que parler d’intelligence artificielle en droit au sens strict est très exagéré. On devrait plutôt parler des différents types ou niveaux d’IA.

Il y a aussi un débat sur la légalité et l’opportunité de laisser les legal tech investir le marché du droit (principalement celui des avocats mais aussi celui des notaires) et de l’information juridique. Sur ce sujet, je vous renvoie aux articles cités en première partie plus haut. Sur les risques de la justice prédictive, voir infra. On peut aussi citer l’avocate Michèle Bauer [29] :

« Les legaltech ne sont rien sans les avocats [30]. Les services proposés sont la plupart du temps des services dans lesquels sont associés les avocats : rédaction de statuts de société pas chère, demandes de devis, recherche d’un postulant ... »

Après avoir présenté les prestations et les entreprises du secteur des legal tech et avoir défini l’intelligence artificielle, voici les cinq principales technologies en cause dans ce qu’on appelle l’intelligence artificielle en droit [31] :

  • les systèmes experts. Un système expert est, selon Wikipedia, un outil capable de reproduire les mécanismes cognitifs d’un expert, dans un domaine particulier, par des règles logiques. Cette première des voies tentant d’aboutir à l’intelligence artificielle a donné des résultats décevants : par exemple, à partir d’une centaine de règles voire moins, certaines se contredisent et il devient nécessaire de les pondérer, ce qui est en fait peu rigoureux ; leur coût élevé est un autre écueil. Un exemple de système expert en droit, le prototype NATIONALITE du défunt IRETIJ (Institut de recherche et d’études pour le traitement de l’information juridique [32]) est décrit dans une contribution de 1989 [33]. Les logiciels de gestion de contrats sont un bon exemple de logiciels experts en droit. C’est l’émergence des quatre technologies suivantes qui a relancé les espoirs des spécialistes de la recherche en IA
  • le big data et surtout le (legal data) analytics. Il ne s’agit là que de technologies correspondant à des logiciels (Apache Hadoop, MongoDB, Microsoft Azure ...) faits pour traiter des masses de données énormes et/ou des données pas assez structurées, nécessitant des logiciels différents des systèmes de gestion de base de données (SGBD) classiques
  • le machine learning [34] (ML, en français apprentissage statistique automatique). Cet apprentissage peut être supervisé (des humains apprennent à l’algorithme à reconnaître les formes ou les notions, ils vérifient et corrigent) ou non supervisé. Michael Benesty, avocat fiscaliste et data scentist français, auteur du site de démonstration Supra Legem, définit ainsi le machine learning utilisé actuellement dans le cadre du droit [35] :

    « Il s’agit d’une expression vague qui regroupe toute une famille d’algorithmes qui ont en commun d’apprendre par eux-mêmes en observant des données. Ces algorithmes sont inspirés de différentes sciences et notamment des statistiques.
    En matière de justice prédictive, c’est la sous-famille des algorithmes
    supervisés qui est utilisée »

Une excellente interview du chercheur français Yann Le Cun, directeur du laboratoire d’IA de Facebook, explique de manière simple comment fonctionnent les réseaux neuronaux, l’apprentissage supervisé et l’apprentissage non supervisé [36]. Ross d’IBM, aux Etats-Unis, utilise le machine learning, dans sa version supervisée : des juristes, des avocats ont "enseigné" et "corrigé" l’application et continuent de le faire. L’application Predictice en France fonctionne selon le même principe. De son côté, Thomson Reuters, propriétaire de Westlaw, a lancé un laboratoire en 2015 et collabore avec IBM pour intégrer la technologie Watson dans ses produits. Ross est un système à apprentissage automatique supervisé. En France, Supra Legem, Predictice et Case Law Analytics [37] utilisent aussi le machine learning

  • le deep learning (apprentissage statistique automatique profond), concrètement, est un développement du machine learning. Il utilise à fond la technique des réseaux neuronaux pour tenter de se passer complètement d’une vérification/correction par des humains. Les réseaux neuronaux sont une technologie développée à l’origine pour la reconnaissance automatique d’image ("pattern recognition"). Pour (tenter de) comprendre, il faut lire les exemples de fonctionnement d’un réseau neuronal donnés par deux spécialistes français interviewés par Le Monde [38] :

« Yann Le Cun : Le deep learning utilise lui aussi l’apprentissage supervisé, mais c’est l’architecture interne de la machine qui est différente : il s’agit d’un "réseau de neurones", une machine virtuelle composée de milliers d’unités (les neurones) qui effectuent chacune de petits calculs simples. « La particularité, c’est que les résultats de la première couche de neurones vont servir d’entrée au calcul des autres ». Ce fonctionnement par "couches" est ce qui rend ce type d’apprentissage "profond". »

« Yann Ollivier, chercheur en IA au CNRS et spécialiste du sujet, donne un exemple parlant : « Comment reconnaître une image de chat ? Les points saillants sont les yeux et les oreilles. Comment reconnaître une oreille de chat ? L’angle est à peu près de 45°. Pour reconnaître la présence d’une ligne, la première couche de neurones va comparer la différence des pixels au-dessus et en dessous : cela donnera une caractéristique de niveau 1. La deuxième couche va travailler sur ces caractéristiques et les combiner entre elles. S’il y a deux lignes qui se rencontrent à 45°, elle va commencer à reconnaître le triangle de l’oreille de chat. Et ainsi de suite. »

D’après Michael Benesty (Supra Legem), toutefois, en machine learning sur du droit, on est plus dans le NLP (voir juste infra) [39] que dans les réseaux neuronaux [40]. Les réseaux neuronaux ici réduisent le traitement des données en amont, mais leur apport en droit est très inférieur à ce qu’ils ont fait pour la reconnaissance d’image. De plus, ils coûtent très cher du fait de la puissance et du temps de calcul nécessaires (location de serveurs et de logiciels) [41].

JPEG - 99.4 ko
Un réseau de neurones convolutifs schématisé
  • le traitement du langage naturel (dit traitement automatique du langage ou TAL) (en anglais "natural language processing", NLP). Ross, Predictice ou Supra Legem [42] sont des applications utilisant le NLP. Plus précisément le NLP tel qu’on le pratique aujourd’hui : à base de machine learning et de techniques d’analyse syntaxique ("parsing", en anglais) [43] et non plus d’analyse sémantique. Le NLP actuel, c’est l’application du machine learning, en version non assistée, au langage, plus précisément aux textes. Le NLP à base de machine learning a été énormément facilité par la diffusion en open source en 2013 par Google du logiciel Word2vec (W2V), qui transforme les mots en vecteurs. Concrètement, Word2vec devine les termes similaires (proches par le sens) d’un mot en utilisant les autres mots faisant partie du contexte de ce mot [44]. Toutefois, si le NLP à la sauce ML détecte — indirectement et implicitement — le sens des mots, il ne sait pas en détecter la logique : licéité et illicéité, par exemple, risquent fort d’être similaires pour lui.

Enfin, il faut bien comprendre que pour imiter des fonctions caractéristiques des humains, comme classer automatiquement des documents par thème, un simple logiciel ne suffit pas :

  • déjà, de nombreux programmes informatiques (de type ML ou logiciel expert comme vu précédemment) doivent être testés, combinés et adaptés par un ou des développeurs. Ce ne sont pas des produits sur étagère, ce sont ce que l’on appelle dans l’industrie informatique des développements spécifiques
  • ensuite — et c’est encore moins connu —, le machine learning et les réseaux neuronaux nécessitent une architecture matérielle et réseau très spécifique elle aussi, autrement dit choisir l’assemblage ad hoc de serveurs puissants, avec leurs systèmes d’exploitation (OS), repérer les goulots d’étranglement dans la circulation et le traitement des données sur Internet, dans les serveurs et entre eux, savoir comment régler et "booster" les performances de ces matériels ... Pour les petits et moyens programmes, cela passe par la location (vite onéreuse) de ressources en "cloud computing" : du temps et de la capacité de serveur disponible par Internet. Le plus utilisé est Amazon Web Services (AWS). On peut citer aussi Microsoft Azure et Google Cloud (avec son produit applicatif TensorFlow). Sur les gros programmes d’IA, le travail sur cette architecture matérielle mobilise jusqu’à la moitié des spécialistes affectés au projet. Sur ce segment, Google, Facebook, Amazon et Microsoft ont une puissance et une avance énormes sur leurs concurrents.

Dans cette présentation des technologies dites d’IA, il reste enfin à expliquer dans quels produits, concrètement, on les emploie.

Selon Ron Friedmann, consultant américain en informatique juridique depuis 30 ans [45], sur le marché américain, « il existe au moins quatre utilisations presque banales de l’intelligence artificielle que les cabinets d’avocats et les directions juridiques peuvent aisément déployer à partir de produits IA standards, de manière similaire à d’autres technologies :

  • "document review" dans la procédure [très américaine] d’"e-discovery" ("predictive coding”) [46]
  • c’est clairement dans ce domaine de l’audit/vérification des contrats que les progrès ont été les plus grands, comme l’illustre la victoire du logiciel LawGeex AI (qui utilise le ML avec apprentissage) sur 20 juristes de droit des affaires très expérimentés dans un test de rapidité et de pertinence : il s’agissait d’analyser les risques/failles présents dans cinq contrats de confidentialité ("non-disclosure agreement" ou NDA), un outil très classique aux Etats-Unis [47]. Le "contract review", plus précisément, consiste en l’analyse en masse de contrats pour en extraire informations et clauses contestables ou à revoir. Les deux acteurs les plus cités sont :
    • le produit de Kira d’audit de contrats de cession d’actions/parts de société est selon la société déployé dans 200 établissements
    • à noter aussi dansle même genre le produit de Luminance, adopté notamment par le cabinet anglais Slaughter & May, et qui a abordé le marché européen
    • en audit de contrats pour des fusions-acquisitions et en compliance, la startup française Softlaw, créée par une avocatye en M&A, travaille uniquement en interne (pas de cloud pour répondre aux demandes des directions juridiques et avocats qui ne veulent pas le moindre risque de fuite) et en français
    • eBrevia, conçu par une start-up créée en 2011 dans l’Etat du Connecticut, a, tout comme Ross, un partenariat universitaire fort : sa technologie a été initialement développée à l’Université de Columbia [48]. L’application, utilise le machine learning pour faire du "contract review". Signe des temps : eBrevia vient, début mars 2018, de s’allier avec le groupe d’édition juridique Thomson Reuters, le propriétaire de la plateforme Westlaw [49]
  • outils de recherche dans de multiples domaines juridiques (Westlaw, Lexis Advance, Ravel, Ross, Supra Legem ...). C’est le second domaine en terme d’importance de l’implémentation. Là, les progrès ont essentiellement consisté en une synonymie contextuelle automatique et une classification automatique par domaines du droit très améliorées
  • saisie et gestion des temps.

Je me demande si la percée de l’IA dans le milieu juridique ne se fera pas aussi via les logiciels brassant et combinant des données de sources et formats divers [50] pour faire de la "business intelligence" (dits également "logiciels orientés visualisation de données") comme Tableau Desktop, Microsoft Power BI ou, Qlik Sense Enterprise. Notamment dans les départements dits de "business development" (BD) et de "knowledge management" (KM). Pour l’instant, ces applications ne sont pas de l’IA très moderne ni très juridique, mais plutôt du logiciel expert (fonctionnant à base de règles métiers et des arbres décisionnels) combiné avec des macros. Mais c’est nettement en train d’évoluer : le machine learning rentre dans ce secteur [51].

Les données comptent plus que les applications

Nous venons de présenter les technologies impliquées dans l’IA en droit. Et de voir que les deux critères principaux (et alternatifs) pour parler d’IA (faible) en droit, sont soit l’appartenance de l’application à la catégorie des systèmes experts soit l’utilisation de machine learning.

Pourtant, sur le plan stratégique, le plus important en IA n’est pas là. Pour le comprendre, il faut lire le rapport de France Stratégie sur l’IA publié en mars 2017 [52].

Dans ce rapport, la contribution spécifique du Conseil National du Numérique (CNNum) souligne l’importance fondamentale des données :

« La valeur créée par l’intelligence artificielle provient des données nécessaires à l’apprentissage bien plus que de l’algorithme, dont les développements se font de manière ouverte (en open source). En conséquence, les organisations doivent prendre conscience de l’importance stratégique des données qu’elles détiennent. Il s’agit également, à plus long terme, d’engager une réflexion sur les modes de partage de la valeur entre acteurs privés. En ce sens, le Conseil s’est par ailleurs saisi de la question de la libre circulation des données aux niveaux international et européen, d’un point de vue de transfert entre les territoires mais également entre acteurs économiques. »

En droit français, cette difficulté donne raison au professeur (et avocat) Bertrand Warusfel, quand il écrit, interrogé par ActuEL Direction Juridique (Editions Législatives) [53] :

« on va certainement [...] dématérialiser plus encore les procédures, voire les audiences. A mon sens, ce n’est qu’une fois que cette première phase de dématérialisation de la justice aura été menée à bien qu’il serait justifié d’envisager d’introduire des outils plus "intelligents". Sauter une étape serait sans doute peu cohérent, voire dangereux. »

Ce sont justement leurs bases de données qui font l’avance de Google et Facebook. C’est pourquoi cela ne les gêne pas de mettre leurs logiciels en open source. Au contraire, cela accélère l’adoption de l’IA par les développeurs puis la société dans son ensemble. Une démarche imitée de manière légèrement différente par LexisNexis :

  • l’éditeur américain a annoncé en mars 2017 qu’il va donner accès à ses contenus et à son expertise, ainsi que celle de sa filiale LexMachina, à cinq start-ups sélectionnées : Visabot, TagDox, Separate.us, Ping, and JuriLytics [54]. Lexis espère profiter de leurs innovations
  • et le 8 juin, Lexis annonce le rachat de Ravel Law, LA start-up indépendante de 21 personnes spécialisée dans la recherche sur la jurisprudence américaine à base de ML et de NLP. Le fondateur de Ravel Law Daniel Lewis explique à cette occasion que le rachat donnera à Ravel Law « accès à un vaste assortiment de données de haute qualité, quelque chose qui est nécessaire. Même la meilleure IA ne peut surmonter les défauts dus à un accès limité en terme de données », dit-il. « On a besoin de données de haute qualité en entrée" a-t-il ajouté. « Si vous avez de la mauvaise qualité en entrée, vous avez de la mauvaise qualité en sortie. »

Nous venons de présenter les produits et les sociétés des legal tech puis de définir l’IA en droit, pour éviter de gober le discours marketing selon lequel tout ce qui est legal tech serait IA. Plus généralement, tout ce qui est IA aurait des performances à la limite du miraculeux. Ce discours " IA partout " et " IA miracle" [55] qui inonde — au point qu’on peut parler d’IA washing [56] — depuis l’année 2016 presse, Internet et café du commerce, nous allons maintenant lui river son clou en présentant en détail les outils IA de recherche et d’analyse de la jurisprudence (encore une fois, des IA faibles). Nous commencerons par l’IA vedette américaine — j’ai nommé Ross — puis nous verrons les implémentation de l’IA (du NLP surtout) dans les grandes platefomes des éditeurs juridiques américains traditionnels et enfin les IA jridiques françaises.

Ross : points forts et limites d’un moteur de recherche en langage naturel à base de machine learning avec supervision

Fin 2016-début 2017, c’est surtout le produit d’IBM qui fait parler de lui — voir notamment notre "webliographie" sélective sur Ross infra. Et même si, de fait, on peut parler d’une intense campagne de presse, je crois quand même qu’on tient confirmation d’une amélioration radicale de la recherche documentaire en droit dans les articles sur l’implémentation de Ross par le petit cabinet d’avocats américain Salazar Jackson : en effet, selon le principal associé de cette firme, Ross fait les recherches sur la jurisprudence aussi bien et plus vite qu’un jeune collaborateur [57]. Ce que semble confirmer une étude réalisée par une firme indépendante (certes payée par IBM) qui parle d’un gain de temps dans les recherches de 30% [58].

Ross serait même, soi-disant, capable de résumer sa recherche en un mémo ? L’avocat Rubin Sfadj estime que la prétendue capacité de Ross à sortir un mémo est exagérée. Il a raison. C’est ce que Jimoh Ovbiagele, le CTO de Ross, a fini par reconnaître devant un journaliste du New York Times : des humains se chargent du brouillon produit par Ross et créent le mémo final, et c’est pour cela que ça prend un jour entier [59].

Bien sûr, Ross nécessite une interaction homme-machine. Il s’améliore en apprenant des retours des juristes sur ses recherches [60]. C’est donc de l’apprentissage automatique avec supervision [61].

Ross est pour l’instant spécialisé uniquement dans la jurisprudence américaine en droit de la faillite (US bankruptcy law) et en propriété intellectuelle (US IP law) — il s’agit en fait de deux applications différentes, Ross ne traite pas les deux matières en même temps [62]. Mais la diversité des tâches et des domaines possibles est une caractéristique du machine learning le plus récent (depuis environ 2015). Le cabinet américain Latham & Watkins, implanté à Paris, est en phase de « test » avec Ross [63], suivi par de plus petites structures et l’Ordre des avocats de Lille.

Le dirigeant et co-fondateur de Ross Intelligence, Andrew Arruda, expliquait justement en août 2016 :

« La version actuelle du système est utilisée pour aider les juristes spécialisés en procédures collectives travaillant dans des firmes américaines. Les futures versions du système couvriront d’autres domaines du droit et d’autres juridictions. »

Rubin Sfadj estime quant à lui que Ross sera capable de gérer les textes officiels (en sus de la jurisprudence) français.

Dans son enquête de février 2017, l’Agefi Hebdo concluait sur Ross : « Le résultat ? Pour l’heure, moyennement convaincant. » [64] L’Agefi cite Bénédicte Brémond, avocate en charge du knowledge management chez Latham & Watkins Paris :

« Quoique déjà très performants, des outils comme Ross sont encore pour la plupart en phase de test dans les firmes et devront encore apprendre avant de fournir aux avocats un service fiable adapté à leurs pratiques. »

Ross aura visiblement encore bien d’autres applications en droit. À l’image de Watson, l’application d’IBM dont Ross est dérivé. Watson sert déjà à de multiples tâches. Comme :

Autres exemples de la capacité du machine learning à s’appliquer à tous les domaines :

  • la Lettre de l’Expansion du 16 janvier signale que le réseau social interne développé par Orange, installé chez eux à l’automne 2015 [70] et également vendu par l’opérateur sous le nom de Business Together Sharespace [71] « s’appuie sur la technologie "machine learning" [...] et inclut des robots à même de suggérer à l’utilisateur des informations pertinentes ou des collègues susceptibles d’enrichir son activité »
  • Google a présenté fin novembre un algorithme repérant des signes de rétinopathie diabétique dans des photos du fond d’oeil. Et Facebook comme Microsoft ont dévoilé cette année des systèmes capables de "regarder" des images et en décrire le contenu pour les aveugles [72]

A priori (le manque d’information détaillées sur Ross étant criant), les limites d’un système comme Ross, sont :

  • les applications dérivées du Watson d’IBM sont toutes étroitement spécialisées (et non généralistes sur un domaine) et nécessitent d’énormes développements informatiques spécifiques et un très gros travail d’input et d’apprentissage par des experts [73], travail qui peut ne pas suffire. A titre d’exemple de promesse non tenue et de difficulté avec la méthode retenue par IBM : selon une enquête du média américain d’investigation STAT [74]. L’article a été relayé par Business Insider puis par Numerama.]], la « révolution » promise par IBM avec son outil de conseil en matière de traitement contre le cancer accuse un retard conséquent au centre de traitement et de recherche sur le cancer Memorial Sloan Kettering Cancer Center. Pire : en juillet 2018, les mêmes journalistes expliquent [75] que le superprogramme a régulièrement prodigué de mauvaises recommandations pour traiter des cancers. La conclusion des journalistes de STAT est que l’IA semble incapable de conseiller les bons traitements sans apprendre à partir de cas réels
  • comme la plupart des bases de données en ligne actuelles, son manque de confidentialité. Je sais que les éditeurs de services en ligne garantissent la "confidentialité" des données de leurs clients, mais de fait, si elles ne sont pas cryptées de bout en bout, elles ne sont pas réellement confidentielles. Il serait intéressant à cet égard de savoir si Ross crypte les données de ses clients
  • sa dépendance à la "data". Si les données sont incomplètes, non exhaustives ou comportent un biais, les résultats seront biaisés [76]
  • le poids du passé (même s’il pourra certainement intégrer les projets de loi), car la donnée c’est du passé
  • sa dépendance aux compétences des personnes qui "l’entraînent" (cas du machine learning supervisé)
  • son degré d’acceptation par la société, encore limité (cf la dernière partie de ce billet). Toutefois, si l’on s’en tient à l’histoire récente des innovations, les systèmes de machine learning en droit finiront, selon toute probabilité, par être assez rapidement acceptés par les consommateurs de droit. Les professionnels du droit risquent donc, à long terme, de devoir suivre. Comme le rappelle un professionnel américain des enquêtes ("fact finding") pour avocats, les "IA" d’aujourd’hui sont les "logiciels" de demain (excellent article et qui remet les pendules à l’heure) [77]
  • à court et moyen terme, le délai d’implémentation en droit français. Ross — tout comme ses concurrents français — ne pourra pas être implémenté en droit français global avec une pleine efficacité avant un minimum de huit ans. Explication. En son état actuel limité au droit américain des faillites et de la propriété intellectuelle, Ross aurait été développé en trois ans à partir de Watson pour ses capacités en NLP (cf détails supra sur les technologies de NLP à la sauce machine learning). Compte tenu des spécificités du droit français (pas de la common law ... mais pas un véritable problème [78]), de la (relativement) petite taille du marché français du droit, de l’absence pour l’instant de disponibilité en accès libre [79] des décisions de justice judiciaire de première instance [80] avant des années malgré la loi Lemaire pour une République numérique [81], de la nécessité d’un partenariat entre un éditeur juridique et un éditeur de système de machine learning [82], cela devrait prendre au minimum huit ans et peut-être plus. La com’ des légal tech ou d’IBM sur les performances de leurs logiciels dépasse de beaucoup la réalité et envahit même la presse économique et généraliste.

Il faut enfin noter, pour être complet sur Ross, qu’IBM a du mal à rentabiliser son activité "cognitive" (l’adjectif à la mode pour désigner les activités d’IA). Comme le relève une enquête du Monde [83], le chiffre d’affaires du groupe — qui a parié sur l’IA pour sa croissance et a investi 15 milliards de dollars depuis le lancement du projet Watson (alors appelé DeepQ) en 2007 — décroît de 2011 à 2016 : « au final, en cinq ans, un quart des recettes a disparu. La capitalisation boursière [est passée] de presque 250 milliards de dollars en 2011 à un peu plus de 136 milliards aujourd’hui. Pour l’instant, Watson a du mal à tenir ses promesses. » (Le CA d’IBM est toutefois remonté en 2017.) Selon Le Monde, les raisons sont principalement liées :

  • à l’absence d’étude longue de longue durée à sur la fiabilité des diagnostics livrés par Watson et ses conjugaisons
  • au fait qu’il s’agit à chaque fois d’un développement spécifique, pas de l’installation d’un produit standard. Les prospects hésitent : il faut investir un budget, un temps de travail de plusieurs mois minimum (18 mois pour le Crédit Mutuel, pourtant client de longue date d’IBM), des équipes et des petites mains pour "former" le progiciel. Le retour sur investissement est long. C’est cet aspect que souligne la directrice du KM de Latham Paris dans la citation précédente extrait de l’article de l’Agefi Hebdo
  • les concurrents, même si leur marketing et leur communication sont moins efficaces, sont très actifs. Le cabinet d’avocats d’affaires international Baker & McKenzie a ainsi annoncé, en août 2017, adopter comme principal outil d’intelligence artificielle non pas ROSS, mais eBrevia (cf supra).

Westlaw, Lexis Advance : les améliorations machine learning en cours et prévisibles

D’après Michael Mills [84], co-fondateur et chief strategy officer de Neota Logic (une société précurseur dans les outils d’aide à la décision en droit puis d’IA juridique aux Etats-Unis), cela fait 11 ans que Lexis et Weslaw ont commencé à intégrer du NLP dans leurs moteurs de recherche. Et Lexis a racheté Lex Machina en 2015 puis Ravel Law en 2017, LE spécialiste américain du ML juridique sur la jurisprudence (voir supra).

Par exemple, la fonction Westlaw Answers répond carrément directement aux questions courantes/"bateau" en quelques phrases, avec les citations de jurisprudence qui conviennent.

Autre exemple : Lexis Advance offre la possibilité de chercher en language naturel (fonction ”Run search as natural language") et surtout d’ajouter à la recherche les expressions juridiques synonymes de celles saisies (fonction "Include legal phrases equivalents"). Et depuis 2017, un clic sur le nom juge ou de l’avocat permet de consulter des tableaux de données sur eux, cela ne marchant que pour les domaines de pratique couverst par Lex Machina [85]. A partir de ces tableaux, les abonnés à Lex Machina peuvent analyser plus avant. Là, cependant, il ne s’agit plus d’IA à strictement parler, juste d’"analytics" [86].

Les améliorations prévisibles résident dans la continuation et l’amélioration des précédentes :

  • du NLP state "of the art"
  • des suggestions/recommandations (soit de notions à ajouter, soit de régimes juridiques/bases légales) découlant de l’analyse par le machine learning du comportement des utilisateurs dans leurs recherches. Notamment, en analysant les arrêts déjà mis de côté/sélectionnés par l’utilisateur, il est possible d’en déduire ceux qui manquent. Ce type d’amélioration exploite à fond les excellentes perfomances du ML en catégorisation ("taxonomy" lit-on souvent)
  • plus de "direct answsers"
  • des statistiques sur les tendances des juges américains
  • une interaction vocale avec l’application, grâce à l’envol de l’utilisation des smartphones, y compris les fonctions d’envoi des résultats et d’impression.

Predictice, Case Law Analytics, Supra Legem : calculer les chances de gagner un procès en droit français avec le machine learning

Abordons maintenant les IA juridiques françaises. Ce sont des applications dites de justice prédictive.

Côté justice prédictive, pour le moment, on n’en est en réalité qu’à une analyse (par chambre, par juge, des montants des dommages-intérêts ou de quel type de camp a gagné) de la jurisprudence disponible et à la recherche en langage naturel sur celle-ci. C’est le sens du billet très mesuré du professeur Dondero cité en introduction. Plus généralement, déjà en 2014, un spécialiste du ML, le professeur Michael Jordan, estimait qu’on attendait beaucoup trop beaucoup trop tôt du deep learning et du big data [87].

Pour l’instant, le ML en droit n’est pas de la véritable intelligence artificielle, au moins au sens fort du terme (cf propos supra sur l’IA forte et faible). Voici la définition de l’IA par le meilleur dictionnaire de langue française, celui élaboré par l’ATILF [88], le Trésor de la langue française (TLF) : « Intelligence artificielle : recherche de moyens susceptibles de doter les systèmes informatiques de capacités intellectuelles comparables à celles des êtres humains ». Du temps de la lutte entre Microsoft et les autres éditeurs de logiciels de bureautique (années 80), on appelait ça du vaporware : annoncer des sorties d’applications entre 6 mois et 2 ans à l’avance pour pousser les clients à attendre la nouvelle version. Et à ne surtout pas aller chez la concurrence — ici, je dirais : ne pas se servir de ce qui marche déjà très bien, comme les compétences des meilleurs documentalistes juridiques ou l’application Jurisprudence chiffrée (cf juste infra).

L’article précité de Valérie de Senneville aux Echos le souligne :

« pour le moment, " il y a beaucoup d’effets d’annonce ", remarque Jean Lassègue, philosophe et chercheur au CNRS. L’épistémologue, qui a consacré de nombreux travaux à l’informatique, invite à s’interroger sur le problème de la qualification des faits et de leur catégorisation. " La machine ne peut pas régler cela ", affirme Jean Lassègue. »

Antoine Garapon, le directeur de secrétaire général de l’Institut des hautes études sur la justice (IHEJ), ne dit pas autre chose dans son entretien avec Les Petites Affiches (septembre 2017) [89] :

« LPA — L’impact réel des legaltechs sur le droit ne reste-t-il pas néanmoins encore assez limité ?
A. G. — Bien sûr et je pense que l’impact le plus important du de la legaltech se situe en réalité sur le plan imaginaire. [...] Il est en effet frappant de constater à quel point on évoque legaltech et justice prédictive quand les réalisations pratiques restent très mineures puisque ces technologies ne sont pas encore matures. »

Predictice

Ils prédisent vos chances de gagner une action judiciaire (sur Predictice et Case Law Analytics) (Le Parisien 8 octobre 2016). Predictice : grâce aux algorithmes, cette startup est capable de prédire l’issue d’une action en justice et d’optimiser les stratégies contentieuses des avocats (OVH News 7 juillet 2016). Les prétentions de l’application Predictice sont un peu exagérées si l’on lit bien les deux documents et qu’on regarde la copie écran chez OVH News. Comme le montre l’article plus réaliste de Libération du 23 février (Justice prédictive, l’augure des procédures), il s’agit en fait essentiellement de lister le type de partie vainqueur et donc d’une certaine façon de donner un pourcentage de chance de remporter un procès sur un type de contentieux, et de déterminer les montants de dommages-intérêts alloués selon la cour d’appel [90].

Concrètement, Predictice est un outil d’aide à la décision à destination des professionnels du droit. Il permet d’accéder à la jurisprudence et aux textes de loi via un moteur de recherche en langage naturel utilisant des technologies de text mining (dependency parsing etc.). Un algorithme calcule les probabilités de résolution d’un contentieux, le montant des indemnités potentielles et identifie les moyens de droit ou les faits les plus influents dans les décisions antérieures rendues par les juridictions. La restitution des analyses se fait sous forme graphique ou statistiques). L’application utilise les technologies de NLP à base de règles. C’est donc un système expert classique.

Selon son éditeur, Predictice est en cours de commercialisation : pilote auprès de grosses structures (Orange, AXA, Covéa, Dentons, Taylor Wessing) et abonnement sur demande des cabinets d’avocats. Cette commercialisation a commencé à la rentrée 2017.

Le test de l’application au sein des deux cours d’appel de Rennes et Douai s’est terminé début octobre 2017 : les magistrats n’ont pas adopté l’outil, estimant que, malgré sa « modernité », il « méritait d’être sensiblement amélioré. Le communiqué précise qu’il « ne présentait pas en l’état de plus-value pour les magistrats, qui disposent déjà d’outils de grande qualité d’analyse de la jurisprudence de la Cour de cassation et des cours d’appel. » Un tweet de la Première présidence de la Cour de Rennes précise que les outils en question seraient JuriCA et Jurinet. Le Premier président de la cour d’appel de Rennes, Xavier Ronsin, considère que les résultats livrés étaient trop aléatoires [91]. Toutefois, le communiqué ajoute que de nouveaux tests par d’autres cours d’appel seront envisagés, « sur la base du volontariat [...], à l’issue des nouveaux stades de développement de l’outil » [92]. Plusieurs sous-entendus dans ces informations :

  • les magistrats des cours d’appel disposent de la base d’arrêts d’appel inédits JuriCA dans sa version interne au ministère de la Justice et de la base Jurinet, riche en doctrine interne des juridictions judiciaires, en fait surtout de la Cour de cassation et de son Service de documentation, des études et du rapport (SDER). Jurinet, ce sont les documents annexes aux décisions et non publiés : les nombreuses études rédigées par le SDER, dans les arrêts Cass. les conclusions de l’avocat général et surtout le rapport du conseiller rapporteur ... Pourtant, à notre connaissance, aucun de ces documents n’épluche les montants de dommages-intérêts. D’ailleurs, ce type d’étude n’intéresse pas la Cour de cassation, juge du droit et non des faits. Or les CA, qui elles auraient intérêt à faire des études de ce genre, n’ont ni SDE comme la Cass’ ni moyen similaire.. En revanche et bizarrement, aucune référence expresse n’est donc faite aux bases de données des éditeurs, notamment Juris-Data de LexisNexis, ses Données quantifiées et Jurisprudence chiffrée de Francis Lefebvre voire Dalloz.fr (qui intègre le contenu de JuriCA elle aussi). Par exemple, la base Juris-Data de LexisNexis intègre des dizaines de milliers d’arrêts (sélectionnés) de cours d’appel accompagnés d’une fiche donnant le type de préjudice et le montant des dommages-intérêts
  • les cours d’appel ont élaboré en interne des guides d’indemnisation voire des barèmes non officiels liés à leur jurisprudence locale (sans parler du barème national indicatif mais officiel en matière de pension alimentaire). C’est ce que laissait clairement entendre le premier président de la Cour de Rennes, Xavier Ronsin, au printemps 2017 : « Ce n’est pas de la justice prédictive, c’est juste une aide à la décision. Les magistrats ont déjà des instruments et des barèmes. » [93] C’est ce que confirme un intervenant sur Twitter, citant ces deux guides : Reférentiel indicatif de l’indemnisation du préjudice corporel des cours d’appel, ENM, septembre 2016, L’indemnisation des préjudices en cas de blessure ou de décès, par Benoît Mornet, président de chambre à la cour d’appel de Douai, septembre 2017. En fait, il faut lire l’interview de Xavier Ronsin, donnée à Dalloz Actualité pour mieux comprendre ce que techniquement les magistrats reprochent à l’outil :

    « On se situe plus dans un projet d’approche statistique et quantitative que qualitative. Parfois, les résultats peuvent même être aberrants. Prenons l’exemple d’un calcul d’indemnités de licenciement sans cause réelle et sérieuse. Les montants sont calculés par le juge en mois de salaire. Or le salaire d’un cadre n’est pas le même qu’un ouvrier. Il suffit qu’une décision de justice concerne un cadre pour fausser complètement l’analyse, selon l’affaire ou le bassin d’emplois, et pour que le résultat proposé ne dise rien du cas à résoudre. Il serait plus pertinent de privilégier une approche selon le nombre de mois de salaire alloué, plutôt que savoir si le résultat probable sera de 4 000 ou 8 000 €. [...]
    Le logiciel ne s’intéresse qu’au dispositif d’une décision de justice. L’algorithme ne sait pas lire toutes les subtilités de la motivation, surtout lorsque la décision est complexe. »

Plusieurs cabinets d’avocats au contentieux, toutefois, sont intéressés par Predictice et testent l’application : Châtain & Associés, Bruzzo Dubucq, Barreau de Lille, Taylor Wessing ... D’autres sont dubitatifs. Beaucoup restent silencieux.

Case Law Analytics

Case Law Analytics (CLA) était en fait, jusqu’à il y a peu, une recherche INRIA (Institut national de recherche en informatique et automatique). Ce n’est qu’en septembre 2017 que CLA est devenu une société. Elle est basée à l’Atlanpole de Nantes et sélectionnée par Microsoft pour son programme d’incubation au sein de Station F à Paris. Cet "offshoot" de l’INRIA a été créé à l’origine mi ou fin 2015 par Jacques Lévy-Véhel, mathématicien et a l’époque directeur de recherche à l’INRIA [94] et Jérôme Dupré, alors magistrat en disponibilité, et devenu depuis avocat au barreau de Nantes. Aujourd’hui, J. Lévy-Véhel est seul — avec un fonds d’investissement. C’est lui qui a créé la société [95].

Sur Case Law Analytics, il y avait jusqu’au printemps 2017 très peu de choses à lire. La startup était alors très discrète sur le plan médiatique. Le passage au statut de société approchant, les publications se sont ensuite succédées [96]. Il s’agissait à l’origine d’une évaluation probabiliste des dommages-intérêts. En 2014, Jacques Lévy-Véhel avait initié une collaboration avec le magistrat Jérôme Dupré, autour de la modélisation des prestations compensatoires. Extrait de l’article du Village de la Justice :

« " Il ne s’agit pas de dire la probabilité d’aller au contentieux mais plutôt d’estimer les sommes d’argent que vous pouvez être condamné à payer dans tel ou tel cas de figure, explique Jérôme Dupré. Nous n’aimons pas l’expression “justice prédictive”, qui est à notre avis trompeuse et parfois même dangereuse. C’est pourquoi nous ne donnons pas un chiffre unique mais une distribution probabiliste des montants de condamnation possibles. Il est difficile de calculer ce risque parce que les aspects procéduraux sont complexes à modéliser pour le moment mais c’est possible dans certains cas. " A l’heure actuelle, trois contentieux sont prêts et peuvent être utilisés : le licenciement sans cause réelle et sérieuse, la prestation compensatoire et la pension alimentaire. Mais la start-up n’entend pas s’arrêter là. »

Ensuite, Case Law Analytics a évolué vers un logiciel qui fonctionne en partie comme un logiciel expert. J. Lévy-Véhel refuse de donner des moyennes. Il explique dans son interview par Ekipio que :

  • son logiciel peut compenser le manque de magistrats face au nombre de dossiers et permettre aux parties de transiger et donc à la victime de toucher son indemnité plus vite [97]. Au moins, lui est clair là-dessus. Au demeurant, en tant que justiciable et juriste en même temps, je ne partage pas son avis : quantité d’affaires qui paraissent basiques, qui selon des juges ne méritent pas qu’on y passe du temps, le mériteraient (il faudrait faire des recherches, en fait et en droit, qui ne sont pas faites [98]) et sont traitées par dessus la jambe. Là dessus (pour les particuliers justiciables de base), la justice prédictive selon moi ne permettra en effet que de gagner du temps — rien d’autre
  • il dit ne pas croire pas au danger d’uniformisation de la jurisprudence. Pour lui, son logiciel est un outil d’aide à la décision. En même temps, questionné par un de interviewers, J. Lévy-Véhel reconnaît qu’il faut « un peu de formation » pour les justiciables et une formation de base en mathématiques et statistiques pour les juristes
  • CLA ne travaille que sur un domaine relativement étroit du droit et homogène. Cf les trois exemples cités supra, comme le licenciement sans cause réelle et sérieuse. Pas de dossier exceptionnel ni de contentieux trop restreint
  • les techniques et étapes utilisées : dans un premier temps, J. Lévy-Véhel et son équipe font parler les juristes pour déterminer les critères (entre 20 et 50) et le raisonnement utilisés pour trancher. Ça, c’est une technique d’IA à l’ancienne : c’est du logiciel expert (cf supra). Et cela permet à CLA de dire qu’ils offrent des « juges virtuels ». Un « référentiel » plutôt, en réalité, pour reprendre un autre terme utilisé par J. Lévy-Véhel.
    Dans un deuxième temps, CLA constitue une base de données de décisions de justice sur le sujet (peu d’IA là-dedans). J. Lévy-Véhel : « Nous utilisons bien sûr des outils de traitement du langage naturel, pour retrouver automatiquement certains critères, mais une partie du travail est effectuée manuellement, par des humains. »
    Dans un troisième temps, en utilisant les règles dégagées à l’étape 1 et les données regroupées dans l’étape 2, CLA "apprend" à la machine à s’approcher d’un raisonnement de juge. J. Lévy-Véhel : « Nous faisons appel, sans a priori, à toutes les techniques d’apprentissage automatique à notre disposition. Il peut s’agir de réseaux de neurones, de forêts aléatoires, de machines à vecteurs de support, de réseaux bayésiens ... Nous choisissons ceux qui nous semblent efficaces dans le cas de figure et nous construisons un logiciel unique à partir de là. »
    Enfin, CLA sort un éventail de décisions et de dommages-intérêts représentatifs [99].
    Clairement, à travers ces techniques et les propos de J. Lévy-Véhel, CLA se positionne comme de la "justice prédictive" haute couture, pas du prêt-à-porter. Case Law Analytics n’est pas un editeur de logiciel mais une sorte de SSII vendant ce qui s’apparente en réalité à des développements spécifiques. Pour citer J. Lévy-Véhel : CLA travaille « au cas par cas ».
  • apparemment, CLA n’a pas accès aux arrêts hors des bases CASS, INCA et JuriCA. Pas de jugements de première instance donc
  • J. Lévy-Véhel refuse de se ranger dans la course à la taille. Pour lui, un échantillon de 1500 décisions (isolées dans une base beaucoup plus grande, cf étape 1) suffisent au machine learning pour "apprendre". En même temps, les 2000 arrêts rendus par la CA de Paris depuis 2012 sur la rupture brutale des relations commerciales sont insuffisantes : c’est notamment pour surmonter cela que CLA utilise la technique du juge virtuel
  • CLA refuse de profiler les juges et les avocats. Elle anonymise leurs noms dans les décisions.

En novembre 2017, le cabinet d’avocats (spécialisé en droit social) Clichy Grangé a annoncé s’être équipé de l’outil Case Law Analytics [100]. Autres clients selon CLA : le cabinet d’avocats Quinn Emanuel, la direction juridique de SNCF Réseau et les assureurs Axa Protection juridique et Allianz.

Chose rare parmi toutes ces applications de machine learning, Case Law Analytics propose une version, gratuite mais très limitée, de démonstration pour Iphone et Ipad. Elle permet d’évaluer une fourchette pour le montant de la pension alimentaire avec les probabilités associées.

Deux prédécesseurs sans machine learning : Jurisprudence chiffrée et Données quantifiées Juris-Data

C’est quelque chose que l’éditeur juridique Francis Lefebvre avait déjà approché avec son produit Jurisprudence chiffrée fondé sur les faits et chiffres présents dans les arrêts de cour d’appel de la base JuriCA. Jurisprudence chiffrée trouve depuis 2010 des arrêts de cour d’appel correspondants aux critères exacts donnés et le montant des dommages-intérêts. Par exemple, à partir de la profession et l’ancienneté, Jurisprudence chiffrée donne le montant des dommages-intérêts pour licenciement sans cause réelle et sérieuse [101]. Jurisprudence chiffrée utilise un programme qui identifie les zones des arrêts d’appel riches en information de type juridiction, adresse, profession, âge, ancienneté, montant des indemnités etc., isole ces informations et permet de mener une recherche d’arrêts très rigoureuse par ces critères combinés. Mais à l’époque de sa conception, les avancées du machine learning commençaient à peine, il est donc peu probable que Jurisprudence chiffrée utilise le ML [102]. En revanche, il y a un travail fin sur le langage naturel, à base de cartouches Temis.

Notez que Jurisprudence chiffrée est à la fois un logiciel expert et un outil de traitement du langage naturel (TAL). En tant qu’utilisant les techniques de TAL, il représente pour le droit français le trait d’union entre l’IA à l’ancienne, de type pur logiciel expert, et l’IA récente, de type machine learning. En effet, on l’a vu, le ML en droit est utilisé essentiellement, pour l’instant, pour le traitement automatique du langage.

JPEG - 104.5 ko
Interface de recherche de l’application Jurisprudence chiffrée en matière d’indemnité d’éviction (baux commerciaux)

La base (et ouvrage) rivale de LexisNexis Contentieux de l’indemnisation devenue Données Quantifiées JurisData (et accessible par l’onglet Pratique & Outils de Lexis360, mais non comprise dans l’abonnement standard à Lexis360) est elle, en revanche, faite "à la main", ce qui permet de la ranger dans la catégorie analyse prédictive (les résultats sont présentés sous une forme assez dans le style "tableau de bord") mais pas dans celle de l’IA [103]. Elle est nourrie avec une sélection d’arrêts d’appel provenant de la base Juris-Data [104], soit 50 000 arrêts à novembre 2017 [105]. Tout comme Jurisprudence chiffrée, elle ne traite que certains thèmes : licenciement, rupture de bail commercial, pension alimentaire et prestation compensatoire ...

Doctrine.fr

Doctrine.fr, malgré son nom, ne contient pas de doctrine, juste des liens vers des actualités gratuites des éditeurs juridiques (Dalloz Actualité, site de la Gazette du Palais, LegalNews ...), des billets de blogs juridiques (celui du professeur Dondero y est en bonne place) et quelques sites de définitions (le Dictionnaire de droit privé de Serge Braudo) ou de synthèse (Open Dalloz). En matière de doctrine, c’est donc un métamoteur.

Ses apports sont ailleurs :

  • d’abord, proposer un moteur de recherche de jurisprudence extrêmement simple à utiliser et extrêmement rapide. Le "learning curve" (délai d’apprentissage) est quasiment nul. Certes, construire une plateforme et un moteur "from scratch" aide beaucoup ici. Il n’empêche : les éditeurs juridiques traditionnels feraient bien d’en prendre de la graine
  • ensuite, utiliser le machine learning pour personnaliser la recherche et les alertes e-mail. Le NLP à la "sauce" ML est peu utilisé pour la améliorer la recherche. En fait, il l’est pour classer automatiquement les décisions de justice par domaine du droit — le résultat est pertinent —, ce qui aide à affiner les résultats de la recherche.

Pour l’instant, le moteur de Doctrine.fr fonctionne donc essentiellement comme un "full text" [106] à réponse quasi-instantanée.

Supra Legem, l’IA gratuite de droit public

Seule application de "justice prédictive" (en fait, on vient de le voir, de recherche fine et d’aide à la décision) à proposer une démo grandeur nature, qui plus est gratuite, Supra Legem (le site a été mis hors ligne), développée par l’avocat fiscaliste, programmeur et data scientist Michael Benesty, aidait à améliorer la pertinence et la rapidité des recherches, identifier un revirement de jurisprudence, identifier les moyens de l’administration qui n’ont pas fonctionné, identifier des tendances de certaines chambres, voire prédire des revirements de jurisprudence du Conseil d’Etat [107]. A lire absolument pour plus de précisions sur le projet Supra Legem et de manière générale sur les applications de justice prédictive, le compte-rendu que M. Benesty en a fait au Journal of Open Access to Law (JOAL) début 2017 [108] .

Pour autant, les déductions qu’on pouvait tirer des analyses des statistiques présentees par Supra Legem doivent être prises avec des pincettes, comme l’a montré un vif débat lors du lancement de l’application et des premiers articles écrits sur elle. Attention : Supra Legem n’est plus mis à jour. Profitez de cette démo avant qu’elle ferme.

À noter qu’un de mes contacts estime que le machine learning en droit a beaucoup d’avenir si le deep learning non supervisé y perce. Et ce, même sur des marchés juridiques en régression comme le marché français. Imaginons par exemple que les algorithmes de deep learning arrivent à détecter des similitudes ("patterns") indépendantes de la langue et entre les documents juridiques allemands (un marché en meilleure santé) et français : les recherches entreprises sur le droit allemand — un marché bien plus rentable que le droit français — seraient alors transposables et réutilisables en droit français.

On remarque que les éditeurs juridiques français traditionnels (groupe ELS avec Francis Lefebvre, Dalloz et Editions Législatives, Lexbase, LexisNexis SA, Wolters Kluwer France, Lextenso) ne proposent pas de produit incorporant du machine learning. Pour certains, je dirais : pas encore, mais je serais surpris que cela tarde [109] D’autant que ce sont les éditeurs qui possèdent le commentaire de la jurisprudence (dit aussi doctrine). Or en droit français, la donnée qui relie entre elles et permet de comprendre les décisions de justice, c’est la doctrine. Alors qu’en pays de "common law", le "case law" (jurisprudence) contient ses propres liens et son propre commentaire. En effet, le principe du "stare decisis" impose au juge anglo-saxon de citer les précédents pertinents et les juges des cours donnent leur "opinion" — autrement dit, ils commentent leur propre décision, chose impensable en France [110].

Pourquoi une montée des "IA" en droit ?

Une des raisons de la probable montée de ces systèmes : les économies réalisées. C’est, avec la rapidité, LE motif mis en avant par le managing partner d’une "small law firm" spécialisée en droit américain des faillites, le premier domaine de ROSS.

A noter, hors cabinets d’avocats, que la Justice a justement un problème budgétaire criant, reconnu par Jean-Jacques Urvoas, le ministre de la Justice lui-même ... [111] Une tribune iconoclaste aux Echos, rédigée par des non juristes (évidemment ...), propose d’ailleurs de confier la justice française à l’intelligence artificielle [112]. Et confirmation le 5 avril : la proposition n° 48 du rapport de la mission d’information sénatoriale sur le redressement de la justice présidée par Philippe Bas (voir pp. 20, 21 et 36 du dossier de presse) consiste à « mettre les outils de la "justice prédictive" au service du bon fonctionnement de la justice et de la qualité des décisions de justice et prévenir leurs dérives possibles » [113].

Impact prévisible des "IA" sur les jeunes collaborateurs, stagiaires, paralegal et documentalistes juridiques ?

IA et documentalistes

Ces outils auront aussi un impact sur la recherche — et donc la veille — documentaire juridique : les tâches répétitives et "découpables" en petits morceaux seront robotisées, les autres ne le seront pas. Par exemple, ROSS réalise la recherche booléenne et la première analyse des résultats. Selon les termes d’Andrew Arruda [114] (traduction par nos soins) :

« La technologie AI de ROSS remplace le besoin d’utiliser les opérateurs et mots-clés de la recherche booléenne par du langage ordinaire. Si un juriste d’affaires a besoin de connaître la différence entre les deux concepts juridiques "loss" et "recoupment", tout ce dont le juriste a besoin est de demander à ROSS : "Quelle est la différence entre "loss" et "recoupment" ?
Le résultat fourni par le système va au-delà de la simple identification des arrêts pertinents. Au lieu de cela, il attire l’attention du juriste sur les passages clés dans l’affaire qui devrait répondre idéalement à la question posée.
Quand vous posez une question à ROSS sur l’état du droit, vous la posez comme vous le feriez avec un collègue humain. ROSS découpe la phrase pour déterminer le sens de la question, puis conduit la recherche. »

Autrement dit, ROSS reste un moteur de recherche (nettement) amélioré. Ce n’est pas une véritable IA. Il ne menace guère que la fonction recherche — et encore : lisez ce qui suit.

Autrement dit encore, si on se projette dans environ sept ans [115], plus le travail du documentaliste juridique français procédera, comme le dit Jean Gasnault (La Loi des Ours), « d’heuristiques pointues pratiquant pour partie un mode intuitif (opérer par rapprochements semi conscients) », et j’ajouterais : plus il aura une conscience d’artisan et d’expert de haut vol (notamment dans la maîtrise des sources méconnues ou mal indexées [116]), moins au final il aura de chances d’être automatisé.

Mais aussi : plus il travaillera *avec* l’IA. Le documentaliste, le veilleur, le paralegal, le stagiaire juriste, le collaborateur, l’éditeur vérifieront, compléteront et amélioreront le travail de l’IA. Selon Christophe Tricot de Kynapse, « le collaborateur qui participe à la création d’une IA va devoir expliciter les règles, ses tâches au quotidien et comment il les aborde, parce que souvent les choses sont cachées ». Se former à l’IA, c’est donc savoir aussi parler de son fonctionnement quotidien, même lorsqu’on n’y prête pas attention et, encore mieux, le formaliser avec des règles. Par exemple : « S’il n’y a plus de papier dans la photocopieuse, alors il faut en remettre dans le tiroir. » Les règles en « si... alors... » (implication logique) sont facilement formalisables en langage informatique [117].

Comme l’écrit de manière futuriste, provocatrice mais pertinente Tyler Cowen, professeur d’économie à la George Mason University et blogueur connu sur Marginal revolution, dans son ouvrage Average is Over (Dutton, 2013, non traduit en français) :

« Les travailleurs se classeront de plus en plus en deux catégories. Les questions clés seront : Savez-vous bien travailler avec des machines intelligentes ou pas ? Vos compétences sont-elles un complément aux compétences de l’ordinateur, ou l’ordinateur fonctionne-t-il mieux sans vous ? Pire : est-ce que vous vous battez contre l’ordinateur ? » (traduction par nos soins)

D’ores et déjà, si l’on en croit les consultants spécialisés dans l’externalisation des services tertiaires, les applications de type RPA (Robotics Process Automation ou automation software) "carburant" au machine learning [118] sont en train de frapper à la porte des bureaux des Indiens, Philippins et autres pays d’externalisation [119].

Dans le secteur de la bibliothèque documentation juridique, en réalité, l’automatisation n’a pas attendu l’IA, le machine learning ni les réseaux neuronaux. Elle a commencé il y a plus de vingt ans, avec le téléchargement des notices de catalogue OCLC et Gallica puis les produits de veille directement destinés aux juristes, comme Dalloz Actualité, PaRR ou Mlex.

Voyons pour le futur.

Côté gestion de bibliothèque, on peut penser au bulletinage des revues électroniques ou au catalogage et à l’indexation et classement matière des ebooks. Encore que cela suppose que les éditeurs juridiques laissent des logiciels étrangers rentrer sur leurs serveurs et dans leurs systèmes — on touche là aux multiples problèmes pratiques et très ras-de-terre que pose l’IA. Les imprimés, c’est nettement moins évident vu leur nature physique.

Côté documentation juridique et open legal data, voici un exemple donné par Jean Gasnault :

« La préparation [des] données est essentielle pour un bon fonctionnement des algorithmes les traitant. Les documentalistes ont une carte à jouer dans cette évolution, en raison de leur compétence spécifique d’enrichissement des données. Cela donne un axe bien identifiable de progression de leurs connaissances : métadonnées, FRBR, normes ELI-ECLI, etc. »

Cela dit, fournir un savoir-faire sans contrepartie [120] n’aurait guère de sens. Il serait prudent de poser des questions sur les utilisations futures des outils de gestion des mails et des tâches et autres "bases de knowledge" et en l’absence de précisions, de savoir garder pour soi ses trucs et techniques de haut-vol.

D’ailleurs, il vaut mieux, pour le professionnel de l’information et le juriste, comme pour leur employeur, garder la connaissance des processus métiers de base mêmes, quand bien même certains — et c’est là toute la contradiction — ne seraient pratiquement plus utilisés. En effet, comme l’explique Sylvain Duranton du Boston Consulting Group (BCG) [121] :

« "Un risque énorme est la perte du savoir-faire métier. Car c’est le savoir-faire qui permet de perfectionner les outils." Un opérateur peut se contenter de suivre les instructions d’une IA sans lui-même savoir comment la perfectionner. C’est à ce moment que son emploi est menacé, pas tellement par l’IA [NB : impossible de ne pas relever ici une certaine hypocrisie, mêlée de réalisme], mais par la baisse du niveau de compétence requis : plus besoin d’être qualifié pour faire son job. »

Puisqu’une partie — à déterminer, car les obstacles sont légion et le plus souvent incontournables — de leur travail est à terme automatisable et sera automatisée, une partie croissante du travail des bibliothécaires documentalistes juridiques va consister à détecter, tester, sélectionner et pousser les nouveaux produits des éditeurs et legal tech et les nouvelles techniques de bibliothèque, documentation, recherche documentaire, veille, gestion électronique de documents, gestion des archives et knowledge management. Des qualités de curieux, de découvreur, de testeur, d’évangélisateur et de créatif devraient devenir beaucoup plus importantes chez les documentalistes juridiques — et peut-être aussi chez les paralegals.

Pour la formation et les recherches — ainsi que les conseils et l’aide à la recherche —, je ne vois pas de substitution prochaine, vu que les questions qui sont posées aux documentalistes juridiques sont presque toujours difficiles et très spécifiques. La réalité, c’est que les bibliothécaires documentalistes juridiques interviennent à la demande du juriste, quand il ne s’en sort pas. Ils sont de facto des "super searchers", comme l’ex-"librarian" américaine Reva Basch a qualifié la profession. Certes, les nouveaux moteurs développés par les startups tendent à constituer une base de données des "intentions", domaines de travail et préférences personnelles des utilisateurs avant de traiter leurs requêtes. Mais ces algorithmes ont de nombreux défauts et biais [122] et s’ils fonctionnent (à peu près) correctement, là encore, le documentaliste devra débugguer et former, les mains dans le cambouis.

Il y a encore bien d’autres choses qu’un documentaliste juridique apporte *en plus* d’un robot. Sur ce sujet, voir notre billet Documentaliste : un nouveau métier, de nouveaux noms. Pour ne pas rallonger le présent billet, je me contenterai de (re)citer une bibliothécaire documentaliste juridique américaine [123] :

« L’IA est itérative et continuera à s’améliorer, mais elle ne sait pas grand chose du facteur qu’est le contexte de la question posée ni comment le gérer. Pour que l’IA soit utile dans des recherches complexes (et non juste des recherches sur références bibliographiques) dans la plupart des structures juridiques, j’estime qu’elle aura besoin d’apports significatifs en savoir interne. Il est déjà difficile de faire correctement (voire de faire tout court) du KM. Comment alors allons nous documenter le savoir historique de la structure de manière à ce qu’un robot puisse correctement l’interpréter et l’appliquer ? Ce qui est saisi ne constitue pas réellement la totalité de la requête que l’on entre dans une machine : il y a bien plus de choses à préciser pour que la machine puisse fournir une réponse. »

Il faut aussi lire ce billet de Christophe Doré, consultant, professionnel de haut niveau de la veille, domaine ou excellent les documentalistes : La Veille : 70% d’humain et 30% d’informatique. J’ai appris en lisant cet article un nouveau concept aux termes assez éclairants : la pensée latérale. Les systèmes de veille automatique, les chatbots et les agrégateurs de sources numériques ne sont pas si performants en eux-mêmes. Ils ont besoin d’humains pour déterminer les sources à surveiller et affiner les requêtes booléennes. De plus, on a encore besoin d’un humain pour identifier et suivre les signaux faibles, pour sortir des sentiers battus, pour laisser agir la sérendipité et regarder là où la machine n’ira pas parce que ce n’est pas dans son algorithme.

IA et avocats

La journaliste britannique Joanna Goodman, dans son ouvrage précité Robots in Law : How Artificial Intelligence is Transforming Legal Services écrit que l’IA pour les juristes n’est pas une option. Selon elle, les juristes qui accepteront la réalité de l’IA et l’incorporeront dans leur pratique professionnelle sont ceux qui réussiront le mieux dans les années à venir, car l’IA modifie le partage de la valeur entre les acteurs de la "chaîne" juridique. Lire à ce propos le compte-rendu du livre par Robert Ambrogi [124].

Une autre façon, française cette fois et plus diplomate, de formuler cela : en partenariat avec Predictice, le bâtonnier de l’Ordre des avocats au barreau de Lille a dû convaincre ses collègues [125] :

« Il faut tuer tout de suite le fantasme, ça ne remplacera pas les avocats dont les analyses ne peuvent être automatisées »

Selon lui, il s’agit plutôt d’un outil stratégique :

« Le défenseur peut, entre autres, voir quelle juridiction sera la plus encline à rendre une décision favorable à son client. »

Un des meilleurs "papers" sur ce sujet, sur un plan technique — et non économique — est celui publié à la Savannah Law Review [126] par l’"investigateur" américain Philip Segal (Charles Griffin Intelligence), spécialiste des recherches de personnes, d’informations et de faits dont le contentieux américain est friand. P. Segal parle d’améliorations sur des outils que nous utilisons déjà, comme YouTube par exemple, qui devrait bientôt pouvoir se voir appliquer des moteurs de recherche vidéo très puissants. Il reconnaît que l’IA apportera d’importants changements dans la pratique des juristes américains. Mais il est loin de craindre ces nouveaux outils pour son métier. Il signale précisément leurs avantages comme leurs limites. Ainsi, il recommande :

  • de comparer et évaluer les IA comme toute autre base de données en ligne *avant* de les acheter
  • d’accumuler une expérience concrète des "trucs" à savoir pour les interroger sans se "faire avoir" par leurs biais.

IA et jeunes collaborateurs/paralegals

Pour les postes de paralegals orientés recherches et veille (par exemple, les spécialistes de la recherche, de la veille et de l’enregistrement des brevets) et pour les jeunes collaborateurs (qui font aux Etats-Unis énormément de recherches, ce qui correspond en France aux stagiaires, mais en font aussi beaucoup en France durant leur première année), une étude d’Altman Weill datant de 2015 est pessimiste [127]. La brève précitée de la Lettre de l’Expansion est encore plus explicite :

« Watson [...] est réputé pour son rôle dans la destruction d’emplois. »

Pour les autres paralegals, le risque à court terme, surtout en France, est faible mais à long terme, leurs tâches découpables seront probablement automatisées.

Un monde sans travail ?

Plus généralement, de nombreux entrepreneurs millionnaires comme Bill Gates ou Elon Musk (voitures électriques Tesla) et des scientifiques comme l’astrophysicien Stephen Hawking ou le docteur Laurent Alexandre (fondateur de Doctissimo) estiment que l’IA va créer du chômage et que les conséquences sociales de cette nouvelle révolution sont encore largement sous-estimées. Elon Musk estimait par exemple le 15 février 2017 que les conducteurs professionnels (soit 15% de la population active mondiale) pourraient se retrouver sans emploi dans les 20 prochaines années, et qu’il y aura de moins en moins de métiers qu’un robot ne pourra pas faire [128]. Le cabinet américain Forrester anticipe, pour le marché de l’emploi des Etats-Unis, une disparition nette de 7% des jobs d’ici 2025 imputable à l’automatisation [129].

Côté France, la journaliste indépendante Tiffany Blandin préconise en conclusion de son enquête Un monde sans travail ? [130], de « regarder l’automatisation dans les yeux ». Elle explique que « personne ne peut dire précisément combien d’emplois vont disparaître à cause de l’intelligence artificielle » et que « c’est pour cela que les dirigeants de la Silicon Valley se sont pris de passion pour le revenu universel ». Et le Canard Enchaîné d’ironiser sur les 10% de postes en danger d’être détruits selon le rapport précité du 10 janvier 2017 du Conseil d’orientation pour l’emploi (COE) [131], en notant que cela représente quand même 3 millions de chômeurs en plus [132].

On ne parlera pas ici de l’ubérisation, que redoutent aussi bien le magazine Capital qu’un un enseignant de l’Université Paris Dauphine [133].

Les spécialistes en intelligence artificielle, eux, vont même plus loin : un sondage (pre-print) mené fin 2016 auprès de 352 chercheurs en IA également auteurs d’articles et présents lors de deux conférences sur le sujet [134] a donné le résultat suivant : selon eux, en se plaçant donc en 2016, il y a une chance sur deux que l’IA soit meilleure que les humains à à peu près tout type de tâche individuelle ("High level machine intelligence - AI human tasks") dans 45 ans. et une chance sur deux que tous les emplois humains soient automatisés ("AI human jobs"), y compris la recherche en IA, dans 122 ans (voir les graphiques en fin d’article). Fin 2017, ce sondage est encore fréquemment cité.

Re-la-ti-vi-ser. Ou les (grosses) limites de l’IA juridique

Mais le magazine Business Insider, en rendant compte [135] de ce sondage, appelle à la prudence. Il commence par rappeller que de nombreuses prédictions d’experts dans le passé se sont avérées fausses. Surtout, Business Insider explique que :

« Quarante ans est un chiffre important lorsque les humains font des prédictions parce que c’est la durée de la vie active de la plupart des gens. Donc, si un changement est censé se réaliser après, cela signifie qu’il se produira au-delà de la durée de vie active de tous ceux qui travaillent aujourd’hui. En d’autres termes, il ne peut se produire avec une technologie dont les experts d’aujourd’hui ont une expérience pratique. Cela suggère qu’il s’agit d’un chiffre à traiter avec prudence. »

Quant à l’IA connectée au cerveau, ce n’est vraiment pas pour tout de suite. Des recherches existent, comme le projet Kiwi de la société Nitoo de Newton Howard [136]. Nitoo a mis au point un prototype d’implant neuronal de la taille d’un grain de riz et pesant moins de 2 grammes, qui pourrait être implanté dans la cloison nasale. Cet implant permet de capter des informations envoyées par les neurones et de leur répondre.

Mais pour Ricardo Chavarriaga Lozano, spécialiste de l’interface cerveau-machine à l’Ecole Polytechnique Fédérale de Lausanne, « il faut prendre des pincettes : beaucoup de recherches doivent encore être effectuées avant de pouvoir modifier le vivant » [137]. le chirurgien français Laurent Alexandre, fondateur du site Doctissimo, et partisan de l’être humain augmenté (ou transhumanisme), commentant les prédictions du singulariste (et par ailleurs employé de Google) Ray Kurzweil, estime qu’ « un cerveau connecté, on en est encore loin. Croire qu’on y arrivera d’ici 15/20 ans, il me semble que c’est faire preuve de naïveté neuro-technologique. Pour l’instant, les seules choses que nous arrivons à faire, c’est recréer des faux souvenirs chez des rats par exemple, en les "connectant". Mais on leur bousille le cerveau, on est très loin d’être au point sur ce sujet-là » [138].

Surtout, comme l’explique Olivier Ezratty (ancien de Microsoft), les livres et articles sur l’impact de l’IA sur l’emploi font l’impasse sur plusieurs points clés [139] :

  • « au démarrage des précédentes révolutions industrielles, les métiers disparus comme les nouveaux métiers ont rarement été bien anticipés »
  • un phénomène induit par le numérique et qui n’a rien à voir avec l’intelligence artificielle : « le transfert du travail non pas seulement vers les machines mais aussi vers les clients » (exemples des formulaires et modèles de contrats en ligne que nous remplissons nous-mêmes et des guichets automatiques bancaires)
  • ils se focalisent sur la situation aux Etats-Unis, ignorant la plupart du temps totalement le reste du monde
  • ils ont « bien du mal à faire le tri dans les évolutions de l’emploi entre ce qui provient de l’automatisation, de la globalisation et de la concurrence asiatique dans l’industrie manufacturière et même indienne, dans les emplois concernant les services informatiques. L’emploi a surtout migré géographiquement. Les emplois perdus dans l’industrie aux USA et en Europe se sont retrouvés en Asie » [et en Europe de l’Est].

Autre publication relativisant les choses : selon le rapport précité du COE [140], moins de 10% des emplois sont "très exposés" aux mutations technologiques et présentent donc le risque d’être supprimés — mais près de la moitié des emplois devront toutefois évoluer [141]. Les emplois juridiques évoqués supra ne sont pas dans la liste des 10% du COE. Et Anne-France de Saint-Laurent Kogan, spécialiste des transformations du travail liées au numérique, tempère elle aussi les choses [142].

Dans une autre étude (américano-britannique), The Future of Skills’ Employment in 2030, le panel des personnes interrogées estime que tant les juristes que les bibliothécaires documentalistes feront partie des métiers pour lesquels la demande va augmenter à l’échéance 2030. Cette enquête a été produite par l’éditeur scolaire et universitaire Pearson, NESTA, une fondation pour l’innovation globale et l’Oxford Martin School. Surprise : les bibliothécaires documentalistes sont carrément listés dans le segment "haute croissance". Toutefois, les compétences demandées aux bibliothécaires documentalistes vont probablement évoluer dans les années à venir [143]

Menée par les professeurs américains Dana Remus (Faculté de droit de Université de Caroline du Nord) et Frank Levy (économiste, Massachusetts Institute of Technology, le fameux MIT), une étude publiée en novembre 2016 suggère que l’IA a « un effet modéré » sur des métiers tels que la recherche documentaire juridique et la rédaction de contrats [144]. L’étude indique que les tâches précitées représentent environ 40% de la facturation globale des avocats.

Cela dit, selon cette étude — un gros article scientifique de 77 pages publié sur le Legal SSRN —, l’impact estimé de l’IA sur des domaines tels que le "fact-checking" (vérification des faits, typique du droit anglo-saxon), le conseil aux clients, la gestion électronique de documents (GED), la rédaction de conclusions et les audiences — le tout représentant près de 55% des heures facturées — est « faible ».

Mais l’intelligence artificielle a un rôle plus important à jouer dans d’autres domaines. Selon l’étude, l’impact estimé de l’IA sur l’examen de documents ("document review", là aussi une procédure inconnue en droit français) — qui consiste essentiellement à passer en revue de grandes masses de documents pour y chercher les détails pertinents dans le cadre d’un contentieux — est « fort ». Heureusement pour les avocats anglo-saxons, l’étude ajoute que cela représente seulement 4% des heures facturées [145].

Le professeur Joël Monéger, spécialiste des baux, dans une tribune à la revue Loyers et Copropriété [146], formule ainsi les possibilités et les limites de la justice prédictive à la française :

« Prévoir le droit positif tient [...] de la gageure. [...] Certes, la prédictibilité de la solution paraît possible lorsque la plus haute juridiction a tranché le point de droit avec fermeté et de manière répétée. De même, semble-t-il, lorsqu’elle donne des signes annonciateurs d’un revirement possible de la jurisprudence. Mais, au-delà, la jurisprudence, même émanant de nos plus hautes juridictions, est bien souvent délicate à prévoir, notamment face à des textes récents, mal rédigés, ou à des textes en décalage grave avec les réalités sociales ou économiques. Cela tient à l’art de la rédaction des arrêts qui suppose un lecteur formé au décryptage de formules insuffisamment enseignées. De plus, la Cour de cassation ne peut pratiquer l’ultra petita et ne répond qu’aux moyens du pourvoi. »

Pour l’illustrer, il donne l’exemple de deux jurisprudences récentes de la Cour de cassation.

En fait, il faut garder à l’esprit que toute la com’ — car c’en est — sur les performances de l’IA viennent du besoin des startups et des éditeurs de logiciels de vendre leurs produits. Dès qu’on lit la littérature scientifique, comme vous avez pu le constater supra, les choses sont grandement relativisées. Pour reprendre les mots très directs mais très justes de l’avocate Michèle Bauer [147] :

« Les legaltech ne publient pas leurs chiffres et ne font que des effets d’annonce en prétendant avoir levé des millions d’euros, il est donc impossible de connaître leur véritable pouvoir économique. [...]
Méfiez vous des fakes, des effets d’annonce et des informations diffusées sur le net, les legaltech en sont les artisans, les initiateurs. Le mensonge et l’embellissement de la réalité est une pratique courante sur la toile. »

IA juridique et science-fiction ou les risques de la justice prédictive

Et si on en arrivait un jour là où Google semble être arrivé du fait de l’intégration de machine learning dans ses algorithmes (ses ingénieurs ne savent plus totalement en détail comment leur moteur fonctionne : en tout cas, c’est ce que dit un scientifique chez un rival, Qwant [148]) ? Car c’est un fait : l’IA à base de ML est impénétrable [149]. En arriverait-on à ce que ROSS n’est pas — en tout cas pas encore —, c’est-à-dire une véritable intelligence artificielle ?

Les risques :

  • on ne saurait ni qui exactement nous juge ni pourquoi on nous condamne
  • et "power to the machine". On ferait plus confiance à l’algorithme qu’à l’humain, dans une époque méfiante vis-à-vis de la Justice. On ne tenterait plus sa chance en justice si elle est faible. La situation et ce risques sont assez bien décrits dans une brève intervention d’Antoine Garapon sur France Inter et surtout dans son interview au Point par Laurence Neuer dans la remarquable série Mon petit droit m’a dit [150].

La science-fiction a déjà envisagé ces risques (nous ne parlerons pas ici des lois de la robotique d’Asimov, non pertinentes ici et de toute façon déjà dépassées [151].) :

  • le tome 3 de la bande dessinée SOS Bonheur, un classique du genre publié en 1989 [152] parle de justice automatisée : chaque avocat soumet ses conclusions dans une machine et la machine rend son verdict, le juge n’est là que pour contrôler le bon fonctionnement de cette dernière. Ainsi la justice est aveugle et équitable puisqu’elle est censée rendre le même verdict pour tous ceux qui sont dans la même situation sur tout le territoire. Jusqu’au jour où la machine condamne un homme qui a commis un délit mineur à la peine de mort alors que cette dernière a été abolie il y a déjà de nombreuses années. Peut-on désobéir à la machine au risque de remettre en cause tous les autres jugements déjà rendus ?
  • nous avons (presque) tous vu le film Minority report de Steven Spielberg avec Tom Cruise (d’après la nouvelle éponyme de Philip K. Dick). Même si ce sont des êtres humains spéciaux (des"precogs") qui y tiennent le rôle des logiciels et des données et statistiques, le sens en est clair :
    • les programmes sont écrits par des êtres humains, dans l’intérêt de certains
    • et comme tels seront toujours biaisés. Particulièrement si l’information qui y est entrée est biaisée. Le machine learning a tendance à reprendre et aggraver les biais humains parce que c’est une technologie ultra dépendante des données qu’on lui fournit. Illustrations récentes aux USA avec les programmes prédictifs de la police [153]. Antoine Garapon évoque lui aussi ce risque. Pour une vue plus large et un point sur les principaux programmes en cours.
JPEG - 29.6 ko
L’ouvrage Minority report de Philip K. Dick avec pour couverture l’affiche du film

Si le machine learning finit, ce qui est probable selon nous (cf supra), par être utilisé par le juge, il est à espérer que les conclusions d’Antoine Garapon et Marc Clément (dans les articles de revues juridiques cités au début de ce billet) s’imposeront :

Eviter le risque de « l’effet "moutonnier" de la justice prédictive qui pousse au conformisme et réclame plus aux juges qui estiment qu’ils doivent aller à contre-courant, c’est-à-dire faire leur métier tout simplement ! »

« Il sera donc capital que les modes de raisonnement inscrits dans les algorithmes soient parfaitement explicites et maîtrisés par le juge. Il conviendra, de plus, que des méthodes alternatives soient proposées et que l’on ne se retrouve pas en situation de monopole avec une seule technologie utilisable. »

Concernant la justice prédictive, Rubin Sfadj, dans son entretien avec la revue Expertises, souligne que lorsque les outils de justice prédictive seront utilisés par la puissance publique, cet usage devrait reposer sur trois grands principes éthiques — qui, à bien les lire, ne sont pas si exigeants que ça :

  • le principe de responsabilité conduisant à désigner pour chaque algorithme utilisé une personne référente, à l’instar du directeur de publication en droit de la presse
  • le principe de clarté, c’est-à-dire la mention explicite dans une décision de justice élaborée avec l’aide d’un algorithme de ce procédé et la motivation sur laquelle repose le recours à ce type d’outil
  • le principe de précision permettant de corriger une source d’erreur à tout stade du traitement algorithmique.

Quant aux juges, leur réplique à la justice prédictive est déjà prête : "Convainquez-nous avec des arguments juridiques, peu nous chaut vos statistiques". Le Conseil d’Etat, par la voix de Christian Vigouroux, lors du colloque sur l’open data de la jurisprudence organisé en octobre 2016 par la Cour de cassation, a déjà prévenu que la juridiction administrative suprême ferait en sorte que le juge administratif ne puisse pas se voir opposer sa propre jurisprudence [154]. Côté justice judiciaire, selon Xavier Ronsin, Premier président de la cour d’appel de Rennes [155] :

« L’hypothèse selon laquelle des plaideurs assistés d’avocats, renonceraient à aller jusqu’au bout d’un contentieux judiciaire classique, parce qu’ils auraient lu les résultats d’un logiciel dit de "prédictibilité de la justice" et qu’ils décideraient alors de transiger, est contestée par beaucoup et mérite à tout le moins d’être vérifiée. Lorsque l’on constate la difficulté de faire aboutir les "modes alternatifs de règlement des litiges (MARD)", il y a de quoi être sceptique, mais pourquoi ne pas l’espérer ?
Au-delà d’un refus de principe sur la possibilité d’enfermer la future décision d’un juge dans le raisonnement d’un algorithme basé sur des "précédents jurisprudentiels", je pense malgré tout que les magistrats doivent se préparer à comprendre ce processus, et à recevoir des dossiers d’avocats comportant des analyses savantes ainsi que des contenus statistiques de milliers de décisions au soutien d’une thèse et de prétentions de leurs clients. De tels dossiers n’empêcheront de toute façon pas la liberté du juge de faire du "sur-mesure" pour chaque dossier, mais ils pourront peut-être éclairer son raisonnement. »


Dans un entretien avec Acteurs publics.com, Xavier Ronsin ajoute [156] :

« C’est une opération complexe que la motivation intellectuelle d’un juge, une opération subtile qui s’articule à un raisonnement et non à une simple corrélation d’items factuels. »

Du côté des avocats, Pascal Eydoux, président du Conseil national des barreaux (CNB) estime qu’ « il n’est pas question que la profession d’avocats envisage de s’opposer à cette évolution car elle est inéluctable et attendue ». Sanjay Navy, avocat à Lille où il a testé Predictice, pense que « ça peut permettre de dire à l’adversaire : "regardez les condamnations en moyenne, négociez sinon vous risquez d’être condamné à tant, ce n’est pas moi qui le prétends, mais la jurisprudence !" ».

Autrement dit, la justice prédictive aurait pour avantage de faciliter le calcul des chances de gagner ou perdre un contentieux, limitant ainsi la prise de risque et facilitant grandement le travail des assureurs. Pour les assureurs, qui ont déjà développé des bases de données de jurisprudence et de dommages-intérêts comme AGIRA, l’avantage de la justice prédictive est de faciliter la connaissance de la "vraie" (à leurs yeux) jurisprudence, celle des statistiques.

À condition, évidemment, qu’aucune des parties ne fasse appel, que la juridiction suprême ne change pas de jurisprudence "juridique" ou que les textes applicables ne soient pas modifiés. Par ailleurs, comme le rappelle Bruno Mathis, consultant, la justice prédictive est « inutile pour estimer des dommages-intérêts obéissant à un barème [...] et Où la justice prédictive sera-t-elle la plus utile ? Dans la masse des décisions qui ne sont ni trop spécifiques ni trop communes. » [157]

On peut aussi craindre une anonymisation insuffisamment forte, c’est-à-dire n’empêchant pas, d’ici les huit ans nécessaires pour que les jugements de première instance accèdent à l’open data [158], la réidentification du fait d’un apprentissage statistique automatique ayant beaucoup progressé et s’appuyant les données indirectement nominatives. Ce risque est réel : le rapport Cadiet sur l’open data des décisions de justice, qui est en réalité d’abord l’œuvre de la haute magistrature [159], préconise une pseudonymisation renforcée, et non une véritable lutte contre la réidentification [160]. Or cette pseudonymisation renforcée ne semble être rien d’autre que la formalisation des pratiques actuelles des juridictions suprêmes, désormais en charge de l’anonymisation (pardon, pseudonymisation), qui font face au coût que cela représente.

Le professeur Anne Debet, ancien commissaire de la CNIL, et un des meilleurs spécialistes français du droit des données personnelles, interrogée par la mission Cadiet, explique pourtant que :

  • au regard de la jurisprudence de la Cour européenne des droits de l’homme, « on peut imaginer une condamnation de la CEDH sur le fondement d’une possible réidentification des personnes dans une décision contenant des données sensibles non correctement anonymisées »
  • au regard des exigences du RGPD, la simple pseudonymisation (le terme même employé par le rapport) est insuffisante : « L’anomymisation doit être conforme aux exigences posées par la loi informatique et libertés et par le RGPD. [...] Il ne doit pas s’agir d’une simple pseudonymisation, [...] Cette amélioration a néanmoins un coût et un budget conséquent doit y être consacré. » On ne saurait être plus clair.

Les avocats craignent aussi une certaine déshumanisation ou une justice au rabais, voire un possible risque de "fainéantisation". Comme le formule Me Navy lui-même : « On vient me voir avec un problème, je tape sur le logiciel, j’ai 90% de chances de le perdre, donc je ne prends pas le dossier alors qu’en s’y penchant bien, je pourrais soulever un point particulier et gagner. » [161]

Certains vont plus loin, en proposant voire exigeant que le code des applications sur lesquelles se fonde une décision de justice soit disponible en open source. Pour reprendre les mots de Michael Benesty : « la confiance que l’on placerait dans des outils de justice prédictive implique, au cours du processus, que le calculs et les caractéristiques du modèle de prédiction soient visibles et compréhensibles par le juriste, avocat ou magistrat, qui les emploie. Cela se traduit par une obligation de transparence sur les algorithmes, que garantit la libération en open source de la solution autant que par une vigilance et une expertise juridique sur les données mobilisées. » [162] Le code source de Supra Legem, l’application de M. Benesty, est déjà en open source [163].

Le magistrat Antoine Garapon, dans son entretien précité aux Petites Affiches, penche, de manière moins radicale, pour la création d’un service public chargé de contrôler le code source, sous condition de secret professionnel [164].

Jacques Lévy-Véhel (Case Law Analytics) [165] est lui aussi favorable à un contrôle du code source par un tiers de confiance, mais il insiste surtout sur la vérification des résultats des logiciels par les juges.

Un article de la série Futurography sur Slate.com, propose une autre troisième voie entre secret et open source. Un amendement à loi fédérale américaine FOIA (Freedom Of Information Act [166]) donnerait le droit au public de soumettre des jeux de données tests à l’administration. Celle-ci devrait les passer à travers ses programmes et publier les résultats. Experts et journalistes pourraient alors calculer le taux d’erreur de ces algorithmes [167].

Enfin, selon un article d’Internet Actu [168], l’évolution des technologies d’IA pourrait permettre de sortir de l’opacité du fonctionnement de deep learning pour les humains. Algorithmes génétiques et IA symbolique, par exemple, peuvent être compris et débuggués. Il serait aussi possible de demander au programme d’expliquer ce qu’il fait.

En France, notre droit permet en tout cas de demander communication du code source des logiciels créés et utilisés par l’Administration, au titre de la communication des documents administratifs. La Commission d’accès au documents administratifs (CADA) [169] puis le tribunal administratif (TA) de Paris [170] l’ont confirmé à propos du logiciel simulant le calcul de l’impôt sur les revenus des personnes physiques. La DGFiP s’est résolu à s’y conformer l’an dernier, juste avant que le TA ne rende sa décision. La CADA a enfoncé le clou en 2016 en autorisant la communication à une association de lycéens du code source du logiciel Admission post bac (APB) [171]. Le Ministère de l’Education nationale s’y est conformé partiellement [172].

Ne pas oublier non plus que l’article 11 du règlement (européen) général de protection des données (RGPD), applicable en 2018, interdit toute décision automatisée qui affecterait significativement un citoyen européen — toutefois cela a de fortes chances de rester un principe sans application concrète — et que les articles 12 et 14 créent, pour les autres décisions, un "droit à explication" [173]. Une décision de justice prédictive, par exemple [174].

Enfin, du côté des structures privées (les cabinets d’avocats les premiers), les meilleures n’auront-elles pas intérêt à maintenir une expertise en recherche et veille afin de contrôler la pertinence des réponses (car un mémo fourni par ROSS serait bel et bien au minimum une amorce de réponse) ? Attention aux biais dans les contenus et les statistiques ... Pour le dire en anglais : « Content experts and data scientists needed ! »

ROSS, Predictice, Case Law Analytics, des inconnus

Mais pour éviter de trop conjecturer et en apprendre plus, il serait bien de pouvoir tester ces IA. Et de lire autre chose que des communiqués à peine dissimulés.

En effet, il n’existe aucune démo gratuite en accès libre de ROSS ni de Predictice, le site web du produit ROSS est d’un vide intersidéral (le compte Twitter est beaucoup plus riche !) et les cabinets d’avocats utilisateurs ne lâchent aucun exemple d’utilisation ni de recherche ni aucun autre détail.

C’est là que la libre disponibilité de l’interface et du code source de Supra Legem remplit son office : permettre de tester un outil de "justice prédictive".

Emmanuel Barthe
bibliothécaire documentaliste et veilleur juridique, spécialiste des moteurs de recherche pour le droit et des données juridiques publiques
licence en droit, Faculté de droit de Sceaux


Une "webliographie" sélective et rapide sur ROSS :


Utiliser Google pour des recherches juridiques

Une méthode de recherche fiable sur le Web

Jeudi 24 mai 2018

Lire la suite »

Cet article est à la fois un guide détaillé et un tutoriel (grâce aux nombreux exemples donnés) pour pousser à fond les performances en recherche de Google, plus particulièrement dans le domaine juridique [175]. Mis en ligne en juillet 2013, il est est régulièrement mis à jour depuis.

Si vous êtes pressé, vous pouvez :

Sommaire

1. Comment fonctionne Google

1.1. Contenu et indexation

1.2. Les résultats de Google

2. Comment interroger Google

2.1. L'essentiel

2.2. Choisir ses mots-clés

2.3. Repérez dans les résultats les mots-clés que vous avez oubliés

2.4. Utilisez la recherche avancée pour mieux contrôler votre recherche (opérateurs booléens et filtres)

2.5. Rechercher sur une période

2.6. Ouvrir les résultats dans une nouvelle fenêtre ou un nouvel onglet

2.7. Les moteurs spécialisés de Google

2.8. Toujours rien ?

3. Cinq exemples de recherche futée ou experte dans Google

4. Pour aller plus loin

1. Comment fonctionne Google : quelques principes à retenir

1.1. Contenu et indexation

1.1.1. La plus grande base de données du Web

Google est un moteur de recherche sur le Web. C’est la plus grande base de données de pages web et de fichiers divers stockés sur le Web (PDF, Word, Excel etc.) [177].

En termes de taille de sa base de données, de richesse des fonctionnalités et surtout de pertinence des résultats, il n’a plus de rival global. Même Bing (Microsoft) a abandonné la compétition. En fait, ses principaux rivaux sont des moteurs spécialisés [178] :

  • locaux/nationaux, tel Baidu en Chine
  • spécialisés sur un secteur professionnel/une industrie, comme Amazon sur le commerce électronique
  • ou internes à un réseau social, comme le moteur de Facebook.

1.1.2. Tout n’est pas dans Google et tout n’est pas forcément bien référencé dans Google

Soyons clair : il y a infiniment plus de documents hors de Google que dans Google. N’utiliser que Google, c’est tentant. Mais c’est un piège.

  • Google n’indexe généralement pas les bases de données payantes et totalement fermées. En revanche, il indexe les titres d’articles payants, dès que ceux-ci sont affichés avec leur lien sur des pages gratuites ou bien un site payant si celui-ci a un fil RSS. Il peut même indexer non seulement le titre mais aussi les auteurs et les mots-clés (pas le texte intégral) lorsque l’éditeur laisse ses métadonnées disponibles librement et gratuitement pour le moissonnage OAI (exemple des articles de revues de LexisNexis, voir infra). Google indexe également les pages des sites payants dès lors qu’ils en affichent une partie gratuite (titre, chapeau, début du document ...), comme par exemple celles de Lextenso.
  • Google ne couvre pas tout le Web : ni le Web payant, ni la totalité du contenu de nombreuses bases de données gratuites [179], ni les sites qui lui interdisent l’accès à tout ou partie de leurs pages (le fameux fichier robots.txt) etc. Au total, on estime que Google n’indexe (i.e. ne reproduit le contenu et ne le place dans son index [180]), au mieux, que la moitié environ des pages web librement accessibles. Les pires estimations, sous-entendant certes une définition du Web très large puisqu’incluant le "deep web" et les darknets, donnent seulement 4% du Web comme indexé [181].
    Un exemple important de ces sites-bases de données non totalement indexés par Google sont les bases de données de Legifrance, à l’exception notable (et bien pratique ...) des textes consolidés (LEGI) et du JORF. On peut considérer que le Journal officiel Lois et décrets sur Legifrance est à 95% indexé par Google — et à 99,5% pour les textes publiés récemment. On peut également considérer que la majeure partie de la jurisprudence est également indexée — même si certaines questions fonctionneront mieux directement dans Legifrance (à fin avril 2017, Google indexait 8 800 000 documents de Legifrance, soit quasiment tout). Il faut donc selon les cas interroger Legifrance par les interfaces de recherche de chacune de ses bases de données (en savoir plus). C’est particulièrement vrai pour la jurisprudence.

1.1.3. Google et les variantes d’un mot

Google, si vous n’êtes pas en mode Mot à mot, cherche automatiquement les variantes d’un mot. Il prend sa racine et cherche :

  • son pluriel et si possible, son féminin. Exemples : bail cherchera aussi baux
  • le verbe, les adjectifs qualificatifs et les adverbes qui lui correspondent. Exemples : embauche cherchera embaucher.

C’est ce qu’on appelle une troncature automatique ou "autostem" en anglais.

1.1.4. Google et le traitement du langage naturel version machine learning. Ou la synonymie et la reformulation de la question automatiques

A noter que le machine learning [182] (apprentissage statistique automatique [183]) est utilisé [184] pour toutes les requêtes [185] Google depuis juin 2016. Cet algorithme de Google est appelé RankBrain.

Comme l’explique Olivier Duffez de WebRankInfo, « RankBrain est un système basé sur le machine learning permettant à Google de mieux comprendre les requêtes des internautes. Il peut s’agir de requêtes très longues et précises (très longue traîne) ou de requêtes n’ayant jamais été faites et peu similaires à d’autres plus connues. Grâce aux nouvelles méthodes d’intelligence artificielle dont Google est devenu un des plus grands spécialistes mondiaux, RankBrain parviendrait à mieux comprendre ces requêtes difficiles » [186].

En fait, RankBrain n’est qu’une implémentation de Word2vec, l’algorithme de traitement du langage naturel (natural language processing, NLP) par machine learning non supervisé [187] développé par une équipe de Google Research (il a d’ailleurs été mis par Google en open source en 2013). En prenant en compte le contexte (les mots voisins) de chaque mot dans les documents, RankBrain/Word2vec "apprend" que certains mots, dans un contexte donné, sont similaires [188]. Word2vec transforme ces contextes en vecteurs, donc en chiffres, ce qui permet de les comparer facilement.

C’est Word2vec qui permet par exemple à Google de deviner que si vous avez tapé compétition déloyale, vous vouliez en fait écrire concurrence déloyale ou de faire une synonymie automatique entre ouvrage et livre [189].

Pour autant, le type de requête que décrit O. Duffez (longues, beaucoup de mots peu ou moyennement utilisés [190]) — et qui est le propre des recherches juridiques pointues — ne réussit pas toujours dans Google. C’est probablement autant une limite du Web gratuit [191] que celle de Word2vec.


Word2vec : relations sémantiques dans un espace vectoriel

A noter également que, comme l’explique Sylvain Peyronnet, chief scientist du moteur Qwant (qui utilise largement l’index de Bing) et co-fondateur du laboratoire de recherche privé ix-labs [192], dans une interview au Journal du Net [193], il n’y a depuis longtemps plus un (le PageRank d’origine), ni deux, ni trois algorithmes qui font fonctionner le moteur de recherche de Google mais un grand nombre (peut-être 200 !) d’algorithmes et ils s’influencent les uns les autres tout en étant pondérés par des critères ... et fréquemment modifiés pour améliorer les résultats ou lutter contre les spécialistes du SEO trop habiles [194]. Cela signife que, si le machine learning transforme lentement la façon dont Google opère, le ML est loin d’être le seul composant de la recherche de Google [195].

Dernière innovation (potentielle) en date de Google Search, annoncée fin mai 2018 : comme l’explique Noël Nguessan (Arobase.net) [196], « Google vient de publier un document de recherche [197] qui traite d’une façon de reformuler les requêtes, puis de présenter ces requêtes à un moteur de classement. Les reformulations des requêtes et les dérivés sont déjà utilisés chez Google. C’est une autre forme de cette approche. Ce qui est nouveau, c’est qu’il s’agit d’un algorithme d’apprentissage automatique (machine learning) qui utilise l’approche d’apprentissage par renforcement ("reinforcement learning"). [...] Ce nouvel algorithme utilise un système d’apprentissage qui reformule la requête de l’utilisateur, en posant au moteur de classement de nombreuses questions, puis en choisissant les meilleures réponses parmi les multiples ensembles de réponses. »

Comme le montrent les exemples donnés en fin d’article, cette fonctionnalité ne devrait être utile qu’avec des requêtes plutôt mal formulées et où manque un mot-clé essentiel, oublié ou inconnu de l’utilisateur. Elle illustre toutefois parfaitement ce souci du moteur de recherche de deviner votre intention, de comprendre ce que vous sous-entendez et de corriger ainsi votre question.

Autrement dit, c’est là que le ver peut rentrer dans le fruit. Car si l’algorithme devine mal, ce sera de peu, et vous ne le détecterez pas. En effet, en droit, le langage est d’un telle subtilité, les nuances de sens sont telles que la probabilité que la machine se méprenne à la marge est réelle. En tout cas, tant que les corpus payants des éditeurs juridiques n’auront pas alimenté l’apprentissage automatique du moteur.

1.1.5. Google et les documents très longs

Google peut aussi avoir des difficultés à faire remonter en haut du classement de ses résultats des documents très longs où l’information pertinente est noyée dans la masse. Ainsi, sur les PDF très longs (à partir de 30 à 40 pages environ), il indexera tout le document mais privilégiera très nettement dans son classement les mots-clés placés dans le titre, la balise title ou les premières pages du document. C’est particulièrement net si on ne restreint pas la recherche avec site: ou filetype:pdf Exemple : les références bibliographiques dans les fichiers PDF que constituent les trois parties des Notes de doctrine relatives aux arrêts de la CJUE et du TPI sur Curia. Contre-exemple : les références bibliographiques des revues de LexisNexis sur http://www.lexisnexis.fr/droit-document car chaque référence a sa propre page web.

1.1.6. Google est parfois en retard

Google peut être en retard sur les mises à jour des sites web les moins populaires ou mettre des jours ou des semaines à prendre en compte correctement un nouveau site web (voir infra), notamment parce que personne n’a encore fait un lien vers lui. Mais il indexe en temps réel les mises à jour des sites institutionnels, universitaires, de presse, des blogs populaires et de tout autre site populaire ou fiable [198].

1.1.7. Google Books, Google Scholar, Google et les catalogues de bibliothèques

Parce qu’il dépend du contenu d’Internet, Google ne couvre ni le papier ni la littérature grise — qui ne sont par définition pas en ligne.

Quoique ... Avec Google Books et surtout le partenariat de très grandes bibliothèques [199], Google indexe énormément d’ouvrages en anglais et un nombre certain en français.

Mais du fait de l’opposition des éditeurs français, le contenu en droit français est pour l’instant faible. Cela dit, ce n’est pas le cas en droit belge ni en droit européen ou international.


Google Books. La requête "droit de la propriété intellectuelle" sort des titres du groupe Lextenso, un des rares éditeurs juridiques français à être rentré dans le programme.

Google Scholar, de son côté, indexe les articles scientifiques (donc de nombreux articles juridiques) présents sur le Web sous forme de références bibliographiques ou, plus intéressant, en texte intégral gratuit. Cela dit, Google Scholar contient surtout des articles de droit international public, de droit public interne ou de droits de l’homme. Donc très peu d’articles en droit des affaires ou en droit privé. À ce titre, ses grands rivaux le Legal SSRN (racheté par Elsevier) et le très récent LawArXiv sont souvent plus intéressants.

Dans un style proche, une fonctionnalité de Google intègre les catalogues de bibliothèques dans ses résultats de recherche de livres numériques (ebooks). Pour en bénéficier, il faut activer la localisation [200]. D’après un utilisateur américain, les premiers résultats ne sont pas toujours satisfaisants, mais avec certains fournisseurs d’ebooks comme Overdrive, ça marche très bien [201].

Même sans localisation, le fait d’ajouter "bibliothèque" à une recherche Google ramène un certain nombre de pages web correspondant à des notices bibliographiques (des fiches de catalogue). Sur ce type de recherche, le catalogue de bibliothèque le plus représenté — et de loin — en droit français est celui de la BU Vauban (Lille). Mais — surprise ! — cet ajout fait aussi sortir des titres en PDF de la bibliothèque numérique Gallica de la BNF.

Quant à l’ajout du mot "livre", il permet de chercher sur les catalogues de librairies en ligne les plus connues, comme la LGDJ, la Fnac, Amazon, la librairie Dalloz, celle de LexisNexis ... Mais aussi, évidemment, Google Books car le moteur américain insère dans les résultats de l’onglet Web des résultats extraits de Google Books.

1.2. Les résultats de Google

1.2.1. Ranking : le classement par pertinence, ses avantages et ses défauts

- Les résultats sont classés par pertinence. Ce classement par pertinence s’appelle "ranking" en anglais. La "pertinence selon Google" tient compte [202] :

  • d’abord des liens pointant vers les pages web et de la qualité de ceux-ci (Google les considère comme autant de recommandations), c’est-à-dire en fait de la qualité de celles-ci (les pages vers lesquelles ils pointent) autant que de la qualité du site faisant les liens. Exemple paroxystique : un site universitaire (site de qualité quasiment par nature selon Google, voir infra) fait des liens vers des pages web du blog d’une spécialiste reconnue du sujet (site de qualité selon Google du fait des nombreux liens établis vers lui par d’autres spécialistes et par la communauté réunie autour de ce sujet, voir infra)
  • et ensuite des mots (et leurs synonymes) de la requête contenus dans la page web :
    • ceux du titre informatique de la page (balise title), du titre réel de celle-ci (balise H1 ou H2 sinon) et du nom du fichier HTML sont les plus importants
    • Google privilégie les expressions sur les termes isolés, et les termes exacts sur les synonymes
  • de la "qualité" (selon Google) de la page. Le nom de domaine est important ici : les sites universitaires (avec "univ" dans leur nom de domaine en France ou .edu aux USA) et gouvernementaux (.gouv.fr en France, .gov aux Etats-Unis) sont favorisés ; les sites personnels sont défavorisés, sauf s’ils ont leur propre nom de domaine et une forte réputation au sein de leur communauté
  • de la fraîcheur/fréquence de mise à jour de la page. Par exemple, un site personnel réputé dans une communauté, sur des requêtes Google sur lesquelles il possède des pages très pertinentes, va pourtant reculer en bas de la première page des résultats de Google s’il n’est pas mis à jour chaque semaine
  • du travail des "quality raters" cités plus haut par Sylvain Peyronnet [203]. Avant la sortie d’une nouvelle version de l’algorithme, et à l’aide d’un guide fourni par Google [204], ces personnes évaluent ses erreurs ou manques de pertinence, de manière à ce qu’il soit corrigé (ou plus probablement à ce que la partie machine learning de l’algorithme "apprenne") avant sa "release" [205]
  • mais aussi des attentes supposées de l’utilisateur. L’utilisateur veut-il des documents simples, de niveau basique, pour non juriste, comme Droit-Finances.net ou des forums, ou bien des articles gratuits de revues juridiques et des rapports officiels ?. Pour tenter de deviner les attentes non exprimées de l’utilisateur, Google utilise :
    • les termes de la question. Ainsi, taper licenciement combien je touche ou licenciement calcul indemnité donne des résultats similaires (car la synonymie automatique dûe au machine learning joue) mais en même temps différents du fait des mots employés : la seconde formulation ramène plus de sites officiels, comme Service-Public.fr, du fait de l’emploi du mot "indemnité", mais aussi un simulateur de calcul d’indemnités, du fait du mot "calcul"
    • et l’historique de nos recherches :
      • soit celui stocké dans notre compte Google, dans le cas où l’internaute est connecté à son compte Google (par exemple parce qu’il consulte sa messagerie GMail ou qu’il interroge Google sur un smartphone Android)
      • soit celui de notre navigateur web, si l’internaute vient d’utiliser Google pour poser une autre question. Voir l’exemple très parlant à propos de stades de football et de zoos donné par le spécialiste SEO Kevin Rowe au point 4. de cet article précité [206].

- Cette pertinence est réelle : en règle générale, il suffit de consulter les 30, voire les 50 premiers résultats pour trouver sa réponse et avoir balayé l’essentiel des sites. En général ...
Ce qui veut dire qu’en cas de doute, il faut aller jusqu’au 100e résultat (c’est du vécu). C’est particulièrement net sur des sites mal structurés et mal indexés par Google comme les sites syndicaux.

- Parfois, cette pertinence a de graves défauts :

  • la volonté de personnaliser de plus en plus les résultats amène Google à tenter de répondre à la place des sites web, avec les "featured snippets" (extraits optimisés) [207], ce qui n’a le plus souvent aucun intérêt pour les professionnels de l’information et du droit, qui recherchent inversement détails, nuances et exhaustivité
  • pire, interprétant les attentes de l’utilisateur et en voulant à tout prix lui donner une *réponse* — et non des interrogations ou d’autres pistes — et lui mâcher le travail, Google suppose que l’utilisateur n’a pas besoin de la totalité des résultats disponibles dans son index et, depuis octobre 2017, ne permet plus d’interroger directement les différentes versions "locales" (i.e. nationales) de son moteur [208]. Cette attitude du moteur peut également être dûe à son refus de laisser consultants en référencement (SEO) et autres abuser de son index. Au final, comme l’écrit Carole Tisserand-Barthole sur le blog de FLA Consultants, « quelle que soit la requête, Google, Bing et les autres n’affichent pas l’intégralité des pages correspondants à la requête. Ils opèrent une sélection des pages présentes dans leurs index » [209]. Par exemple, pour reprendre un des exemples de recherches cités supra, licenciement calcul indemnité n’affichait le 27 février 2018 sur Google.fr que 210 résultats sur les 375 000 théoriques annoncés et, si on pensait à faire sauter la limitation pour similitude [210], 560 résultats.
    Les deux principaux moyens de forcer le moteur à fournir plus de résultats ou des résultats vraiment différents sont [211] :
    • d’abord, de préciser, de taper exactement, d’ex-pli-ci-ter ce qu’on cherche. Exemple : si vous cherchez une bibliographie d’un auteur, ne vous contentez pas de taper le nom de l’auteur. Ajoutez bibliographie. Et comme le TAL à la sauce ML de Google ne fait pas bien la synonymie sur ce terme, essayez aussi avec publications
    • d’affiner la recherche en utilisant un filtre comme site: ou filetype:pdf (voir infra). Mais même dans ce cas, Google ne fournira pas tous les résultats. Ainsi, licenciement calcul indemnité site:legifrance.gouv.fr annonçait 31 500 résultats mais n’en affichait réellement que 530.


Les 5 premiers critères de pertinence pour Google selon l’étude SEO Factors 2016. Source image : SEO Factors

1.2.2. La pollution des résultats par le spamdexing

Cependant les résultats de Google sont de temps à autre — ça vient par vagues — pollués par les résultats de sites publicitaires quasiment vides de contenu juridique, comme les sites faisant de la publicité pour des livres de droit du licenciement destinés aux particuliers. C’est ce qu’on appelle du "spamdexing" [212]. Une fois les sites spammeurs identifiés, Google les "bannit" de son index, mais le problème revient de temps à autre. Par exemple, fin décembre 2017, sur des questions de nuisances sonores (troubles de voisinage), j’ai vu le site gralon.net, dont les articles sont très vagues, à la limite de l’insignifiant, mais bourrés de publicités, réapparaître sur mon radar.

Le spamdexing de Google a toutefois beaucoup reculé depuis 2014 du fait de l’implémentation de l’algorithme RankBrain avec ses capacités de traitement du langage naturel (NLP) (voir A. le contenu de Google supra).

Ce qu’on trouve en revanche, ce sont des sites payants du type cours-de-droit.net dont le référencement (SEO) très efficace les positionne souvent dans les cinq premiers résultats de Google, alors même que seule l’introduction des dissertations qu’ils vendent est disponible gratuitement [213].

1.2.3. La fraîcheur des résultats

Les résultats sont en général très "frais" :

  • Google indexe très régulièrement les sites importants (exemples : Assemblée nationale, Sénat, etc.)
  • Google privilégie les sites à mise à jour très fréquente, tels les sites de presse (lemonde.fr, liberation.fr, etc.) et les blogs, en les réindexant de une à une dizaine de fois par jour. Google s’adapte à la fréquence de mise à jour du site
  • néanmoins et de manière logique vu sa préférence pour les liens hypertextes et pour les sites à mise à jour fréquente, Google peut avoir quelques jours de retard sur certaines rubriques peu consultées de sites très vastes et jusqu’à une semaine de retard — en général, plutôt quelques jours — sur l’actualité des sites web les moins importants, qui eux-mêmes sont rarement mis à jour. De même, Google peut mettre jusqu’à plusieurs semaines pour indexer correctement un nouveau site web, c’est-à-dire indexer la totalité de ses pages et les faire monter en tête des résultats sur les questions pertinentes [214].

2. Comment interroger Google

2.1. L’essentiel

  • laisser un espace revient à utiliser l’opérateur logique ET implicite. Autrement dit : chaque fois que vous tapez un mot de plus, vous ajoutez un critère, une condition à votre recherche. Exemple : responsabilité pénale du dirigeant trouvera moins de résultats que responsabilité
  • cherchez à utiliser des expressions plutôt que des suites de mots. Google "accroche" mieux là dessus (voir explication détaillée infra).

2.2. Choisir ses mots-clés

Prenez 30 secondes pour réfléchir aux mots-clés que vous allez utiliser. Car, même avec Google, cela peut faire la différence entre trouver et ne pas trouver.

Voici les "trucs" essentiels pour choisir ses mots-clés :

  • ne vous laissez pas influencer par les suggestions de Google [215]
  • pensez aux synonymes et quasi-synonymes. Voir aussi infra l’opérateur (tilde).
    Exemple : bail, baux, loyer, loyers, location. Un synonyme, ça peut être aussi un numéro d’article de Code, particulièrement en droit fiscal avec le CGI. Exemple (en recherche de jurisprudence) : 1240, 1382 et faute sont des quasi-synonymes de responsabilité civile
  • si vous cherchez la version officielle d’un texte, d’un arrêt ou d’un rapport, utilisez  :
    • les termes juridiques officiels, c’est-à-dire ceux utilisés dans les codes et les lois (notamment dans les titres des lois).
      Exemple : redressement et liquidation judiciaires
    • la date complète.
      Exemple : 25 janvier 1985
    • ou éventuellement le numéro.
      Exemple : 85-98 (ce qui évite de trouver aussi la loi n° 85-99 sur les administrateurs judiciaires)
  • si en revanche vous cherchez des commentaires ou de la doctrine (pour autant qu’il y en ait gratuits sur le Web sur votre sujet) :
    • utilisez les noms juridiques usuels.
      Exemples : procédures collectives ou redressement judiciaire ou liquidation judiciaire ou difficultés des entreprises en difficulté ou défaillances d’entreprises (pas faillite, qui n’est plus le terme juridique approprié)
    • si vous cherchez des commentaires sur une réforme ancienne, précisez l’année.
      Exemple : 1985 (réforme des procédures collectives)
  • si vous cherchez de l’actualité non juridique ou des articles de presse, utilisez les termes économiques et/ou les expressions du langage courant.
    Exemple : faillite, faillites, fermetures d’entreprises, plans sociaux
  • plus généralement, si vous êtes compétent sur le(s) domaine(s) juridique(s) concerné(s) par votre recherche, tapez les mots et expressions qui devraient se trouver dans les documents que vous recherchez, et surtout dans leur titre et leurs premiers paragraphes. Autrement dit : essayez de deviner comment les titres de documents sur le sujet sont écrits.
    En revanche, si vous n’êtes pas spécialiste de ce domaine et a fortiori si vous n’êtes pas juriste ou étudiant en droit, évitez d’utiliser cette dernière technique.


Ne vous laissez pas influencer par les suggestions de Google. Par exemple, ici, l’expression "responsabilité civile contractuelle" ne fait pas partie du vocabulaire des juristes : on parle simplement de "responsabilité contractuelle"

2.3. Repérez dans les résultats les mots-clés que vous avez oubliés :

  • dans les extraits qui composent les résultats de Google, si des mots vous semblent pertinents, réutilisez les dans votre question
  • dans les documents qui répondent le mieux à votre question, repérez les mots qui font partie de votre sujet mais que vous avez oubliés pour modifier votre question.

C’est un "truc" capital : modifier sa question initiale, oui, mais avec des mots qui marchent.

2.4. Utilisez la recherche avancée pour mieux contrôler votre recherche (opérateurs booléens et filtres

Deux possibilités :

  • utilisez la page Recherche avancée de Google. Et alors pas besoin de savoir comment écrire les opérateurs et filtres de Google
  • ou — mieux — apprenez les opérateurs et filtres de Google et utilisez-les sur la page d’accueil du moteur. Mais il faut alors connaître les noms des opérateurs et des champs/filtres et leur syntaxe.

Vous pourrez alors utiliser les opérateurs de recherche ET (AND ou espace), OU (OR), SAUF (-), expression (" ") et de proximité (AROUND). On les appelle opérateurs booléens ou opérateurs logiques.

Rappel : en allant sur la page Recherche avancée, vous n’aurez pas à mémoriser leur syntaxe. Toutefois, sur cette page, les opérateurs de proximité comme AROUND ne sont pas proposés.

Le haut de la page Recherche avancée de Google Search
Le haut de la page Recherche avancée de Google Search

Les opérateurs de recherche permettent de "pousser le moteur dans ses retranchements". Exemples : on veut des documents relativement simples et à jour pour créer une EURL :
créer OR création eurl OR "entreprise unipersonnelle" (on peut aussi ajouter : filetype:pdf).

Voici maintenant des précisions, à propos des opérateurs logiques dans Google, qui ont leur importance.

2.4.1. [AND] : le ET implicite, l’expression implicite et le mode Mot à mot

Rappel : tout espace non placé entre des guillemets est pour Google un ET logique. Mais parfois aussi une incitation à interpréter la requête comme une expression : dans ce cas, si cette tendance de Google à tout transformer en expression vous gêne, utilisez le mode Mot à mot (en anglais Verbatim) (Outils > Tous les résultats > Mot à mot : disponible par défaut sur ordinateur, sous smartphone il faut afficher la page en "version ordinateur") [216] ou écrivez en majuscules le AND [217].


Le mode Mot à mot de Google une fois activé

2.4.2. OR : prévoir les synonymes : ne pas abuser

Attention : Google ne "comprend" pas les parenthèses [218] et le OR ne joue que sur les mots immédiatement adjacents à lui. Ce qui implique de mettre les mots d’une expression entre guillemets (contrairement à ce qui est recommandé plus haut pour les cas "normaux") si la notion faut partie d’une suite de synonymes. De plus, le premier mot qui commence une suite de OR est le plus important pour l’algorithme [219].

Il faut toutefois bien comprendre que multiplier les synonymes (reliés par OR) n’apporte pas grand’ chose en terme de pertinence des résultats. Un synonyme voire deux (pas plus, soit trois mots ou expressions maximum) aide lorsqu’on est dans du vocabulaire juridique un peu spécialisé et/ou peu présent sur le Web, mais le plus efficace en dehors de ces cas reste :

Voici un bon exemple à la fois du peu d’intérêt d’utiliser le OR, et en même temps de son intérêt en droit si on veut un maximum de fiabilité et creuser à fond la recherche : comparez les 100 premiers résultats de "responsabilité civile" accident automobile et "responsabilité civile" OR 1382 OR 1240 accident automobile. Seuls une petite dizaine de résultats diffèrent, la plupart (mais pas tous ...) sans intérêt majeur. Toutefois, certains résultats sortis seulement avec le OR peuvent venir de sites particulièrement fiables et avoir de la valeur si on ne veut rien rater. L’exemple utilisé ici est très net : Accident de la circulation et responsabilité civile des parents, Dalloz Etudiant est en effet le seul résultat venant d’un éditeur juridique et le seul à citer de la jurisprudence ...

2.4.3. SAUF : exclure des mots des résultats : en dernier recours

Uilisez l’opérateur - (SAUF) [222] pour exclure des termes qui faussent les résultats/les "polluent" : le - (moins) fonctionne. La règle générale d’utilisation de l’opérateur SAUF s’applique : on n’utilise le SAUF qu’en dernier recours.

NB : le - peut être utilisé devant un opérateur, même si en pratique, c’est rarement utile.

2.4.4. Les opérateurs de proximité : avec modération

2.4.4.1. AROUND

Signalé en 2010, probablement apparu 5 ou 6 ans auparavant, mais non documenté par Google, l’opérateur de proximité AROUND(n) (où n est un nombre de mots qu’on fixera en pratique à 2 ou 5) est efficace en anglais et, alorsqu’il ne l’était pas, est devenu efficace en français en 2017 [223].

Toutefois, avant d’utiliser cet opérateur, il est recommandé de saisir sa requête sans, car, le 2e terme peut être au-delà de n mots du premier et pourtant être pertinent (c’est vrai surtout si le mode Mot à mot n’est pas activé, autrement dit, si la synonymie automatique de Google est en fonction).

Exemple : comparez télévision "abus de position dominante" et télévision AROUND(5) "abus de position dominante" : la 1ère formulation trouve des pages non trouvées par l’emploi d’AROUND, tout en amenant des résultats non pertinents, parfois dès le 10e résultat. La 2e formulation, avec AROUND, permet d’amener des résultats complémentaires.

2.4.4.2. L’étoile remplace un ou des mot(s) : inutile

L’opérateur * ("wildcard") est censé remplacer un (au moins) ou plusieurs mots, je constate son efficacité dans une certaine mesure mais je n’arrive pas à la prouver par A + B.

De toute façon, la bonne expression (sans guillemets, en général) pourra être tout aussi efficace, voire plus. Disons qu’au minimum, elle obtiendra des résultats différents (donc complémentaires) [224].

2.4.4.3. Les guillemets : expression : efficace

Chercher par expression (ou proximité d’1 mot) rend les résultats plus précis/moins nombreux et dans certains cas, évite les résultats hors sujet. Hors de l’interface Recherche avancée, utilisez les classiques guillemets (" "). Important : pour que les guillemets soient pris en compte à 100% par Google, il est nécessaire de passer en mode Mot à mot (Outils > Tous les résultats > Mot à mot) [225].

L’utilisation des guillemets est devenue plus souvent nécessaire, face à l’élargissement des recherches pratiqué par Google [226]. Toutefois, ne l’utilisez qu’après avoir testé l’expression sans guillemets, pour les raisons exposées ci-après.

N’abusez pas des guillemets. On dit souvent dans les cours de recherche sur bases de données ou sur le web qu’encadrer une expression avec des guillemets garantit des résultats moins nombreux et pertinents. Mon expérience, c’est qu’en réalité, les guillemets sur Google n’améliorent souvent pas grand’ chose voire parfois empêchent de trouver les principaux sites web sur un sujet. D’ailleurs Google ne les recommande pas trop fort. Cela dit, c’est vrai que si on veut vraiment *tous* les sites sur une expression, alors il faut utiliser le moteur à la fois *avec* les guillemets mais *aussi sans*, car, du moins si l’on s’en tient aux 30 premiers résultats, certains sites pertinents apparaissent uniquement avec les guillemets et d’autres uniquement sans [227]. En effet, l’algorithme de Google détecte souvent tout seul l’expression et la privilégie dans le classement des résultats. De surcroît, mettre les guillemets, en pratique, réduit souvent — mais pas toujours — un peu la pertinence par rapport à sans les guillemets car ceux-ci éliminent des résultats où l’expression n’est pas totalement identique, voire certaines pages où pourtant celle-ci apparaît clairement ...

2.4.5. Ordre des mots : utile

Si votre requête comporte au moins 7 ou 8 mots-clés, mettre en premier le mot le plus important de votre question : il aura alors un poids plus important que les autres dans les résultats, en faisant par exemple remonter dans les premières réponses les pages web où ce mot est dans le titre de la page.

Ce point — non précisé dans l’aide officielle de Google et la plupart des guides de recherche en ligne — peut avoir un effet sur le tri des résultats par Google, en amenant dans les 10 ou 20 premières réponses une page web jusque là "perdue" au delà des trente premières réponses

2.4.6. Langue des résultats : parfois nécessaire

Choisir la langue des résultats. Pas toujours intéressant : la langue des mots-clés utilisés conditionne souvent celle des résultats et donc le droit national en cause.

Mais pas toujours, comme l’explique le journaliste geek Martin Brinkmann sur son site d’actualité IT Ghacks [228]. La solution est alors :

  • soit on accepte de rester connecté à son compte Google (ce que je ne recommande pas, voir infra) et on va alors dans les paramètres de votre compte Google (pas ceux de Google Search, qui ne règlent que le pays, pas la langue) : se connecter > Mon compte > Préférences de compte > Langue
  • soit (recommandé), on utilise alors le champ Langue de la version avancée de Google Search, bien pratique dans un cas comme ça.

Google Recherche avancée : choisir la langue
Google Recherche avancée : choisir la langue

2.4.7. Limiter les résultats à un pays : pas mal, sans plus

imiter les résultats à la France (sites français et non francophones) permet d’éviter à 95% les résultats provenant de sites québécois, belges et d’Afrique du Nord (Maroc, Tunisie, Algérie) et donc de se restreindre au droit français. Voilà une fonctionnalité intéressante, mais devenue moins utile depuis que Google a progressé dans la reconnaissance de la nationalité de l’internaute.

Elle n’est d’ailleurs plus disponible que dans l’interface Recherche avancée (champ "région"). Elle peut encore servir à trouver des résultats de droit canadien ou belge quand on interroge Google depuis la France

2.4.8. filetype:suffixe (format de fichier) : très efficace

Choisir le format de fichier : Rich Text Format .rtf, Word .doc, Acrobat .pdf, Excel .xls, .PowerPoint .ppt, Access .mdb. Restreindre la recherche aux fichiers PDF permet de ne trouver que des documents sérieux et fiables (mais pas systématiquement pertinents, car ce n’est pas le but direct de cette fonctionnalité).

En effet, très souvent, les documents officiels (textes juridiques, rapports, livres blancs) et les articles de revues scientifiques sont au format PDF tandis que les sites perso, ceux tournés vers le marketing et les forums utilisent uniquement le HTML. Hors de l’interface Recherche avancée (autrement dit à partir de la page d’accueil de Gogle), écrivez filetype:[type_de_fichier] à la fin de votre requête.

Exemple : rapport open data justice filetype:pdf

2.4.9. site: : très efficace

Le filtre site: restreint la recherche à un site. Plus précisément à son nom de domaine (exemple : conseilconstitutionnel.fr est le nom de domaine du site web du Conseil constitutionnel). Ca marche aussi sur les sous-domaines.

Ainsi utilisé, Google est presque toujours plus efficace que le moteur interne du site, sauf sur des documents extrêmement récents, peu connus ou "enfouis" dans le site. Ce mode de recherche est particulièrement utile sur les plus vastes sites juridiques : le site du Premier ministre, les deux sites parlementaires (Assemblée nationale, Sénat), Europa, EUR-Lex. Hors de l’interface Recherche avancée, écrivez site:[domaine] Le "domaine" ici peut comprendre un sous-domaine.

Exemple : site:justice.gouv.fr (ici, le nom de domaine est gouv.fr, et justice un sous-domaine).

2.4.10. inurl: : efficace

Voilà un truc de recherche utile pour fouiller une rubrique ou sous-rubrique d’un site web très vaste.

Exigez la présence d’un terme dans l’adresse web (URL) : dans Google (non avancé) écrivez : inurl:[chaîne_de_caractères] Précisions : derrière inurl: on doit mettre la chaîne de caractère *complète* présente *entre deux barres obliques* dans l’URL. Et rien d’autre.

Exemple : si on veut chercher sur les décisions "merger" de la DG Concurrence et que leur adresse est ec.europa.eu/competition/mergers/cases/decisions/xxxxxxxx.pdf, on écrira donc : inurl:competition inurl:mergers. inurl:comp ou inurl:merg ne marcheraient pas

2.4.11. intitle: : efficace, mais à utiliser avec modération

Restreindre la recherche au "titre" (la balise HTML title, plus précisément) des pages web avec le champ intitle:[un_seul_mot] ou — encore plus efficace — allintitle:[tous_les_mots_qui_suivent].

A utiliser pour trier, pour ramener les pages les plus centrées sur la question lorsque la requête "normale" produit beaucoup trop de positifs. Mais, collègues bibliothécaires documentalistes, attention : le champ TITRE d’une base de données classique ou d’un catalogue n’a rien à voir avec le filtre title:. Ce dernier n’obéit à aucune norme et, marqué par les exigences du marketing, de la communication et du référencement web, manque singulièrement de rigueur.

2.4.12. inanchor: : inefficace

Le filtre inanchor: (mots dans les liens hypertextes renvoyant vers la page résultat) et son frèreallinanchor : sont très peu efficaces en droit français.

Exemple : comparez allinanchor:télévision "abus de position dominante" avec télévision "abus de position dominante". Dès le 3e résultat, la requête utilisant allinanchor: perd sa pertinence On peut oublier inanchor : sans problème.

2.4.13. Affichez 50 résultats

Si vous êtes connecté (non recommandé) à votre compte Google, réglez le nombre de résultats par page à 30 voire 50 (au-delà, en général, très peu de résultats sont pertinents [229]). Ca permet de consulter plus facilement et plus rapidement les résultats pertinents.

Mais cela implique d’être connecté à votre compte Google, ce qui personnalise (i.e. biaise) fortement les résultats en fonction de votre historique de recherche que Google a mémorisé

2.4.14. Empêchez Google d’interpréter votre requête

Empêchez le plus possible Google d’interpréter votre requête (sauf par la langue du système d’exploitation de votre ordinateur) en choisissant dans Outils de recherche > Tous les résultats > Mot à mot [230], sans oublier de vous déconnecter de votre compte Google [231], d’indiquer à Google de ne pas non plus mémoriser votre historique de recherche lorsque vous n’êtes *pas*, cette fois-ci, connecté à votre compte Google ... et de vider vos cookies et l’historique de navigation de votre navigateur web avant de lancer une recherche, voire de lancer dans votre navigateur une session de navigation privée [232]

2.5. Rechercher sur une période

Restreignez si nécessaire les résultats à une période de temps. C’est très utile quand on cherche des articles de presse. Ou lorsqu’on veut se situer avant ou après une réforme législative ou une jurisprudence marquante.

Pour utiliser à fond cette fonctionnalité, il faut passer par l’interface simple de Google (la recherche avancée n’offre pas la possibilité de spécifier l’intervalle de temps exact que l’on désire) et cliquer sur Outils de recherche > Date indifférente > Période personnalisée [233] [234].

2.6. Ouvrir les résultats dans une nouvelle fenêtre ou un nouvel onglet

Ouvrez les résultats dans une nouvelle fenêtre ou un nouvel onglet, de manière à garder sous la main la liste des résultats. Pour cela : faites un clic droit sur le lien qui vous intéresse, puis un clic gauche sur "Ouvrir dans une nouvelle fenêtre/onglet".

2.7. Les moteurs spécialisés de Google

S’il n’y a pas de résultat intéressant dans l’onglet Web de Google, regardez :

2.8. Toujours rien ?

Pour creuser sur Google, voyez Pour aller plus loin à la fin de cet article.

Mais souvenez-vous : comme expliqué supra (voir 1.1.2.), tout n’est pas sur le Web/dans Google. Loin de là. Il y a aussi les bases de données payantes, les journaux, les ouvrages disponibles dans les bibliothèques et centres de documentation (à commencer par votre bibliothèque municipale), les bibliothécaires documentalistes, votre mémoire, votre capacité de raisonnement/votre logique à vous, vos collègues et relations professionnelles (par téléphone, email etc.) ...

3. Cinq exemples de recherche futée ou experte dans Google

1er exemple

Ici, nous allons chercher des articles en matière de cookies parus dans la revue Expertises, une revue de droit de l’informatique et d’Internet [235].

Cette revue a un site web (expertises.info) et les sommaires y sont présents en accès gratuit. Ce qui signifie que Google indexe les titres de ces articles.

Voici comment interroger rapidement les sommaires de la revue Expertises sur le site de la revue :
- 1. réfléchissez aux mots-clés à utiliser pour votre recherche : les juristes s’expriment en général en bon français. C’est ce que j’appelle "l’étape zéro" dans une méthode de recherche
Ici, un dictionnaire de traduction peut être utile — le Larousse anglais-français par exemple — mais il faudra le compléter par le site de la CNIL. Cookie en français se dit donc mouchard ou traceur
- 2. déconnectez-vous de votre compte Google (si vous en avez un). En effet, Google biaise ses résultats en fonction de vos recherches passées
- 3. allez sur la page d’accueil de Google en français
- 4. tapez les mots-clés en reliant les synonymes par OR (en majuscules) : cookies OR mouchards OR traceurs
- 5. limitez la recherche au site www.expertises.info (NB : Google ne prend en compte que des noms de domaine, pas des pages profondes) en tapant : site:expertises.info
- 6. votre recherche doit ressembler à ceci : cookies OR traceurs OR mouchards site:expertises.info
- 7. lancez la recherche
- 8. lisez les résultats. Regardez bien les caractères verts : ils vous indiquent le site d’où vient chaque résultat. Si c’est un site universitaire (univ-) ou officiel (.gouv.fr), c’est un gage de qualité
- 9. pour ceux qui vous intéressent : clic droit > Ouvrir le lien dans un nouvel onglet. Comme ça, vous ne perdez pas votre liste de résultats et votre recherche.

2e exemple

Vous devez réunir des documents sur le travail le dimanche.

Suivez les étapes 1 à 9 supra.

Cela devrait donner ceci : "travail le dimanche" OR "travail du dimanche" OR "travail dominical" OR "dérogation au repos dominical" OR 3132

Complétez ces résultats avec des documents en PDF : "travail le dimanche" OR "travail du dimanche" OR "travail dominical" OR "dérogation au repos dominical" OR 3132 filetype:pdf

NB : l’efficacité de la synonymie automatique de Google est telle que travail le dimanche tout court suffit presque. Surtout avec filetype:pdf.

3e exemple

C’est l’employeur qui préside le comité d’entreprise. Peut-il y venir accompagné de trois collaborateurs au lieu de deux comme le prévoit le Code du travail ?

Vérifier d’abord l’article pertinent du Code. C’est le L. 2325-1. Il faut vérifier les termes qu’il emploie, qui sont très certainement ceux qu’emploieront des commentaires bien juridiques. Le truc consiste à ne pas reprendre le mot "deux" car ici c’est "trois" que l’on cherche.
Taper dans Google :
comité d’entreprise employeur trois collaborateurs

La première réponse est la bonne. Elle vient d’une page en libre accès du Lamy Droit du comité d’entreprise disponible sur le site WK-RH.

4e exemple

Chercher des documents de tout type sur la position dominante sur le site de la Commission européenne.

position dominante site:ec.europa.eu inurl:competition filetype:pdf

5e exemple

Trouver la bibliographie complète de Peter Tomka, juge à la Cour internationale de Justice (CIJ/ICJ) de la Haye.

Pour arriver à coup sûr sur une liste quasi-exhaustive des publications de P. Tomka, il faut :

  • être précis et choisir le bon mot. Ici, ce n’est pas bibliographie mais publications
  • deviner dans quel type de document cette bibliographie devrait se trouver et quel sera le format de fichier de ce documents. Ici, en fait, nous cherchons des biographies, mais d’une certaine longueur et à caractère officiel, donc au format PDF. En effet, souvent, à la fin d’une biographie se trouve la liste des publications :
    Peter Tomka publications filetype:pdf.

Ce qui donne en premier résultat la biographie en PDF du juge sur le site de la CIJ et , en bas de cette biographie, on trouve une véritable liste des publications de P. Tomka – qui plus est probablement exhaustive ou presque.

4. Pour aller plus loin

- Sur le Blog du Modérateur :

- Des aides et tutoriels venant de Google :

- Selected Google Commands, par Karen Blakeman, mis à jour en janvier 2018 [236]

- Blog de FLA Consultants : mettez vous à jour avec leurs tout derniers billets sur Google.

- Utilisez d’autres moteurs, principalement Bing (le concurrent de chez Microsoft [237]) et Exalead (pour les sites français et francophones) [238], voire StartPage (ex-Ixquick) [239] et les métamoteurs de recherche de personnes. Pour information, DuckDuckGo, dont on parle beaucoup, respecte certes votre vie privée, mais ses performances sont très limitées sur les pages web en langue française. Quant à Qwant, les résultats de ce moteur franco-allemand proviennent d’abord de Bing [240] et de Wikipedia. Toutefois, tout comme DuckDuckGo, il ne garde aucune trace de vos recherches, et ses résultats en langue française sont bien meilleurs que ceux de DuckDuckGo.

- Voyez nos articles Utiliser Google à 100%, surtout la bibliographie à la fin parce qu’il commence à dater (2006), et Recherche sur Internet : une méthode (un peu) simplifiée et quelques "philosophies", notamment la méthode des "autorités". Allez (entre autres) voir ailleurs sur le Web (annuaires thématiques de sites, Legifrance, Servicepublic.fr, bases de données payantes, Isidore, Cairn, Revues.org, Theses.fr etc.), réfléchissez une deuxième fois à vos mots-clés ou passez à un autre media (prenez votre téléphone ou votre logiciel de messagerie, par exemple, pour appeler un collègue ou demander conseil à un expert) ...

Emmanuel Barthe
documentaliste juridique, veilleur, webmestre, formateur à la recherche en ligne


1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | ... | 33

Dernières brèves