Logiciels, Internet, moteurs de recherche

Dernier ajout : 18 octobre.

Derniers articles

Any Yahoo Pipes true substitute out there ?

Tools for RSS feed merging and filtering

Mercredi 30 novembre 2016

Lire la suite »

Pipe dreams by darwin Bell

The loss of Yahoo Pipes in August 2015 [1] was a major blow to the monitoring/research community and also web site authors looking for selected content. Its ability to combine and filter multiple RSS feeds into one feed was unique among free hosted services.

This post will focus on how we could replace Yahoo Pipes for these functions [2]. We will not deal here with the web page scraping Pipes was able to do too [3].

So I went looking for substitutes which could merge and filter feeds. I mean, real ones : as simple as Pipes. For instance, they shall have a graphic user interface (GUI) ; coding shouldn’t be necessary. The only difficulty allowed should be the use of regular expressions (Regex).

Free hosted substitutes

  • FeedCombine, RSSMix, FeedRinse or ChimpFeedr (to merge feeds into one feed) then FeedSifter or FeedRinse (to filter the mega-feed) can answer simple needs.
    FeedRinse can do more, as it accepts Regex but it can’t merge more than 5 feeds, is slow and bugs according to La Bibliothèque du CHUM’s test.
    FeedCombine cannot combine more than 5 feeds, say Anik Dumont-Bissonnette.
    ChimpFeedr is very simple at "chomping" (as their web site says) feeds.
    RSSMix, according to the same test, works perfectly, merging up to 100 feeds
  • Feed Informer combines and filters feeds, but filtering can only be done using AND or OR operators
  • IFTTT doesn’t seem to do exactly that : merging and filtering RSS feeds into one feed. Which is not to say it does not have its (numerous) advantages in the field of monitoring services.

Paid hosted substitutes

Self-hosted solutions (need coding skills)

In the sources listed below, I found other free or paid total or partial replacements — but you have to host them on your own server and/or they’re far too complicated for the average information professional :

  • Tiny Tiny RSS (TT-RSS) is an RSS reader with very interesting RSS feeds filtering features (open source)
  • Huginn by cantino (open source on GitHub). According to a MakeUseOf article, « this is the most popular of all the GitHub solutions mentioned, and has a huge, active support community behind it. It’s well documented and easy to use »
  • WebHookit, based on Node.js and mongoDB (open source)
  • Pypes (open source on GitHub), a Python application
  • Rss Percolator (open source on GitHub). Downloads, aggregates and filters RSS feeds
  • ClickScripts (open source on GitHub)
  • Bipio (open source). See the Getting started page (developer documentation) for a quick presentation. Bipio is a graph pipelining API talking RESTful JSON
  • Neddick (open source on GitHub).
  • pipe2py (open source on GitHub). You need to backup your YP pipes before. It uses JSON and the Google App Engine
  • Pipes2js (open source on GitHub)
  • Superpipes (open source), to be hosted on a Debian server
  • open source edition of MuleSoft’s Anypoint Studio
  • Quadrigram seems too graphics-oriented to me (apparently free).

NB : the first four services are recommended [8] by Serge Courrier, a French consultant specialising in RSS readers and the use of RSS feeds for monitoring web sites [9].

Walled gardens

RSS is important to information professionals and, as we’ve seen, much used by people whose job is to monitor web resources. But this does not prevent RSS implementation from receding. If you look into the list of applications which can be connected by IFTTT, you will find that RSS is just one among more than a hundred of mostly proprietary ones ... Walled gardens again.

Did I miss something ? Do you know about any simple tool that could replace the "RSS mashup" function of Yahoo Pipes ? I’m interested in free as well as paid for services.

Emmanuel Barthe
law librarian researcher, open law specialist and monitoring solutions specialist


Sources for this article

Here are the links I found to some articles/blog posts and a number of forum discussions about Yahoo Pipes substitutes :

This article was written with the the help of Serge Courrier.


Legifrance et les autres n’ont pas de fil RSS ? Gênant mais contournable

Créer un flux RSS pour un site web qui n’en possède pas

Les services de création de fils RSS recommandés

Mercredi 30 novembre 2016

Lire la suite »

Les sites juridiques officiels et le RSS

Certains (doit on dire beaucoup ?) se plaignent que ne figurent toujours pas de flux RSS (je peux les comprendre !) sur beaucoup de sites publics — et non des moindres, comme Legifrance (à part le sommaire par e-mail du JORF, mais l’e-mail est hors concours dans cet article :-) [10] ou les sites des Bulletins officiels.

Seuls les sites éloignés de France ou au minimum de son administration semblent avoir plus de liberté pour créer des fonctions de veille. Exemples :

On a plus généralement l’impression que les sites publics ont interdiction de créer des fonctionnalités de veille — même basiques comme les alertes e-mail, les newsletters et les fil RSS [11]. Alors que le grand public et les associations — et pas seulement les professionnels — en ont besoin. Et la diffusion du droit ne s’en porterait pas plus mal ...

Pour les plus pressés et ceux que la technique effraie, ils peuvent récupérer des fils déjà créés grâce aux services précités. Mais ils sont très rares. Un exemple : les circulaires, un service créé par Guillaume Adréani, ex-responsable de la documentation du Défenseur des droits, grâce au service Feed43 : circulaire.legifrance.gouv.fr (ce flux fonctionne très bien).

Certains services en ligne permettent de contourner ce manque : ce sont des services de création de fils RSS. Ils créent des flux RSS à partir de quasiment n’importe quelle page web.

Les services de création de fils RSS recommandés

Voici les services de création de fils RSS recommandés et utilisés par la communauté des veilleurs français :

- gratuits (plus ou moins) :

  • Feed43, un service assez technique mais puissant : expressions régulières acceptées, création d’un nombre illimité de flux, avec une mise à jour toutes les six heures. Version payante avec mise à jour toutes les heures
  • Fivefilters Feed Creator : limité à 10 résultats par fil. On peut acheter le logiciel pour l’installer sur son propre serveur à partir de 20 euros
  • Deltafeed. Une version gratuite limitée à 15 fils et des versions payantes. Deltafeed est le travail d’un développeur Allemand
  • Queryfeed : très simple d’utilisation, il offre un grand nombre d’opérateurs et de champs. Malgré ce nom très américain, le développeur de Queryfeed est russe
  • dernier arrivé : Exileed permet de créer des fils RSS pour les seuls réseaux sociaux suivants : Vkontakte (le développeur d’Exileed est lui aussi russe), Google+, Twitter, Instagram, Facebook, Youtube, Tumblr et d’autres

- payants, plus "industriels", avec essai gratuit [12] :

  • Feed43 : voir supra. Je le classe ici aussi, vu la puissance de ses fonctionnalités
  • Feedity : des références prestigieuses. La version gratuite de Feedity est très limitée, le rafraichissement ne se fait qu’une fois par jour, ne ramène que les 5 dernières actus par jour et surtout, le fil se désactive s’il n’y a rien eu de neuf depuis 7 jours sur la page [13]. C’est généralement insuffisant. C’est pourquoi je l’ai listé dans les services payants
  • FetchRSS (ajouté, cf les commentaires infra) : la version gratuite étant très limitée [14], c’est fondamentalement un service payant. Très simple d’utilisation, il offre en option un délimiteur (pour créer un fil RSS ne fonctionnant qu’à partir des modifications d’une partie de la page suivie) et gère les grands réseaux sociaux : Facebook, Twitter, YouTube, SoundCloud, Instagram et les deux grands sites marchands que sont Amazon et eBay
  • FeedsAPI.com.

Attention, les grands réseaux sociaux suppriment leurs fils RSS natifs, il faut donc passer par les solutions alternatives recommandées par la communauté :

A noter (mais assez complexe à mettre en oeuvre) : il est possible de créer un fil RSS à partir des résultats d’un Google Search Engine (GSE). Voir l’article Créer des flux RSS sur Google Search via Google Custom Search Engine (mai 2016) rédigé par des étudiants du Master Intelligence Economique et Stratégies Compétitives de l’Université d’Angers.

Pour trouver de nouveaux services de création de fils RSS

Des pistes pour trouver d’autres services de création de flux RSS :

  • consultez la slide très élaborée publiée par Serge Courrier sur son Slideshare : Schéma d’une plateforme de veille "modulaire" 100% RSS (màj 24 novembre 2016)
  • suivez le Scoopit dédié au RSS de S. Courrier RSS Circus : les agrégateurs/lecteurs de flux [15], le RSS va t-il mourir (il n’est pas près de décéder en réalité), les services de création de fils RSS etc.
  • ou cherchez avec la requête web page to OR create OR generator RSS dans un moteur comme Exalead, Google ou Bing. Exemple avec Google : web page to OR create OR generator RSS.

Une page de Bryan Coder, veilleur professionnel et formateur, tient à jour une liste de presque tous les services qui fonctionnent bien à l’heure actuel : Tout ce qu’il faut savoir pour obtenir des flux RSS sur le web 2.0.

Et pour votre veille sur le RSS, abonnez vous :

Ok, j’ai un fil RSS. Maintenant, j’en fais quoi ?

Après, on colle l’adresse du flux RSS créé au bon endroit dans son lecteur/agrégateur de flux RSS comme The Old Reader (gratuit jusqu’à 100 fils), Feedly, Inoreader (payant mais le meilleur lecteur RSS en termes de fonctionnalités à l’heure actuelle) ou Netvibes (gratuit, fonctions avancées payantes) et le tour est joué.

Notez qu’on peut, avec certains outil filtrer par mots-clés les fils RSS reçus avant de les renvoyer, toujours en RSS. Voir à cet égard :

Et si vraiment on veut du mail in fine, on passe par un service "RSS to Mail" :

Tout ça est un peu compliqué, certes, mais nécessité fait loi. Et puis, on n’a plus tellement le choix : si un bibliothécaire/documentaliste/veilleur/chercheur n’est pas un geek aujourd’hui, quel peut être son avenir professionnel à long terme ?

Emmanuel Barthe
bibliothécaire documentaliste et veilleur juridique


Nouvelle charte typographique du Journal officiel Lois et décret

Deuxième échelon ou 2e échelon ?

Lundi 29 août 2016

Lire la suite »

La DILA [16] a mis en ligne cet été sur Legifrance la nouvelle charte typographique du Journal officiel Lois et décret (PDF, 26 pages). Cette version de juin 2016 tient compte du passage au JO purement en ligne (suppression de la version papier au 1er janvier 2016) [17].

Cette charte typographique constitue le document de référence dans le cadre de la production du JO Lois et décrets ; ce document se substitue aux règles typographiques générales, précédemment en usage.

Dans le cadre — certes rare — de requêtes extrêmement fines sur le texte intégral de la base JORF, ce type d’information peut se révéler crucial. Ainsi, on apprend comment le JO écrit :

  • les sigles, abréviations, acronymes et développés, les titres de civilité (Pr, Dr etc.) [18]. A savoir : les développés des acronymes prennent toujours des minuscules aux mots suivant le premier mot (on retrouve cette règle dans les arrêts de la Cour de cassation et de manière générale dans les décisions de justice). Exemple : Agence française de normalisation (AFNOR)
  • les heures, durées, anciennetés et les catégories, classes, échelons, groupes, grades… [19] Ils s’écrivent en chiffres. Exemples : 12 h 30, 13 h, etc. (Notez l’espace entre les chiffres et le h.) Le poste est à pourvoir pour une durée de 5 ans. M. Dupont sera nommé pour 2 ans 3 mois 5 jours. M. Dupont sera nommé à la 2e catégorie, 2e échelon, 3e classe.
  • les âges. Eux s’écrivent en lettres. Exemple : Les candidats devront être âgés de trente ans au plus.

Au passage, le document indique que le logiciel de traitement de texte utilisé pour produire les textes du JO est Word [20]. L’avant-dernière page liste d’ailleurs des raccourcis clavier pour Word peu connus mais extrêmement utiles : tiret cadratin (tiret long), cédille, apostrophe courbe, guillemets anglais ...

Emmanuel Barthe


1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | ... | 30

Dernières brèves