Logiciels, Internet, moteurs de recherche

Dernier ajout : 10 juin.

Derniers articles

Any Yahoo Pipes true substitute out there ?

Focusing on RSS feed merging and filtering

Mardi 29 septembre 2015

Lire la suite »

Pipe dreams by darwin Bell

The loss of Yahoo Pipes in August this year [1] is a major blow to the monitoring/research community and also web site authors looking for selected content. Its ability to combine and filter multiple RSS feeds into one feed remains unique to this day among free hosted services.

This post will focus on how we could replace Yahoo Pipes for these functions [2]. We will not deal here with the web page scraping Pipes was able to do too [3].

So I went looking for substitutes which could merge and filter feeds. I mean, real ones : as simple as Pipes. For instance, they shall have a graphic user interface (GUI) ; coding shouldn’t be necessary. The only difficulty allowed should be the use of regular expressions (Regex).

Free hosted substitutes

  • FeedCombine, RSSMix, FeedRinse or ChimpFeedr (to merge feeds into one feed) then FeedSifter or FeedRinse (to filter the mega-feed) can answer simple needs.
    FeedRinse can do more, as it accepts Regex but it can’t merge more than 5 feeds, is slow and bugs according to La Bibliothèque du CHUM’s test.
    FeedCombine cannot combine more than 5 feeds, say Anik Dumont-Bissonnette.
    ChimpFeedr is very simple at "chomping" (as their web site says) feeds.
    RSSMix, according to the same test, works perfectly, merging up to 100 feeds
  • Feed Informer combines and filters feeds, but filtering can only be done using AND or OR operators
  • IF (ex-IFTTT) doesn’t seem to do exactly that : merging and filtering RSS feeds into one feed. Which is not to say it does not have its (numerous) advantages in the field of monitoring services.

Paid hosted substitutes

  • FeedsAPI does not seem to merge RSS feeds but can filter them. Afterwards you can use an IFTTT recipe such as Feedly Category to Twitter. FeedsAPI and Inoreader seem the easiest to use solutions among the paid ones
  • Tadaweb from Luxembourg, according to some blog posts, is able to create from web pages, filter and organize RSS feeds. The ouput is in RSS format only if the input is RSS too. NB : following a recent new policy, Tadaweb does no longer give access to its Creator module, its team is doing the work in lieu and place of the information professional and its pricing has accordingly evolved
  • the paid version of dlvr.it can filter and mash up RSS feeds
  • We Wired Web offers an IFTTT-like interface, RSS in and out and is able to filter it. But it does not merge different RSS feeds
  • the VIP and Premium versions of the Netvibes RSS portal are able to merge and filter RSS feeds by keywords, using Universal Search (which allows to query only certain groups of feeds — they’re called "tabs") and then Tracked Topics with RSS export
  • the Plus and Pro version of the RSS reader Inoreader allow merging and filter features : create a folder of feeds then an "active search" (an automated keyword search) on it and finally right click on the active search and click "Get RSS feed" [4]. It’s a pity Inoreader filter rules does not seem to have feeds as an outcome ; it would be interesting because they are much more precise than searches since they accept complex boolean queries and Regex [5] [6].

Self-hosted solutions (need coding skills)

In the sources listed below, I found other free or paid total or partial replacements — but you have to host them on your own server and/or they’re far too complicated for the average information professional :

  • Tiny Tiny RSS (TT-RSS) is an RSS reader with very interesting RSS feeds filtering features (open source)
  • Huginn by cantino (open source on GitHub). According to a MakeUseOf article, « this is the most popular of all the GitHub solutions mentioned, and has a huge, active support community behind it. It’s well documented and easy to use »
  • WebHookit, based on Node.js and mongoDB (open source)
  • Pypes (open source on GitHub), a Python application
  • Rss Percolator (open source on GitHub). Downloads, aggregates and filters RSS feeds
  • ClickScripts (open source on GitHub)
  • Bipio (open source). See the Getting started page (developer documentation) for a quick presentation. Bipio is a graph pipelining API talking RESTful JSON
  • Neddick (open source on GitHub).
  • pipe2py (open source on GitHub). You need to backup your YP pipes before. It uses JSON and the Google App Engine
  • Pipes2js (open source on GitHub)
  • Superpipes (open source), to be hosted on a Debian server
  • open source edition of MuleSoft’s Anypoint Studio
  • Quadrigram seems too graphics-oriented to me (apparently free).

Walled gardens

It has to be noted that the RSS implementation will once gain recede with this. If you look into the list of applications which can be connected by CloudWork or IFTTT, you will find that RSS is just one among more than a hundred of mostly proprietary ones ... Walled gardens again.

Did I miss something ? Do you know about any simple tool that could replace the "RSS mashup" function of Yahoo Pipes ? I’m interested in free as well as paid for services.

Emmanuel Barthe
independant law librarian researcher
open law specialist
monitoring solutions specialist

Sources for this article

Here are the links I found to some articles/blog posts and a number of forum discussions about Yahoo Pipes substitutes :

This article was written with the the help of Serge Courrier, a French consultant specialising in RSS readers and the use of RSS feeds for monitoring web sites [7].

Facilité d’utilisation, sécurité, cryptage des données, suite complète ...

Mettre ses fichiers ou ceux d’un groupe dans le cloud : quelle application choisir ?

Google Drive, Box, OneDrive, Dropbox. Mais aussi les outsiders : Mega, SpiderOak, TeamDrive, Tresorit, SecureSafe ...

Samedi 29 août 2015

Lire la suite »

Cet article est le premier d’une série de trois sur les solutions de cloud. Les deux suivants :

J’ai dû choisir en 2014-2015 une solution de cloud et de travail en ligne pour un groupe de 15 personnes devant travailler activement ensemble. Il ne s’agissait donc pas seulement de passer en revue les solutions de stockage en ligne mais aussi celles de partage de fichiers et de communication.

La sélection

Ne vous faisons pas languir. Voici les solutions que l’on peut recommander quand on privilégie l’aspect travail en groupe, la gratuité, la richesse des fonctionnalités et le côté pratique (*pas* la sécurité) — pour les arguments détaillés, voir infra :

  • Dropbox pour la facilité d’utilisation. Pas pour la sécurité
  • Google Drive pour la richesse des outils associés (GMail, Google Groups et la suite bureautique de Google) et pour le prix si on passe en version payante. C’a été notre choix
  • Box pour les fonctions dédiées aux professionnels et l’intégration de Microsoft Office Online
  • OneDrive de Microsoft (ex-SkyDrive), uniquement si on possède déjà la suite Office sur son PC et qu’on est un aficionado MS
  • SpiderOak, TeamDrive, Tresorit et SecureSafe pour la sécurité des données
  • Mega principalement sur le critère du volume de stockage gratuit.

NB : à l’exception de Mega, les solutions supra ne sont pas sécurisées à 100%, c’est-à-dire de bout en bout — du serveur au terminal en passant par la connexion.

Les arguments

Pour m’aider, j’ai commencé par lire la presse et autres ressources Internet, plus ou moins bien référencées par ... Google (voir la webliographie en fin d’article).

Puis avec l’aide d’un informaticien de SSII — pas plus spécialiste du sujet au départ que votre serviteur — je me suis lancé dans des tests. Nous sommes ainsi devenus des quasi-spécialistes du sujet !

Pour résumer ces articles et leurs commentaires y compris :

  • Dropbox est le plus facile à installer et à utiliser, le plus intuitif. Il garde les anciennes versions de vos documents et permet aussi de récupérer ceux supprimés (comme la Corbeille de Windows). De plus, Dropbox et la suite bureautique (version web) Office Online de Microsoft sont devenus interopérables fin avril 2015 (il faut toutefois avoir un compte Office Online d’un côté et de l’autre un compte Dropbox).
    Mais il est moins adapté à un fonctionnement collaboratif et les remarques sur son manque de sécurité sont nombreuses
  • Google, Box et OneDrive (Microsoft) sont bien plus complets que Dropbox (et autres concurrents). Pour reprendre la formule d’un article du JDN de février 2014 : « Google et Microsoft ont placé la bureautique et le collaboratif autour du document au centre de leur stratégie, ce n’est pas le cas de Dropbox, un pure player du stockage cloud »
  • A cet égard, la solution de Google offre une suite longue comme le bras de produits, qui plus est gratuite tant qu’on reste en dessous de 15 Go de stockage : messagerie (GMail), liste de diffusion/groupe de discussion (Google Groups), stockage de fichiers en ligne avec possibilité de partage (Google Drive), suite bureautique — avec Google Docs (traitement de texte), Google Sheets (tableur) et Google Slides (présentations, compatibles avec Powerpoint) — mais aussi Agenda, blog (Blogger), photos (Picasa), cartes (Google Maps), réseau social (G+, justement) ...
    Sans oublier que que Drive est en général considéré comme « médaille d’or de la vitesse de transfert [upload] de fichier ».
    Et que l’on peut modifier un document à plusieurs en même temps dans la suite bureautique de Google, mais pas dans Dropbox par exemple
  • Box : 10 Go gratuits, très orienté besoins professionnels et travail collaboratif (possibilité de publier des commentaires et attribuer des tâches sur les fichiers), il offre appli mobiles iOS et Android disponibles. Box est un outsider si on se réfère au nombre d’utilisateurs mais pas si on se situe dans le milieu des services cloud pour professionnels.
    Le seul grand manque qui existait dans cette offre, selon le JDN, pour une solution qui s’adresse aux professionnels, était l’absence d’outils d’édition des documents en ligne, autrement dit de logiciels bureautiques en ligne accessibles directement dans le navigateur web [8] est comblé mi-juin 2015 grâce à un accord entre Box et Microsoft : Office Online (version Web) est désormais intégré dans Box (Office était déjà intégré dans la version PC)
  • OneDrive est recommandé pour les aficionados de Microsoft et ceux qui possèdent déjà la suite bureautique Office sur leur ordinateur. Toutefois, les commentaires mettent en cause sa vitesse de synchronisation sur les divers appareils et sa gestion des noms de fichiers longs ou comportant des espaces. Sur certains aspects fonctionnels et si on considère les offres payantes, l’offre OneDrive Pro de Microsoft est plus évoluée que celle de Google
  • Les outsiders vraiment intéressants :
    • pas sécurisés de bout en bout :
      • Copy : aussi simple que Dropbox, en légèrement mieux mais quelques bugs [9]. Appli Android et iOS
      • Bitcasa : 20 Go gratuits, très cité et apprécié par les particuliers outre Manche même si les journalistes et évaluateurs professionnels ne l’apprécient pas autant. Apps iPhone ou iPad et Android
    • sécurisés de bout en bout :
      • Mega : le successeur "clean" du sulfureux Megaupload offre 50 Go gratuits. Très populaire, encrypté de bout en bout (mais ne conservant qu’une instance d’un fichier en doublon/triplon/etc. donc gardant une liste de ceux ayant par exemple un gros fichier comme un film, ce qui pose certains problèmes en termes de sécurité), c’est lui qui offre le maximum de stockage en ligne gratuit. Appli mobiles Android et iPhone
      • SpiderOak : 2 Go gratuits comme Dropbox mais beaucoup mieux sécurisés (voir infra). 10 USD les 100 Go. Apps mobiles Android et iOS
      • TeamDrive (Allemagne), que le site spécialisé Cloudwards.net semble apprécier :
        • il encrypte lui aussi les documents sur les serveurs et en local
        • le service offre 2 Go gratuits et une appli pour iPhone et iPad (pas Android)
        • ses fonctionnalités sont très riches et tournées vers les entreprises
        • Apps iOS et Android disponibles
      • Tresorit (Hongrie, Suisse) résulte du travail de développeurs hongrois spécialisés à l’origine dans la sécurité informatique et est apprécié lui aussi par Cloudwards.net :
      • SecureSafe : le Web manque de littérature récente sur ce service suisse sécurisé comme les précédents de bout en bout. A priori, je luis vois pas mal d’avantages :
        • il existe depuis 2011
        • une version pur navigateur web existe, ainsi que les apps Android et iOS
        • il est honnête sur ses conditions générales, qu’il met clairement en avant (cf infra les limitations de responsabilité de ces services)
        • des deux services européens sécurisés de bout en bout — lui et Tresorit —, c’est SecureSafe (ses serveurs sont en Suisse) le moins onéreux
        • il offre une version gratuite avec 100 Mo de stockage (ce qui est peu, il est vrai, et beaucoup moins que Tresorit, mais suffisant si on se limite aux fichiers critiques) et 50 accès à d’autres personne pour partager les données
        • -**** il est tourné vers les entreprises, notamment la finance : il est utilisé par des banques et assurances suisses. Sa version payante professionnelle offre une messagerie sécurisée, fonctionnalité non offerte par ses concurrents.

Tresorit : bientôt une interface pur web selon le service support

Sécurité : chiffrement, mot de passe ... Déterminante ?

Comme l’explique le site de l’éditeur Techniques de l’Ingénieur, « les données stockées sur Google Drive et OneDrive sont chiffrées lors de leur transfert vers les serveurs. Mais une fois dans le Cloud, ces données sont stockées en clair — sauf pour la version professionnelle de OneDrive. Dropbox, Box [et Mega] chiffrent les données stockées, mais détiennent les clés de chiffrement, ce qui leur permet d’accéder aux données des utilisateurs, même chiffrées. » [11]

Seuls SpiderOak, TeamDrive et Tresorit, donc, pratiquent le "zero-knowledge data storage" : la clé de chiffrement, le mot de passe n’est pas stocké sur leurs serveurs, ils ne le connaissent pas, celui-ci ne peut donc a priori pas être compromis par des pressions des services des Etats [12] ou par une faille de sécurité de leur côté. La seule chose sur le plan technique qui peut empêcher de leur faire confiance les yeux fermés est que le code de leur application n’est pas open source, donc non vérifiable.

Bon, une fois cela dit, le problème de la sécurité, pour diminué qu’il est, demeure :

  • quid de l’ordinateur mal sécurisé et donc hacké ou de l’utilisateur qui utilise un mot de passe faible [13] ?
  • autre limite : les conditions générales (le contrat, donc) de ces services, même ceux sécurisés de bout en bout, précisent que le service garantit ses méthodes de sécurisation mais pas la sécurité des données entreposées. Exemple : celles de Tresorit, voir article X.2. En clair : ces coffres-forts pour fichiers excluent expressément toute responsabilité de leur part au cas où vos données seraient détruites ou hackées.

Et la valeur d’une solution de cloud aux yeux du grand public et des utilisateurs professionnels ne dépend pas que de son degré de sécurité. Loin de là : le critère de choix principal semble être l’ergonomie — on l’a bien vu plus haut — et son écosystème (applications, communauté, développeurs) [14]. C’est dans ce dernier domaine
plus qu’ailleurs, que Google et Microsoft marquent des points.

Les raisons du choix de Google Drive

Pour ce groupe de travail, nous avons donc choisi Google Drive + GMail + Google Groups + sa suite bureautique (Docs, Sheets).

Malgré certaines limites ergonomiques — décrites dans le deuxième article de la série [15] — et son manque relatif de confidentialité, la solution Google a été retenue parce que :

  • "mainstream". Donc une solution établie, ne risquant pas de capoter en cours d’utilisation, et comportant une très importante communauté d’utilisateurs, donc de personnes susceptibles de nous dépanner dans les forums
  • complète  : tout en un ou presque
  • Drive permet le partage de dossiers
  • et mon "collègue" m’a fait remarquer les nombreux problèmes de sécurité de Dropbox (voir Cloud : le diable est dans les détails).

Mais la difficulté au début de nos utilisateurs non informaticiens ni "geeks" à se débrouiller seuls a bien failli nous ramener à Dropbox ... Il leur a fallu 20 mn de formation, un bon mois de pratique et pas mal de conseils par oral pour être tous rodés. Et encore ...

Enfin, si nous avions eu de gros risques de sécurité, nous aurions envisagé Box (version payante) ou SpiderOak. Cela dit, le code de SpiderOak ou TeamDrive n’est pas open source et ne peut donc pas être vérifié. Idem pour Box.

Après les tests et le choix de notre solution, il s’est avéré que parmi les ressources consultées (voir webliographie infra), le tutoriel de Sciences Po a été réellement le plus pragmatique (mais pas tout à fait à jour). En effet, il est le seul à aborder concrètement les possibilités de partage des dossiers entre plusieurs utilisateurs. Le "truc" le plus important qu’il explique est l’utilisation de l’adresse mail d’un Google Group pour partager d’un coup un dossier avec un (gros) ensemble d’utilisateurs Google. L’avantage de partager avec un Google Group est qu’il suffit à l’administrateur du Google Group d’ajouter ou supprimer une adresse GMail pour donner ou interrompre l’accès aux dossiers partagés.

Quelques conseils

- Ne pensez pas que "gratuit", pensez aussi "besoins". Listez vos besoins, notamment sur le partage des fichiers et les solutions de communication au sein du groupe.

- Renseignez vous sur les solutions envisagées. La littérature Internet peut s’avérer suffisante, à condition de mener une recherche approfondie et de beaucoup lire. Quelques discussions en ligne (par mail ou sur un forum) ou IRL [16] vous aideront souvent à trancher à condition de détailler votre question.

- Testez la solution que vous pensez retenir *avant* de travailler dessus. Au moins pendant deux semaines et sur toutes ses fonctionnalités. Surtout si c’est pour un travail en groupe, car dans ce cas vous aurez énormément de mal à revenir en arrière.

- Quelque soit la solution choisie, formez-vous et formez vos utilisateurs. Ce qui peut vous sembler évident semblera invisible ou très compliqué à quelqu’un d’autre. Exemple avec les applications de Google : Drive, GMail ... [17]

Solutions non prises en compte

Note importante : j’ai choisi de ne pas prendre en compte les services suivants :

  • iCloud (ex-mobile.me), exclu tout simplement parce qu’il n’est accessible qu’aux détenteurs d’un matériel Apple (iPhone, iPad, Mac) et que c’est une application de cloud incomplète. Comme le dit un commentaire : « Le but d’Apple est de permettre l’échange de fichiers entre applications iOS ou ordinateurs, pas de vraiment de remplacer ou concurrencer Dropbox » [22]. Pour finir, comme Dropbox hélas, il est la cible d’attaques répétées [23]
  • Amazon Cloud Drive, exclu car incomplet lui aussi. Il ne propose que deux solutions de cloud : une pour les documents et photos et une réservée aux fichiers MP3 des clients d’Amazon. Mais dans le stockage pur, c’est un acteur à considérer. Ceci dit, au vu de certains signes [24], cette situation pourrait bien évoluer à l’avenir.


Pour d’autres solutions de stockage dans le cloud, voyez :

Cloud : le diable est dans les détails

CGU, sécurité, confidentialité, édition en ligne, stockage maximal

Vendredi 28 août 2015

Lire la suite »

Cet article est le troisième d’une série de trois sur les solutions de Cloud. Les deux premiers :

Pourquoi rappeler cette formule anglo-saxonne "Le diable est dans les détails" [26] à propos des solutions de cloud (stockage, partage et synchronisation de fichiers en ligne) ?

Parce que quasiment aucun des articles cités dans notre première partie ne mentionne certains points-clés.

Ces points sont pourtant incontournables : ils expliquent notre hésitation entre Google et Dropbox pour choisir la solution de cloud pour un groupe de travail d’une quinzaine de personnes [27].

Les voici.

Edition en ligne des documents

- Le tout récent partenariat Dropbox Microsoft [28] ne permettra pas de modifier directement en ligne ses fichiers hébergés sur Dropbox. En effet, seul l’iPad est concerné [29] pour le moment et de toute façon il n’est question que d’ouvrir les documents, pas de les "éditer".
Les solutions Microsoft et Google, permettent, elles, de modifier en ligne les documents.

Sécurité, confidentialité

- Les grands clouds "lisent" souvent vos documents :

  • Microsoft et Apple vérifient que rien dans vos fichiers n’est illégal. C’est implicite dans leurs CGU (en anglais : TOS) [30]
  • détaillons le cas de Google : les conditions générales d’utilisation de Google (un contrat qui vous engage donc ; "terms of service" ou TOS en anglais) lui donnent le droit de parcourir informatiquement/lire tout mail ou document présent sur ses services et de produire des produits dérivés de vos oeuvres/documents [31] — sans toutefois violer ses propres engagements de confidentialité.
    Rappelons également que Google a été condamné par la CNIL (en janvier 2014) et par ses consoeurs européennes pour « ne pas informer suffisamment ses utilisateurs des conditions et finalités de traitement de leurs données personnelles » [32].

- Attaques et failles de sécurité :

- Peu de ces services gratuits cryptent vos données sur leurs serveurs de manière à les rendre illisibles en cas problème de sécurité ou de curiosité gouvernementale. Encore moins les cryptent côté client. Comme l’explique le site de l’éditeur Techniques de l’Ingénieur, « la plupart des services ont intégré le chiffrement des données dans leur technologie. Les données stockées sur Google Drive et OneDrive sont chiffrées lors de leur transfert vers les serveurs. Mais une fois dans le Cloud, ces données sont stockées en clair — sauf pour la version professionnelle de OneDrive. Dropbox, Box [et Mega] chiffrent les données stockées, mais détiennent les clés de chiffrement, ce qui leur permet d’accéder aux données des utilisateurs, même chiffrées. » [34]
Exceptions : Spideroak [35] qui crypte les données sans en stocker la clé chez lui [36]. Ce qu’on appelle du "zero-knowledge data storage" : personne d’autre que vous ne connaît le mot de passe, mais si vous le perdez, vous perdez vos données. Autres services encryptés de bout en bout : Tresorit et SecureSafe (voir notre article Mettre ses fichiers ou ceux d’un groupe dans le cloud : quelle application choisir ?).
Si le service que vous utilisez n’encrypte pas les données sur ses serveurs, vous pouvez le faire vous-mêmes si vous l’estimez nécessaire. Un ancien du service de messagerie cryptée Hushmail recommande [37] le logiciel TrueCrypt (il rend toutefois la synchronisation des fichiers quasi-impossible) et surtout le service allemand [38] (également disponible sur mobile) BoxCryptor (gratuit pour un usage personnel, donc sans partage de fichiers) pour le cloud et Hushmail pour le webmail ou PGP pour le mail (Pretty Good Privacy, voir GnuPG dit GPG et le module Enigmail pour Thunderbird [39] désormais, PGP étant désormais vendu par Symantec).
Un article de SiliconAngle [40] cite deux autres solutions gratuites de cryptage dans le cloud : Cloudfogger et Viivo (et deux solutions payantes).

Fichiers supprimés et anciennes versions

- La plupart de ces services gratuits ne gardent aucune version antérieure des documents modifiés ni ne permettent de récupérer un fichier supprimé.
Exceptions : Dropbox qui pendant 30 jours garde les versions anciennes et les fichiers supprimés, Google Drive qui garde 30 jours les anciennes versions seulement et Box qui garde juste les versions anciennes (mais ne permet pas de récupérer un fichier supprimé, sauf intervention par le support).

- OneDrive de Microsoft supprimera vos données après un an de non utilisation de votre compte [41].

Il faut relativiser cette limite : avec la plupart des clouds, la Corbeille Windows garde les anciens fichiers supprimés et permet de les récupérer.

Taille de stockage maximale des offres gratuites

- Dans les 15 Go offerts par Google, les photos de moins de 2048 x 2048 et vidéos de moins de 15 mn sont exclus du calcul, mais pas l’espace pris par vos mails et surtout les pièces jointes.

- Il est possible sans trop de difficultés d’augmenter le maximum officiel des offres gratuites de stockage, mais pas de travailler en groupe dessus si c’est par combinaison de solutions différentes :

  • utiliser les Go supplémentaires offerts pour les parrainages de nouveaux utilisateurs, particulièrement chez Dropbox où on peut arriver au total à 22 Go gratuits
  • utiliser plusieurs solutions de cloud séparément. Serge Paulus, par exemple, arrive ainsi à 75 Go gratuits [42]
  • il existe aussi une solution gratuite pour gérer Dropbox, Box, OneDrive, Google Drive et d’autres depuis un seul service : MultCloud [43]
  • in fine, surtout si on gère un groupe important (plus de 10 personnes) pour des besoins professionnels, il est recommandé de passer à une offre Pro payante. Non seulement pour partager sans problème mais aussi pour augmenter la sécurité (niveaux d’accès différenciés etc.).

1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | ... | 25

Dernières brèves