Jeudi 13 novembre 2014, l’équipe Elasticsearch organisait à Paris une présentation des nouveautés de ses produits, ainsi que quelques aperçus des évolutions et orientations à venir.

La présentation était animée par entre autres par Shay Banon (créateur et CTO), Richard Maurer, et David Pilato côté Elasticsearch.

Voici ce que nous en avons retenu…

Kibana

La version 4 de Kibana (actuellement en beta 2) devrait être finalisée dans le courant du premier trimestre 2015. Il s’agit d’une refonte en profondeur du produit, tant technique (l’installation nécessite maintenant une JVM) que fonctionnelle.

• Recherches, graphiques et dashboards sont maintenant indépendants. Un même graphique peut par exemple être partagé entre plusieurs dashboards (et donc être mis a jour simultanément).
• L’interface de Kibana 4 est responsive et utilisable sur iphone, ipad, …
• Kibana 4 supporte les plugins.
• Les agrégations Elasticsearch seront également supportées. L’exemple proposé montrait la recherche sur des codes de requêtes HTTP et l’agrégation par type (2xx, 3xx, 4xx, 5xx).
• De nouveaux modes de visualisation sont proposés, avec entre autres une meilleure carte pour la géolocalisation.
• Enfin les graphiques sont maintenant utilisables via un appel à Kibana 4, par exemple pour pouvoir être intégrés dans un back office tiers.

Elasticsearch

La version 1.4 d’Elasticsearch sortie début novembre était orientée sur 3 axes : les performances d’indexation, la résilience, et la consommation mémoire.

La version 2.0 devrait quand à elle introduire des concepts interessants et attendus :

• l’analyse prédictive : il sera possible lors d’une requête d’appliquer un filtre de type régression linéaire, taux de changement … afin de mettre en évidence un comportement sur une série de données.
• la fonctionnalité d’enrichissement de données structurées devrait permettre de retravailler des données post-indexation, lorsqu’elles n’ont pas été analysées (par exemple lorsqu’un champ n’a pas été traité par un grok logstash).
• enfin cette version introduira une change API similaire en principe à celle de CouchDB. Elle permettra de suivre les évolutions de l’index et sera la base d’un futur moteur de réplication de données multi-datacenter.

Les versions futures embarqueront enfin des notions d’alerting basées sur l’analyse de tendances et des requêtes planifiées (Kibana et Elasticsearch fonctionnant aujourd’hui essentiellement en mode “dashboard” pour une analyse active).

Logstash

La prochaine version de Logstash sera la 1.5. Comme pour Elasticsearch 1.4 les enjeux principaux sont la performance (une amélioration de x5 à x10 dans l’indexation est évoquée), la résilience, et la consommation mémoire.

La version 2.0 sera orientée management d’environnement de grande taille, avec 2 fonctionnalités principales :

• La gestion de la configuration par API (à l’opposé des fichiers sur disque actuels).
• La gestion de Logstash en cluster : un seul point de configuration API pour gérer un grand nombre de noeuds.

Shield

Pas de nouveautés annoncées pour ce produit tout neuf, mais un survol des fonctionnalités qu’il apporte en complément d’Elasticsearch :

• communication cryptée entre les nodes.
• contrôle d’accès par rôle sur les index et alias.
• log d’audit des accès.

Pour finir …

Il est intéressant de voir l’équipe Elasticsearch apporter de la valeur ajoutée dans l’analyse des données. Les fonctionnalités de calcul de tendances, que l’on retrouve par exemple sur Graphite depuis des années, sont essentielles en complément de l’œil de l’observateur pour comprendre une situation.

Par ailleurs  les produits évoluent clairement en réponse aux retours des utilisateurs : les besoins de sécurisation couverts par Shield, les configuration de Logstash en cluster par API sont deux exemples de solutions aux difficultés que l’on rencontre dans des cas d’utilisation réels.

Il était enfin frappant de constater qu’une bonne portion de l’assemblée venait du monde bancaire, preuve que ces produits sont maintenant des standards adoptés très largement, de la startup à la multinationale.