Un cas métier IoT

Je vous propose de visionner mon intervention à l’occasion de la conférence IDC « Du Big Data aux systèmes Cognitifs ».

A cette occasion avec mon collègue Bertrand Le Quellec de HDS, nous avons présenté le projet « Rail UK ». Je parle de l’architecture analytique de ce projet à compte de 7’50 »

http://relaiswebcasting.mediasite.com/mediasite/Play/b517b696181d49b89f3125f46fa944e21d?catalog=244646f6-6d20-4631-a915-066b8b1d16eb
View Full Screen

A bientôt

Pentaho v7 « Une nouvelle route »

A l’occasion de Pentaho v7 et comme à l’accoutumé, je souhaite partager avec vous au delà des nouvelles fonctionnalités ma vision de cette nouvelle route pour Hitachi-Pentaho.

En effet lors de notre rachat par Hitachi, nombre d’entre vous ont eu des doutes sur l’avenir communautaire de Pentaho. Pedro Alves qui est au « board » de Pentaho et qui s’occupe de la défense des intérêts de la communauté ne peut pas être mieux placé pour cela. Et il a joué un rôle majeur sur cette nouvelle version.
Dans le même temps c’est un nouveau virage pour Pentaho. La version v7 propose essentiellement des nouvelles fonctionnalités disponibles en version Enterprise seulement.
= Une organisation qui innove

La plus importante est basé sur l’analyse graphique (et donc pas seulement en mode tabulaire) des données à TOUTES les étapes de PDI (ETL de Pentaho). Cette nouvelle fonction majeure est classée « Enterprise » car elle n’intercède en rien le fait de transformer une donnée avec PDI mais bien qu’elle permet de nouveau processus au sein des entreprises. Il s’agit d’optimiser le « Time To Market » en donnant aux préparateurs de données tous les moyens d’analyser et de modéliser (au niveau logique) les données avant même de les mettre à disposition du business. etlvizDans l’ETL, une visualisation sous forme d’histogramme permet par exemple de plus facilement se rendre compte de l’absence de données sur une certaine période de temps par exemple. La vision tabulaire proposée par la concurrence ne permet que de vérifier qu’une donnée à bien été transformée comme vous le souhaitiez. Si le préparateur souhaite faire valider son analyse, il lui est possible de la publier sur la console utilisateur afin d’obtenir la validation d’un acteur métier.
= Un ETL tourné vers les métiers

Avec Pentaho v7 on poursuit notre démarche permettant de mieux s’organiser face à notre métier qui évolue rapidement. Comment pourrions-nous accompagner tous les nouveaux cas d’usage Big Data en conservant les mêmes relations entre l’IT et les métiers?

De plus sachez que prochainement vous pourrez utiliser notre ETL en mode client Web!  Cela permettra certainement de définir des nouveaux groupes d’utilisateurs métiers ayant par exemple une liste prédéfinie de connecteur et leur permettant de développer tous les processus « basique ».
= Un ETL accessible aux métiers

etlbusiness
Notre groupe Hitachi intègre également les solutions Pentaho dans son offre Lumada destinée aux industriels. Aussi on discutera de plus en plus facilement avec les machines.

Pentaho v7 est donc la poursuite de nos innovations mais également j’en suis persuadé une orientation forte vers une nouvelle route Hitachi-Pentaho pour accompagner nos mutations technologiques.
Pentaho v7 est déjà une plateforme analytique complète intégrant les fonctions:
– Ingestion/Collecte (nombreux connecteurs et fonction Metadata Injection)
– Transformation/Enrichissement prédictif (Weka, R, Python, Scala)
– Modélisation logique/Sécurité (y compris avec Hadoop)
– Publication vers les métiers (Datamart As A Service, Data As A Service)
– Console utilisateur/Analyse embarquée dans vos applications (API, OEM, Multi-tenant)
= Une plateforme analytique complète

pipeline

Mais comme vous l’avez compris, au delà de vous fournir les fonctions que vous attendez, Pentaho v7 est une plateforme d’avenir qui tout en restant ouverte et modulable vous accompagnera demain vers les solutions analytique que ni vous ni moi ne connaissons encore.

Cette nouvelle route est la démonstration d’une stratégie analytique pour vous aider à construire vos propres stratégies.

SQL is not dead ! Welcome streaming SQL

calcite

Quel plaisir de lire ce slide deck de Julian Hide, manager du projet Apache Calcite. Il réalise une présentation technico-fonctionnelle de notre aisance à penser SQL tout en pouvant interagir avec toutes les nouvelles formes de stockage. attention on est bien ici dans du query-réponse type base de données. Mais ce projet prend également en compte les usages sur les critères de période analysée ou la structure de la réponse qui doit être appropriée pour pouvoir facilement alimenter des graphiques ou encore conserver les fonctions de l’analyse multi-dimensionnelle. N’oublions pas que Julian est le responsable de Mondrian, le meilleur outil ROLAP.

Toutes les slides ne sont pas aisées et vous utiliserez quelques fois la fonction retour pour relire la précédente mais vous découvrirez un projet « ouvert ». On me demande fréquemment si ce que je présente est open ou pas. Ici est parfaitement représenté le concept de l’ouverture par laquelle ce projet s’interconnecte avec des bases de stockage chacune ayant leurs spécificités de performance. Le stream vous apporte le courant, le traditionnel vous apporte l’historique et le window vous donne des photos d’un ensemble de données.

Au regard de nos besoins nous pourrons implémenter tous les modules ou au contraire, pour alléger des apps analytique, avoir la possibilité d’utiliser les seuls modules utiles à votre projet.

Le développement des NoSql est réel et parfaitement utile pour la souplesse de modélisation et la scalabilité. On voit ainsi qu’un query croisant des sources Splunk et MySql n’est pas dénué de sens. Le pouvoir est dans le fait de pouvoir exprimer sa demande dans un langage universel et d’utiliser le meilleur des offres de stockage au regard du type de données.

Je n’ai pas encore testé Calcite qui est en version 1.7 actuellement mais je suis sûr de recroiser le chemin de ce projet. Pentaho Data Integration me permettra de transformer les retours pour répondre à des demandes fonctionnelles et les Inputs seront performant en suivant les conseils de Julian.

See you soon !

DATA LAKE IS NOT ONLY SQL

Read it in English

Pour les plus de 40 ans 😉 Oracle a toujours été la référence du stockage que ce soit pour le transactionnel ou l’analytique.

Depuis la mouvance Big Data et après sa plus grande compréhension, de nombreux projets se lancent enfin concrètement et les marches ne sont pas faciles à franchir. Je veux partager avec vous un constat que je considère comme une problématique assez fréquente.

datalakeComme depuis toujours on souhaite avoir des performances pour que toutes requêtes prennent vie en quelques millisecondes. Aujourd’hui cette offre de performance existe dans l’écosystème Big Data mais revêt 2 pivots essentiels en terme de choix, Hadoop et NoSql.

Pour moi le premier est un cluster de traitement de la donnée et le file système idéal qui remplace entre autres nos anciennes staging area. Aujourd’hui ce stockage brut massif se dénomme Data Lake lorsqu’on ne l’applique plus exclusivement aux données destinées à être traitées par votre Datawarehouse. Le Data Lake a vraiment cet objectif d’être un espace de stockage universel bien au-delà du périmètre des responsables décisionnels. C’est un espace centralisé ou nativement le hardware permet déjà de retrouver un grand nombre d’informations par les seules metadata initiales stockées au moment de leur ingestion.
De plus son mode cluster en mode distribué, comme d’autres, est un générateur de puissance de traitement sans fin au regard des moyens d’infrastructure que vous lui allouez.

NoSql offre dans le même temps des modes de modélisation des données très souple et évolutif tout en conservant d’excellente performance en terme de requête car le maître mot reste « base de données ». Mais quelque soit la souplesse de ces modèles dont le plus en vogue est la structure Json, cela reste un concept de formatage des datas ayant donc son propre mode d’ingestion. Les offres disponibles savent elles aussi rendre la gestion de grands volumes sans limite en mode distribué.

Au temps de l’IoT cette conceptualisation est moins présente car l’urgence est de collecter et stocker pour rendre disponible à tout moment si besoin. Dans ce domaine Hadoop poursuit son règne. Cela n’interdit pas d’alimenter des processus temps réels avec des orchestration de Apache Kafka qu’il supporte. Au delà vous pourrez choisir de traiter la data en mode stream ou batch avec Spark ou MapReduce.

Aussi voir des projets aujourd’hui se lancer exclusivement sur un concept NoSql revient à mon sens à s’interdire de futur projet analytique. Si ces solutions répondent aux objectifs d’un projet c’est parfait et c’est leur objectif. Vous pouvez ainsi économiser sur toutes les évolutions que vous souhaitez apporter à un outil transactionnel ou de reporting dédié. Si vous souhaitez ajouter une information, ou même démultiplier une information existante en plusieurs attributs, NoSql vous aidera largement a réaliser cela quasi instantanément. Mais à mon sens, NoSql ne peut pas être confondu avec une architecture Data Lake.

Ces Big questions très familières au projet Big Data, ne doivent pas cacher qu’aujourd’hui on travaille sur le repositionnement de la donnée. On a commencé par faire de l’analyse sur des projets prioritaires et aujourd’hui on est en mesure de définir des architectures « globales » en terme d’analytique facilitant le management « driver » par la data. La richesse de votre analyse de demain naîtra du croisement de multiples sources et si vos premiers choix sont trop réducteurs, vous serez moins réactif.

A l’heure où dans votre espace digital privé vous pouvez retrouver toutes informations textes, images, musiques, …etc… d’un simple clic, nos entreprises ne peuvent plus se contenter de définir la liste des « domaines » réservés à l’analyse. Certes la confidentialité doit toujours être gérée (et c’est le cas) mais les défis sont de pouvoir rapidement écouter les flux manipulés par l’entreprise pour qu’à n’importe quelle étape on puisse retrouver et analyser des données. Au rythme toujours incessant des nouveautés dans le Big Data les choix initiaux ne sont pas simples mais néanmoins pas neutres.

 

 

 

 

BioMe – Application analytique Big Data

Read it in english

Je partage avec vous aujourd’hui une vidéo en Français ! d’une des fonctionnalités phare de Pentaho.

Labellisée Streamline Data Refinery en interne, ce concept est une présentation de méthode de livraison des données Big Data à vos utilisateurs. Ce scénario se déroule en 3 étapes:

1/ Sélection des données souhaitées
Présenter à l’utilisateur un Dashboard contenant des Kpi’s générique de vos Data. Cela lui permet de définir les principaux éléments du périmètre cible de son analyse.
Il peut compléter ses choix avec autant de critères que vous lui proposerez.

2/ Préparation des données
Pentaho Data Integration (PDI) va prendre en compte les paramètres de l’utilisateur et dynamiquement filtrer les datasets utiles à rechercher dans votre Datalake on dans toutes sources de données imaginables.
Par la suite vous pouvez « automatiquement » annoter les données c’est à dire réellement créer un Metadata lisible pour votre utilisateur. Il s’agit bien ici d’un ETL qui va créer un dictionnaire de données pour qualifier vos hiérarchies d’axes d’analyse et vos principaux indicateurs et leurs attributs.

3/ Publication des données 
En fin de traitement, PDI va publier le nouveau Metadata sur la console utilisateur Pentaho et dans le cas présent alerter l’utilisateur depuis son application BioMe de la disponibilité des données.
Celui-ci pourra alors utiliser l’outil de discovery de Pentaho, Pentaho Analyzer qui est dans cet exemple « embarqué » dans l’application BioMe.

Enjoy!

100% Cloud guy!

Since 3 months now, I’ve experienced a full Cloud concept.

All my data, personal AND professional are host in the cloud. Sure you can say « Bhaaa nothing special ! » but when i say that,  its mean that my house could burn (cross fingers 😉 or i can crash my business computer, I’m sure I can access to all my data.

It was not a 100% safe story. I remind some morning in the train, just few minutes before a meeting, « oh xxxx, where is my file? »
I’ve tried to use many of major cloud solution: GoogleDrive, OneCloud, Dropbox, Box and HCPAnywhere.

Some of them only replicate your online data anywhere you want but don’t make any upload synchronization. So its why i stop using Box & Drop for this purpose. They just could be used to deliver access to files to your friends. In the same time I use Google only for personal usage. So today I manage all my personal files on Drive.

Where it’s more complex, it’s when I have to define my better tool for business usage. I’m travelling all times and use a full online solution was the not the right answer.

So I’ve tried OneCloud! But in this case you need at the end to create all your docs from Office365, so online. If you try to use your local Office, it will make synchronization for you,….. but when ! Their synchronization tool was not persistent in my case. I’ve some colleague who used full Office365 but in my case it take me sometimes 3 to 5 min to save a file, waiting checking and pseudo synchronization.

hcpAt the end my choice come to ….. Hitachi ! Sure it’s my new holding company but they have a public tool named HCPAnywhere that you can used online. By this way I can really use large local folder and create and update files using any software and be sure that everything is online without to wait long time. At the end you understand it’s my new tool and I can only encourage you to test it.