Archives pour la catégorie Future

Confidentialité des données, enfin une nouveauté !

Historique

Nous vivons depuis plus de 20 ans avec des applications mobiles autour de nous. Chaque jour nous acceptons lors d’un téléchargement des règlements sans prendre le temps de les lire dans leur intégralité. On préfère profiter des services gratuits qui y sont associés. Si vous inventoriez les apps sur votre mobile, entre celles que vous payées ou non, le 2ème ensemble sera certainement le plus conséquent. On a donc des données personnelles engrangées par ces applications et très souvent revendues ou analysées avec des tiers même si cela est peut-être mentionné dans la petite clause en bas du contrat du téléchargement. Aujourd’hui après des questionnements sur cette situation c’est une loi qui vient régir les conditions d’utilisation de ces données personnelles, la GDPR.

Le changement légal

Il s’avère qu’au-delà des méthodologies et outils qui vont être nécessaires aux sociétés pour respecter cette loi, le fait de gouverner la confidentialité de ces données est une nouveauté. Depuis plusieurs années, et démultiplié ces derniers temps avec le développement du Big Data et le machine learning, l’objectif est d’extraire une valeur d’utilité pour les clients finaux et de rentabilité pour les possédants de la data. Aujourd’hui doit être ajouté des notions de consentements de renoncements et de lisibilité. Ces suppléments d’âmes dans l’analytique importent que l’on doive définir en quoi ces actions sont bénéfiques pour le client. En quoi cette nouvelle valeur va pouvoir améliorer la relation client mais également bien entendu en quoi ces données personnelles sont mises en danger. Etes-vous prêt à expliquer toutes vos stratégies marketing? Non alors bienvenu dans le monde des données confidentielles.

Notre relation avec la confidentialité digitale

On obtient 2 risques majeurs vu du client :

  • On utilise mes données pour des raisons que je ne partage pas
  • On met mes données en péril en les exposant à des tiers voir par négligence dans le domaine publique, la toile !

On tient là une occasion unique de réconcilier les personnes avec l’intelligence artificielle.

Combien de fois avez-vous entendu dans votre entourage des plaintes concernant cette sensation d’être traqué, observé ? L’exemple le plus flagrant est généralement les publicités ciblées. Personnellement je préfère visionner des publicités digitales que manquer un virage par saturation de messages en pleine nature. D’ailleurs ces affichages sont désormais réglementés et on ne peut que s’en réjouir.

Au regard de la confidentialité des données, nos jeunes ont souvent des vues différentes des nôtres. Partageant en permanence des moments de vies privées, affichant fièrement l’appartenance à tel ou tel mouvement de pensée, les moins de 20 ans ne positionnent pas la confidentialité au même niveau que leur parent. Sont-ils drogués des services mobiles et conscient qu’un retour de manivelle est logique ? Non ce sont des consommateurs. Hier on se différenciait par la marque de sa voiture dans le jardin alors qu’aujourd’hui c’est au nombre de « Likes » sur votre profil du dernier réseau social à la mode. Mais ils ont acquis dès leur début digital la multi-identité. Un pseudo et une histoire associé à chaque profil. Il s’agit là d’une gestion de confidentialité.

Ce qui restera sur le web à leur vie adulte ne les importe peu et ils ont raison. Lorsque j’étais étudiant on me sensibilisait sur les photos laissées sur internet qui pourrait s’avérer gênante lors d’un futur recrutement. Aujourd’hui les algorithmes des ressources humaines qualifieraient cela de point bonus reconnaissant ainsi une personne à l’aise avec son image digitale 😉

Ces données sont bien là et même si un mouvement de rejet se fait entendre elles ne vont pas diminuer ni s’amoindrir. Toutefois elles sont aujourd’hui réglementées par différents textes dans différentes parties du globe.

« Data Driven » et « Data Privacy »

Le « Data Driven » ne s’arrêtera pas et ne doit pas s’arrêter car il est source de nombreux services business mais également sociaux. Anticiper un besoin ou un risque permet d’apporter une meilleure prestation au client final et nos comportements montrent que l’on s’y fait très bien.

Maintenant afin de mener un projet d’analyse nous n’avons pas forcément besoin d’une image parfaite et exacte de la réalité. On doit pouvoir regrouper des tendances pour donner de la valeur aux données au-delà de leurs valeurs intrinsèques. J’ai besoin de savoir que si mon client subit tel évènement et a telle caractéristique, j’ai intérêt à lui proposer tel service. Si 2 de mes clients ont le même attribut X, je dois transmettre cette information aux analystes mais la valeur de leur modèle ne sera en rien perturbé si je leur transmets cette information sous la forme « attribut Y » et non X. Bien entendu je dois être en mesure de pousser une valeur Y consistante. Cela signifie qu’à chaque fois que la valeur X se présentera je la traduirais toujours avec la valeur Y.

Aujourd’hui face à la pression juridique on se concentre sur la protection de l’identité des personnes. Les attributs concernés seront donc les noms, adresses, téléphones, … etc… .

Pour toutes ces informations on se contente aujourd’hui trop souvent de ne seulement appliquer des algorithmes de chiffrement. On remplace la valeur d’origine par une méthode de « hashing », le remplacement par une constante ou tout simplement une suppression pure et simple.

Et bien il y a du nouveau !

Tout d’abord en ce qui vous concerne. Finalement votre richesse intérieure n’est peut pas aussi normale que cela. Avec vos goûts, vos habitudes, les lieux géographiques que vous parcourez, je sais peut-être qui vous êtes? J’entends par là à quelle cible je dois envoyer quel message. Vous connaître intimement est bien entendu un autre sujet.

Aujourd’hui il existe des outils proposant une ergonomie adaptée aux rôles métiers « DPO » (Délégué à la Protection des Données) ou « RSSI » (Responsable Sécurité des Systèmes d’Information). Ces acteurs et bien d’autres ont désormais une interface à partager avec les « DSI » (Direction des Systèmes d’Information). Chacun a la possibilité de créer et administrer des stratégies de confidentialité des données prêtes à être exécutées sur des plateformes standard de traitement des données déjà connus et maîtrisées par l’IT, les centres de « compute » (Hadoop, Stream, …).

Bienvenu dans la « Data Privacy ».

Les pseudos-identifiants

Et bien certes si on se contente de démocratiser les outils de chiffrement, on fait un pas, mais un pas insuffisant pour protéger réellement l’identité des personnes. Le risque afférent est celui du croisement des fichiers. Vous me transmettez un fichier dit « confidentiel » mais en croisant son contenu avec d’autres informations que je possède ou auquel j’ai accès, je suis en mesure de découvrir l’identité des personnes contenues dans le fichier soi-disant « confidentiel ».

Vous devez donc désormais être en mesure de gérer les « pseudo-identifiants ».

Il est courant d’indiquer qu’avec votre date de naissance, votre code postal et votre genre, si vous êtes majeur et résident aux USA, un « tracker » peut vous identifier dans 80% des cas. La raison est la disponibilité publique des listes électorales aux USA dans lesquelles le nom-prénom est associé avec les 3 pseudo-identifiants ci-dessus évoqué. Bien entendu cela peut être le cas dans de nombreuses autres situations.

D’un point de vue analytique, ces pseudo-identifiants sont ce que l’on nomme les dimensions d’analyse en BI. Dans un contexte de Data Privacy vous devez donc veiller à ce qu’un enregistrement ne soit pas trop exotique et ne possède pas une combinaison de clefs trop rare.

« Ah mais bien sûr, je le reconnais c’est Jacques il habite là et a exactement ces caractéristiques ! »

Bienvenue dans la « k-anonymity ». Cette règle de protection de la confidentialité assure que pour chaque combinaison de clefs, votre jeu de données contient au moins « k » enregistrements.

Quoi de neuf pour l’analytique ?

Et bien pas de panique les feux sont toujours au vert. Les principaux textes réglementaires indiquent qu’à partir du moment où vous travailler avec des données anonymisées vous n’êtes plus soumis à la réglementation. Même si des interprétations distinctes demeurent quand on parle de « pseudo-anonymisation » (il existe un moyen de re-identifier les données), le « Data Driven » n’est pas remis en cause.

Il reste à être en mesure de rendre les données anonymes et quand le faire ? A l’entrée du Data Lake dans le processus d’ingestion ou seulement lorsque vous faites des extractions vers des tiers ?

Ce domaine reste neuf mais fort de la réglementation on peut être assuré qu’il va évoluer rapidement.

Le Datawahouse était une base distincte ne réalisant aucune action « transactionnelle » avec le client. On s’en servait pour connaitre les données et prendre de bonne décision. Aujourd’hui ce n’est plus le cas et les plateformes analytiques sont couplées avec de véritable processus digitaux commerciaux dénommés « Data Driven ».

Demain on ne recueillera pas le consentement du client en lui expliquant que l’analyse de SES données vont permettre de réaliser des ventes envers lui ou d’autres. On peut en déduire que pour rester innovant on se devra de travailler sur des données pseudo-anonymisées. Cela conduit vers une architecture dans laquelle la confidentialité des données sera gérée à l’entrée des entrepôts analytiques. Mais la privatisation des données a besoin de données propres et qualifiées.

On trouve alors l’équation : 1-DataIngestion + 2-DataQuality = 3-DataPrivacy.

Conclusion

Le Big Data a été et est un mouvement fort. Je reste trop souvent surpris devant le peu de déploiement français en production. Au delà des technologies impliquées les fonctions de digitalisation apportées sont majeures et inévitables. Ceux qui ne prennent pas le virage risquent de se faire accaparer leur marché par de nouveaux acteurs qui collectent et utilisent les données.

Néanmoins il est réconfortant que la Data Privacy rentre dans la danse. Cela apporte de la confiance aux acteurs doutant de la légalité de certains processus. Ces acteurs sont aussi bien des entrepreneurs prudents que des clients/utilisateurs finaux qui ne veulent plus se faire voler la valeur de leurs données. Sans compter que de nombreuses « data-agency » sont de la partie et qu’il est grand temps que vous soyez confiant dans vos échanges car il est fort de constater que les alliances sont courantes dans le mouvement de l’analytique.

Pour cela il existe aujourd’hui des outils performants de « Data Privacy ». Très prochainement ces outils pourront également s’intégrer dans vos outils de reportings « query » et ainsi s’assurer que vos règles de privatisation des données s’appliqueront également en temps réels aux utilisateurs de requêtes.

Pentaho 8.0

C’est l’heure d’une nouvelle version et donc pour moi de vous en parler.

Quelle fierté de faire partie de cette belle aventure qu’est Pentaho. C’est plus qu’un logiciel, c’est une manière de progresser tous les jours dans le métier de l’analyse des données. Pas de débat sur l’utilité du Big Data. si vous en doutez, lisez, observez vos concurrents, MAIS attention, vous allez peut-être vous dire, WHAOUH ils ont fait çà !

Chez HitachiVantara qui est notre nouvelle société juridique, la marque Pentaho a toute sa place. Elle est même le lien qui permet à une multinationale d’être le leader du marché de l’IoT.

Alors la v8 de Pentaho?

Si vous lisez les annonces trop vite vous allez peut-être apercevoir Spark, Kafka et vous dire, « Mais la v7.1 le faisait déjà! ». Oui c vrai en partie mais là aujourd’hui il s’agit réellement de permettre à tout le monde de le faire et de bénéficier de l’apport d’Hitachi. Pour cela vous avez désormais des étapes entreprise qui vous donnerons le pouvoir de proposer à vos Boss de l’analyse en temps réels:

  • Kafka + MetadataInjection = Ingérer des données en temps réels
  • Spark + ML = Transformer et Enrichir en temps réels

Il ne vous reste donc plus qu’à trouver vos clients et/ou utilisateurs temps réels 😉

Les éléments de la v8:

Ingérer vos datas sous forme de message.
Avec Pentaho Kafka Enterprise vous allez pouvoir choisir plus finnement la tranche de messages que vous voulez traiter.
De plus vous pourrez créer vos propres flux depuis une Transformation PDI avec la nouvelle étape 
Voici donc un nouveau dossier dans votre librairie PDI:

 

Rappelez-vous que PDI n’est pas un générateur de code. Et là en v8 vous allez pouvoir scaler vos process en temps réels sur votre cluster Hadoop? Oui biensûr vous le faites déjà mais là vous allez pouvoir faire la même chose sur vos serveurs Pentaho!

Avec notre fonction WorkerNodes, adieu les « slaves server » et vive la répartition dynamique sur vos machines les plus dispos.

.

 

Encore et encore aider tout le monde à faire du Big Data. C’est donc PDI qui s’enrichi avec ses fonctions de visualisations. Vous pourrez dé-dupliquer, filtrer, supprimer les valeurs aberrantes et remplacer les null encore plus facilement.

Oui vous avez deviné, les nouveaux utilisateurs de PDI sont les DataScientist mais la bonne nouvelle est que vous aussi vous allez pouvoir devenir un DataScientist !

 

Tous les détails sont sur http://www.pentaho.com/product/version-8-0 MAIS il faudra attendre le 16 Novembre pour télécharger le v8.

Préparez-vous messieurs les fans, le logo Hitachi est très présent mais pour le bonne cause, pour être encore plus fort sur ce marché.

Pentaho v7 « Une nouvelle route »

A l’occasion de Pentaho v7 et comme à l’accoutumé, je souhaite partager avec vous au delà des nouvelles fonctionnalités ma vision de cette nouvelle route pour Hitachi-Pentaho.

En effet lors de notre rachat par Hitachi, nombre d’entre vous ont eu des doutes sur l’avenir communautaire de Pentaho. Pedro Alves qui est au « board » de Pentaho et qui s’occupe de la défense des intérêts de la communauté ne peut pas être mieux placé pour cela. Et il a joué un rôle majeur sur cette nouvelle version.
Dans le même temps c’est un nouveau virage pour Pentaho. La version v7 propose essentiellement des nouvelles fonctionnalités disponibles en version Enterprise seulement.
= Une organisation qui innove

La plus importante est basé sur l’analyse graphique (et donc pas seulement en mode tabulaire) des données à TOUTES les étapes de PDI (ETL de Pentaho). Cette nouvelle fonction majeure est classée « Enterprise » car elle n’intercède en rien le fait de transformer une donnée avec PDI mais bien qu’elle permet de nouveau processus au sein des entreprises. Il s’agit d’optimiser le « Time To Market » en donnant aux préparateurs de données tous les moyens d’analyser et de modéliser (au niveau logique) les données avant même de les mettre à disposition du business. etlvizDans l’ETL, une visualisation sous forme d’histogramme permet par exemple de plus facilement se rendre compte de l’absence de données sur une certaine période de temps par exemple. La vision tabulaire proposée par la concurrence ne permet que de vérifier qu’une donnée à bien été transformée comme vous le souhaitiez. Si le préparateur souhaite faire valider son analyse, il lui est possible de la publier sur la console utilisateur afin d’obtenir la validation d’un acteur métier.
= Un ETL tourné vers les métiers

Avec Pentaho v7 on poursuit notre démarche permettant de mieux s’organiser face à notre métier qui évolue rapidement. Comment pourrions-nous accompagner tous les nouveaux cas d’usage Big Data en conservant les mêmes relations entre l’IT et les métiers?

De plus sachez que prochainement vous pourrez utiliser notre ETL en mode client Web!  Cela permettra certainement de définir des nouveaux groupes d’utilisateurs métiers ayant par exemple une liste prédéfinie de connecteur et leur permettant de développer tous les processus « basique ».
= Un ETL accessible aux métiers

etlbusiness
Notre groupe Hitachi intègre également les solutions Pentaho dans son offre Lumada destinée aux industriels. Aussi on discutera de plus en plus facilement avec les machines.

Pentaho v7 est donc la poursuite de nos innovations mais également j’en suis persuadé une orientation forte vers une nouvelle route Hitachi-Pentaho pour accompagner nos mutations technologiques.
Pentaho v7 est déjà une plateforme analytique complète intégrant les fonctions:
– Ingestion/Collecte (nombreux connecteurs et fonction Metadata Injection)
– Transformation/Enrichissement prédictif (Weka, R, Python, Scala)
– Modélisation logique/Sécurité (y compris avec Hadoop)
– Publication vers les métiers (Datamart As A Service, Data As A Service)
– Console utilisateur/Analyse embarquée dans vos applications (API, OEM, Multi-tenant)
= Une plateforme analytique complète

pipeline

Mais comme vous l’avez compris, au delà de vous fournir les fonctions que vous attendez, Pentaho v7 est une plateforme d’avenir qui tout en restant ouverte et modulable vous accompagnera demain vers les solutions analytique que ni vous ni moi ne connaissons encore.

Cette nouvelle route est la démonstration d’une stratégie analytique pour vous aider à construire vos propres stratégies.

SQL is not dead ! Welcome streaming SQL

calcite

Quel plaisir de lire ce slide deck de Julian Hide, manager du projet Apache Calcite. Il réalise une présentation technico-fonctionnelle de notre aisance à penser SQL tout en pouvant interagir avec toutes les nouvelles formes de stockage. attention on est bien ici dans du query-réponse type base de données. Mais ce projet prend également en compte les usages sur les critères de période analysée ou la structure de la réponse qui doit être appropriée pour pouvoir facilement alimenter des graphiques ou encore conserver les fonctions de l’analyse multi-dimensionnelle. N’oublions pas que Julian est le responsable de Mondrian, le meilleur outil ROLAP.

Toutes les slides ne sont pas aisées et vous utiliserez quelques fois la fonction retour pour relire la précédente mais vous découvrirez un projet « ouvert ». On me demande fréquemment si ce que je présente est open ou pas. Ici est parfaitement représenté le concept de l’ouverture par laquelle ce projet s’interconnecte avec des bases de stockage chacune ayant leurs spécificités de performance. Le stream vous apporte le courant, le traditionnel vous apporte l’historique et le window vous donne des photos d’un ensemble de données.

Au regard de nos besoins nous pourrons implémenter tous les modules ou au contraire, pour alléger des apps analytique, avoir la possibilité d’utiliser les seuls modules utiles à votre projet.

Le développement des NoSql est réel et parfaitement utile pour la souplesse de modélisation et la scalabilité. On voit ainsi qu’un query croisant des sources Splunk et MySql n’est pas dénué de sens. Le pouvoir est dans le fait de pouvoir exprimer sa demande dans un langage universel et d’utiliser le meilleur des offres de stockage au regard du type de données.

Je n’ai pas encore testé Calcite qui est en version 1.7 actuellement mais je suis sûr de recroiser le chemin de ce projet. Pentaho Data Integration me permettra de transformer les retours pour répondre à des demandes fonctionnelles et les Inputs seront performant en suivant les conseils de Julian.

See you soon !

100% Cloud guy!

Since 3 months now, I’ve experienced a full Cloud concept.

All my data, personal AND professional are host in the cloud. Sure you can say « Bhaaa nothing special ! » but when i say that,  its mean that my house could burn (cross fingers 😉 or i can crash my business computer, I’m sure I can access to all my data.

It was not a 100% safe story. I remind some morning in the train, just few minutes before a meeting, « oh xxxx, where is my file? »
I’ve tried to use many of major cloud solution: GoogleDrive, OneCloud, Dropbox, Box and HCPAnywhere.

Some of them only replicate your online data anywhere you want but don’t make any upload synchronization. So its why i stop using Box & Drop for this purpose. They just could be used to deliver access to files to your friends. In the same time I use Google only for personal usage. So today I manage all my personal files on Drive.

Where it’s more complex, it’s when I have to define my better tool for business usage. I’m travelling all times and use a full online solution was the not the right answer.

So I’ve tried OneCloud! But in this case you need at the end to create all your docs from Office365, so online. If you try to use your local Office, it will make synchronization for you,….. but when ! Their synchronization tool was not persistent in my case. I’ve some colleague who used full Office365 but in my case it take me sometimes 3 to 5 min to save a file, waiting checking and pseudo synchronization.

hcpAt the end my choice come to ….. Hitachi ! Sure it’s my new holding company but they have a public tool named HCPAnywhere that you can used online. By this way I can really use large local folder and create and update files using any software and be sure that everything is online without to wait long time. At the end you understand it’s my new tool and I can only encourage you to test it.

Pentaho 2015

Au delà de cette invitation au prochain Pentaho World ce mois d’octobre 2015 à Orlando, une envie de vous informer de ce que je considère comme de bonnes nouvelles.

Comme vous pouvez le constater, Pentaho se focalise sur l’analyse des Big Data et de l’analyse embarquée. Ces prochains mois, à travers notre version 5.4 et notre majeure de l’année la v6.0 de cet automne , vous découvrirez une nouvelle génération de concepts.

Comme évoqué sur de nombreux blogs, le Big Data n’est vraiment plus réservé qu’aux grandes entreprises. Très souvent elles transforment cela en un projet d’infrastructure alors que comme tout l’IT l’important est le temps gagné et la simplicité. Oui j’ai bien dit la simplicité!

Aujourd’hui vous prenez du temps à modéliser, et je ne vous dirais pas que ce n’est pas important, mais désormais vous pouvez modéliser autant de fois que vous le souhaitez. Une erreur détectée après quelques semaines? Rien de grave, avec les solutions NoSql, enrichissez votre modèle au rythme de vos besoins. Avec Hadoop régénérer vos outputs à votre envie. Ne vous relancez pas dans un cycle long d’interface de rechargement!

Cet ODS que vous ne respectiez pas toujours est désormais natif à travers les solutions Big Data qui vous offre un Data Lake quasi sans limite, permanent et auto sécurisé.

Alors là oui vous travaillerez main dans la main avec votre administrateur Hadoop de l’équipe Infra pour le convaincre d’ajouter des Nodes. En fait il aura déjà anticipé cette action sans avoir à se préoccuper des projets impactés.

Pentaho vous permet d’utiliser tous ces outils simplement à travers le plus que génial Pentaho Data Integration. Vous le découvrirez bientôt encore plus joli! et encore plus simple à Clusteriser pour dispatcher vos traitements sur différents serveurs ou paralléliser une action massive.Spoon2015

Alors vous serez en mesure avec Analyzer de proposer une interface à vos analystes. Vous pourrez customiser votre console comme autant d’applications souhaitées.
Why not un projet = une console… mais chacun partageant les mêmes Metadata sécurisées si vous le souhaitez.
Bien entendu nos API de plus en plus riches, vous permettent également de positionner vos meilleures analyses directement dans l’application métier de vos utilisateurs facilitant la conduite du changement.

Car changement oui il en a un. Vous le percevez tous dans votre vie quotidienne et l’AppleWatch, que je ne n’adore pas, utilise un concept qui lui a de beaux lendemains. C’est ce que l’on appelle l’internet des objets. Une nouvelle étape qui comme toutes celles que nous vivons en ce moment va se déployer comme une traînée de poudre. C’est pourquoi Hitachi Data System est un excellent choix pour nous. L’infrastructure et le logiciel d’analyse de données. Ce mix permettra à Pentaho de bénéficier d’encore plus de moyens sans renier son ADN open-source.

Car Oui, vu que la liste des invités au jeu de l’analyse de données s’élargie (tous les constructeurs d’objets!) il n’a jamais été aussi important de partager au delà des standards des objets ouverts facilitant les interconnexions.

Ne remettez pas en cause votre architecture BI, optimisez la! Encapsulez-la à l’image du Cloud et des Big Data et comme toujours concentrez-vous sur les datas 😉

Pentaho_HDS_4

Seb @opentoile