Finalités du PFE:
(1) Fournir une visualisation des expérimentations utilisées pour prédire un résultat. Voici un exemple de justification à visualiser suite à la suggestion d’un workflow pour classer les personnes en fonction de leur chance de devenir des champions ==> Pour vous suggérer ce choix, nous nous sommes basés sur 1000 expérimentations, toutes menées dans le même contexte en utilisant les RandomForest comme modèle de prédiction, et voici une visualisation comparative des jeux de données utilisées etc. (2) Automatiser la production des justifications. Par exemple, lors de l’exécution d’un apprentissage, vérifier et construire les artefacts de justifications (e.g. même méthode d’évaluation, validité des résultats, nombre d’expérimentation).

Le Machine Learning (ML) est un domaine complexe et en pleine expansion, offrant des possibilités très variées allant de l’analyse d’images médicales jusqu’à la conduite de véhicule autonome. Cependant, la multitude des algorithmes, l’impact encore peu connu entre les caractéristiques des données d’entrées et les performances de la prédiction, la difficulté à choisir comment transformer ces données et paramétrer les algorithmes rendent l’accès à ce domaine difficile, conduisant ainsi à l’utilisation d’outils pas toujours adaptés.

Un projet de recherche, nommé ROCKFlows, permet de construire automatiquement un workflow de Machine Learning à partir des besoins et des données de l’utilisateur. La plateforme comporte (i) une partie Ligne de produit logicielle (LPL), renfermant de la connaissance sur les algorithmes, les processus de transformations de données et leurs performances par rapport à certaines données d’entrée ; (ii) un portfolio d’algorithmes visant à permettre l’automatisation des expérimentations (c.f Références). Cette connaissance est ensuite présentée à l’utilisateur sous la forme d’une interface de configuration accessible à l’adresse http://rockflows.i3s.unice.fr. Mais cette connaissance reste difficile à appréhender pour un non expert. Il faut la rendre plus explicite pour donner confiance dans la prédiction calculée par ROCKFlows.

D’autre part, des travaux de recherche s’intéressent actuellement à appliquer la théorie de l’argumentation à des fins d’explicitation. Pour cela, ils construisent notamment des Diagrammes de Justification, qui ne sont ni plus ni moins que des graphes permettant de tracer les décisions en explicitant leurs fondements et leurs conclusions pas à pas. Dans le cadre d’application pour la certification dans les domaines critiques (médical, avionique, …), un framework, appelé Justification Factory a été développé permettant de manipuler de tels diagrammes. Plusieurs expérimentations ont été menées pour intégrer ce framework dans des démarches pour expliquer la conformité à des normes afin de construire automatiquement les justifications adéquates en utilisant Jenkins et Redmine (c.f Références).

Ainsi, en rapprochant ROCKFlows et Justification Factory, il est possible de proposer à l’utilisateur de ROCKFlows, lors de sa sélection de workflow, des justifications sur la justesse de cette prédiction. L’enjeu de ce PFE est donc de faire intéragir ROCKFlows et Justification Factory afin d’intégrer l’approche de justification automatique de Justification Factory sur les expérimentations conduites par ROCKFlows. Afin de remplir cet objectif, il faudra 1) reprendre les Diagrammes de Justifications déjà mis en place pour ROCKFlows afin de les faire évoluer en discutant avec les experts de la plateforme, 2) prendre en main l’architecture de l’exécuteur d’expérimentation de ROCKFlows pour en extraire les éléments concernés par ces diagrammes, 3) prendre en main les services web exposées par Justification Factory afin de transmettre ces éléments pour la construction des justifications et 4) récupérer les justifications construites par Justification Factory pour les présenter à l’utilisateur dans ROCKFlows.

Les axes cités étant suffisamment indépendants, en fonction du groupe qui se crée autour, le projet est découpable. L’idéal serait qu’une équipe mixte autour des filières AL, SD et/ou IHM se crée. Ce projet sera en application au sein du laboratoires i3s, porteur de ROCKFlows avec le support de l’entreprise AXONIC, porteuse de Justification Factory. Il sera encadré Mireille BLAY-FORNARINO (i3s), Clément DUFFAU (AXONIC) et Antoine AUBE (AXONIC) et peut-être Günther Jungbluth (I3S)

Compétences Requises

Java, Web services, Curiosité scientifique

Besoins Clients

Visualiser les éléments de justification sur lesquels sont basés la confiance dans le workflow de Machine Learning proposé à l’utilisateur. Favoriser la confiance globale dans la plateforme d’expérimentations et plus généralement dans toute plateforme reposant sur un grand nombre de process automatiques.

Résultats Attendus

Une version de ROCKFlows déployée intégrant la Justification Factory On tendra vers cet objectif par incrément (Agilité)

Références

Informations Administratives

  • Contact : Mireille BLAY- Fornarino blay@unice.fr
  • Identifiant sujet : Y1819-S023
  • Effectif : entre 2 et 3 étudiant(e)s
  • Parcours Recommandés : AL,SD,IHM
  • Équipe: SPARKS