Master 2015 2016
Stages de la spécialité STL
Exécution parallèle sur cartes graphiques d’un système de gestion de flux de travail de calculs numériques


Site : Exécution parallèle sur cartes graphiques d’un système de gestion de flux de travail de calculs numériques
Lieu : LIP6 - UPMC
Encadrant : Emmanuel Chailloux
Dates :second semestre
Rémunération :standard
Mots-clés : Master SAR, autre qu’ATIAM, Professionnel, Recherche

Description

Contexte

Les simulations à grande échelle que l’on rencontre en calculs numériques sont difficiles à gérer. Cela provient de leur nature exploratoire qui nécessite d’’évaluer un grand nombre de combinaisons de paramètres, le tout en lançant de nombreuses tâches en parrallèle. Pour cela on utilise des systèmes de gestions de flux de travail de calculs numériques (scientifique workflow managements systems) qui exécutent ces simulations comme une chaîne d’activités (programmes) et un flux de données (dataflow) sur ces activités. Ces systèmes fournissent la gestion des activités et du flux de données, leur exécution parallèle tout en enregistrant la provenance des données. Néanmoins il reste plusieurs défis ouverts dans l’exploration des différents modèles de parallélisme pendant l’exécution du flux de travail. On s’intéresse ici au problème de l’optimisation de la planification d’exécutions parallèles, laquelle doit tirer profit des architectures hétérogènes (multi-coeurs, accélérateurs). Par exemple la programmation des cartes graphiques demande un couplage fort entre les unités de calculs parallèles du GPU avec le CPU pour obtenir de bonnes perforamnces, en particulier sur le transfert de données. Les systèmes hétérogènes nécessitent des conceptions complexes combinant différents paradigmes de programmation pour gérer chaque matériel de manière spécifique. On cherche alors à abaisser cette complexité dans les flux de travail pour calculs numériques parallèles en utilisant des abstractions de flux de données et des constructions de haut niveau de programmation parallèle pour représenter la spécification du flux de travail et permettre d’optimiser le plan d’exécution parallèle.

Objectifs

Dans ce projet nous visons à aborder l’efficacité dans l’exécution parallèle de workflows (flux de travail) de calculs numériques sans se préoccuper des optimisations pour les couches de bas niveau du moteur d’exécution de workflow. Le concept principal derrière cette optimisation provient de deux abstrations de programmation : la première au niveau du langage de spécification du workflow et la deuxième au niveau de la programmation parallèle. La première est une algèbre de dataflow (flux de données) pour l’exécution parallèle des opérations Map et Reduce, en autres, dans des workflows de calculs numériques (Ogasawara et al., 2011). La deuxième abstraction, fournie avec l’environnement SPOC, est une bibliothèque de squelettes parallèles qui peuvent offrir de hautes performances tout en facilitant efficacement le développement dans le cadre de la programmation GPGPU (Bourgoin et al. 2014A).

L’objectif est donc de combiner la sémantique des opérations algébriques de dataflow, comme celles proposées dans le système Chiron, avec la puissance de construction de composition de squelettes SPOC pour obtenir la génération dynamique de l’ordonnancement des exécutions parallèles. Cette combinaison, en plus d’être complémentaire, est originale dans le cadre de workflow pour calculs numériques. Ensemble, ils ont le potentiel d’isoler le matériel et la programmation de bas niveau de la spécification de haut niveau du flux de travail. Les abstractions prévoient également l’application des règles d’optimisation génériques.

Ce projet est en collaboration avec les universités brésiliennes UFRJ et UFF.

Logiciels :

Bibliographie

Bibliographie

M. Bourgoin, E. Chailloux, J.‑L. Lamotte : “Efficient Abstractions for GPGPU Programming”, International Journal of Parallel Programming, vol. 42 (4), pp. 583-600, (ISBN : 0885-7458) (2014)

E. Ogasawara, J. Dias, D. Oliveira, F. Porto, P. Valduriez, e M. Mattoso, 2011, An Algebraic Approach for Data-Centric Scientific Workflows, Proceedings of the VLDB Endowment, v. 4, n. 12, p. 1328-1339.

E. Ogasawara, J. Dias, D. Oliveira, F. Porto, P. Valduriez, e M. Mattoso, 2011, An Algebraic Approach for Data-Centric Scientific Workflows, Proceedings of the VLDB Endowment, v. 4, n. 12, p. 1328-1339.