Master 2017 2018
Stages de la spécialité SAR
Programmation multi-niveaux répartie et parallèle sur superordinateur, par graphe de composants PGAS et de containers orchestrés à l’exécution


Site : Programmation multi-niveaux répartie et parallèle sur superordinateur, par graphe de composants PGAS et de containers orchestrés à l’exécution
Lieu : Maison de la simulation, laboratoire mixte CNRS-CEA-U. Paris-Saclay
Encadrant : Serge Petiton
Dates :1 mars au 31 aout (6 mois entre le 1 mars et fin septembre selon disponibilité)
Rémunération :grille CNRS
Mots-clés : Master SAR, autre qu’ATIAM

Description

1 - Contexte

Les paradigmes de programmation et les langages actuels permettront de moins en moins de développer des programmes efficaces sur les nouveaux superordinateurs, grilles de calcul, data centers ou « cloud », en effet ces plateformes seront très larges avec un nombre de cœurs de calcul dépassant les dizaines de millions et il nécessaire de limiter leurs consommations électriques tout en assurant une résistance aux pannes. Pour faire face à ces enjeux, un nouveau paradigme de programmation est proposé, basé sur plusieurs niveaux de programmation. Ce paradigme de programmation par tâches/composants est basé sur un ordonnancement astucieux des composants sur les sous-ensembles de nœuds d’une machine. YML permet cela et est déployé déjà sur de nombreuses machines en France, au Japon et aux USA. Chaque composant peut être écrit utilisant divers langages, dont le langage PGAS XMP développé au Japon. Ce stage sera effectué à la « maison de la simulation » à Saclay dans le cadre du projet franco-germano-nippon MYX financé par les ANR, JST et DFG.

2 – Objectifs Dans ce cadre, il sera demandé en particulier : • de réaliser des expériences sur un superordinateur de programmes YML/XMP existants pour se familiariser avec le paradigme de programmation et la machine de test, en évaluant et analysant les performances en fonction de plusieurs paramètres (des contacts avec une équipe avec qui nous collaborons au Japon seront nécessaire), • d’étudier l’intégration dans le graphe de composants de containers permettant de faire du « bgi data ». L’objectif étant de mélanger des tâches de calculs et des tâches travaillant plus sur les données. YML permettant alors d’ordonnancer ensuite ces tâches en optimisant les échanges de données. • de développer des composant en XMP et des logiciels en « Yvette » dans le cadre de ces études, ainsi que des opérations de type Map-Reduce dans des containers. • d’éffectuer alors des expérimentations avec un environnement en cours de développement pour cette programmation pour le High Performance Data Analysis (HPDA) et de conclure sur l’utilisation celui-ci dans le cadre de machines exascale pour ce domaine. Des échanges avec l’équipe de Satoshi Matsuoka au Tokyo Institute of Technologie sont prévus (Projet Tsubame)

3 – Prérequis

• des connaissances en programmation parallèle et répartie et en génie logiciel sont nécessaires.

4 – Encadrement et environnement

Il s’agit d’un stage de 6 mois, rémunéré selon les grilles du CNRS.

• Le directeur de stage est Serge Petiton, CNRS/CRISTAL et Maison de la simulation à Saclay • Les plateformes utilisées le seront à distance • Des contacts avec des chercheurs japonais et allemand seront indispensables, en anglais

5 – Doctorat

• Ce travail peut être poursuit en doctorat de l’Université Lille 1, sous réserve discussion lors du stage. Le lieu serait à Saclay. En cas de financements CIFRE ou industriels, le lieu peut être différent.

Bibliographie

Lamine Aouad et Serge Petiton, Grid-based Programming Paradigm for Distributed Linear Algebra Applications. Dans Multiagent and Grid Systems International Journal Vol 3 (6), 2010.

Shang Ling et Serge Petiton. Large Scale Scientific Computing. 224 pages, Lampert Academic Publishing, ISBN 9783847343349, 2012

Miwako Tsuji, Mitsuhisa Sato, Maxime Hugues et Serge Petiton. Multiple-SPMD Programming Environment based on PGAS and Workflow toward Post-Petascale Computing. Actes de la conference ICPP 2013

Miwako Tsuji, Serge Petiton et Mitsuhisa Sato. Fault Tolerance Features of a new Multi-SPMD Programming/Execution Environment. Actes du workhop ESPM, conférence IEEE et ACM Supercomputing 2015, Austin, USA, Novembre 2015.

Fan Ye, Chistophe Calvin et Serge Petiton. An Efficient Task-based Execution Model for Stochastic Linear Solver on Multi)core and Many-core Systems. Actes de la 18ième IEEE conférence Computational Science and Engineering (CES 2015), Lisbonne, Portugal, Décembre 2015.