Master 2018 2019
Stages de la spécialité SAR
Stage d’ingénieur développeur Java : Fiabilisation et optimisation d’un ETL evènementiel et distribué


Lieu : Scaled Risk 8 Rue du Sentier 75002 Paris
Encadrant : Azwaw OUSADOU : Directeur de la R&D
Dates :18/02/2018 au 16/08/2018
Rémunération :1300 € brut/mois + 10,86 € de tickets restaurants par jour travaillé + remboursement de l’intégralité du titre de transport
Mots-clés : Master SAR, autre qu’ATIAM

Cliquer ici pour vous authentifier


Description

L’objectif de ce stage de six mois est de fiabiliser et d’améliorer les performances de l’ETL évènementiel et distribué du produit Scaled Risk. Il sera supervisé par Azwaw OUSADOU, directeur de la R&D.

Le stagiaire intégrera l’équipe de recherche et développement de la société Scaled Risk. Il contribuera à l’amélioration d’une Data Management Platform utilisée en milieu financier. Le code est écrit en Java. C’est aussi dans ce langage que le code devra être produit.

Le stagiaire devra se familiariser avec le produit et les principales technologies qu’il utilise. Il s’agit principalement de technologies issues du monde Hadoop : - HDFS : un système de fichier distribué - HBase : une base de données distribuée s’appuyant sur HDFS - Spark et YARN : des frameworks permettant la création, l’exécution et l’ordonnancement de jobs dans un environnement distribué - Lucene : un framework de construction de moteurs de recherche - Netty : une librairie permettant d’écrire des applications réseaux performantes

Le stage se déroulera en plusieurs étapes. Une première phase d’environ deux semaines où la nouvelle recrue installera son environnement de développement (installation de linux sur la machine de développement, installation des outils nécessaire au développement, déploiement d’un cluster Hadoop mono-noeud et déploiement de la solution Scaled Risk sur ce dernier. Cette phase a pour but d’aider le stagiaire à comprendre l’architecture de la solution.

Une seconde phase d’au plus un mois consistera à consolider le harnais de test de l’ETL du produit Scaled Risk. L’objectif est d’aider le stagiaire à se familiariser avec le code qu’il aura à améliorer mais aussi de le sensibiliser aux bonnes pratiques de développement. Les bugs trouvés lors de cette phase seront également corrigés par le stagiaire.

La dernière phase du stage (au moins 4 mois et demi) consistera à la fiabilisation et l’optimisation de l’ETL à proprement dit. Dans un premier temps, le stagiaire sera chargé de réaliser des améliorations sur ce composant déjà identifiées par l’équipe de R&D (distribution de certains traitements, retrait de verrous, correction du comportement lors de la création et/ou la suppression de plusieurs jobs de transformation en parallèle).

Une fois ces améliorations effectuées, le stagiaire devra : - Proposer des améliorations sur ce composant - Proposer des protocoles permettant de vérifier le gain dans le cas d’optimisation - Une suite de tests vérifiant le bon fonctionnement du produit dans le cas d’ajouts de nouvelles fonctionnalités ou de corrections sur des fonctionnalités existante - D’implémenter ces améliorations

Le but de l’ensemble de ces étapes étant d’augmenter progressivement le degré de responsabilité et d’autonomie du stagiaire.

Si le travail effectué est satisfaisant et que les règles de la société sont respectées, une proposition d’embauche en CDI sera faite à l’issue du stage.