Master 2014 2015
Stages de la spécialité SAR
Développement de solution BI et Big Data


Site :Site Advanced Schema
Lieu :Levallois-Perret
Encadrant : Nicolas Brigitte-Alphonsine
Dates :du 16/03/2015 au 16/09/2016
Rémunération :Selon profil
Mots-clés : Master SAR, autre qu’ATIAM


Description

Société : Advanced Schema est une société de conseil, de services et de fourniture de solutions autour de la donnée ; fondée en 2001 pour accompagner les entreprises dans l’explosion des volumes et des usages de leurs données.

Contexte du stage : Intégré à l’équipe Advabced Schema chargée de la recherche et du développement, et plus particulièrement à la réalisation technique d’outils de Business Intelligence et Big Data. Les technologies abordées par l’équipe sont : C++, SQL et Javascript Les domaines adressés sont : l’intégration de données, l’analyse de métadonnées, la mise en forme et la restitution graphique de données La méthodologie appliquée est le SCRUM.

Sujet du stage : Dans le cadre du stage la mission confiée sera axée sur la collecte, le transport et la tranformation de donnée. Les nouvelles fonctionnalités de la solution logicielle Advanced Schema sur lesquelles l’intervention est attendues sont :
- La captation d’un flux de donnée en provenance de différentes sources de donnée d’un système d’information * Exposition d’un transporteur HTTP et d’une API pour la collecte * Gestion de la charge, de la réparition et du tampon * Mécanisme de durabilité de la donnée lors de son acquision * Interconnexion avec des solutions de streaming de type Flume ou Fluent (périmètre à ajuster)
- Le stockage froid de flux de donnée * Garantie de la durabilité sur tout le processus * Gestion de la répartition de la charge * Déversement dans une base relationnelle (Teradata, SQL Server et Oracle) * Déversement dans une base NoSQL (HBase et Cassandra/Datastax)
- Le redirection du flux vers une solution de transformation de donnée en streaming * Faire évolution l’API de la solution existante afin de traiter des flux de donnée en temps réel * Connecteur vers Spark

Ces fonctionnalités s’inscrivent dans une solution existante développée en C++ géreant le chargement et la transformation de la donnée de manière ensembliste, massive et performante.

Les activités du stage consisteront au sein de l’équipe projet à :
- Montée en compétence sur la base de code existante
- Participer aux ateliers de définition/spécification des évolutions de la solution
- Participer aux choix architecturaux des composants
- Phase de design et de conception technique des nouvelles foncrtionnalités
- Participer à la planification et l’évaluation des charges de développement
- Développement des composants C++ et des connecteurs vers les applications tiers
- Réalisation des tests unitaires et fonctionnels de ces composants
- Mise à jour de la documentation projet sur les composants développés
- Support à l’usage et à l’intégration de composants au sein des différents modules de la solution