Master 2017 2018
Stages de la spécialité SAR
Déploiement de la plate-forme Apache Flink pour le monitoring des VNFs cloud natives


Site : Orange Labs
Lieu : Orange Gardens 40 - 48 avenue de la République 92320 Chatillon
Encadrant : Mr Drissa HOUATRA
Dates :Du 03/04/2018 au 28/09/2018
Rémunération :Selon profil
Mots-clés : Master SAR, autre qu’ATIAM

Cliquer ici pour vous authentifier


Description

Synthèse de la mission : Il s’agit d’un stage sur l’évaluation de technologies et la mise en œuvre d’applications cloud natives. Les technologies cloud natives que nous étudions sont essentiellement les environnements de containeurs Linux, la technologie Docker, et les principaux outils de mise en œuvre d’applications à base de microservices. Dans ce contexte, le stage proposé vise plus spécifiquement une étude et mise en œuvre des technologies et services pour le monitoring des VNF cloud natives, en particulier le monitoring d’un ensemble de machines virtuelles déployées dans des containers, support à la réalisation de fonctions réseau virtualisées (NFV), pouvant s’exécuter sur un environnement cloud réparti à grande échelle. Plus précisément, il s’agit d’étudier et réaliser un déploiement de la plate-forme open source Apache Flink sur un cluster Kubernetes cloud natif, mettre en œuvre et évaluer un exemple d’application de monitoring d’un ensemble de VNF et d’ingestion des données de monitoring dans Flink.

Détail de la mission : Le stage se déroulera comme suit : 1- Etude de la plate-forme Apache Flink et du modèle de programmation répartie de ce système, ainsi que des prérequis relatifs aux technologies cloud natives, en particuliers les containers Linux, Docker et les principes de déploiement d’un cluster Kubernetes 2- Conception et mise en œuvre d’un déploiement Flink local cloud natif, c’est-à-dire un service Flink déployé sur un nœud Linux avec des containers 3- Réalisation d’un exemple de programme Flink de monitoring de VNF containerisés sur ce déploiement, à partir de métriques de monitoring simples issues des VNF, et évaluation fonctionnelle de l’ensemble 4- Extension à deux nœuds, portage, amélioration et évaluation de l’application de monitoring sur ce déploiement binodal. On pourra en particulier étudier le comportement du programme Flink et l’évolution des performances (délais) du monitoring en passant d’un modèle purement concurrentiel (1 noyau Linux) à un système réparti recouvrant deux noyaux Linux 5- Etude et réalisation du déploiement Flink sur un cluster Kubernetes de N nœuds, consistant en un nœud de soumission des programmes Flink, un nœud de gestion de Jobs, et N-2 nœuds de traitement 6- Evaluation globale, collecte d’informations sur les avantages, les inconvénients et les suites de l’approche 7- Rédaction du rapport de stage

Bibliographie

[1] A. Gupta, R. Birkner, M. Canini, N. Feamster, C. Mac-Stoker, and W. Willinger, “Network Monitoring as a Streaming Analytics Problem”, In HotNets XV, 2016

[2] A. Verma, L. Pedrosa, M. Korupolu, D. Oppenheimer, E. Tune, and J. Wilkes, “Large-scale cluster management at Google with Borg”, In Proceedings of EuroSys, 2015

[3] Brendan Burns, Brian Grant, David Oppenheimer, Eric Brewer and John Wilkes, “Borg, Omega, and Kubernetes”, ACM Queue, Volume 14, Issue 1, January-February, 2016, pp. 70–93.

[4] Docker : https://www.docker.com

[5] ETSI NFV : http://www.etsi.org/technologies-cl...

[6] K. M. Chandy and L. Lamport, “Distributed snapshots : determining global states of distributed systems”, ACM TOCS, 1985

[7] Kubernetes : https://kubernetes.io

[8] Paris Carbone, Stephan Ewen, Seif Haridi et al., “Apache Flink™ : Stream and Batch Processing in a Single Engine”, Bulletin of the IEEE Computer Society Technical Committee on Data Engineering, 2015

[9] The Cloud Native Computing Foundation : https://www.cncf.io

[10] Tyler Akidau, Robert Bradshaw, Craig Chambers, Slava Chernyak, Rafael J. Fernandez-Moctezuma, Reuven Lax, Sam McVeety, Daniel Mills, Frances Perry, Eric Schmidt, Sam Whittle, “The Dataflow Model : A Practical Approach to Balancing Correctness, Latency, and Cost in Massive-Scale, Unbounded, Out-of-Order Data Processing”, proceedings of the VLDB Endowment, vol. 8 (2015), pp. 1792-1803

[11] Tyler Akidau, “The world beyond batch : Streaming 101 - A high-level tour of modern data-processing concepts”. August 5, 2015 : https://www.oreilly.com/ideas/the-w...