Master 2015 2016
Stages de la spécialité SAR
Prolongement du geste pour la création musicale par apprentissage automatique


Site : Prolongement du geste pour la création musicale par apprentissage automatique
Lieu : gmem-CNCM-marseille 15 rue de cassis 13008 Marseille - Laboratoire d'Informatique Fondamentale de Marseille (LIF) 39 rue F. Joliot Curie F-13453 Marseille cedex 13
Encadrant : Valentin Emiya (LIF) et Charles Bascou (gmem-CNCM-marseille) Contact : valentin.emiya<at>lif.univ-mrs.fr et charles.bascou<at>gmem.org
Dates :01/03/2016 au 29/07/2016
Rémunération :gratification mensuelle standard de 523 euros nets
Mots-clés : Parcours ATIAM : Informatique musicale, Parcours ATIAM : Traitement du signal

Description

Ce stage s’inscrit dans le cadre du projet ProGest, qui aborde une nouvelle étape pour la création et le jeu musical : le prolongement automatique du geste du musicien sur surface tactile. Il s’agit de donner à l’instrument numérique des capacités d’apprentissage et de prolongement du geste en temps réel afin de démultiplier les possibilités de jeu et d’expression. Par prolongement du geste, nous entendons la génération de la suite d’un mouvement initié par le musicien et capté par l’interface tactile 2D, en respectant les caractéristiques de ce mouvement. Une telle possibilité permet en particulier au musicien d’initier successivement plusieurs sons qui se superposent progressivement.

Une interface de jeu sur tablette tactile est actuellement opérationnelle pour interpréter musicalement les gestes, les enregistrer et les reproduire. Une première méthode élémentaire basée sur les K plus proches voisins est opérationnelle et montre des résultats très prometteurs notamment sur les gestes quasi-periodiques. Voir la vidéo sur les premiers résultats : https://vimeo.com/148625422

Le stage proposé porte sur la modélisation statistique de gestes ainsi que le développement de méthodes d’apprentissage/estimation et de reconnaissance associées, dans le but de poursuivre des réalisations performées par le musicien, données en exemple. Plusieurs axes sont envisagés. Le choix sera déterminé en fonction du profil et des motivations du candidat. Notamment, nous portons un intérêt particulier sur les méthodes de type Long Short Term Memory Recurrent Neural Networks ainsi que les Segmental Hidden Markov Models. Ces méthodes seront évaluées dans leurs applications au problème énoncé. Le stage comprendra un travail de bibliographie, de formalisation des problèmes et des approches, et de conception pratique.

Bibliographie

T. Artières, S. Marukatat, P. Gallinari, On-line handwritten shape recognition using segmental Hidden Markov Models, In IEEE. Trans. on Pattern Analysis and Machine Intelligence, Vol. 29, No. 2, Feb. 2007

A. Graves, Generating Sequences With Recurrent Neural Networks, preprint, 2013. http://arxiv.org/abs/1308.0850