Master 2014 2015
Stages de la spécialité SAR
Reconnaissance automatique de gestes à l’aide d’une caméra Kinect avec application à la musique


Site :Équipe SAMOVA
Lieu :IRIT, Université Toulouse III - Paul Sabatier, 118 Route de Narbonne, 31062 Toulouse
Encadrant : Thomas Pellegrini http://www.irit.fr/~Thomas.Pellegrini/ Contact : thomas.pellegrini@irit.fr
Dates :du 01/02/2014 ou 01/03/2014 au 31/07/2014
Rémunération :rémunération légale ( 500 euros)
Mots-clés : Parcours ATIAM : Traitement du signal

Description

Titre du sujet de stage : Reconnaissance automatique de gestes à l’aide d’une caméra Kinect avec application à la musique

Domaine : Apprentissage automatique

Thématique : Interaction Homme – Machine

Mots clés : reconnaissance automatique de gestes ; Soundpainting ; Modèles de Markov Cachés

Lieu du stage : IRIT, Université Toulouse III - Paul Sabatier, 118 Route de Narbonne, 31062 Toulouse

Contact : Thomas Pellegrini, thomas.pellegrini@irit.fr, http://www.irit.fr/ Thomas.Pellegrini/

Description

Récemment au sein de notre équipe SAMoVA, nous avons entamé une collaboration avec un chef d’orchestre classique qui pratique également un genre de musique improvisée qui s’appelle le Soundpainting. Le Soundpainting est un langage de gestes destinés à guider un groupe de musiciens qui improvisent en direct. Dans ce cadre, notre objectif final est d’utiliser un ordinateur qui jouerait le rôle d’un musicien. Le chef qui réalise les gestes est filmé à l’aide d’une Kinect et un programme de reconnaissance automatique de gestes permet d’identifier les gestes en question et de choisir des sons que l’ordinateur va jouer. Nous avons développé un premier prototype du module de reconnaissance de gestes qui utilise des modèles de Markov Cachés (HMMs). Les objectifs du stage sont les suivants : 1) Améliorer l’apprentissage des HMMs à partir d’un corpus de gestes pré-enregistrés. Dans l’état actuel du module, les paramètres des HMMs (moyennes et variances des gaussiennes, probabilités de transition) sont simplement initialisés mais pas entraînés. L’algorithme Expectation-Maximization est la méthode que nous souhaitons employer pour cela. 2) Réaliser un module de génération de musique qui prend en entrée les informations du module de gestes. Un premier exemple très simple de module existe déjà : lorsque le geste « Jouer » est reconnu, un son aléatoire est joué par l’ordinateur. Il s’agit ici de réaliser un module plus intelligent, qui respecte les consignes des gestes, comme par exemple le geste « longue note » ou le geste « piano ».

Détails techniques

Les langages de programmation prévus sont Matlab pour tester des algorithmes, et Java pour l’implémentation du module de gestes. Pour le module de génération musicale, le logiciel Max/MSP sera utilisé.

Bibliographie

T. Pellegrini, P. Guyot, B. Angles, C. Mollaret, and C. Mangou, Towards soundpainting gesture recognition, in Proc. of AudioMostly, Aalborg, October 2014 (Une démo vidéo du prototype est visible sur http://www.irit.fr/ Thomas.Pellegrini/)

F. Bevilacqua , F. and Baschet, F. and Lemouton, S., The augmented string quartet : experiments and gesture following, in Journal of New Music Research, vol. 41:1, pp. 103-119, 2012