Master 2013 2014
Stages de la spécialité SAR
Intégration du suivi continu et de l’interaction gestuelle dans un système réactif de suivi de partition


Site :Ircam
Lieu :Ircam
Encadrant : José Echeveste (Équipe Mutant), Jules Françoise (Équipe IMTR), Jean-Louis Giavitto (Équipe Mutant)
Dates :du 03/03/2014 au 31/07/2014
Rémunération :environ 440€
Mots-clés : Parcours ATIAM : Informatique musicale, Parcours SAR autre qu’ATIAM, recherche, Parcours SAR, aussi pour STL

Description

Les musiciens et compositeurs utilisent différentes techniques pour synchroniser de la musique électronique (ou d’autres actions électroniques) sur le jeu d’un interprète humain.

À l’Ircam, l’équipe IMTR (http://imtr.ircam.fr/imtr/IRCAM_Rea...) avec le suivi de geste et l’équipe Mutant (http://repmus.ircam.fr/mutant) avec Antescofo s’intéressent à cette problématique de deux manière différentes.

Antescofo est un système qui combine une machine d’écoute, une machine réactive et un langage dédié permettant d’écrire une « partition augmentée ». Dans cette partition sont indiqués à la fois les évènements musicaux joués par l’instrumentiste, reconnaissables par la machine d’écoute, et les actions électroniques qui s’exécuteront en fonction de cette reconnaissance. Le suivi est ici symbolique (on parle de notes, accords, etc.), une même partition peut servir à suivre différents instruments, mais certains évènements (modes de jeu particulier, sons percussifs, parole) sont difficilement exprimable de cette manière.

Les recherches dans l’équipe IMTR focalisent sur l’interaction gestuelle avec des processus sonores ou musicaux, permettant par exemple de coupler le contrôle de la synthèse sonore aux mouvements d’un musicien ou danseur, mesurés grâce à des capteurs de mouvement. En particulier, des méthodes de suivi de geste (par exemple Gesture Follower) ont été développées, permettant d’effectuer en temps-réel la reconnaissance et l’alignement continu d’un geste par rapport à un exemple d’apprentissage, qui peut être ensuite traduit en paramètres sonores. Le suivi est alors continu et adaptable grâce à une phase d’apprentissage.

Le but du stage sera d’étudier les modalités de couplage entre le suivi de geste et Antescofo, et l’intégration de modes d’interaction gestuelle dans l’environnement de programmation d’Antescofo. Le travail vise à comprendre et modéliser le couplage possible entre les deux machines d’écoute et la partie réactive. Il faudra étendre le langage existant par des constructions permettant de tirer partie des deux suivis tout en offrant aux compositeurs/utilisateurs une syntaxe et une sémantique simple, expressive et cohérente. Les stratégies de synchronisation permettant de coordonner événements reconnus et actions à effectuer est un des points clés qui sera étudié.

Le travail réalisé en collaboration entre l’équipe IMTR et l’équipe MuTant de l’Ircam pourra être validé à travers des créations musicales en collaboration avec des RIM et compositeurs. Il pourra également donner lieu à une publication en fonction des résultats obtenus.

Compétences requises : Bonne connaissance en informatique (langages, modèles et algorithmiques). Bonne connaissance en musique, capacité à lire la notation musicale (une pratique musicale liée à un instrument sera appréciée). Bonne connaissance de C/C++, et familiarité avec l’informatique musicale en général. Volonté de travailler à l’interface entre contributions théoriques et validation pratique.

Bibliographie

A. Cont, “A coupled duration-focused architecture for realtime music to score alignment”, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 32, 2010, pp. 974-987.

J. Echeveste, A. Cont, J.-L. Giavitto and F. Jacquemard. Antescofo : a Domain Specific Language for Real Time Musician-Computer Interaction Journal of Discrete Event Dynamic Systems (JDEDS).

Bevilacqua, F., Zamborlin, B., Sypniewski, A., Schnell, N., Guédy, F., & Rasamimanana. Continuous realtime gesture following and recognition. Gesture in Embodied Communication and Human-Computer Interaction, 2010, 73–84.

Françoise, J., Caramiaux, B., & Bevilacqua, F. (2012). A Hierarchical Approach for the Design of Gesture-to-Sound Mappings. In Proceedings of the 9th Sound and Music Computing Conference (pp. 233–240). Copenhagen, Denmark.