Master 2013 2014
Stages de la spécialité SAR
Description et synthèse sonore dans le cadre de l’apprentissage mouvement-son par démonstration


Site :Équipe Interaction Son Musique Mouvement
Lieu :IRCAM - 1, place Igor Stravinsky - 75004 Paris
Encadrant : Jules Françoise, Norbert Schnell; Frédéric Bevilacqua
Dates :du 03/03/2014 au 01/08/2014
Rémunération :436,05
Mots-clés : Parcours ATIAM : Informatique musicale, Parcours ATIAM : Traitement du signal


Description

Introduction :

Ce stage s’intègre dans le cadre d’études sur la relation entre mouvement et son pour le développement de systèmes interactifs sonores ou musicaux, menées dans l’équipe Interaction Son Musique Mouvement. Il s’inscrit dans une approche de “mapping par démonstration” visant à définir le couplage entre mouvement et son de manière interactive. Cette méthode permet la définition du mapping mouvement-son depuis des exemples multimodaux (mouvement et son) fournis par l’utilisateur. Le travail focalisera sur les aspects de synthèse sonore liés à cette technique, en visant à articuler description sonore et contrôle de la synthèse.

Description :

L’apprentissage par démonstration des relations entre mouvement et son s’appuie sur des modèles d’apprentissage automatique multimodaux. Ces modèles permettent d’apprendre le mapping entre mouvement et son depuis des exemples fournis par l’utilisateur. Ces exemples sont généralement des mouvement effectués parallèlement à l’écoute d’un son ou à la production du son (e.g. des vocalisations), et illustrant la relation entre les deux modalités. Une fois entrainé, un modèle peut être utilisé pour le contrôle sonore. Il estime alors les paramètres de contrôle d’un moteur de synthèse sonore.

Ce stage vise à formaliser l’articulation entre description sonore et synthèse, pour le cas particulier du mapping par démonstration. Il s’agira de proposer une approche hybride de synthèse sonore (liant synthèses additive, granulaire, concaténative, soustractive) de manière à améliorer la qualité de la resynthèse de sons enregistrés. Une problématique principale dans ce cadre est la décomposition et description des contenus sonores et leur resynthèse pilotée par le mouvement à travers des modèles de “mapping par démonstration”. Cette description et décomposition concerne à la fois des caractéristiques instantanées du son (i.e. hauteurs, énergie, timbre) que des aspects temporelles (i.e. segmentation, évolutions temporels).

Travail à réaliser

- Bibliographie autour des méthodes de synthèse, descripteurs sonores, et interaction mouvement-son
- Formalisation du problème de description/synthèse dans le cadre du approche "mapping par démonstration"
- Proposition et intégration d’un système de synthèse sonore hybride (additive, granulaire, concaténative, soustractive)
- Évaluation du système : qualité sonore (cohérence, régularité, prévisibilité, problèmes de continuité, …)

Bibliographie

Bevilacqua, F., Schnell, N., Rasamimanana, N., Zamborlin, B., & Guédy, F. (2011). Online Gesture Analysis and Control of Audio Processing. In Musical Robots and Interactive Multimodal Systems (pp. 127–142). Springer.

Caramiaux, B., Françoise, J., Schnell, N., & Bevilacqua, F. (2014). Mapping Through Listening. Computer Music Journal [In Press].

Françoise, J., Caramiaux, B., & Bevilacqua, F. (2012). A Hierarchical Approach for the Design of Gesture—to—Sound Mappings. In Proceedings of the 9th Sound and Music Computing Conference (pp. 233–240). Copenhagen, Denmark.

Françoise, J., Schnell, N., & Bevilacqua, F. (2013). A Multimodal Probabilistic Model for Gesture—based Control of Sound Synthesis. In Proceedings of the 21st ACM international conference on Multimedia (MM’13) (pp. 705–708). Barcelona, Spain.

Schnell, N., Röbel, A., Schwarz, D., Peeters, G., & Borghesi, R. (2009). Mubu & friends - assembling tools for content based real-time interactive audio processing in max/msp. In Proceedings of International Computer Music Conference. Montreal.

Schwarz, D. (2007). Corpus-based concatenative synthesis. Signal Processing Magazine, IEEE, 24(2), 92–104.