Master 2015 2016
Stages de la spécialité SAR
Guidage multimodal/gestuel de l’improvisation musicale homme-machine


Lieu : IRCAM
Encadrant : Jérôme Nika, Frédéric Bevilacqua, Gérard Assayag
Dates :01/03/2014 au 01/08/14 (à préciser)
Rémunération :Gratification en vigueur
Mots-clés : Master SAR, autre qu’ATIAM, Parcours ATIAM : Informatique musicale, Parcours ATIAM : Traitement du signal

Description

Contexte

Un système interactif dédié à l’improvisation musicale produit de la musique en direct à partir de modèles et d’entrées provenant de son environnement, typiquement le jeu d’un musicien « analogique » avec qui il improvise. À l’image du logiciel OMax (Assayag et al., 2006 ; Lévy et al., 2012), certains systèmes de « co-improvisation » créent de nouvelles improvisations en naviguant dans un modèle construit à partir du jeu d’un musicien capté en temps réel ou d’un corpus analysé en amont, et laissent à un opérateur le soin de contrôler des paramètres bas-niveau du modèle. Des systèmes tels que (Pachet, 2003) ou (François et al 2013) reposent également sur ce principe. On parlera ici d’improvisation « guidée » quand le contrôle (court-terme ou long-terme) sur l’improvisation de la machine suit une approche plus déclarative, c’est-à-dire spécifiant des sorties ou des comportements avec un vocabulaire esthétique, musical, ou audio. Dans ce cadre, les systèmes d’improvisation peuvent se distinguer selon le paradigme choisi pour guider l’improvisation, et la longueur du futur anticipé qu’il implique. Le projet OMax a engendré deux directions de recherches qui explorent des stratégies complémentaires de guidage de l’improvisation, s’intéressant respectivement à l’anticipation par rapport à une spécification prédéterminée (guidage long-terme) et à l’écoute réactive (guidage court-terme). La stratégie long-terme, ImproteK [1] (Nika et al. 2015), relève de l’improvisation composée (voir également Bloch 2014). Une structure connue ou définie en amont guide le processus de génération, et cette connaissance a priori est utilisée pour assurer la conformité de l’improvisation produite à un langage musicale particulier, et pour introduire de l’anticipation dans la génération. Un « scénario » (par exemple une grille harmonique, une basse chiffrée, un profil de descripteurs audio etc.) guide alors le processus d’improvisation. Une approche similaire se retrouve chez (Surges, Dubnov, 2013) qui permet l’écriture de scripts déterminant en amont de la performance l’évolution des descripteurs d’analyse et des paramètres de génération, ou chez (Donze et al, 2013) qui introduit une structure de contrôle pour guider l’improvisation selon une séquence de référence avec un horizon plus long. La stratégie court-terme, Somax [2] (Bonnasse-Gahot 2014), s’apparente à de l’accompagnement automatique ou de la co-improvisation adaptative sans connaissance à priori du contexte d’improvisation. Cette stratégie introduit un nouveau modèle de mémoire se rapprochant des représentations neuro-inspirées qui articulent des signaux d’activation continus et des modèles à états discrets sous-jacents. Elle implique une écoute réactive de l’environnement et une analyse des entrées musicales : à partir d’une mémoire captée en temps réel ou d’un corpus prédéfini, des contraintes sur l’instant peuvent être imposées pour piloter la navigation. Une telle approche se retrouve aussi chez (Moreira et al, 2013) selon un principe d’observations multimodales du jeu d’un musicien permettant le guidage expressif des improvisations.

Stage

La dynamique de recherche actuelle vise à unifier ces deux paradigmes pour allier planification et réactivité dans l’improvisation musicale homme-machine (Nika et al. 2014 ; Chemla-Romeu-Santos, 2015). Ce stage étudiera l’interaction improvisée entre un agent et une mémoire musicale (constituée « offline » ou « online ») dans son aspect contraint et/ou planifié, en s’appuyant sur les travaux sur l’improvisation menés au sein de l’équipe Représentation Musicale et les recherches sur la modélisation du geste et la synthèse sonore interactive de l’équipe Interaction Son Musique Mouvement. Son objectif sera d’élaborer des modèles et prototypes alliant différents types de guidages des processus génératifs impliqués dans l’improvisation : une macrostructure temporelle guidant l’improvisation sur le long-terme, un contrôle réactif continu provenant de l’interaction directe avec un flux audio, gestuel, ou plus généralement multimodal. On cherchera à déterminer les meilleures méthodes de filtrages, techniques d’apprentissage, algorithmes de reconnaissance, et heuristiques permettant d’articuler ces stratégies complémentaires. A partir des archives du festival de jazz de Montreux [3], partenaire du projet dans lequel s’inscrit ce stage, il s’agira de mettre en place plusieurs scénarios d’interaction, par exemple :
- produire des improvisations satisfaisant une progression harmonique donnée (guidage long-terme) en concaténant des séquences provenant d’un corpus hétérogène tout en opérant un contrôle continu sur d’autres dimensions expressives (guidage réactif court-terme) par interaction avec un flux de données multimodales.
- conduire l’improvisation en entretenant une “synchronisation flottante” entre le modèle causal d’un flux d’entrée multimodal appris au cours de la performance et les données musicales ou gestuelles annotant le corpus, en optimisant de manière adaptative leur correspondance (voir également Wang & Dubnov 2014, 2015).

Bibliographie

[1] https://www.youtube.com/channel/UCA...

[2] http://www.dailymotion.com/user/RepMus/1

[3] http://www.claudenobsfoundation.com...

Assayag G., Bloch G., Chemillier M., Cont A., Dubnov S. (2006). OMax brothers : a dynamic topology of agents for improvization learning. In 1st ACM workshop on audio and music computing multimedia, p. 125–132. ACM, Santa Barbara, California.

Bloch G. (2014). L’improvisation composée : une utopie fructueuse née avec la musique interactive (1977-1985), Revue Francophone d’Informatique Musicale, N° 4. En ligne : http://revues.mshparisnord.org/rfim....

Bonnasse-Gahot L. (2014). An update on the SOMax project. Internal Report.

Chemla-Romeu-Santos A. (2015) Guidages de l’improvisation. Mémoire de Master 2 ATIAM (UPCM-Ircam-Télécom-ParisTech).

Donzé A., Valle R., Akkaya I., Libkind S., Seshia S.A., and Wessel D., Machine Improvisation with Formal Specifications. In Proceedings of the 40th International Computer Music Conference (ICMC), pp. 1277–1284, September 2014. Available online at http://hdl.handle.net/2027/spo.bbp2....

François A. R., Schankler I., Chew E. (2013). Mimi4x : an interactive audio–visual installation for high–level structural improvisation. International Journal of Arts and Technology, vol. 6, no 2, p. 138–151.

Lévy B., Bloch G., Assayag G. (2012). OMaxist dialectics. In International conference on new interfaces for musical expression, p. 137–140.

Nika J., Chemillier M., Assayag G. (2015, to appear), "ImproteK : introducing scenarios into human-computer music improvisation", ACM Computers in Entertainment, special issue on Musical metacreation.

Nika J., Bouche D., Bresson J., Chemillier M., Assayag G., "Guided improvisation as dynamic calls to an offline model", //Sound and Music Computing conference SMC 2015//, Maynooth. Consulté sur https://hal.archives-ouvertes.fr/ha....

Nika J., Echeveste J., Chemillier M., Giavitto J.-L. (2014). Planning Human-Computer Improvisation. In International Computer Music Conference, p. 1290–1297. Athens, Greece. Consulté sur http://hal.inria.fr/hal-01053834

Moreira J., Roy P., Pachet F. (2013). Virtualband : Interacting with stylistically consistent agents. In Proc. of International Society for Music Information Retrieval Conference, p. 341–346. Curitiba.

Pachet F. (2003). The continuator : Musical interaction with style. Journal of New Music Research, vol. 32, no 3, p. 333–341.

Surges G., Dubnov S. (2013). Feature selection and composition using PyOracle. In Ninth artificial intelligence and interactive digital entertainment conference. Boston, Massachusetts.

Wang, C. I., & Dubnov, S. (2014). Variable Markov Oracle : A novel sequential data points clustering algorithm with application to 3d gesture query-matching. 2014 IEEE International Symposium on Multimedia (pp. 215-222).

Wang, C. I., & Dubnov, S. (2015) Variable Markov Oracle : A Markov-Constrained On-line Clustering Algorithm with Applications to Human Gesture Recognition and Following. IEEE MultiMedia.