Master 2017 2018
Stages de la spécialité SAR
Evaluation d’agents co-explorateurs pour le design d’interaction musicale


Site : Interaction Son Musique Mouvement
Lieu : IRCAM-Centre Pompidou UMR STMS Ircam-CNRS-UPMC
Encadrant : Hugo Scurto <Hugo.Scurto@ircam.fr> Frédéric Bevilacqua <Frederic.Bevilacqua@ircam.fr>
Dates :Février-Juin
Rémunération : 554,40 € par mois + Tickets Restaurant + abonnement transport (50%)
Mots-clés : Parcours ATIAM : Acoustique, Parcours ATIAM : Informatique musicale, Parcours ATIAM : Traitement du signal

Cliquer ici pour vous authentifier


Description

Contexte Le domaine des Nouvelles Interfaces pour l’Expression Musicale (NIME, [1]) constitue un cas exemplaire de recherche interdisciplinaire. Il requiert des contributions complémentaires de l’Informatique — où l’objectif est de concevoir des algorithmes pour le traitement de données — et des Interactions Humain-Machine — où l’objectif est d’évaluer des interfaces auprès d’utilisateurs — dans le but final de concevoir des systèmes interactifs pour la création musicale — systèmes impliquant du mouvement, du son, de l’interaction collective et sociale, et des technologies hardware et software.

Récemment, l’application d’approches interactives au machine learning pour la création et la performance musicale a fait l’objet de nombreuses études dans le domaine des NIME, avec plusieurs travaux de thèse à ce sujet. Notamment, Caramiaux et Françoise ont développé une approche dite d’“apprentissage par démonstration”, qui permet à des utilisateurs de créer des contrôleurs gestuels personnalisés grâce au machine learning, et ce en enregistrant directement et de façon interactive des exemples de leurs gestes [2, 3]. Si plusieurs applications ont pu démontrer le succès de l’approche, de récents travaux ont mis en évidence le besoin d’assister les utilisateurs au cours de leur processus de création — à savoir, leur exploration. Cette “assistance intelligente” agirait non seulement comme un outil pédagogique, mais aussi comme un partenaire créatif pour ses utilisateurs [4].

Sujet Le stage s’inscrit dans le cadre de la thèse de Hugo Scurto, intitulée “Design d’interaction musicale par co-exploration”. Il s’agit de développer une nouvelle approche de machine learning interactif pour le design de NIMEs, dont l’intention principale est d’assister les utilisateurs tout au long de leur processus d’exploration, d’une façon adaptative. Pour cela, une triangulation entre formalisation mathématique, conception d’expérience musicale, et évaluation utilisateur est nécessaire, afin de converger vers une compréhension des mécanismes d’exploration ainsi que vers une implémentation d’un système effectif, du double point de vue humain-machine.

Plus précisément, le premier point de la thèse étudie l’interaction avec une certaine famille d’algorithmes de Machine Learning : l’apprentissage par renforcement [5]. Cette famille formalise les mécanismes d’apprentissage entre un agent et son environnement en termes d’états, d’actions, et de feedback. Pour apprendre comment bien interagir avec son environnement, l’agent doit tester l’ensemble des actions possibles sur les états de son environnement afin de déterminer via le feedback reçu un fonctionnement optimal de façon incrémentale — à savoir, en explorant un espace de paramètres. L’approche de co-exploration vise à intégrer l’utilisateur au sein de ce formalisme : il est en charge de donner un feedback à l’agent au cours de son apprentissage. Ainsi, la machine et l’humain collaborent créativement — le premier explore un espace paramétrique, le second un espace des possibles.

Le travail proposé se situe à l’intersection des deuxième et troisième points. Il s’agit d’évaluer les agents co-explorateurs au sein d’applications en design d’interaction musicale. Plus précisément, après une étude bibliographique autour des NIMEs, le stage vise à (1) concevoir des études de cas musicales (dans une perspective Interaction Humain-Machine), (2) mener ces études auprès d’experts de la musique (compositeurs, performers, sound designers), et (3) analyser les données récoltées (quantitatives et qualitatives). L’enjeu est de comprendre comment l’adaptation de l’agent en temps réel peut influer la créativité de l’utilisateur — comment est-il perçu en tant qu’entité interactive, comment agit-il par rapport aux prises de décision de l’utilisateur lors de son exploration, ou encore quelles vertus pédagogiques peut-il avoir —, et d’appréhender quels paramètres d’apprentissage permettant à l’agent de collaborer avec l’humain.

Prérequis Les candidat.e.s recherché.e.s devront maîtriser les notions de base en machine learning. Des connaissances en Interactions Humain-Machine sont appréciées ; en traitement du signal et psychologie cognitive sont un plus. Les logiciels utilisés dans le cadre du stage seront essentiellement conçus en Python et en Max/MSP. Le JavaScript pourra être employé. Le stagiaire devra avoir un intérêt prononcé pour la musique et les nouvelles pratiques musicales. Une pratique artistique/hacker/maker est appréciée.

Bibliographie

[1] http://www.nime.org/

[2] Caramiaux, B. (2012). Studies on the Gesture–Sound Relationship for Musical Performance (PhD thesis, UPMC).

[3] Françoise, J. (2015). Motion-sound mapping by demonstration (Doctoral dissertation, UPMC).

[4] Scurto, H., & Fiebrink, R. (2016). Grab-and-play mapping : Creative machine learning approaches for musical inclusion and exploration. In Proceedings of the 42nd International Computer Music Conference (ICMC).

[5] Sutton, R. S., & Barto, A. G. (1998). Reinforcement learning : An introduction. Cambridge : MIT press.