Master 2014 2015
Stages de la spécialité SAR
Comment les gestes et les vocalisations se combinent-ils pour imiter un son ?


Site :Equipe Perception et Design Sonore
Lieu :Ircam, équipe Perception et Design Sonores
Encadrant : Guillaume Lemaitre, Frédéric Bevilacqua, Patrick Susini
Dates :6 mois
Rémunération :436,05
Mots-clés : Parcours ATIAM : Acoustique, Parcours ATIAM : Traitement du signal


Description

Résumé Contexte du stage Ce stage s’inscrit dans le cadre du projet européen SkAT-VG (Sketching Audio Technologies with Vocalizations and Gestures). L’objectif global de ce projet est le développement d’un outil permettant aux designers sonores de créer de manière très rapide et intuitive des esquisses sonores, au moyen de vocalisations et de gestes. Dans ce cadre, ce stage s’intéresse à observer comment les personnes combinent gestes et vocalisations pour imiter un son. Objectif du stage L’objectif du stage est d’explorer comment des personnes décrivant un son de référence utilisent des gestes, seuls ou combinés à une vocalisation. Le stage s’intéresse à deux stratégies possibles : le geste renforce (c.à.d. décrit le même aspect du son de référence) ou complète la vocalisation (c.à.d. décrit un autre aspect du son de référence). Dans le premier cas, le geste et la vocalisation décrivent donc le même aspect du son de référence. Dans le second cas, le geste peut par exemple compenser ce qu’il n’est pas possible de faire vocalement. Mais il semble difficile que des sujets non experts puissent faire en même temps une chose avec la voix et une autre avec le geste. Ils vont donc peut-être réaliser ces éléments de manière séquentielle plutôt que simultanée. La piste envisagée pour explorer ces questions consiste à identifier des sons qui présentent différentes difficultés pour l’imitation (sons produits par un geste vs. sons abstraits, sons trop complexes pour être imités vocalement, etc.), et les utiliser pour observer quelles stratégies les sujets mettent en place lorsqu’on leur demande d’imiter ces sons. Le stage s’attachera en particulier à comparer : imitations vocales seules, imitations gestuelles seules, et combinaison d’imitations vocales et gestuelles. Il s’agira également d’analyser les corrélations entre propriétés acoustiques des sons de référence, propriétés du geste, et propriétés des vocalisations. Le stage se déroulera en collaboration avec l’équipe Interactions Sons Musique Mouvement (ISMM) de l’Ircam. Déroulement du stage Le stage se déroulera suivant les phases suivantes :
-  Bibliographie, développement et opérationnalisation de l’hypothèse de recherche
-  Mise au point des exemples de sons présentant des difficultés potentielles pour l’imitation vocale ou gestuelle
-  Expérience pour vérifier ces difficultés
-  Développement du protocole expérimental pour le recueil d’imitations suivant différentes stratégies, et du plan d’expérience
-  Enregistrement (audio, vidéo, capteurs de gestes) d’imitations
-  Analyse acoustique, phonologique et gestuelles, des imitations et des stratégies des locuteurs
-  Analyse statistique des résultats
-  Rédaction du mémoire Compétences requises
-  Psychoacoustique, psychologie cognitive expérimentale
-  Traitement du signal
-  Techniques d’enregistrement et de traitement audio et vidéo
-  Analyses statistiques
-  Matlab/Python, Max/MSP, R.

Bibliographie

-  http://www.skatvg.eu
-  Caramiaux, B., Bevilacqua, F., Bianco, T., Schnell, N., Houix, O. and Susini, P. 2014. The Role of Sound Source Perception in Gestural Sound Description. ACM Transactions on Applied Perception 11, 1.
-  Lemaitre, G., Dessein, A., Susini, P., and Aura, K. Vocal Imitations and the Identification of Sound Events. Ecological Psychology. Vol. 23, Iss. 4, 2011
-  Lemaitre, G. and Rocchesso, D. On the effectiveness of vocal imitations and verbal descriptions of sounds. The Journal of the Acoustical Society of America, 135, 862-873 (2014)