Master 2018 2019
Stages de la spécialité SAR
Contrôle par le souffle et la voix d’un « avatar-matériel » : ajout de nouvelles modalités son/image dans le dispositif interactif ELEMENTA et analyse de leur impact dans le ressenti


Site : Laboratoire de Mécanique et d’Acoustique Marseille
Lieu : LMA-CNRS, 4 impasse Nikola Tesla, 13453 Marseille Cedex 13
Encadrant : Patrick Sanchez (Equipe SONS, LMA) et Nathalie Delprat (LIMSI-CNRS)
Dates :du 01/02/2019 au 30/06/2019
Rémunération :gratifications CNRS standards
Mots-clés : Parcours ATIAM : Informatique musicale, Parcours ATIAM : Traitement du signal

Description

Descriptif :

Le projet interdisciplinaire ELEMENTA a pour objectif l’étude des liens entre matérialité virtuelle, conscience corporelle et imaginaire à travers le développement d’un dispositif interactif permettant à une personne de voir en temps-réel son corps avec la densité et la forme d’une matière élémentaire (nuages, gouttelettes d’eau, flammes…). Il regroupe plusieurs laboratoires scientifiques (dont le LIMSI-CNRS à Orsay qui a développé le prototype RêvA, le LMA à Marseille (Laboratoire de Mécanique et d’Acoustique), le CRPPC à Lyon (Centre de Recherche en Psychopathologie et Psychologie Clinique) et le CGGG (Centre Gilles Gaston Granger) à Aix-en-Provence ainsi que des partenaires artistiques comme le Conservatoire de Musique de Marseille et le Pôle Supérieur de Danse de Provence/Côte d’Azur.

La transformation virtuelle de la densité corporelle peut créer des illusions perceptives particulières et modifier le sentiment même de soi (sensations de morcellement du moi, de corps qui se vide, qui se dilue dans l’espace pour certaines personnes). Plusieurs pistes sont explorées : l’utilisation du dispositif comme outil de médiation avec des patients, comme outil de modélisation en sciences cognitives mais aussi comme outil de production artistique pour des performances de danse ou de musique augmentée (par exemple installation interactive Murmure présentée à l’exposition Biomorphisme à la Friche Belle de mai à Marseille jusqu’en février 2019). Le prix CNRS-Images a été décerné en juin 2018 à N. Delprat pour cette recherche et le projet fera l’objet d’un documentaire en 2019.

Le but principal du stage est d’enrichir ce dispositif de nouvelles interactions son/image avec le contrôle de l’avatar-matière par le souffle et la voix et d’étudier leur impact dans ce qui a été appelé « l’expérience de Rêverie Augmentée », en référence aux travaux du philosophe Gaston Bachelard qui ont inspiré cette démarche en recherche et création. Aucun port de casque ou capteurs n’est nécessaire. Une caméra Kinect récupère le squelette numérique de la personne et un traitement des données basé sur un moteur de particules (C++, OpenGL) permet de projeter en temps réel le rendu graphique et sonore sur un écran. Les paramètres de contrôle sont accessibles via OSC et l’interface est gérée par Max/MSP. Grâce au patch MaxELEMENTA, il est aussi possible de générer des sons et effets audio par synthèse granulaire et de contrôler des séquences temporelles.

Le dispositif a été monté au LMA afin de pouvoir travailler spécifiquement sur les aspects audio et utiliser les outils développés par l’équipe SONS, notamment dans la captation du jeu des instruments à vent mais aussi à travers la plateforme MAS (Musique, Audio, Sons). D’autre part, les collaborations avec le PNSD et le CRR de Marseille permettront de mettre au point des campagnes de tests avec des étudiants danseurs et musiciens et d’avancer dans la recherche sur l’impact de l’audio dans le ressenti.

Dans ce cadre, le stagiaire aura comme objectifs :
- de participer à l’intégration dans l’interface des paramètres sonores récupérés (voix, souffle mais aussi signaux physiologiques) par le boitier d’acquisition composé d’une carte Arduino et d’un microcontrôleur ESP32
- d’analyser ces signaux et de les traiter afin de définir de nouveaux mappings sons/images
- de développer de nouveaux patchs à partir du programme de synthèse granulaire afin d’enrichir la base d’effets audio disponibles
- de participer à la mise au point des protocoles expérimentaux avec différents groupes de sujets (dont danseurs et musiciens) pour tester ces nouveaux mappings
- d’étudier l’impact de cette nouvelle modalité de contrôle, notamment à travers l’analyse statistique des descripteurs du mouvement et l’analyse des données obtenues pendant les expériences (programme en Python).

Le travail d’interfaçage, d’analyse et de traitement des paramètres pour la quantification du ressenti selon le type de mappings son/image s’inscrira dans le cadre de l’approche interdisciplinaire du projet ELEMENTA et pourra donner lieu à des interactions tant au niveau recherche que création avec les différents partenaires lors de sessions de travail communes prévues sur la période du stage.

Compétences requises : programmation en Max/MSP et C/C++ La connaissance d’OpenGL et de Python est un plus – idem pour des compétences en électronique et capteurs. Intérêt pour l’approche art-science et les collaborations interdisciplinaires.

Contacts : patrick.sanchez@lma.cnrs-mrs.fr et nathalie.delprat@limsi.fr

Bibliographie

Blanke O., Metzinger T. (2008) Full-body illusions and minimal phenomenal selfhood. Trends in Cognitive Science, 13 (1), 7-13. Damasio, A. (1999). Le sentiment même de soi - Corps, émotion, conscience. Paris, Odile Jacob. Delprat, N. , (2014). Walking clouds and Augmented Reverie, Leonardo MIT Press Journal, 47, (1), 68-69. Lopez C. (2015) Making sense of the body : the role of vestibular signals. Multisensory Research, 28(5–6) : 525–557. Preston, C., Kuper-Smith, B.J., Ehrsson, H.H. : Owning the body in the mirror : The effect of visual perspective and mirror view on the full-body illusion. Scientific Reports (2015) 5:18345. M. Rébillat, X. Boutillon, E. Corteel, and B. F. G. Katz, “Audio, visual, and audio-visual egocentric distance perception by moving subjects in virtual environments,” ACM Trans. Appl. Percept., vol. 9, pp. 19:1–19:17, Oct. 2012, doi:10.1145/2355598.2355602. I. Viaud-Delmon, O. Warusfel « From ear to body : the auditory-motor loop in spatial cognition », Frontiers in Neuroscience, vol. 8, n° 283, Septembre, 2014 Slater M., Sanchez-Vives M.V. (2014) Transcending the Self in Immersive Virtual Reality IEEE Computer , 47 (7), 24-30.