Master 2015 2016
Stages de la spécialité SAR
Apprentissage de représentations pour le décodage de stimuli musicaux en électroencéphalographie : vers des interfaces cerveau-machine musicales


Site : Groupe Audio, Acoustique et Ondes (AAO)
Lieu : Télécom ParisTech – CNRS/LTCI 46, rue Barrault – 75013 Paris
Encadrant : Slim ESSID
Dates :A discuter
Rémunération :500€
Mots-clés : Parcours ATIAM : Acoustique, Parcours ATIAM : Informatique musicale, Parcours ATIAM : Traitement du signal

Description

Plusieurs études ont été menées en neurosciences en vue d’analyser les mécanismes de perception et d’encodage cérébral de contenus musicaux (voir par exemple Alluri, 2012). Ces études ont par la même ouvert la voie à des travaux visant à décoder à partir des signaux cérébraux, enregistrés par électroencéphalographie (EEG), différentes caractéristiques des contenus musicaux perçus, ou même imaginés, pendant l’enregistrement EEG : tonalité, timbre, rythme, etc., qui pourraient permettre à terme de développer des interfaces cerveau-machine musicales (Stober, 2014 ; Kaneshiro, 2015 ; Sternin, 2015). Mais la promesse de parvenir un jour à simplement imaginer une mélodie pour qu’elle soit automatiquement détectée et jouée par un lecteur de musique intelligent (connecté à une interface cerveau-machine) demeure difficile à tenir du fait des verrous qui entravent le décodage de l’information musicale dans les signaux EEG et qui sont principalement liés à la nature très bruitée de ces signaux, dans lesquels l’information utile se retrouve noyée dans un mélange de diverses sources d’activités endogènes et exogènes. L’objectif de ce stage sera ainsi de développer des méthodes d’apprentissage de représentations des signaux EEG permettant le décodage de certaines caractéristiques musicales, en particulier le timbre musical. Cet apprentissage sera effectué par une analyse conjointe de l’EEG et de la musique perçue. On envisagera en particulier les techniques de factorisation et de co-factorisation de matrices (Seichepine, 2014 ; Damon, 2013) avec leurs extensions non-linéaires et les techniques d’apprentissage profond.

Possibilité de poursuite en thèse.

Bibliographie

(Alluri, 2012) V. Alluri, P. Toiviainen, I. P. Jääskeläinen, E. Glerean, M. Sams, and E. Brattico, “Large-scale brain networks emerge from dynamic processing of musical timbre, key and rhythm,” Neuroimage, vol. 59, no. 4, pp. 3677–3689, 2012.

(Damon, 2013) C. Damon, A. Liutkus, A. Gramfort, and S. Essid, “Nonnegative Tensor Factorization for Single-Channel EEG Artifact Rejection,” in IEEE International Workshop on Machine Learning for Signal Processing, 2013.

(Kaneshiro, 2015) B. Kaneshiro and J. P. Dmochowski, “Neuroimaging Methods for Music Information Retrieval : Current Findings and Future Prospects,” Ismir, pp. 538–544, 2015.

(Seichepine, 2014) N. Seichepine, S. Essid, C. Fevotte, and O. Cappe, “Soft nonnegative matrix co-factorization,” IEEE Trans. Signal Process., vol. PP, no. 99, 2014.

(Sternin, 2014) A. Sternin, S. Stober, A. M. Owen, and J. A. Grahn, “Classifying Perception and Imagination of Music from EEG,” in Society for Music Perception & Cognition Conference (SMPC’15), 2015.

(Stober, 2015) S. Stober, D. J. Cameron, and J. A. Grahn, “Does the Beat go on ? — Identifying Rhythms from Brain Waves Recorded after Their Auditory Presentation,” in Proceedings of the 9th Audio Mostly : A Conference on Interaction With Sound (AM’14), 2014, pp. 23:1–23:8.

(Stober, 2015) S. Stober, A. Sternin, A. M. Owen, and J. A. Grahn, “Towards Music Imagery Information Retrieval : Introducing the OpenMIIR Dataset of EEG Recordings from Music Perception and Imagination,” in 16th International Society for Music Information Retrieval Conference (ISMIR’15), 2015, pp. 763–769.