Master 2013 2014
Stages de la spécialité SAR
Modélisation scattering pour la reconnaissance des instruments de musique


Site :Equipe ADTSI
Lieu :IRCCYN Ecole Centrale de Nantes
Encadrant : Mathieu Lagrange, Stéphane Mallat
Dates :debut Mars / fin Aout
Rémunération :allocation stagiaire (env. 430 euros)
Mots-clés : Parcours ATIAM : Traitement du signal

Description

Cadre Ce stage s’inscrit dans le cadre d’une collaboration entre l’IRCCYN et l’ENS autour de la description des signaux musicaux et se place dans le cadre d’un projet porté par le Conservatoire National de Musique et de Danse de Paris. Dans le cadre de ce projet, il est attendu de pouvoir naviguer au sein de grandes bases de données de modes de jeu.

Objectifs L’objectif de ce stage est d’étudier la pertinence de la transformée scattering pour la représentation des signaux musicaux dans le but de reconnaitre le type d’instrument. Les résultats d’une première étude sur le sujet montre l’importance de l’attaque dans la reconnaissance. Souhaitant considérer un scénario réaliste d’enregistrements de morceau solo, il est nécessaire de mieux caractériser l’attaque pour focaliser l’algorithme sur cet intervalle.

Description Au moyen d’approches expérimentales, la démarche devra définir successivement :

  • Un modèle de l’attaque pour la discrimination attaque / partie tenue
  • Une représentation adaptée à la reconnaissance du type d’instrument
  • Une stratégie de classification adaptée à la reconnaissance du type d’instrument prenant en compte la discrimination attaque / partie tenue.

Attendus

–* Etude bibliographique (modélisation du signal musical, reconnaissance d’attaque, reconnaissance d’instrument) –* Mise en place des protocoles expérimentaux pour la détection des attaques et la reconnaissance de l’instrument –* Etude du scattering et de ses différentes formes pour les tâches pré citées.

Bibliographie

[1] J. Andén and S. Mallat. Multiscale scattering for audio classification. In ISMIR, pages 657–662, 2011. [2] J. Andén and S. Mallat. Scattering representation of modulated sounds. In Int. Conf. Digital Audio Effects, 2012. [3] Y-lan Boureau, Francis R Bach, Y. LeCun, and J. Ponce. Learning midlevel features for recognition. IEEE, 2010. [4] Taishih Chi, Powen Ru, and Shihab a. Shamma. Multiresolution spectrotemporal analysis of complex sounds. The Journal of the Acoustical Society of America, 118(2) :887, 2005. [5] T Dau, B Kollmeier, and a Kohlrausch. Modeling auditory processing of amplitude modulation. ii. spectral and temporal integration. The Journal of the Acoustical Society of America, 102(5 Pt 1) :2906Ð19, Nov 1997. [6] C Joder, S Essid, and G Richard. Temporal integration for audio classification with application to musical instrument classification. IEEE Transactions on Audio Speech and Language Processing, 17(1) :174Ð186, 2009. [7] S. Mallat. Group invariant scattering. Communications in Pure and Applied Mathematics, to appear, http://arxiv.org/abs/1101.2286. [8] N. Mesgarani, M. Slaney, and S. A. Shamma. Discrimination of speech from nonspeech based on multiscale spectro-temporal modulations. In IEEE Transactions on Audio, Speech and Language Processing, pages 920–930, 2006. [9] K. Wang and S. A. Shamma. Spectral Shape analysis in the Central Auditory System. sap, 3, 1995.