Master 2017 2018
Stages de la spécialité SAR
Inferring Harmony from Pitch Activation Matrix in Polyphonic Music


Lieu : Institut d’Alembert, LAM, http://www.dalembert.upmc.fr/lam/, 4 pl Jussieu 75005 Paris
Encadrant : - Grégory Nuel, Sorbonne Université, CNRS, nuel@math.cnrs.fr - Olivier Adam, Université Pierre et Marie Curie, olivier.adam@upmc.fr
Dates :du 01/02/2018 au 01/07/2018
Rémunération :montant forfaitaire CNRS (554 euros par mois, soumis à ré-évaluation)
Mots-clés : Parcours ATIAM : Acoustique, Parcours ATIAM : Informatique musicale, Parcours ATIAM : Traitement du signal

Description

Contexte : La plupart des systèmes classiques de transcription automatique de musique se basent sur deux analyses successives : 1) un estimateur multi-pitch dans le domaine spectral et 2) une segmentation en évènements « notes » dans le domaine temporel. C’est notamment cette seconde analyse qui doit extraire la représentation musicale plus haut-niveau attendue par une transcription utile à un musicien. Différents travaux de recherche ont donc proposé des modèles probabilistes de Music Langage Modeling pour réaliser cette segmentation (ex : réseaux dynamiques Bayésiens [1], chaînes de Markov cachées à deux états [2]).

Description : L’objectif du stage est de s’intéresser à l’inférence de l’harmonie (tonalité, gamme) dans la musique polyphonique d’instruments solistes. Nos premiers travaux portent actuellement sur le piano acoustique, dans des répertoires classiques ou d’improvisation jazz. Cet instrument et répertoires sont particulièrement intéressants pour la richesse de leurs structures harmoniques, et sa démocratisation en fait un objet d’étude facile à expérimenter, avec de nombreuses bases de données labellisées déjà disponibles dans la communauté du Music Information Retrieval.

La méthode d’inférence harmonique envisagée se base sur une matrice d’activation de pitchs, c’est à dire la sortie typique d’un estimateur multi-pitch (ex : algorithme PLCA [3]). Le modèle probabiliste sous-jacent s’appuie sur une utilisation intensive des chaînes de Markov cachées (HMM). Un premier niveau consiste à inférer une matrice d’activation harmonique en combinant une HMM par pitch (pianoroll HMM) avec un score de tonalité/gamme. Ce modèle déjà fonctionnel a fait l’objet d’un premier stage de recherche en 2016-2017. Dans un second temps, cette matrice d’activation harmonique sera exploitée à travers une chaîne de Markov cachée ayant pour objectif de détecter les ruptures ou transition harmoniques. Cette couche de haut niveau pourra permettre d’intégrer et/ou d’apprendre des structures harmoniques classiques (ex : le 2-5-1 en musique occidentale).

Ces modèles seront implémentés sous le logiciel R et appliqués à des jeux de données simulées et réelles, y compris à des bases de données de référence en MIR (ex : MAPS), et de nouvelles qui pourront être élaborées par le stagiaire avec le piano KAWAI « Anytime » Series avec contrôleur MIDI (permettant une captation acoustique simultanée à sa transcription MIDI) disponible au LAM. 

Compétences requises : modèles graphiques probabilistes, en particuliers les HMM ; traitement du signal audio ; la bonne maîtrise d’un instrument de musique serait un plus.

Bibliographie

[1] Raczynski, S . ; Vincent, E. & Sagayama, S. Dynamic Bayesian networks for symbolic polyphonic pitch modeling IEEE Transactions on Audio, Speech and Language Processing, Institute of Electrical and Electronics Engineers, 2013, 21, 1830-1840 [2] Cazau, D. ; Wang, Y. ; Adam, O. ; Wang, Q. & Nuel, G. Improving note segmentation in automatic piano transcription systems with a two-state pitch-wise HMM method ISMIR, Suzhou, China, October 23-28, 2017 [3] Benetos, E. & Weyde, T. An efficient temporally-constrained probabilistic model for multiple-instrument music transcription 16th International Society for Music Information Retrieval Conference, Malaga , Spain, 2015, 355-360