Master 2017 2018
Stages de la spécialité SAR
Vocodeur et points de contrôle temporel pour la synthèse vocale performative


Site : Equipe LAM
Lieu : équipe LAM (Lutheries-Acoustique-Musique) Institut d'Alembert, Sorbonne Université, 4 place Jussieu, 75005 Paris
Encadrant : Christophe d'Alessandro & Boris Doval
Dates :15/02/2018 au 14/08/2018
Rémunération :Gratification de stage fonction publique (environ 570 €/mois)
Mots-clés : Parcours ATIAM : Informatique musicale, Parcours ATIAM : Traitement du signal

Cliquer ici pour vous authentifier


Description

Sujet du stage

Le stage s’inscrit dans nos recherches sur les instruments chanteurs, ou synthèse vocale « performative » c’est à dire jouée en temps réel. Il s’agit d’étudier les questions de la modification temps-réel du signal vocal et du contrôle gestuel conjoint du rythme et de l’intonation en utilisant des points de contrôle. La synthèse est basée sur des échantillons vocaux préenregistrés et enrichis de marqueurs rythmiques, les points de contrôle. Au moment de la performance, le musicien manipule le rythme en utilisant ces points de contrôle comme des ancres temporelles qu’il est possible d’atteindre par la dynamique du geste. L’intonation et l’effort vocal sont contrôlés par une tablette graphique (ou un clavier continu). Le stage commencera par une étude du vocodeur, le système de modification du signal. On comparera le vocodeur actuel avec la dernière génération de vocodeurs utilisés en synthèse de la parole. Dans un second temps, a question de l’emplacement des points de contrôle sera étudiée .Cette question est importante, et dépend du matériau sonore : pour chanter en français, deux points par syllabe phonétique semblent une bonne solution. Pour d’autres langues comme l’anglais, un rythme accentuel, par pieds rythmiques, est peut-être préférable à un rythme syllabique. Pour certains styles de chant, les points de contrôle pourraient être plus fin (décomposition de l’articulation) ou au contraire plus distants (chant par phrases rythmiques). Les résultats attendus de cette recherche portent sur :

  1. le développement et l’évaluation du vocoder (système de modification du rythme, des durée, de l’effort vocal) ;
  2. l’effet de l’emplacement des points de contrôle pour les modifications conjointes d’intonation et de rythme ;
  3. si le temps le permet d’envisager des méthodes pour automatiser l’emplacement des points de contrôle.

Le stage comprend une partie de développement (conception d’algorithme et programmation) d’un système de modification temps-réel du rythme, et une partie d’évaluation de l’interface (protocole d’évaluation, tests subjectifs et analyse des résultats). Pour la partie de développement, on s’appuiera sur le système « Vokinesis » qui utilise une tablette graphique, des interfaces manuelles et pédestre et un patch Max/Java. Pour la partie d’évaluation, on s’appuiera sur une méthodologie de réitération rythmique, comparable à celle déjà utilisée pour l’évaluation mélodique. En fonction de l’avancement ce stage peut également porter sur les stratégies et l’analyse des pratiques musicales nouvelles permise par le système développé. Il pourrait se poursuivre par une thèse.

Compétences requises

Ce stage demande une bonne maîtrise de l’analyse du signal, ainsi que de la programmation (Matlab, java, Max). Un intérêt et des compétences en traitement de la parole et de la voix sont souhaitables.

Bibliographie

1. Samuel Delalez, Christophe d’Alessandro « Vokinesis : syllabic control points for performative singing synthesis », Proceedings of the International Conference on New Interfaces for Musical Expression, NIME’17, May 15-19, 2017, Aalborg University Copenhagen, 198-203.

2. Samuel Delalez, Christophe d’Alessandro « Adjusting the Frame : Biphasic Performative Control of Speech Rhythm », Proc. INTERSPEECH 2017, 18th Annual Conference of the International Speech Communication Association, Stockholm, Sweden, August 18-25, 2017, DOI : 10.21437/Interspeech.2017, 864-868.

3. Christophe d’Alessandro, Albert Rilliard, and Sylvain Le Beux « Chironomic stylization of intonation » J. Acoust. Soc. Am., 129(3), march 2011, 1594-1604

4. Christophe d’Alessandro, Lionel Feugère, Sylvain Le Beux, Olivier Perrotin, and Albert Rilliard (2014) , « Drawing melodies : evaluation of chironomic singing synthesis » , J. Acoust. Soc. Am. 135 (6), 3601-3612.

5. Le Beux, S., C. D’Alessandro and A. Rilliard (2010). Calliphony : a tool for real-time gestural modification and analysis of intonation and rythm. SP 2010. International Conference : Speech Prosody 2010. 4p

6. Le Beux, S., B. Doval and C. D’Alessandro (2010). Issues and solutions related to real-time TD-PSOLA implementation. AES London 2010. 128th Convention of the Audio Engineering Society. 6p

7. Masanori MORISE, Fumiya YOKOMORI, Kenji OZAWA, , WORLD : A Vocoder-Based High-Quality Speech Synthesis System for Real-Time Applications, IEICE Transactions on Information and Systems, Volume E99.D (2016) Issue 7 Pages 1877-1884