Haut du formulaire
Perception de la Langue des Signes Française : Contributions à la définition du style gestuel des locuteurs sourds, application à l’anonymisation des animations par capture de mouvement
Perception of the French Sign Language: Contributions to the definition of gestural style of deaf signers, application to the anonymization of motion capture animations
Établissement Université Paris-Sud
Ecole Doctorale : Sciences du sport, de la motricité et du mouvement humain (SSMMH)
Unité de recherche LIMSI – Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur
Directeur de la thèse Annelies BRAFFORT, Co-directeur Bastien BERRET, Co-Encadrant Elise PRIGENT
Début de la thèse le 1 octobre 2018
Date limite de candidature 31 août 2018
Mots clés – Keywords
Langue des Signes, Capture de Mouvements, Anonymisation, Perception Utilisateur, Signeur Virtuel
Sign Language, Motion Capture, Anonymization, User Perception, Virtual Signeur
Profil et compétences recherchées – Profile and skills required
Le (la) candidat(e) devra avoir un profil principalement en sciences du mouvement, avec un intérêt pour les études pluridisciplinaires. Du fait du co-encadrement, il aura un soutien dans les disciplines les moins maîtrisées. De bonnes connaissances en sciences du mouvement humain, dans les outils de traitement de données (comme Matlab ou les bibliothèques dédiées en Python) et ainsi qu’en analyse du mouvement (manipulation d’outils d’analyse du mouvement cinétique, cinématique, e.g., OptiTrack) sont un plus. Un intérêt pour la Langue des Signes Française (LSF) serait apprécié.
The candidate should have a profile mainly in sciences of movement, with an interest in multidisciplinary studies. Because of the co-supervision, he will have support in the less controlled disciplines. Good knowledge in the sciences of human movement, in data processing tools (such as Matlab or dedicated Python libraries) and in motion analysis (manipulation of analysis tools for kinetic motion, kinematic, eg, OptiTrack) will be a plus. An interest in the French Sign Language (LSF) would be appreciated.
Description de la problématique de recherche Project description
Le principal enjeu de cette thèse sera de définir les paramètres du mouvement des locuteurs de langue des signes française (LSF) qui permettent de les identifier quand leurs mouvements sont enregistrés par un système de capture de mouvement puis rejoués à l’aide d’un personnage virtuel. La capture de mouvement est à l’heure actuelle suffisamment fine pour permettre d’enregistrer des contenus en LSF parfaitement compréhensibles, mais aussi parfois, pour permettre d’identifier la personne qui a été enregistrée. Une demande sociétale de la communauté des sourds locuteurs de la LSF est de pouvoir disposer de contenu en LSF qui soit anonyme. L’objectif est donc de pouvoir jouer sur les paramètres identifiés pour rendre l’animation par capture de mouvement plus « anonyme ». Pour valider les paramètres retenus et leur importance relative, une étude de la perception visuelle des utilisateurs sera nécessaire.
The main challenge of this thesis will be to define the parameters of the movement of French Sign Language (LSF) signers that allow to identify them when their movements are recorded by a motion capture system and then replayed using a virtual character. Motion capture is currently fine enough to allow you to record perfectly understandable LSF content, but sometimes also to identify the person who has been recorded. A societal demand from the community of deaf LSF signers is to be able to have LSF content that is anonymous. The objective is to be able to play on the parameters identified to make the motion capture animation more ‘anonymous’. To validate the parameters selected and their relative importance, a study of the visual perception of the users will be necessary.
Thématiques /Contexte
Dans le cadre de la loi de 2005 stipulant que les établissements publics doivent rendre les informations accessibles, quel que soit le type de handicap, incluant donc des personnes sourdes pouvant accéder aux informations via la LSF. L’utilisation d’un avatar animé de manière à produire des contenus en Langue des Signes Française (LSF) est donc un enjeu important.
Cette thèse s’inscrit dans le cadre d’un projet nommé Rosetta portant sur l’accessibilité des émissions de télévision. Une partie porte sur la production de contenu en LSF. La vidéo pré-enregistrée est le moyen le plus utilisé à l’heure actuelle pour diffuser du contenu en LSF, mais elle ne permet pas de constituer des messages de manière dynamique ni d’assurer l’anonymat du message. Il est alors important d’étudier l’utilisation de l’animation de personnages virtuels s’exprimant en LSF, nommés « signeur virtuels ». Pour être acceptables, les technologies à mettre en place doivent être fiables, de qualité, respectueuses des spécificités de la LSF et répondre aux besoins identifiés par les utilisateurs concernés. C’est dans ce cadre que se développent actuellement les recherches menées au LIMSI sur le Traitement Automatique des Langues des Signes (TALS).
L’animation de ces signeurs virtuels est basée sur trois approches distinctes :
la synthèse de mouvement à partir d’une description formelle des gestes à produire (Nunnari et al., 2018), la création des animations avec les mêmes outils que dans le domaine de la création artistique (cinéma d’animation) (Filhol & Mc Donald, 2018), la capture des mouvements sur un humain réel, un locuteur de LSF, encore nommé signeur (Gibet, 2018).
La 1ère approche est plus souple mais les modèles des mouvements ne sont pas encore suffisamment fins et les mouvements générés sont trop robotiques et peu compréhensibles. La 2ème nécessite les compétences d’un infographiste spécialisé dans l’animation 3D et qui maîtrise la LSF, compétences très rarement cumulées. La 3ème nécessite de disposer d’un système de capture de mouvements. Avec certains types de système de capture, les mouvements enregistrés peuvent être parfaitement fidèles à ceux réalisés par le signeur et être ainsi parfaitement compréhensibles.
Ce projet doctoral s’inscrit dans la 3ème approche. L’objectif est d’identifier quels sont les paramètres du mouvement qui définissent le style individuel des signeurs, de manière à pouvoir jouer sur ces paramètres pour rendre la LSF enregistrée plus anonyme, tout en la conservant parfaitement compréhensible. Cette thèse sera donc très pluridisciplinaire, avec des aspects relatifs aux aspects biomécanique et perception du mouvement, ainsi que l’aspect linguistique et traitement automatique. Pour ce qui est d’évaluer la compréhensibilité des animations des signeurs virtuels, plusieurs études en CHM se sont intéressées à l’évaluation du signeur virtuel par l’utilisateur mais se sont essentiellement concentrées sur l’évaluation de son réalisme et de son agréabilité (Adamo-Villani & Anasingaraju, 2016 ; Kipp et al., 2011). Peu se sont penchées sur la compréhensibilité, par l’utilisateur, du message diffusé par ceux-ci (Huenerfauth et al., 2008) et aucun sur les aspects anonymisation dans le cas de la capture de mouvement. De la même manière en psychologie, quelques études ont exploré les processus cognitifs sollicités lors de la perception d’humains signeurs (Emmorey et al., 2010 ; Emmorey et al., 2009 ; Muir, 2005), mais à notre connaissance peu se sont intéressées à la compréhension d’un signeur virtuel par un observateur, ni aux aspects anonymisation. Il sera certainement pertinent de se documenter sur les études en linguistique portant sur la prosodie (Limousin & Blondel, 2010 ; Catteau et al., 2016) en langue des signes et les études en sciences du mouvement. Par exemple, une étude montre que les gens sont capables de reconnaître leurs amis sur la base de la perception des points lumineux placés sur les articulations des personnes (type uniquement les points de mocap sont visibles) (Cutting & Koslowski, 1977). De la même manière les gens sont capables de reconnaitre le sexe de la personne observée (toujours uniquement avec les points lumineux visibles) (Koslowski, & Cutting, 1977).
Méthode
Le présent projet de thèse, pluridisciplinaire, fait l’objet d’un co-encadrement ancré dans trois thématiques scientifiques : les sciences du mouvement, la psychologie et le traitement automatique des langues. Les trois co-encadrants de ce projet doctoral ont déjà co-encadré une thèse de l’ED Sciences du Sport, de la Motricité et du Mouvement Humain portant sur l’étude des lois du contrôle moteur dans les mouvements de la LSF, ainsi que deux stages de Master 2 STAPS (parcours PCMPS – Psychologie, Contrôle Moteur et Performance Sportive en 2015-2016 et parcours ISMH – Ingénierie et Sciences du Mouvement Humain 2016-2017).
L’objectif est d’identifier quels sont les paramètres du mouvement qui définissent le style individuel des signeurs, de manière à pouvoir jouer sur ces paramètres pour rendre la LSF enregistrée plus anonyme, tout en la conservant parfaitement compréhensible, en s’appuyant sur des connaissances et les méthodes issues de ces différentes disciplines. La thèse comportera les phases suivantes :
– Étude bibliographique autour de la problématique dans les diverses disciplines scientifiques.
– Constitution d’un corpus d’étude à l’aide d’un système de capture de mouvement comportant des contenus en LSF produits par des signeurs facilement identifiables de par leur « style gestuel » ainsi que par des signeurs ayant au contraire un style plus neutre.
– Analyse des données en vue de déterminer les paramètres représentants au mieux le style des signeurs.
– Élaboration d’un traitement permettant de modifier ces paramètres sur des données de capture de mouvement en vue de supprimer ou tout du moins diminuer l’empreinte gestuelle d’un individu donné.
– Évaluation des animations produites sur les aspects compréhensibilité et anonymisation auprès d’un panel de locuteurs de LSF.
Ce travail se fera en lien avec les partenaires du projets et en particulier l’entreprise Mocaplab, dont l’objet est de produire du contenu en LSF à l’aide d’un système de capture de mouvement haute définition, et des structures (sociétés et associations) de journalistes et de traducteurs sourds.
Précision sur l’encadrement
Annelies Braffort, DR en informatique au LIMSI-CNRS, sera co-directrice (40 %) et Elise Prigent, MC en psychologie au LIMSI-CNRS sera co-encadrante (40 %), Bastien Berret, MC HDR au CIAMS, sera co-directeur (20 %). Deux des encadrants sont titulaires au LIMSI et seront donc dans les mêmes locaux que le doctorant afin d’organiser des réunions régulières en y associant le 3ème co-encadrant et un suivi de thèse optimal.
Conditions scientifiques matérielles (conditions de sécurité spécifiques) et financières du projet de recherches
La thèse sera effectuée au LIMSI Le doctorant disposera d’un bureau et d’un ordinateur. Le financement prévu est un contrat CNRS financé par le projet Rosetta.
Objectifs de valorisation des travaux de recherche du doctorant : diffusion, publication et confidentialité, droit à la propriété intellectuelle,…
Lors de la thèse, la rédaction d’articles scientifiques et participation aux conférences des domaines sont prévues. Le(la) doctorant(e) participera à des manifestations de vulgarisation scientifique comme la fête de la science.
Collaborations envisagées
De nombreuses collaborations seront établies dans le cadre de cette thèse, avec les autres partenaires du projet, ainsi que des structures (sociétés et associations) d’usagers potentiels des résultats de la recherche (journalistes et traducteurs sourds).
Références bibliographiques
Adamo-Villani, N., & Anasingaraju, S. (2016). Toward the Ideal Signing Avatar. EAI Endorsed Transactions on E-Learning, 3(11), 151446. https://doi.org/10.4108/eai.15-6-2016.151446
Catteau, F., Blondel, M., Vincent, C., Guyot, P. & Boutet. D. (2016). Variation prosodique et traduction poétique (LSF/français) : Que devient la prosodie lorsqu’elle change de canal ?. Journées d’Étude sur la Parole, Jul 2016, Paris, France. 1 : JEP, pp.750-758.
Cutting, J.R., & Koslowski, L.T. (1977). Recognizing friends by their walk: Gait perception without familiarity cues. Bulletin of the Psychonomic Society, 9, 353–356.
Emmorey, Karen, Xu, J., Gannon, P., Goldin-Meadow, S., & Braun, A. (2010). CNS activation and regional connectivity during pantomime observation: No engagement of the mirror neuron system for deaf signers. NeuroImage, 49(1), 994‑1005. https://doi.org/10.1016/j.neuroimage.2009.08.001
Emmorey, K., Thompson, R., & Colvin, R. (2009). Eye Gaze During Comprehension of American Sign Language by Native and Beginning Signers. Journal of Deaf Studies and Deaf Education, 14(2), 237‑243. https://doi.org/10.1093/deafed/enn037
Filhol, M. & McDonard, J. (2018). Extending the AZee-Paula Shortcuts to Enable Natural Proform Synthesis, 8th Workshop on the Representation and Processing of Sign Languages: Involving the Language Community (SignLang 2018), Eds: Bono M., Efthimiou E., Fotinea S.-E., Hanke T., Hochgesang J., Kristoffersen J., Mesch J., Osugi Y, 11th edition of the Language Resources and Evaluation Conference (LREC 2018), 7-12 May 2018, Miyazaki (Japan). http://lrec-conf.org/workshops/lrec2018/W1/index.html
Gibet, S. (2018). Building French Sign Language Motion Capture Corpora for Signing Avatars, 8th Workshop on the Representation and Processing of Sign Languages: Involving the Language Community (SignLang 2018), Eds: Bono M., Efthimiou E., Fotinea S.-E., Hanke T., Hochgesang J., Kristoffersen J., Mesch J., Osugi Y, 11th edition of the Language Resources and Evaluation Conference (LREC 2018), 7-12 May 2018, Miyazaki (Japan). http://lrec-conf.org/workshops/lrec2018/W1/index.html
Koslowski, L.T., & Cutting, J.E. (1977). Recognizing the sex of a walker from a dynamic point-light display. Perception and Psychophysics, 21, 575–580. Huenerfauth, M., Zhao, L., Gu, E., Allbeck, J.: Evaluating american sign language generation by native ASL signers. ACM Transactions on Access Computing 1(1), 1–27 (May 2008)
Limousin, F. & Blondel, M. Prosodie et acquisition de la langue des signes française. Acquisition monolingue LSF et bilingue LSF-français (2010). Acquiring Sign Language as a First Language / Acquisition d’une langue des signes comme langue première, Edited by Marie-Anne Sallandre and Marion Blondel, [Language, Interaction and Acquisition 1:1] 2010, pp. 82–109.
Muir, L. J. (2005). Perception of Sign Language and Its Application to Visual Communications for Deaf People. Journal of Deaf Studies and Deaf Education, 10(4), 390‑401. https://doi.org/10.1093/deafed/eni037
Kipp, M., Heloir, A., & Nguyen, Q. (2011). Sign language avatars: Animation and comprehensibility. In International Workshop on Intelligent Virtual Agents (p. 113–126). Springer.
Nunnari, F., Filhol, M. & Héloir, A. (2018). Animating AZee Descriptions Using Off-the-Shelf IK Solvers, 8th Workshop on the Representation and Processing of Sign Languages: Involving the Language Community (SignLang 2018), Eds: Bono M., Efthimiou E., Fotinea S.-E., Hanke T., Hochgesang J., Kristoffersen J., Mesch J., Osugi Y, 11th edition of the Language Resources and Evaluation Conference (LREC 2018), 7-12 May 2018, Miyazaki (Japan). http://lrec-conf.org/workshops/lrec2018/W1/index.html
Dernière mise à jour le 18 juillet 2018
Bas du formulaire
