Thèmes de recherche

Comment le cerveau décode-t-il l'information vocale dans le langage parlé ?

Le domaine des neurosciences sociales cognitives se développe rapidement, et l'on observe récemment un regain d'intérêt pour la manière dont les humains communiquent leurs émotions et réagissent aux stimuli émotionnels. Dans ce programme de recherche, nous étudions un sujet qui a été quelque peu négligé dans ce domaine en pleine croissance — comment les émotions sont exprimées et comprises à partir de la voix humaine lorsqu'on parle, et comment les fonctions mentales associées sont structurées dans le cerveau.

Pour reconnaître les expressions vocales d'émotion, par exemple qui transmettent la colère ou la joie, les auditeurs doivent traiter les propriétés acoustiques dynamiques de la parole — c'est-à-dire les fluctuations continues de la hauteur, de l'intensité et du rythme qui se différencient dans le temps de manière émotionnellement significative. Le fait que les expressions émotionnelles dans la voix soient représentées de manière unique à travers le temps soulève une question empirique cruciale : à quelle vitesse détectons-nous les émotions en écoutant la voix d'un locuteur ? Et quels mécanismes neuronaux sont impliqués ?

Une autre question que nous abordons est la suivante : lorsque les auditeurs reconnaissent des expressions vocales d'émotion, ces informations guident-elles leur attention visuelle et/ou leurs jugements sur des stimuli visuels (p. ex. les expressions faciales) de manière systématique ? Répondre à cette question nous en apprendra beaucoup sur les interactions sociales naturelles, où les humains sont généralement confrontés à des indices émotionnels dans plus d'une modalité sensorielle et doivent intégrer ces différents indices de manière socialement significative et adaptative.

La plupart de nos études portent sur de jeunes adultes en bonne santé et nos questions sont examinées sous différents angles, en utilisant des approches comportementales, le suivi oculaire, l'électrophysiologie (ERP) et la neuroimagerie. Notre recherche conduira à un modèle plus sophistiqué des mécanismes neurocognitifs qui soutiennent la communication émotionnelle par la voix et, plus largement, elle éclairera la capacité uniquement humaine à communiquer des significations à la fois linguistiques et émotionnelles à l'aide de signaux auditifs complexes.

→ En savoir plus sur la Tâche de décision sur l'affect facial (FADT)

Publications représentatives

• Jiang, X., Sanford, R. & Pell, M.D. (2018). Neural architecture underlying person perception from in-group and out-group voices. NeuroImage, 181, 582-597.
• Pell, M.D., Rothermich, K., Liu, P., Paulmann, S., Sethi, S, & Rigoulot, S. (2015). Preferential decoding of emotion from human non-linguistic vocalizations versus speech prosody. Biological Psychology, 111, 14-25.
• Jiang, X. & Pell, M.D. (2015). On how the brain decodes vocal cues about speaker confidence. Cortex, 66, 9-34.
• Pell, M.D. & Kotz, S.A. (2011). On the time course of vocal emotion recognition. PLoS ONE, 6(11): e27256.
• Pell, M.D. (2006). Cerebral mechanisms for understanding emotional prosody in speech. Brain and Language, 96, 221-234.
• Pell, M.D. (2005). Prosody-face interactions in emotional processing as revealed by the facial affect decision task. Journal of Nonverbal Behavior, 29(4), 193-215.

Recherche financée par :

Comment notre culture et notre identité influencent-elles la communication vocale ?

Il est largement admis qu'en raison de leur importance biologique, les expressions émotionnelles présentent des propriétés invariantes qui peuvent être reconnues indépendamment de l'apprentissage ou du contexte culturel d'un individu (c.-à-d. que la communication émotionnelle implique des principes « universels », Ekman, Sorenson, & Friesen, 1969). Cependant, cette idée s'appuie largement sur des preuves provenant d'expressions faciales d'émotion plutôt que d'expressions vocales.

L'objectif de ce programme de recherche est de déterminer si les expressions vocales d'émotions discrètes sont similaires dans leur forme acoustique d'une langue à l'autre et si elles sont reconnues de manière similaire dans la parole par des auditeurs de différentes langues maternelles.

Nos expériences se concentrent sur les capacités de communication de jeunes adultes en bonne santé à l'aide d'un inventaire d'énoncés émotionnels produits par des locuteurs de grandes langues mondiales (p. ex. anglais, hindi, arabe, mandarin). Nous utilisons des approches comportementales (p. ex. l'amorçage, le gating auditif) et menons des analyses acoustiques pour répondre aux questions suivantes : Les expressions d'émotion varient-elles dans leur forme acoustique d'une langue à l'autre ? La reconnaissance des émotions repose-t-elle sur les mêmes traits acoustiques et a-t-elle le même décours temporel d'une langue à l'autre ? Et, les auditeurs reconnaissent-ils les émotions vocales lorsqu'ils écoutent une langue étrangère ? Nous postulons que différentes facettes de la communication émotionnelle sont soumises à des facteurs indépendants de la langue (« universels ») ainsi qu'à des facteurs spécifiques à la langue, qui seront systématiquement éclairés par nos études.

Nos études interculturelles mettront en évidence dans quelle mesure tous les humains partagent un patrimoine biologique commun pour communiquer les émotions par la voix, tout en soulignant les conditions dans lesquelles les conventions socioculturelles pourraient conduire à des impressions erronées ou à des « malentendus » dans ce canal. Ces questions sont de plus en plus pertinentes dans le « village global » d'aujourd'hui, en particulier au Canada, où des personnes de différents horizons linguistiques et culturels sont de plus en plus en contact les unes avec les autres.

Publications représentatives

• Jiang, X., Gossack-Keenan, K. & Pell, M.D. (2020). To believe or not to believe: How voice and accent information in speech alter listener impressions of trust. Quarterly Journal of Experimental Psychology, 73(1), 55-79.
• Liu, P., Rigoulot, S., & Pell, M.D. (2017). Cultural immersion alters emotion perception: Neurophysiological evidence from Chinese immigrants to Canada. Social Neuroscience, 12(6), 685-700.
• Liu, P., Rigoulot, S., & Pell, M.D. (2015). Culture modulates the brain response to human expressions of emotion: electrophysiological evidence. Neuropsychologia, 67, 1-13.
• Pell, M.D., Paulmann, S., Dara, C., Alasseri, A., & Kotz, S.A. (2009). Factors in the recognition of vocally expressed emotions: a comparison of four languages. Journal of Phonetics, 37, 417-435.
• Pell, M.D., Monetta, L., Paulmann, S. & Kotz, S.A. (2009). Recognizing emotions in a foreign language. Journal of Nonverbal Behavior, 33, 107-120.

Recherche financée par :

Comment la maladie de Parkinson affecte-t-elle les aspects sociaux de la communication ?

Tout au long de la vie, la santé et le bien-être humains reposent sur la capacité à communiquer efficacement avec les autres et à maintenir des relations sociales. Bien que la plupart des gens tiennent ces compétences pour acquises, la capacité de fonctionner avec succès dans des situations sociales est très complexe et dépend du maintien de différentes capacités mentales, telles que la capacité à inférer les émotions des autres, à déterminer leurs perspectives et leurs intentions, et à utiliser de manière appropriée ces connaissances pour guider le comportement et la communication interpersonnelle.

Chez les adultes atteints de la maladie de Parkinson, la dégénérescence du cerveau entraîne des difficultés progressives qui affectent le mouvement, mais aussi certaines capacités mentales spécifiques essentielles au fonctionnement social.

L'objectif de cette recherche est de préciser comment les changements dans le fonctionnement mental chez les personnes atteintes de la maladie de Parkinson influencent leur capacité à traiter les émotions et à faire des inférences sociales (p. ex. adopter la perspective d'autrui, faire preuve d'empathie, etc.). En parallèle, notre recherche documentera l'impact de la maladie de Parkinson sur la communication interpersonnelle du point de vue d'auditeurs ignorant le statut de la maladie du patient.

Nos travaux mèneront à de nouvelles connaissances cliniques sur la façon dont les compétences mentales et communicationnelles sont affectées par la maladie de Parkinson, et éclaireront les obstacles psychologiques et sociaux auxquels font face les personnes atteintes de la maladie. Nos résultats serviront de ressource essentielle aux cliniciens et aux aidants qui travaillent à maintenir la qualité de vie et l'autonomie des personnes vivant avec la maladie de Parkinson.

Publications représentatives

• Schwartz, R. & Pell, M.D. (2017). When emotion and expression diverge: the social costs of Parkinson's disease. Journal of Clinical and Experimental Neuropsychology, 39(3), 211-230.
• Garrido-Vásquez, P., Pell, M.D., Paulmann, S., Strecker, K., Schwarz, J., & Kotz, S.A. (2013). An ERP study of vocal emotion processing in asymmetric Parkinson's disease. Social, Cognitive and Affective Neuroscience, 8(8), 918-927.
• Jaywant, A. & Pell, M.D. (2010). Listener impressions of speakers with Parkinson's disease. Journal of the International Neuropsychological Society, 16, 49-57.
• Monetta, L., Grindrod, C. & Pell, M.D. (2009). Irony comprehension and theory of mind deficits in patients with Parkinson's disease. Cortex, 45, 972-981.
• Pell, M.D. & Leonard, C.L. (2003). Processing emotional tone from speech in Parkinson's disease: a role for the basal ganglia. Cognitive, Affective, & Behavioral Neuroscience, 3, 275-288.

Recherche (2004-2016) financée par :

Inventaires d'enregistrements à la disposition des chercheurs

Inventaires d'enregistrements de prosodie émotionnelle

Notre laboratoire a déployé des efforts considérables au fil des ans pour développer des matériaux de parole définis sur le plan acoustique et perceptuel, utilisables dans les études sur la prosodie émotionnelle.

Actuellement, nous disposons de plusieurs bases de données contenant de courts énoncés produits dans quatre langues différentes : anglais, arabe, hindi et mandarin. Chaque base de données a été constituée de manière similaire et comprend plusieurs centaines d'enregistrements individuels produits par quatre locuteurs natifs de chaque langue.

Chaque base de données contient :

• des pseudo-énoncés et des énoncés qui sont émotionnellement congruents avec la prosodie ;
• produits par 2 locutrices et 2 locuteurs de la langue ;
• produits dans 6 émotions différentes (joie, colère, peur, tristesse, dégoût, surprise) et un affect neutre ;
• environ 30 énoncés uniques par catégorie d'émotion (ou 30 pseudo-énoncés uniques produits pour exprimer toutes les émotions).

Base de données vidéo RISC — Inférence relationnelle en cognition sociale

RISC est une base de données en anglais composée de courtes vignettes vidéo représentant des échanges sociaux sincères, plaisants, sarcastiques et de pieux mensonges entre deux personnes. Les stimuli manipulent soigneusement la relation sociale entre les partenaires de communication (p. ex. patron/employé, couple) et la disponibilité d'indices contextuels (p. ex. conversations préalables, objets physiques) tout en contrôlant les principales différences dans le contenu linguistique des items appariés. Au total, la base de données comprend 600 vidéos qui ont été validées en ce qui concerne l'identification des différentes intentions du locuteur ainsi que leur politesse, leur pertinence et leur impact socio-émotionnel perçus. Les résultats des études de validation sont, entre autres, fournis dans une feuille Excel détaillée.

Nous croyons que RISC s'avérera un outil très constructif pour de futures recherches sur la cognition sociale, la communication interpersonnelle et l'interprétation des intentions du locuteur, tant chez les adultes en bonne santé que dans les populations cliniques. L'article de recherche en libre accès et révisé par les pairs est disponible sur le site Web de PLOS ONE.

Si vous souhaitez en savoir plus sur le projet et la chercheuse principale qui en est à l'origine, la Dre Kathrin Rothermich, écoutez l'Academic Minute et consultez la couverture médiatique par l'Université McGill, IFL Science et le Daily Mail. Si vous êtes intéressé à obtenir des vidéos de la base de données RISC à des fins de recherche, veuillez remplir le formulaire de demande RISC.

Recherche financée par :