Descriptif
La communication humaine est multimodale en soi, c'est-à-dire que l'être humain communique efficacement le sens, les sentiments et les émotions par de multiples canaux sensoriels comme la parole, le mouvement et les expressions faciales. Beaucoup d'efforts ont été consacrés à concevoir des machines intelligentes capables de capturer, représenter et analyser automatiquement le comportement multimodal de leurs utilisateurs afin de les engager dans un dialogue multimodal visant à établir une interaction naturelle. Ce cours fournit aux étudiants les connaissances conceptuelles de base, les méthodologies et les outils nécessaires à la conception, à la mise en œuvre et à l'évaluation de ce type de machines intelligentes.
Objectifs pédagogiques
Ce cours fournit aux étudiants des connaissances conceptuelles fondamentales, des méthodologies et des outils pour concevoir, mettre en œuvre et évaluer des machines intelligentes capables d'engager les utilisateurs dans un dialogue multimodal. Pour ce faire, les étudiants doivent connaître et appliquer des méthodes de calcul pour capturer, représenter, analyser automatiquement le comportement des utilisateurs et synthétiser le comportement des machines. A la fin du cours, l'étudiant sera capable de :
1. Comprendre les principes de la communication multimodale et ses défis ouverts ;
2. Connaître et comprendre les motivations de l'utilisation de la multimodalité pour concevoir des machines intelligentes
3. Connaître et comprendre les méthodes informatiques de gestion du dialogue à travers les modalités de communication suivantes : parole, mouvement et expressions faciales.
4. Connaître et comprendre les fondements de l'analyse conversationnelle
Diplôme(s) concerné(s)
Parcours de rattachement
Format des notes
Numérique sur 20Littérale/grade européenPour les étudiants du diplôme Interaction, Graphic & Design
L'UE est acquise si Note finale >= 10- Crédits ECTS acquis : 2.5 ECTS
La note obtenue rentre dans le calcul de votre GPA.
Pour les étudiants du diplôme Data & Artificial Intelligence
L'UE est acquise si Note finale >= 10- Crédits ECTS acquis : 2.5 ECTS
La note obtenue rentre dans le calcul de votre GPA.
Programme détaillé
Introduction à la multimodalité
Analyse du comportement multimodal : parole, mouvement, expressions faciales
Collecte de données et fusion multimodale
Analyse de l'interaction interpersonnelle
Systèmes de dialogue et génération
Analyse conversationnelle
Mots clés
multimodalité, mouvement, parole, expressions faciales, interactions, intelligence artificielleSupport pédagogique multimédia
