Soutenance d’Habilitation à Diriger des Recherches (HDR) de Magalie Ochs.

Mes travaux de recherche ont pour objectif de doter les systèmes interactifs humanoïdes, et en particulier les agents conversationnels animés, d’une intelligence socio-émotionnelle. L’objectif poursuivi est de doter ces agents d’une capacité d’expression des comportements sociaux (notamment des expressions d’émotions et d’attitudes envers une situation ou un individu) afin d’optimiser l’interaction. La complexité de la modélisation de ces comportements sociaux et de leur implantation dans des systèmes interactifs humanoïdes provient de leur caractère polymorphe (plusieurs attitudes épistémiques, interactionnelles et interpersonnelles), leur dimension cognitive (émanant de l’état mental) et leur aspect multimodal (combinaisons de signaux verbaux, non-verbaux et para-verbaux). De plus, l’interprétation des signaux sociaux en comportements sociaux est fortement influencée par des facteurs multiples comme le contexte, les capacités perceptives et expressives des systèmes ainsi que la dynamique des interactants.

Mes principales contributions concernent des modèles computationnels permettant de déterminer la nature des comportements sociaux devant être exprimés par un agent conversationnel animé durant une interaction ainsi que la manière de les exprimer (modèles d’expression et de raisonnement). Il s’agit de modèles construits à partir d’analyse automatique de corpus humain-humain et humain-machine. Pour pallier les problèmes spécifiques liés à la collecte de corpus actés ainsi que la dimension subjective de l’annotation de certains comportements sociaux, j’ai proposé des méthodes de collecte de corpus de comportements sociaux d’agents conversationnels animés fondées sur la perception des utilisateurs ainsi que des méthodes d’annotation semi-automatique des signaux sociaux. Les corpus résultants ont été exploités à l’aide de techniques de fouille de données et d’apprentissage automatique (supervisés et non supervisés) pour étudier les relations entre les signaux sociaux exprimés et les comportements sociaux perçus. A partir des connaissances extraites des corpus, j’ai proposé plusieurs modélisations computationnelles permettant l’expression de différents comportements sociaux, reposant sur différents types de modèles (arbres de décision, réseaux de neurones, réseaux bayésiens), et offrant l’avantage d’une grande variabilité dans les signaux associés : une même attitude d’agent conversationnel animé peut en effet être exprimée par différentes combinaisons de signaux. Ces modèles sont utilisés pour déterminer automatiquement les signaux sociaux des agents conversationnels animés durant l’interaction suivant le contexte social (e.g. dyade, groupe) et en particulier suivant le comportement de l’interactant et l’attitude sociale visée. Pour déterminer le comportement social, j’ai par ailleurs proposé des modèles computationnels de raisonnement intégrant différents niveaux de formalisme permettant de relier l’état mental d’un agent aux comportements sociaux à exprimer. Ces modèles de perception et de raisonnement ont été mis en œuvre au sein d’agents conversationnels animés et évalués auprès d’utilisateurs grâce à plusieurs protocoles expérimentaux avec différents dispositifs d’interaction impliquant des niveaux d’engagement de l’utilisateur variés.

Mots-clefs : Informatique affective – Affective Computing, Traitement automatique des signaux sociaux – Social Signal Processing, Modèles computationnels de comportements sociaux, Interaction humain-machine, Agent conversationnel animé.

15 places. (Un pot suivra la soutenance, il sera réservé aux proches de l’impétrante.)