Doctorant F/H Analyse automatique de la capacité humaine à collaborer lors de conversations dyadiques et de groupe, en vue d’applications éducatives.

Dans le cadre de l'ANR PRME SINNet, 

L'objectif de cette thèse est d'étudier les approches qui hybrident les modèles neuronaux et symboliques. Ces méthodes seront dédiées à l'analyse du niveau de collaboration entre les participants dans les conversations (par exemple, l'analyse et la gestion des malentendus) à travers leurs expressions verbales. Nous nous concentrerons sur des applications éducatives telles que l'analyse de la dynamique de la classe et de l'engagement des étudiantes et étudiants, ainsi que sur des systèmes conversationnels destinés à aider les étudiantes et étudiants en difficulté, ou les aider à acquérir des compétences sociales, conformément aux lignes directrices éthiques définies en (1).

Les travaux sur le dialogue utilisant des approches de traitement automatique des langues (TAL) et d'apprentissage profond pour la prédiction d’actes de dialogue ou l'analyse de sentiments intègrent les aspects conversationnels en capturant les dépendances contextuelles entre les énoncés à l'aide de réseaux de neurones récurrents (RNN) ou de réseaux de neurones convolutifs (CNN) pour l'apprentissage supervisé (Bapna et al., 2017). Les travaux plus récents intègrent la dynamique des échanges entre locuteurs et locutrices ; dans (Hazarika et al., 2018), la dynamique intra-locuteurs et intra-locutrices est modélisée à l'aide d'une GRU (Gated Recurrent Unit). D’autres manières de modéliser les conversations à travers des structures plus complexes que des enchaînements plats de séquences d’énoncés sont également explorées, en tirant parti d'architectures neuronales hiérarchiques (Chapuis et al., 2020) ou en utilisant des graphes dans les architectures neuronales (Ghosal et al., 2019). Les aspects conversationnels et les dépendances contextuelles entre les étiquettes peuvent aussi être modélisées en utilisant des décodeurs séquentiels et des mécanismes d’attention pour la classification d’actes de dialogue pour le TAL (Colombo et al., 2020). En ce qui concerne les architectures neuronales pour la génération de comportement des agents, plusieurs études ont essayé d’intégrer des processus collaboratifs. Ces études portent sur la génération de comportements non-verbaux d'agents liés à des positionnement interpersonnels (Dermouche & Pelachaud, 2016) et les architectures LSTM (Long-Short-Term-Memory) y sont utilisées comme des boîtes noires, afin de modéliser les dynamiques interactionnelles entre locuteurs et locutrices.

Bien que les architectures neuronales existantes (CNN, RNN, Transformers) soient extrêmement prometteuses pour la modélisation de la dynamique entre locuteurs et locutrices et de la structure séquentielle de la conversation, leur suivi de l'état d'un locuteur ou d’une locutrice dans la conversation se limite à la détection d’opinions, des émotions et des actes de dialogue au niveau du tour de parole. Les approches neuronales susmentionnées sont très efficaces, mais elles nécessitent beaucoup de données. Il existe de nombreux cas d'utilisation où la quantité de données disponibles n'est pas suffisante pour pouvoir utiliser ces méthodes, en particulier lorsqu'il s'agit d'apprentissage profond ; c'est notamment le cas dans les contextes éducatifs, où les données en jeu sont assez confidentielles, en particulier lorsque des enfants sont impliqués, car les données sont considérées comme des données personnelles et sont donc soumises à la RGPD (https://gdpr-info.eu/).

La linguistique computationnelle nous fournit d'autres approches symboliques et logiques pour l'analyse automatique de conversations. Ces approches s'appuient sur de petites quantités de données et se concentrent sur des phénomènes spécifiques, tels que la gestion des implications/des informations implicites dans les dialogues (Breitholtz, 2020) ainsi que de divers contextes (Rebuschi, 2017). La Segmented Discourse Representation Theory  (SDRT, Asher et Lascarides, 2003) est l'un des cadres les plus utilisés pour l'analyse du dialogue parmi les approches formelles et hybrides du dialogue. Une autre méthode consiste à proposer une hybridation des graphes de connaissances pour modéliser les normes sociales et les grands modèles de langues (Kim et al., 2023).

 L'objectif de cette thèse est d'étudier les approches qui hybrident les modèles neuronaux et symboliques. Ces méthodes seront dédiées à l'analyse du niveau de collaboration entre les participants dans les conversations (par exemple, l'analyse et la gestion des malentendus) à travers leurs expressions verbales. Nous nous concentrerons sur des applications éducatives telles que l'analyse de la dynamique de la classe et de l'engagement des étudiantes et étudiants, ainsi que sur des systèmes conversationnels destinés à aider les étudiantes et étudiants en difficulté, ou les aider à acquérir des compétences sociales, conformément aux lignes directrices éthiques définies en (1).

Supervision :

Directrice de thèse : Chloé Clavel, directrice de recherche équipe ALMAnaCH

Co-encadrante : Maria Boritchev, maitresse de conférences, équipe S2a, Telecom-Paris

Références

(1) https://web-archive.oecd.org/2020-07-23/559610-trustworthy-artificial-intelligence-in-education.pdf 

(Breitholtz, 2020) Breitholtz, E. (2020). Enthymemes in Dialogue. Brill.

(Asher and Lascarides, 2003) Asher, N. and Lascarides, A. (2003). Logics of conversation. Cambridge University Press.

(Rebuschi, 2017) Rebuschi, M. (2017). Schizophrenic conversations and context shifting. In International and Interdisciplinary Conference on Modeling and Using Context, pages 708–721. Springer

(Kim et al., 2023) Hyunwoo Kim, Jack Hessel, Liwei Jiang, Peter West, Ximing Lu, Youngjae Yu, Pei Zhou, Ronan Bras, Malihe Alikhani, Gunhee Kim, Maarten Sap, and Yejin Choi. 2023. SODA: Million-scale Dialogue Distillation with Social Commonsense Contextualization. In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pages 12930–12949, Singapore. Association for Computational Linguistics.

 L'objectif de cette thèse est d'étudier les approches qui hybrident les modèles neuronaux et symboliques. Ces méthodes seront dédiées à l'analyse du niveau de collaboration entre les participants dans les conversations (par exemple, l'analyse et la gestion des malentendus) à travers leurs expressions verbales. Nous nous concentrerons sur des applications éducatives telles que l'analyse de la dynamique de la classe et de l'engagement des étudiantes et étudiants, ainsi que sur des systèmes conversationnels destinés à aider les étudiantes et étudiants en difficulté, ou les aider à acquérir des compétences sociales, conformément aux lignes directrices éthiques définies en (1).

• Restauration subventionnée
• Transports publics remboursés partiellement
• Congés: 7 semaines de congés annuels + 10 jours de RTT (base temps plein) + possibilité d'autorisations d'absence exceptionnelle (ex : enfants malades, déménagement)
• Possibilité de télétravail (après 6 mois d'ancienneté) et aménagement du temps de travail
• Équipements professionnels à disposition (visioconférence, prêts de matériels informatiques, etc.)
• Prestations sociales, culturelles et sportives (Association de gestion des œuvres sociales d'Inria)
• Accès à la formation professionnelle
• Sécurité sociale