Stage en TAL : développement d’un agent conversationnel incarné

Télécharger l'offre au format PDF

Type de contrat : Stage

Niveau de diplôme exigé : Bac + 4 ou équivalent

Fonction : Stagiaire de la recherche

Contexte et atouts du poste

Ce stage s’inscrit au sein du projet “Son-of-Sara” (suite du projet “Sara” de l’Articulab, membre du groupe-projet ALMAnaCH de l'Inria Paris - plus de details ici  : <https://articulab.hcii.cs.cmu.edu/projects/sara/>), dont l’objectif est le développement d’un nouvel agent conversationnel incarné, basé sur l’utilisation de Large Language Models (embodied chatbot). Il comprend des modules de Traitement Automatique du Langage (TAL) pour la compréhension et la génération de langage, et un module agent virtuel Unity qui ajoute au langage les comportements non verbaux du visage et du corps, conduisant à un agent conversationnel incarne capable d’interagir, de manière naturelle, avec un utilisateur humain. Dans le cadre de notre projet, cela signifie qu’il va utiliser des modèles de machine learning pour traiter, analyser et générer, en temps réel, des informations multimodales (texte, audio et comportements corporels vidéos), qui sont ensuite réalisés par les animations de son corps virtuel. En effet, le système disposera d’un microphone et d’une caméra qui permettront de percevoir l’utilisateur (voix, gestes, expressions faciales, etc), le traitement et l’analyse de ces données lui permettront d’extraire des informations précises, puis de générer une réponse vocalement, verbalement, et visuellement adaptée via son agent (voix, gestes, expressions faciales, etc).

Mission confiée

Au sein de ce projet, plusieurs sujets de stage sont possibles, et le stagiaire se focalisera sur le développement de l’un des aspects de l’agent conversationnel parmi les suivants : 

 

Turn-Taking

Une composante fondamentale d’un système de dialogue est la capacité du système à prendre et laisser la parole à l’utilisateur aux bons moments. Cette capacité est appelée turn-taking. En effet, le caractère réaliste des interactions dépend de la fluidité des échanges de tours de parole entre les interlocuteurs et donc de la performance du turn-taking du système. Un des sujets possibles de stage est donc d’intégrer au système actuel un module de turn-taking basé sur un modèle prédictif de deep learning qui, à partir de données textuelles ou de données audio, prédit quand l’utilisateur va terminer son tour de parole (et donc quand l’agent peut prendre la parole).

Génération de gestes

De nombreux articles appuient l’importance du rôle que jouent les comportements non-verbaux (expressions faciales, mouvement des yeux, gestes, etc) lors des dialogues entre deux individus. Ces comportements non verbaux peuvent servir à remplir de nombreux buts, par exemple fluidifier les échanges en marquant une courte compréhension ou incompréhension (ex: acquiescement de la tête lorsque l’on écoute), ou compléter les informations apportées par la voix, avec des informations supplémentaires et non redondantes (gestes des bras et mains lorsque l’on parle). Toutes ces informations non-verbales sont perdues lors d’une interaction uniquement orale (appel téléphonique) ou textuelle (chat). C’est exactement pour ne pas subir cet appauvrissement d’interaction que l’agent que nous développons doit être capable de générer ces comportements non-verbaux, et donc d’avoir un modèle de génération de gestes performant.

Principales activités

  • Recherche bibliographique sur l’état de l’art.
  • Développement du module.
  • Intégration du module dans le système existant (avec l’aide de Marius).

Compétences

  • Python, bibliothèques de deep learning et TAL (Hugging Face, Transformers, scikit-learn, etc).
  • Expérience avec l’apprentissage et l’évaluation de modèles de deep learning et TAL.
  • Expérience avec le domaine du dialogue (interactions orales, données audio).
  • Langue : Les personnes parlant couramment l'anglais avec un niveau de français d'au moins B1, ou les personnes parlant couramment le français avec un niveau d'anglais d'au moins B1 sont invitées à poser leur candidature.

(Cette liste de compétences est fournie à titre indicatif. Nous vous encourageons à postuler, même si vous ne possédez que la plupart de celles-ci.)

Avantages

  • Restauration subventionnée
  • Transports publics remboursés partiellement
  • Congés: 7 semaines de congés annuels + 10 jours de RTT (base temps plein) + possibilité d'autorisations d'absence exceptionnelle (ex : enfants malades, déménagement)
  • Possibilité de télétravail et aménagement du temps de travail
  • Équipements professionnels à disposition (visioconférence, prêts de matériels informatiques, etc.)
  • Prestations sociales, culturelles et sportives (Association de gestion des œuvres sociales d'Inria)
  • Accès à la formation professionnelle
  • Sécurité sociale