Ingénieur TAL : développement d’un agent conversationnel incarné

Télécharger l'offre au format PDF

Type de contrat : CDD

Niveau de diplôme exigé : Bac + 5 ou équivalent

Fonction : Ingénieur scientifique contractuel

Contexte et atouts du poste

Ce poste s’inscrit au sein du projet “Son-of-Sara” (suite du projet “Sara” de l’Articulab, membre du groupe-projet ALMAnaCH de l'Inria Paris - plus de details ici  : <https://articulab.hcii.cs.cmu.edu/projects/sara/>), dont l’objectif est le développement d’un nouvel agent conversationnel incarné, basé sur l’utilisation de Large Language Models (embodied chatbot). Il comprend des modules de Traitement Automatique du Langage (TAL) pour la compréhension et la génération de langage, et un module agent virtuel Unity qui ajoute au langage les comportements non verbaux du visage et du corps, conduisant à un agent conversationnel incarne capable d’interagir, de manière naturelle, avec un utilisateur humain. Dans le cadre de notre projet, cela signifie qu’il va utiliser des modèles de machine learning pour traiter, analyser et générer, en temps réel, des informations multimodales (texte, audio et comportements corporels vidéos), qui sont ensuite réalisés par les animations de son corps virtuel. En effet, le système disposera d’un microphone et d’une caméra qui permettront de percevoir l’utilisateur (voix, gestes, expressions faciales, etc), le traitement et l’analyse de ces données lui permettront d’extraire des informations précises, puis de générer une réponse vocalement, verbalement, et visuellement adaptée via son agent (voix, gestes, expressions faciales, etc).

Mission confiée

Au sein de ce projet, l'ingénieur se focalisera sur le développement des capacités de Turn-taking de l'agent conversationnel : Une composante fondamentale d’un système de dialogue est la capacité du système à prendre et laisser la parole à l’utilisateur aux bons moments. Cette capacité est appelée turn-taking. En effet, le caractère réaliste des interactions dépend de la fluidité des échanges de tours de parole entre les interlocuteurs et donc de la performance du turn-taking du système. La mission de l'ingénieur est donc d’intégrer au système actuel un module de turn-taking basé sur un modèle prédictif de deep learning qui, à partir de données textuelles ou de données audio, prédit quand l’utilisateur va terminer son tour de parole (et donc quand l’agent peut prendre la parole).

Principales activités

  • Recherche bibliographique sur l’état de l’art.
  • Développement du module.
  • Intégration du module dans le système existant (avec l’aide de Marius).

Compétences

  • Python, bibliothèques de deep learning et TAL (Hugging Face, Transformers, scikit-learn, etc).
  • Expérience avec l’apprentissage et l’évaluation de modèles de deep learning et TAL.
  • Expérience avec le domaine du dialogue (interactions orales, données audio).
  • Langue : Les personnes parlant couramment l'anglais avec un niveau de français d'au moins B1, ou les personnes parlant couramment le français avec un niveau d'anglais d'au moins B1 sont invitées à poser leur candidature.

(Cette liste de compétences est fournie à titre indicatif. Nous vous encourageons à postuler, même si vous ne possédez que la plupart de celles-ci.)

Avantages

  • Restauration subventionnée
  • Transports publics remboursés partiellement
  • Congés: 7 semaines de congés annuels + 10 jours de RTT (base temps plein) + possibilité d'autorisations d'absence exceptionnelle (ex : enfants malades, déménagement)
  • Possibilité de télétravail et aménagement du temps de travail
  • Équipements professionnels à disposition (visioconférence, prêts de matériels informatiques, etc.)
  • Prestations sociales, culturelles et sportives (Association de gestion des œuvres sociales d'Inria)
  • Accès à la formation professionnelle
  • Sécurité sociale