Research Engineer in Embodied Conversational Agent

L’objectif est de continuer le développement d’un modèle de génération de comportements non verbaux (gestes, expressions faciales, sourires, hochements de têtes, etc.) pour l’agent conversationnel développé par l’équipe. Plus précisément, le poste va se concentrer principalement sur un modèle de génération de “co-speech gestures”, c'est-à-dire des gestes générés à partir des informations et structures linguistiques  y compris sémantiques et prosodiques, entre autres,  pour  des tours de parole de l’agent.

Missions :

Avec l'aide du chef de projet, la personne recrutée sera amenée à améliorer le module de génération de comportements non verbaux actuellement présent dans l’agent, pour une génération plus réaliste, plus naturelle et proche des humains.

Collaboration : 

Une collaboration avec l’équipe Multispeech, qui travaille sur un projet très proche, est en train de se concrétiser pour que nos efforts de recherche avancent dans une direction commune. 

La personne recrutée sera principalement en lien avec l’équipe Multispeech pour un effort joint sur la génération de “co-speech gesture”. L’équipe Multispeech ayant déjà développé le modèle “STARGATE” de génération de co-speech gesture, la collaboration se fera dans le sens d’une adaptation, extension et amélioration de ce modèle.

Principales activées :

• Constitution ou recherche et sélection d’un dataset de gestes et audios/vidéos naturels  
• Entrainement d’un modèle de retrieval pour renforcer l'ancrage linguistique des modèles de génération de “co-speech gesture” actuels.
• Intégrer le modèle de retrieval et génération dans un modèle SOTA de génération de co-speech gestures en temps réel (STARGATE, ou autre).
• Effectuer les modifications nécessaires au système de dialogue actuel pour intégrer le nouveau modèle de génération de co-speech gesture en temps réel.

Activités complémentaires :

• Rédaction de rapports et, eventuellement,’un article scientifique décrivant les contributions effectuées pour le domaine du co-speech gesture generation.
• Conduire une human evaluation du nouveau modèle de génération de co-speech gesture pour comparer le nouveau modèle aux modèles SOTA, y compris (STARGATE, SemanticGesticulator, etc.)
• Rédiger la documentation du module de génération de comportement non-verbaux de notre agent conversationnel.

Compétences techniques et niveau requis :

• Fortes compétences en programmation Python.
• Compétences de programmation en C# seraient un plus
• Compétences en entraînement de modèles de Deep Learning.
• Expérience en modèle de retrieval/RAG.
• Expérience dans la conduite de recherche scientifique (recherche bibliographique, contribution au SOTA, benchmarking, etc.)
• Expérience de l’utilisation d’animation 3D serait un plus : Unity, UnrealEngine, Blender, etc.

Langues : 

• Anglais (niveau professionnel requis)
• Français (plus, mais pas obligatoire)

• Restauration subventionnée
• Transports publics remboursés partiellement
• Congés: 7 semaines de congés annuels + 10 jours de RTT (base temps plein) + possibilité d'autorisations d'absence exceptionnelle (ex : enfants malades, déménagement)
• Possibilité de télétravail et aménagement du temps de travail
• Équipements professionnels à disposition (visioconférence, prêts de matériels informatiques, etc.)
• Prestations sociales, culturelles et sportives (Association de gestion des œuvres sociales d'Inria)
• Accès à la formation professionnelle
• Sécurité sociale