Post-Doctorant F/H Apprentissage par renforcement profond pour la navigation sociale multi-robot

Le centre Inria de Lyon est le 9ème centre de recherche Inria. Créé en janvier 2022, il regroupe environ 300 personnes au sein de 17 équipes de recherche et des services supports à la recherche.

Ses équipes sont localisées à Villeurbanne, à Lyon Gerland, ainsi qu’à Saint-Etienne.

Le centre de Lyon est présent dans les domaines du logiciel, du calcul distribué et haute performance, des systèmes embarqués, du calcul quantique et de respect de la vie privée dans le monde numérique, mais aussi de la santé et de la biologie numériques.

Chroma est une équipe de recherche Inria localisée à Lyon et Grenoble, qui vise à concevoir des
algorithmes et des modèles pour permettre à des agents autonomes de percevoir, décider, apprendre et
s'adapter à leur environnement, en combinant méthodes probabilistes, machine learning, techniques de
planification, prise de décision multi-agents et outils d’optimisation sous contraintes.
L'équipe développe et maintient plusieurs plateformes expérimentales, et est impliquée dans de
nombreux projets académiques et industriels dans le domaine de la Robotique Mobile et des Véhicules
Autonomes.
Le poste proposé d'Ingénieur Recherche & Développement de 1 an renouvelable s'inscrit dans le cadre
d'un projet collaboratif avec la société Enchanted Tools (https://enchanted.tools/) qui vise à transférer
des technologies conçues par l'équipe Chroma sur le robot Mirokai de la société (projet "SOLAR-Nav").

Le post-doc sera mené en collaboration avec Jacques Saraydaryan (CITI) et Laetitia Matignon (LIRIS), responsables de cette thématique de recherche dans le projet SOLAR-Nav.

Dans le cadre du projet mentionné ci-dessus, l’objectif de ce poste est de proposer et développer un algorithme d’apprentissage par renforcement (AR) multi-agents pour la navigation de robots sociaux.

Le travail consistera tout d’abord à adapter une approche récente d’apprentissage pour la navigation sociale multi-robots proposée dans l’équipe. Cette approche [1] s’inspire de récents travaux en AR multi-agents basés sur des graphes d’attention [3-4] pour étendre des modèles de navigation sociale mono-robot de l’état de l’art [2].

Le premier objectif sera d’améliorer et d’étendre cet algorithme pour permettre à une flotte de robots de naviguer dans un environnement présentant une complexité proche de celle de l’environnement réel visé dans le projet Solar-Nav (un hôpital). Il faudra en particulier intégrer la gestion des obstacles statiques et/ou dynamiques non humains. Cette intégration nécessitera de rajouter des observations compatibles avec la perception robotique (e.g. Lidar, Point Cloud Library).

Le second objectif visera le transfert de l’algorithme et/ou des politiques apprises sur les robots utilisés dans le projet (robot Mirokai développé par Enchanted Tools https://enchanted.tools/robot). Pour cela, le travail consistera à adapter l’algorithme aux contraintes du robot Mirokai (modèle de contrôle et capteurs spécifiques). Des amélioration/modifications du modèle seront à prévoir en vue de son déploiement. Par exemple, la communication entre les robots pourra être optimisée et la décentralisation du fine-tuning des politiques de navigation sera à envisager.

Pour la mise un œuvre de l’apprentissage des politiques, une évolution du simulateur développé dans l’équipe (basé sur CrowdNav [2]) sera à considérer. L’intégration de contraintes réelles ou le couplage avec d’autres simulateurs sera à envisager (e.g. Gazebo, PedSim). L’injection de résultats/comportements provenant des expérimentations sera également à prévoir.

Le (La) post-doctorant(e) recruté(e) sera intégré(e) à une équipe travaillant déjà sur plusieurs projets robotiques, et travaillera en forte interaction avec les ingénieur(e)s et post-doctorant(e)s du projet Solar-Nav. Il (Elle) devra renforcer les compétences existantes de l'équipe, en apportant ou développant une expertise en :

- apprentissage par renforcement multi-agents

- navigation sociale multi-robot

Le (La) post-doctorant(e) recruté(e) participera à la rédaction d’articles scientifiques pour des conférences et/ou revues internationales, et à la mise en place de démonstrations en interaction avec les ingénieur(e)s du projet. Il (Elle) sera probablement amené(e) à se déplacer sur Grenoble et Paris pour une meilleure collaboration avec les partenaires.

[1] Erwan Escudie, Laëtitia Matignon, Jacques Saraydaryan: Attention Graph for Multi-Robot Social Navigation with Deep Reinforcement Learning. AAMAS 2024: 2252-2254.
[2] Shuijing Liu, Peixin Chang, Zhe Huang, Neeloy Chakraborty, Kaiwen Hong, Weihang Liang, D. McPherson, Junyi Geng, and Katherine Driggs-Campbell. Intention aware robot crowd navigation with attention-based interaction graph. In IEEE International Conference on Robotics and Automation (ICRA), pages 12015–12021, 2023.
[3] X. Yang, S. Huang, Y. Sun, Y. Yang, C. Yu, W.-W. Tu, H. Yang, and Y. Wang, “Learning graph-enhanced commander-executor for multiagent navigation,” in Proceedings of AAMAS, 2023, p. 1652–1660.
[4] S. Li, J. K. Gupta, P. Morales, R. Allen, and M. J. Kochenderfer, “Deep implicit coordination graphs for multi-agent reinforcement learning,” in Proceedings of the 20th International Conference on Autonomous Agents and MultiAgent Systems, ser. AAMAS ’21. p. 764–772.

Les activités du (de la) post-doctorant(e) recruté(e) consisteront à :

• Proposer et développer un nouvel algorithme d’apprentissage par renforcement profond multi-agents pour la navigation sociale multi-robot
• Adapter cet algorithme d’apprentissage pour intégrer les contraintes des capteurs/actionneurs du robot Mirokaï
• Adapter le simulateur existant
• Évaluer expérimentalement en simulation les solutions proposées
• Réaliser une preuve de concept sur des robots Mirokai
• Travailler en étroite collaboration avec les ingénieurs du projet et de la société Enchanted Tools
• Diffuser les résultats via des publications

Docteur en Informatique, Robotique ou domaines associés

• Bonne formation théorique et pratique en intelligence artificielle (apprentissage automatique, apprentissage par renforcement, réseaux de neurones, systèmes multi-agents)

Les qualifications suivantes seraient un avantage :

• Expérience en navigation robotique et/ou robotique sociale
• Expérience dans l'utilisation des simulateurs Gazebo ou PedSim
• Bonnes compétences en Python et PyTorch
• Capacité à travailler en équipe et avec d'autres chercheurs
• Maîtrise du français et de l'anglais (écrit et parlé)

• Restauration subventionnée
• Transports publics remboursés partiellement
• Congés : 7 semaines de congés annuels + 10 jours de RTT (base temps plein) + possibilité d'autorisations d'absence exceptionnelle (ex : enfants malades, déménagement)
• Possibilité de télétravail (90 jours par an flottants) et aménagement du temps de travail
• Prestations sociales, culturelles et sportives (Association de gestion des œuvres sociales d'Inria)
• Accès à la formation professionnelle
• Participation employeur mutuelle santé (sous conditions)

Salaire de 2 788 € brut mensuel.