Doctorant F/H phd : Synthèse de comportements robotiques coordonnés pour l'agroécologie Application au Pixel croping

Le centre Inria d'Université Côte d'Azur regroupe 42 équipes de recherche et 9 services d’appui. Le personnel du centre (500 personnes environ) est composé de scientifiques de différentes nationalités, d’ingénieurs, de techniciens et d’administratifs. Les équipes sont principalement implantées sur les campus universitaires de Sophia Antipolis et Nice ainsi que Montpellier, en lien étroit avec les laboratoires et les établissements de recherche et d'enseignement supérieur (Université Côte d’Azur, CNRS, INRAE, INSERM ...), mais aussi avec les acteurs économiques du territoire.

Présent dans les domaines des neurosciences et biologie computationnelles, la science des données et la modélisation, le génie logiciel et la certification, ainsi que la robotique collaborative, le Centre Inria d’Université Côte d’Azur est un acteur majeur en termes d'excellence scientifique par les résultats obtenus et les collaborations tant au niveau européen qu'international.

Le développement de manipulateurs mobiles robotisés dotés de capacités d’adaptation aura un fort impact sur la robotisation des pratiques agroécologiques, notamment en améliorant l’autonomie et l’efficacité des flottes robotiques agricoles dans des environnements fortement hétérogènes.

En effet, l’essor de l’agriculture de précision et des techniques agroécologiques nécessite le développement de robots agricoles autonomes capables de coopérer pour effectuer des tâches complexes telles que la co-manipulation d’outils ou le transport coordonné des récoltes. Cette thèse s’inscrit dans ce cadre et vise à concevoir des algorithmes permettant à un ou plusieurs robots mobiles d’opérer en coordination dans un contexte de Pixel Farming.

L’objectif de cette thèse est ainsi de développer des algorithmes de planification de tâches agricoles et de contrôle commande nécessaires à leur réalisation, intégrant la perception multi-capteurs et l’adaptation dynamique des paramètres de navigation et de manipulation, en vue d’une réalisation coordonnée de tâches agricoles. A cette fin, des outils de l’Intelligence Artificielle seront employés pour le développement de nouvelles architectures décisionnelles, capables d’optimiser des comportements robotiques nécessaires à la réalisation des travaux agricoles ciblés.

Cette thèse est au cœur d’une collaboration déjà éprouvée entre l’INRIA, l’INRAE et le CEA-List. Cette collaboration se concrétise ici dans le cadre du PEPR Agroécologie et Numérique, qui porte un projet NINSAR ambitieux portant sur les nouveaux itinéraires en robotique agroécologique, et qui finance ce sujet. Elle bénéficiera en outre d’un cadre expérimental bénéficiant d’équipements rendus disponibles par l’equipex+ Tirrex et des infrastructures acquises au sein de l’AgroTechnoPôle.

Dans le cadre de cette thèse, des séjours pour expériemntation auront lieu sur le site expérimentale de INRAE Montoldre dans l'Allier et sur Clermont-Ferrand Puy-de-Dôme.

Objectifs de la thèse

Cette thèse vise à développer des mécanismes de supervision coordonnée et adaptative pour le contrôle de manipulateurs mobiles dans des contextes de travail évolutifs, afin de réaliser plusieurs types de tâches agroécologiques. S’inscrivant dans un contexte agricole précis, il s’agit d’adapter le comportement sensori-moteur du robot, tant aux différentes modalités de perception et à leur qualité, qu’aux modalités de contrôle-commande favorisées par un nombre important d’actionneurs. À partir de contrôleurs basés modèles implémentés dans un premier temps, la thèse visera ensuite à optimiser les performances et la stabilité du système via l’implémentation de méthodes IA, en sélectionnant la meilleure stratégie et ses paramètres associés en fonction du contexte.

Pour ce faire, les travaux de thèses s’organiseront autours de plusieurs axes de développement, portant chacun des contributions scientifiques ambitieuses s’ancrant dans le contexte de recherche des laboratoires partenaires :

A.    Spécification et implémentation des fonctionnalités robotiques

Le pixel farming consistant à gérer individuellement des micro-parcelles avec précision, une première étape sera de spécifier des opérations agricoles ciblées et adaptées à ce contexte, avec un ou plusieurs manipulateurs mobiles robotisés. Ces opérations ciblées seront à identifier parmi diverses opérations telles que le semis ou la fertilisation, le désherbage ou protection phytosanitaire, l’irrigation ou la récolte. Les fonctionnalités suivantes sont ainsi envisagées :

• Stratégies de suivi de trajectoire adaptées au travail sur parcelles.
• Commande en effort pour gérer les interactions physiques tout en garantissant la stabilité et la précision des manipulations. A titre d’exemple, un robot mobile peut tirer un semoir. Dans ce cas, il peut s’avérer utile d’ajouter un capteur d’efforts au niveau de l'articulation. L’enregistrement de telles mesures permettra de caractériser et ensuite de reproduire le comportement du système en simulation et d’alimenter l’entrainement d’un réseau de neurones. Un autre exemple concerne la co-manipulation d’un outil par deux robots mobiles. Dans ce second cas, une commande coordonnée inter-systèmes robotiques sera alors nécessaire.
• Mise en place d’un lien virtuel entre les robots pour synchroniser leurs mouvements et optimiser la coordination des tâches (par exemple, par commande en formation virtuelle et échange de données en temps réel).
• Transition du lien virtuel vers un lien physique lors des phases de co-manipulation d’outils ou de transfert de charge (ex. dépôt de récoltes dans une remorque).

Cette liste non exhaustive montre le caractère hétérogène des opérations à réaliser. Aussi, la thèse abordera la synthèse d’un superviseur global permettant d’amener à définir un comportement optimal pour la mission robotique assignée au robot, celui-ci étant proposé dans l’axe B présenté ci-après.

B. Synthèse d’un superviseur coordonné

Cet axe aura pour but de définir les mécanismes d’adaptation capables d’une part de sélectionner le comportement robotique adéquat, et d’autre part de moduler les paramètres de commandes ou de pondération optimale de commandes. Ceci se fera à partir d’une optimisation multi-critères par l’intermédiaire de la construction d’un réseau de neurones. Pour ce faire, plusieurs architectures seront proposées et testées préliminairement sur des tâches et actions élémentaires. Cela permettra de définir une organisation du réseau de neurones la plus adéquate par rapports aux deux aspects à considérer dans cette thèse que sont :

• La sélection du comportement sensori-moteur le plus adapté. Il s’agit ici de pouvoir sélectionner le système de perception (capteurs et algorithmes de traitement) et l’approche de commande la plus adaptée à la situation (suivi de trajectoire, formation, co-manipulation).
• La pondération des paramètres de commande (vitesse, gains, etc.) et de perception (modèles, gains, covariances) pour l’observation d’état relatif entre robots et cultures d’intérêt (perception locale, positionnement relatif), en fonction des conditions du terrain et de la culture.

Cette ambition peut impliquer la mise en place de plusieurs réseaux imbriqués, impliquant ainsi plusieurs niveaux d’abstraction et de catégories d’apprentissage. Aussi, la conduite de cette thèse envisagera une complexité croissante des types de comportements et des contextes d’évolution. Elle nécessitera ainsi la réalisation d’un outil de simulation capable de rendre compte de cette complexité croissante.

C. Mise en œuvre d’un outil de simulation pour l’apprentissage

Le fait que la commande impacte le comportement du robot empêche l’utilisation seule de bases de données pour réaliser l’entraînement d’un réseau de neurones pour l’adaptation des paramètres de commande. En outre, la diversité des travaux à réaliser va nécessiter de considérer un nombre important de contextes d’évolution. Aussi, une approche basée apprentissage pour l’adaptation du comportement du robot suppose l’exploitation d’approches de simulation réalistes.

Dans cette thèse, il s’agira de proposer plusieurs niveaux de simulation pour réaliser l’apprentissage sur les deux niveaux d’adaptation envisagés dans l’axe B, avec des modalités d’objectifs différents :  

• l’un plutôt utile à la reconnaissance de situation, s’appuiera sur un atelier de jumeau numérique acquis dans le cadre de l’AgroTechnoPole et proposant précisément une vision modulaire des outils de simulation.
• l’autre dédié à la dynamique et les interactions du robot, s’appuiera sur un simulateur dynamique simplifié, adapté à un processus d’entrainement des algorithmes d’apprentissage par renforcement. Celui-ci développé au cours de travaux de thèse [11], est en cours d’adaptation dans le cadre du projet NINSAR.

Même si les performances de simulation sont de plus en plus efficientes, celles-ci s’avèrent nécessairement limitée en termes de représentativité. Aussi, on envisagera dans cette thèse des méthodes capables d’extrapoler certains résultats d’apprentissage à partir de résultats partiels, obtenus au sein de l’axe D.

D. Expérimentations pour l’évaluation des fonctionnalités et du superviseur

Des expérimentations en situations réalistes permettront de juger de la pertinence des développements au travers d’un scénario de validation. Ce scénario sera focalisé sur les applications visant particulièrement la dissémination dans le contexte du projet NINSAR du PEPR Agroécologie et numérique dans lequel s’inscrit cette thèse, en considérant une évolution en milieu extérieur sur petites parcelles cultivées (pixel farming), d’un robot mobile équipé de 4 roues conventionnelles directrices et motrices (robot omnidirectionnel non-holonome), ainsi que d’un bras. Il mettra en avant la possibilité d'adapter le comportement en fonction de modes de perception/commande, en particulier : le suivi de structure par vision/laser, la navigation inertielle/odométrique, le suivi de trajectoire par GPS, le tracking de cible [14] telle qu’une remorque, ou encore une tâche de co-manipulation. Les avancées obtenues durant cette thèse permettront aux robots de type manipulateurs mobiles agricoles d'évoluer le plus précisément possible en garantissant un haut niveau de robustesse et de sécurité.

Les expérimentations seront conduites majoritairement sur la plate-forme Adap2E (voir figure 1) de l’INRAE sur le site de Montoldre. Celles-ci permettront en outre de réaliser le scénario de validation spécifié en début de thèse et visant le cadre applicatif de l’agriculture dans le contexte de la mise en œuvre de scénario agroécologique.

Références

[1] https://agriculture.gouv.fr/roland-lenain-la-robotique-sera-lun-des-leviers-de-lagroecologie

[2]    A. S. Prajith et al., "Automatic Agricultural Robot — Agrobot," 2020 IEEE Bangalore Humanitarian Technology Conference (B-HTC), Vijiyapur, India, 2020, pp. 1-5, doi: 10.1109/B-HTC50970.2020.9297922.

[3]    M. Ahn et al., “AutoRT: Embodied Foundation Models for Large Scale Orchestration of Robotic Agents”, Google DeepMind, ICRA 2024 VLMNM Workshop, arXiv:2401.12963.

[4]    M. Ahn et al., “Do As I Can, Not As I Say: Grounding Language in Robotic Affordances”, https://say-can.github.io/, arXiv:2204.01691.

[5]    N. O’Mahony et al., « Adaptive multimodal localisation techniques for mobile robots in unstructured environments: A review », in 2019 IEEE 5th World Forum on Internet of Things (WF-IoT), IEEE, 2019, p. 799‑804.

[6]    M. Aranda, J. A. C. Ramon, Y. Mezouar, A. Bartoli, et E. Özgür, « Monocular visual shape tracking and servoing for isometrically deforming objects », in 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), IEEE, 2020, p. 7542‑7549.

[7]    A. Guillet, R. Lenain, B. Thuilot and P. Martinet, "Adaptable Robot Formation Control: Adaptive and Predictive Formation Control of Autonomous Vehicles," in IEEE Robotics & Automation Magazine, vol. 21, no. 1, pp. 28-39, March 2014, doi: 10.1109/MRA.2013.2295946.

[8]    S. Blackmore, « Towards robotic agriculture », in SPIE Commercial+ Scientific Sensing and Imaging, International Society for Optics and Photonics, 2016, p. 986603‑986603.

[9]    T. Daum, « Farm robots: ecological utopia or dystopia? », Trends in Ecology & Evolution, vol. 36, n^o 9, p. 774‑777, 2021.

[10]  M. Sorour, A. Cherubini, R. Passama, et P. Fraisse, « Kinematic modeling and singularity treatment of steerable wheeled mobile robots with joint acceleration limits », in 2016 IEEE International Conference on Robotics and Automation (ICRA), IEEE, 2016, p. 2110‑2115.

[11]  G. Picard, R. Lenain, J. Laneurit, B. Thuilot, et C. Cariou, « A predictive control framework for edge following: Application to two types of mobile robots », in 2020 IEEE Conference on Control Technology and Applications (CCTA), IEEE, 2020, p. 254‑260.

[12]  G. Picard, R. Lenain, Y. Mezouar, B. Thuilot, et J. Laneurit, « Multi-trajectory approach for a generic coordination paradigm of wheeled mobile manipulators », IEEE Robotics and Automation Letters, vol. 7, no 2, p. 2329‑2336, 2022.

[13]  A. Hill, « Adaptation du comportement sensori-moteur de robots mobiles en milieux complexes ». PhD, ED-SPI, 2022.

[14] M. Javaid, A. Haleem, R. P. Singh, et R. Suman, « Substantial capabilities of robotics in enhancing industry 4.0 implementation », Cognitive Robotics, vol. 1, p. 58-75, 2021.

Principales activés  :

• Faire un état de lart
• Mettre en oeuvre des outils de simulations
• Développement des méthodes et élaborer des solutions
• Mettre en oeuvre en réel les solutions proposées
• Valoriser les contributions par des publications de bon niveau

Activités complémentaires :

• Proposer uen état d'avancement hebdomadaire
• Fixer des objectifs
• Etablir un plan de travail

Compétences techniques et niveau requis :

Langues : Anglaise essentiel pour diffuser les connaissances

Compétences relationnelles : être à l'aise et confiant dans une environnement scientifique

• Restauration subventionnée
• Transports publics remboursés partiellement
• Congés: 7 semaines de congés annuels + 10 jours de RTT (base temps plein) + possibilité d'autorisations d'absence exceptionnelle (ex : enfants malades, déménagement)
• Possibilité de télétravail (après 6 mois d'ancienneté) et aménagement du temps de travail
• Équipements professionnels à disposition (visioconférence, prêts de matériels informatiques, etc.)
• Prestations sociales, culturelles et sportives (Association de gestion des œuvres sociales d'Inria)
• Accès à la formation professionnelle
• Sécurité sociale

Durée: 36 mois
Localisation: Sophia Antipolis, France
Rémunération brute mensuelle : 2200€ (2025) et 2300€ à partir de 2026