Doctorant F/H Placement adaptatif et optimal des sondes de supervision basé sur l’apprentissage par renforcement

Le monitorage des infrastructures Cloud/Edge, qui tendent vers davantage de complexité et de rapidité, engendre de potentielles difficultés pour sélectionner les attributs de supervision à surveiller, leurs fréquences de mesure et le placement de leurs sondes de surveillance.  Les méthodes existantes pour réaliser ces tâches sont majoritairement manuelles et elles s’appuient soit sur un nombre très large d’attributs à surveiller avec des fréquences très élevées, ce qui introduit un surcoût important de la supervision sans un gain potentiel d’information, ou elles réduisent drastiquement le nombre d’attributs et leurs fréquences, ce qui introduit des problèmes de couverture et d’imprécision de la supervision. Le verrou que nous souhaitons adresser ici est comment sélectionner dynamiquement les attributs de supervision et leurs fréquences en fonction des besoins des applications.

L’objectif de cette thèse est d’explorer les techniques basées sur l’apprentissage par renforcement et également des approches algorithmiques de la théorie de graphes pour améliorer le placement des sondes de supervision des paramètres QoS et SLA dans des infrastructures complexes. Il s’agit ici de développer des algorithmes pour élaborer le placement et le choix des attributs à surveiller et collecter d’une façon autonome en respectant les objectifs des SLAs et détecter les risques de leurs violations.  

Nous considérons ici les approches basées sur l’apprentissage par renforcement (Q-Learning et DRL) pour élaborer automatiquement les stratégies de placement des sondes d’une façon distribuée et la sélection des attributs à surveiller. Ces approches d’apprentissage sont plus performantes^[1]comparées aux approches classiques d’optimisation, notamment pour des problèmes complexes et de nature combinatoire. Nous nous intéressons également au développement des algorithmes de désagrégation et de décomposition^[2]des fonctions de supervision pour leur placement optimal et distribué sur les sondes, leur associer les attributs à surveiller et leurs structures de données (filtres de Bloom, count-min sketch, etc.).       

Résultats attendus : la thèse fournira des résultats théoriques sur le placement optimal de la supervision (comparatifs des méthodes et techniques de placement) dans des environnements complexes ainsi qu’un ensemble des algorithmes pour automatiser ce placement au niveau des sondes, des fonction et des attributs.

^[1] Mazyavkina, Nina and Sviridov, Sergey and Ivanov, Sergei and Burnaev, Evgeny, Reinforcement Learning for Combinatorial Optimization: A Survey. https://arxiv.org/abs/2003.03600

^[2] S. B. Chetty, H. Ahmadi, M. Tornatore and A. Nag, "Dynamic Decomposition of Service Function Chain Using a Deep Reinforcement Learning Approach," in IEEE Access, vol. 10, pp. 111254-111271, 2022, doi: 10.1109/ACCESS.2022.3215744.

Compétences techniques et niveau requis :

• Niveau master en informatique ou école d'ingénieurs,
• Apprentissage automatique, connaissance en réseaux de communications

Pour candidater :

• CV détaillé
• Lettres de recommendation
• Relevés de notes

• Restauration subventionnée
• Transports publics remboursés partiellement
• Congés: 7 semaines de congés annuels + 10 jours de RTT (base temps plein) + possibilité d'autorisations d'absence exceptionnelle (ex : enfants malades, déménagement)
• Possibilité de télétravail (après 6 mois d'ancienneté) et aménagement du temps de travail
• Équipements professionnels à disposition (visioconférence, prêts de matériels informatiques, etc.)
• Prestations sociales, culturelles et sportives (Association de gestion des œuvres sociales d'Inria)
• Accès à la formation professionnelle
• Sécurité sociale

2100 € brut/mois la 1ère année