Doctorant F/H DOCTORANT H/F Understanding the Generalization of Generative Models

Télécharger l'offre au format PDF

Type de contrat : CDD

Niveau de diplôme exigé : Bac + 5 ou équivalent

Fonction : Doctorant

A propos du centre ou de la direction fonctionnelle

Le centre Inria de Lyon est le 9ème centre de recherche Inria. Créé en janvier 2022, il regroupe environ 410 personnes au sein de 20 équipes de recherche et des services supports à la recherche.

Ses équipes sont localisées à Villeurbanne, à Lyon Gerland, Lyon Bron ainsi qu’à Saint-Etienne.

Le centre de Lyon est présent dans les domaines du logiciel, du calcul distribué et haute performance, des systèmes embarqués, du calcul quantique et de respect de la vie privée dans le monde numérique, mais aussi de la santé et de la biologie numériques.

Mission confiée

Offre de thèse au sein de l'équipe OCKHAM, co-encadrée par Mathurin Massias (CR INRIA) et Quentin Bertrand (CR Inria, équipe Malice). Détails scientifiques de l'offre : https://mathurinm.github.io/assets/pdf/phd_gen.pdf

Missions

Les modèles génératifs sont une branche de l'apprentissage automatique qui vise à capturer la structure sous-jacente d'une distribution de données empirique afin de produire de nouveaux échantillons réalistes. Contrairement aux tâches traditionnelles de classification, qui apprennent des frontières de décision pour catégoriser les entrées, les modèles génératifs sont conçus pour créer de nouveaux échantillons synthétiques qui ressemblent à ceux de l'ensemble d'entraînement.

Les modèles génératifs comprennent notamment les autoencodeurs variationnels, les réseaux antagonistes génératifs (GAN) et les modèles de diffusion. Ces approches ont démontré un succès remarquable dans la synthèse de données réalistes dans des domaines très variés. Aujourd'hui, les modèles génératifs les plus avancés sont capables de produire des contenus multimodaux pratiquement indiscernables de ceux créés par des humains, qu'il s'agisse de texte, d'images, d'audio ou de vidéos.

Le modèle génératif idéal devrait être facile à entraîner, produire des échantillons de haute qualité et permettre une génération rapide. Les méthodes récemment proposées, telles que les modèles de diffusion et le conditional flow matching, sont particulièrement stables pendant l'entraînement et ont montré une remarquable efficacité pratique en termes de complexité d'échantillonnage : les modèles génératifs profonds modernes, comptant plusieurs millions de paramètres, semblent capables de générer de nouvelles images même à partir de jeux de données d'entraînement de taille modérée, par exemple de l'ordre de 10 000 images.

L'objectif de la thèse est de mieux comprendre pourquoi les modèles de diffusion et de flow matching présentent une capacité de généralisation aussi remarquable.

Responsabilités : La personne recrutée effectuera dans un premier temps un travail de bibliographie sur les références jointes à l'offre de thèse, avant d'implémenter les premieres approches envisagéés, de les benchmarker et de les perfectionner empiriquement. En paralèlle, une étude théorique des modèles de flow matching et de diffusion sera menée.

Principales activités

 

Principales activités :
- développement de nouvelles techniques d'netraînement et de génération pour les modèles génératifs
- écriture d'articles scientifiques
- dissémination des travaux via la publication de librairies python open source
- communication orale dans des congrès

 

Avantages

 

  • Restauration subventionnée
  • Transports publics remboursés partiellement
  • Congés : 7 semaines de congés annuels + 10 jours de RTT (base temps plein) + possibilité d'autorisations d'absence exceptionnelle (ex : enfants malades, déménagement)
  • Possibilité de télétravail (90 jours par an flottants) et aménagement du temps de travail
  • Prestations sociales, culturelles et sportives (Association de gestion des œuvres sociales d'Inria)
  • Accès à la formation professionnelle
  • Mutuelle et prévoyance avec participation employeur

Rémunération

2 300 € brut mensuel