Doctorant F/H Modèle de fondation tabulaire

Le centre de recherche Inria de Saclay a été créé en 2008. Sa dynamique s’inscrit dans le développement du plateau de Saclay, en partenariat étroit d’une part avec le pôle de l’Université Paris-Saclay et d’autre part avec le pôle de l’Institut Polytechnique de Paris . Afin de construire une politique de site ambitieuse, le centre Inria de Saclay a signé en 2021 des accords stratégiques avec ces deux partenaires territoriaux privilégiés.

Le centre compte 40 équipes-projets, dont 32 sont communes avec l’Université Paris-Saclay ou l’Institut Polytechnique de Paris. Son action mobilise plus de 600 personnes, scientifiques et personnels d’appui à la recherche et à l’innovation, issues de 54 nationalités.

Le centre Inria Saclay - Île-de-France est un acteur essentiel de la recherche en sciences du numérique sur le plateau de Saclay. Il porte les valeurs et les projets qui font l’originalité d’Inria dans le paysage de la recherche : l’excellence scientifique, le transfert technologique, les partenariats pluridisciplinaires avec des établissements aux compétences complémentaires aux nôtres, afin de maximiser l’impact scientifique, économique et sociétal d’Inria.

Cette proposition de thèse se concentre sur les modèles de fondation tabulaires : des modèles d'apprentissage automatique pré-entraînés pour les données tabulaires. En particulier, cette proposition se concentrera sur des architectures neuronales bien adaptées aux données relationnelles d'entrée, des données avec des types multiples (chaînes, nombres, dates...) et souvent réparties sur plusieurs tables. Pour modéliser ces données, nous utiliserons une architecture flexible basée sur les réseaux attentionnels graphiques. Le défi sera de faire le bon choix de graphe et d'architectures correspondantes afin d'appliquer le contexte pertinent.

Missions :
Avec l'aide de Gael Varoquaux, la personne recrutée fera de la recherche doctorale en apprentissage statistique pour développer des modèles tabulaires.

The goal of this PhD proposal is to build learning architectures that can fit very diverse types of a relational data, in order to 1) be pretrained on massive sources of data, 2) transfer to new tables and relational databases without requiring too much data wrangling. For this, the starting point will be to build a transformer-based architecture that models naturally the various input types: strings, dates, and numbers. Further work will adapt this architecture to multiple tables.

Principales activés :

• Faire de la recherche sur les modèles tabulaires, et en particulier les modèles de fondation
• Suivre la littérature dans le domaine
• Publier les résultats et les présenter

• Restauration subventionnée
• Transports publics remboursés partiellement
• Congés: 7 semaines de congés annuels + 10 jours de RTT (base temps plein) + possibilité d'autorisations d'absence exceptionnelle (ex : enfants malades, déménagement)
• Possibilité de télétravail et aménagement du temps de travail
• Équipements professionnels à disposition (visioconférence, prêts de matériels informatiques, etc.)
• Prestations sociales, culturelles et sportives (Association de gestion des œuvres sociales d'Inria)
• Accès à la formation professionnelle
• Sécurité sociale

2200€ brut/mois