Doctorant F/H Des Grands Modèles de Language pour la détection et la correction des erreurs dans les applications HPC

Nous proposons un contrat de thèse sur une durée de 3 ans dans l'équipe Storm (https://team.inria.fr/storm/) du centre Inria de l'Université de Bordeaux.

Afin de résoudre les plus grands problèmes scientifiques en un temps raisonnable, les applications sont parallélisées et lancées sur des supercalculateurs. Cependant, ces supercalculateurs sont de plus en plus complexes et puissants, ce qui entraine une évolution des applications (ex., nouveaux algorithmes pour le passage à l’échelle, combinaison de modèles de programmation parallèle). Cette évolution lève de nombreux défis de programmation et un réel besoin d’outils et techniques pour aider les développeurs à utiliser au mieux les différentes machines et architectures à leur disposition. En effet, à grande échelle, les développeurs d’applications font face à de nouvelles erreurs, liées au parallélisme, souvent difficiles à analyser et corriger. Aujourd’hui, s’assurer que les applications parallèles s’exécutent correctement devient aussi important que d’obtenir de bonnes performances.

Les grands modèles de langage (LLMs) sont un sujet de recherche en pleine évolution. En particulier, leurs récents succès pour générer du texte pertinent et répondre à des questions en font des candidats attrayants dans le domaine de la vérification.

Axe 1 : Création d’un jeu de données

Un jeu de données de haute qualité est une condition nécessaire pour créer des modèles précis. Pour créer notre jeu de données, nous nous ap- puierons sur deux sources complémentaires contenant des codes corrects et incorrects. Dans un premier temps, nous exploiterons la base de données git d’EasyPAP [1], une plateforme qui enseigne la programmation parallèle. Bien que limité en taille, le code soumis par les étudiants est représentatif des erreurs que font les débutants. Nous explorerons ensuite Github via son API intégré pour collecter des codes réels et plus conséquents en taille. Les projets seront sélectionnés selon les issues, pull requests et descriptions des commits. Nous récupérerons le code avant et après les commits pertinents.

Axe 2 : Labellisation

Une fois le jeu de données créé, l’étape cruciale est d’étiqueter les programmes, c’est-à-dire d’associer chaque programme avec un label (erreur présente dans le code ou corrigée). Pour cela, on utilisera des techniques de NLP. Les descriptions des commits et toute méta-information associée (e.g., CI) seront analysées avec TF-IDF (ou optionnellement des textes d’embeddings à la word2vec). Les vecteurs obtenus seront traités avec NMF [2] pour en extraire les différentes classes d’erreurs que nous étudierons. En parallèle, nous pourrons également directement utiliser des LLMs (e.g., ChatGPT) sur les commit pour les grouper. De plus, nous analyserons l’embedding des codes  avant et après chaque commit [3] : les vecteurs obtenus seront clusterisés pour grouper des changements similaires. A terme, nous unifirons les deux classifications pour créer un processus de labellisation plus général. 

Axe 3 : Entraînement des modèles

Nous visons deux types de modèles. Nous commencerons par créer des modèles supervisés (Code2Error) qui prennent le code source (ou une représentation du compilateur, e.g., LLVM IR) d’un programme et prédisent la catégorie d’erreur associée au programme (basée sur la labellisation). Ces modèles permettront de classer les codes incorrects et d’enrichir les descriptions des problèmes. En détail, Code2Error utilisera un embedding (e.g., ir2vec, code2vec) pour générer des vecteurs, à partir des codes, auxquels nous appliquerons un modèle supervisé (e.g., arbre de décision) pour decider du label. Les codes avant et après le commit serviront à donner à l’arbre la version incorrecte et sa correction. Nous avons déjà validé une version préliminaire (ir2vec & arbre de decision) sur 2000 codes tests dédiés pour la vérification MPI et souhaitons passer ce modèle à l’échelle sur de vrais codes.