Des modèles de langage de grande taille pour optimiser les compilateurs
Ce rapport présente LLM Compiler, une suite de modèles de langage de grande taille (LLM) conçus spécifiquement pour l’optimisation des compilateurs. En s’appuyant sur les fondations du modèle Code Llama, LLM Compiler a été pré-entraîné sur un vaste corpus de code d’assemblage et de représentations intermédiaires de compilateur, puis affiné pour émuler le comportement des compilateurs. Les modèles LLM Compiler FTD, versions affinées du modèle, démontrent des capacités améliorées pour optimiser la taille du code et désassembler l’assemblage vers le code IR LLVM, atteignant jusqu’à 77% du potentiel d’optimisation d’une recherche par auto-ajustement.
Points clés
- LLM Compiler est une suite de modèles de langage de grande taille (LLM) conçus pour l’optimisation des compilateurs
- Les modèles sont initialisés avec les poids de Code Llama et pré-entraînés sur 546 milliards de jetons de code d’assemblage et de représentations intermédiaires de compilateur
- Les modèles LLM Compiler FTD sont affinés sur 164 milliards de jetons supplémentaires pour deux tâches de compilation : le réglage des drapeaux d’optimisation et le désassemblage
- LLM Compiler FTD atteint 77% du potentiel d’optimisation de la taille du code par rapport à la technique d’auto-ajustement
- Pour le désassemblage, LLM Compiler FTD produit un résultat correct 14% du temps
- Les modèles LLM Compiler FTD surpassent de manière significative les LLM comparables Code Llama et GPT-4 Turbo sur ces tâches
- LLM Compiler vise à fournir une base évolutive et rentable pour de nouvelles recherches et développements dans l’optimisation des compilateurs
À retenir
Avec LLM Compiler, les chercheurs et les praticiens de l’industrie ont désormais accès à des modèles de langage de grande taille pré-entraînés et affinés spécifiquement pour l’optimisation des compilateurs. Ces modèles offrent des performances impressionnantes, atteignant jusqu’à 77% du potentiel d’optimisation de la taille du code sans avoir besoin de nombreuses compilations. C’est une véritable révolution dans le domaine de l’optimisation des compilateurs, qui devrait permettre de réaliser des progrès significatifs à moindre coût. Alors, qu’attendons-nous pour nous lancer dans cette aventure ?
Sources
Quiz sur le document: 10 questions
