Biographie de Hugo Touvron
Chercheur chez Meta AI, Hugo Touvron travaille sur la vision et les modèles de langage. Il est premier auteur des articles de LLaMA et de Llama 2.
Hugo Touvron est un chercheur en intelligence artificielle chez Meta AI. Ses recherches portent sur la vision par ordinateur, les architectures de réseaux neuronaux et les grands modèles de langage. Il est notamment le premier auteur des articles présentant LLaMA en février 2023, avec Guillaume Lample parmi les coauteurs, puis Llama 2 en juillet de la même année.
Entraîner des modèles pour comprendre les images
Touvron rejoint FAIR en 2019 pour un doctorat mené avec Sorbonne Université, sous la direction de Matthieu Cord et l’encadrement d’Hervé Jégou. Soutenue en septembre 2022, sa thèse s’intitule Architectures and Training for Visual Understanding. Elle reçoit le prix de thèse Signal, Image et Vision 2023 décerné par le Club EEA, le GdR ISIS et le GRETSI.
Une partie de ses travaux étudie les transformers appliqués aux images. L’enjeu n’est pas uniquement de modifier le réseau : la manière de l’entraîner, les exemples utilisés et les informations transmises pendant l’apprentissage influencent aussi le résultat.
Avec ses coauteurs, il présente DeiT dans Training Data-efficient Image Transformers & Distillation through Attention, diffusé fin 2020 et publié à ICML en 2021. Cette recherche montre comment entraîner efficacement des transformers pour la classification d’images sur ImageNet. Elle étudie notamment une forme de distillation dans laquelle un modèle « professeur » guide un modèle « élève ».
Le passage aux modèles de langage LLaMA
En 2023, Touvron est premier auteur de LLaMA: Open and Efficient Foundation Language Models. L’équipe réunit notamment Marie-Anne Lachaux, Timothée Lacroix et Lample. Le travail porte sur une famille de modèles de langage de plusieurs tailles et sur l’efficacité de leur entraînement. Cette publication collective constitue un point de rencontre entre les parcours de chercheurs qui poursuivront ensuite leurs travaux chez Meta ou Mistral AI.
Touvron est également premier auteur de l’article consacré à Llama 2, qui présente des modèles de base et des versions adaptées à la conversation. Il faut distinguer les deux équipes : la présence de Lample parmi les auteurs du premier LLaMA ne permet pas de lui attribuer automatiquement les générations suivantes.
Des images au texte, le parcours de Touvron garde ainsi une préoccupation commune : comprendre comment l’architecture et la procédure d’apprentissage se combinent pour produire un modèle efficace. Ses contributions s’inscrivent dans des équipes de recherche, et non dans la création solitaire d’un système.
