Biographie de Sepp Hochreiter
À vingt-quatre ans, dans un mémoire rédigé en allemand que personne ne lira pendant des années, il a diagnostiqué la maladie qui empêchait les réseaux de neurones de se souvenir. Six ans plus tard, avec Jürgen Schmidhuber, Sepp Hochreiter livrait le remède : le LSTM.
Josef Hochreiter, dit Sepp Hochreiter, né le 14 février 1967 à Mühldorf am Inn, en Bavière, est un informaticien allemand, professeur à l’université Johannes Kepler de Linz, en Autriche. Coinventeur de l’architecture LSTM, qui a donné la mémoire aux réseaux de neurones et fait tourner pendant vingt ans la traduction automatique et les assistants vocaux, il propose depuis 2024 une alternative aux Transformers.
Tout part d’un mémoire de fin d’études soutenu en 1991 à l’université technique de Munich, sous la direction de Jürgen Schmidhuber. Le jeune homme y démontre mathématiquement pourquoi les réseaux récurrents sont incapables d’apprendre à long terme : le signal d’erreur qu’on leur renvoie s’évanouit à mesure qu’il remonte le temps, jusqu’à ne plus rien corriger du tout. Le texte, écrit en allemand et jamais publié dans une revue internationale, restera longtemps ignoré hors d’Allemagne, alors qu’il pose le diagnostic fondateur de tout ce qui suivra.
Le remède arrive en 1997 : avec Schmidhuber, il publie la mémoire à court terme longue, le LSTM, qui ajoute au réseau des portes décidant ce qu’il faut retenir, transmettre ou effacer. Il faudra encore une décennie pour que le monde s’en aperçoive, puis l’adoption sera massive : en 2015 et 2016, le LSTM fait chuter de moitié les erreurs de la reconnaissance vocale de Google, puis de soixante pour cent celles de Google Traduction ; Apple s’en sert pour Siri, Amazon pour la voix d’Alexa, et Facebook fait tourner quatre milliards et demi de traductions par jour dessus.
Entre-temps, celui qui a passé deux ans chez un assureur avant sa thèse s’est installé en 2006 à Linz, où il dirige aujourd’hui l’institut d’apprentissage automatique. Ses travaux ultérieurs vont de la prédiction de la toxicité des molécules aux réseaux qui se normalisent eux-mêmes, jusqu’à un article de 2020 démontrant que les réseaux de Hopfield modernes sont mathématiquement équivalents au mécanisme d’attention des Transformers.
En mai 2024, il publie xLSTM, une refonte de son architecture historique conçue pour rivaliser avec ces mêmes Transformers, déclinée l’année suivante en un modèle de sept milliards de paramètres à poids ouverts. Il en a fait une entreprise, NXAI, fondée à Linz avec un industriel autrichien, dont le financement a souffert des déboires du groupe KTM. Lauréat du prix des pionniers des réseaux de neurones de l’IEEE, élu aux académies des sciences autrichienne puis allemande, il plaide pour une voie européenne de l’intelligence artificielle qui gagnerait en sobriété ce qu’elle n’aura jamais en capitaux.
