Introduction : le rêve d’une machine qui apprend
Depuis le début de l’informatique, une question hante les chercheurs : peut-on construire une machine capable d’apprendre par elle-même, sans que chaque règle lui soit dictée ligne par ligne ? Ce rêve, formulé dès les années 1940, a donné naissance à l’un des champs les plus fascinants de l’informatique moderne : l’apprentissage automatique, et plus précisément les réseaux de neurones artificiels. Ce que nous appelons aujourd’hui « intelligence artificielle » repose en grande partie sur des architectures dont l’histoire s’étire sur plus de sept décennies, ponctuée d’enthousiasmes spectaculaires et d’hivers silencieux. Comprendre cette histoire, du Perceptron de 1958 aux Transformers qui alimentent ChatGPT, permet de saisir non seulement la technologie, mais aussi la raison pour laquelle elle a explosé ces dernières années.
1958 : le Perceptron de Frank Rosenblatt
Tout commence au milieu du XXe siècle. En 1958, le psychologue Frank Rosenblatt propose le Perceptron, un modèle mathématique inspiré du fonctionnement supposé des neurones biologiques. L’idée est élégante : une unité de calcul reçoit plusieurs entrées, chacune pondérée par un coefficient, puis applique une fonction de seuil pour décider d’une sortie. En ajustant les poids à partir d’exemples, la machine « apprend » progressivement à classer des données. Le Perceptron fait la une des journaux ; on y voit une promesse de machines capables de lire, d’écrire et de traduire. Mais cette euphorie cache une limite mathématique fondamentale que les chercheurs ne tarderont pas à découvrir.
1969 : le coup de froid de Minsky et Papert
Onze ans plus tard, en 1969, Marvin Minsky et Seymour Papert publient Perceptrons, un ouvrage qui démontre de manière rigoureuse que le Perceptron seul ne peut résoudre que des problèmes linéairement séparables. Leur exemple le plus célèbre : le Perceptron est incapable de résoudre le problème du « OU exclusif » (XOR), une fonction pourtant enfantine pour un esprit humain. Cette démonstration plonge le domaine dans ce que l’on appelle le « premier hiver de l’IA ». Les financements se tarissent, les laboratoires ferment, et l’idée d’une machine qui apprend passe pour une impasse scientifique. Pourtant, la graine est plantée : il faudra simplement des réseaux plus profonds.
Les années 1980 : le retour de la rétropropagation
La résolution du problème de XOR viendra d’une idée simple mais puissante : empiler plusieurs couches de neurones. Un réseau « multicouche » peut apprendre des frontières de décision complexes. Restait à résoudre la question de l’entraînement : comment ajuster des millions de poids quand l’erreur ne se manifeste qu’à la sortie ? La réponse arrive sous la forme de l’algorithme de rétropropagation (backpropagation), popularisé dans les années 1980 par David Rumelhart, Geoffrey Hinton et Ronald Williams. En propageant l’erreur de la sortie vers l’entrée, cet algorithme permet d’entraîner efficacement des réseaux profonds. Le domaine renaît, mais les capacités de calcul de l’époque plafonnent vite : les réseaux restent modestes.
1997 : les LSTM et la mémoire des séquences
Une avancée majeure survient avec les réseaux récurrents et, surtout, les LSTM (Long Short-Term Memory) inventés par Sepp Hochreiter et Jürgen Schmidhuber en 1997. Contrairement aux réseaux classiques qui traitent chaque entrée indépendamment, les LSTM conservent une forme de mémoire leur permettant de traiter des séquences : texte, parole, séries temporelles. Pendant une quinzaine d’années, les LSTM dominent la traduction automatique et la reconnaissance vocale. Ils constituent un pas décisif vers les modèles modernes, même s’ils peinent à capturer les dépendances très longues et restent coûteux à entraîner.
2012 : le big bang du deep learning
L’année charnière est 2012. Lors de la compétition ImageNet, un réseau profond nommé AlexNet, conçu par Alex Krizhevsky, Ilya Sutskever et Geoffrey Hinton, écrase la concurrence en divisant par deux le taux d’erreur de classification d’images. Trois facteurs convergent : l’explosion des données numériques, la puissance des cartes graphiques (GPU) et des architectures convolutionnelles optimisées. S’ouvre alors l’ère du « deep learning », où des réseaux à des dizaines de couches apprennent des représentations hiérarchiques. La vision par ordinateur, la reconnaissance vocale et bientôt bien d’autres domaines basculent durablement.
2017 : « Attention Is All You Need »
Mais le véritable tournant pour le langage arrive en 2017 avec un article de Google intitulé sobrement Attention Is All You Need. Les auteurs y présentent le Transformer, une architecture qui abandonne la récurrence au profit d’un mécanisme d’attention. Au lieu de traiter le texte mot après mot, le Transformer évalue en parallèle le poids de chaque mot par rapport à tous les autres. Cette approche, massivement parallélisable, permet d’entraîner des modèles sur des corpus colossaux avec une efficacité inédite. C’est le socle de tous les grands modèles de langage modernes : BERT, GPT, LLaMA, Claude ou Mistral en sont des descendants directs.
Des Transformers à l’IA générative
Le succès des Transformers déclenche une course sans précédent à la taille des modèles. On découvre que, passé un certain nombre de paramètres, émergent des capacités que personne n’avait programmées explicitement : raisonnement, traduction, génération de code, rédaction créative. C’est l’avènement de l’IA générative que le grand public découvre avec stupéfaction. Mais cette puissance a un coût : des besoins colossaux en calcul, en énergie et en données, qui posent de nouvelles questions éthiques et écologiques.
Conclusion : une histoire loin d’être finie
De Rosenblatt à l’attention, l’histoire des réseaux de neurones est celle d’une idée simple, plusieurs fois déclarée morte, et pourtant sans cesse revenue par la porte de la théorie et de la puissance de calcul. Chaque génération a cru tenir la solution définitive ; chaque génération a découvert de nouvelles limites. Le Transformer n’échappera sans doute pas à cette règle. Ce que cette traversée nous enseigne, c’est que l’intelligence artificielle n’est pas un éclair de génie unique, mais une accumulation patiente de découvertes. Et si l’histoire nous guide, le prochain chapitre se trouve déjà dans un laboratoire, en train de attendre son heure.