Une idée née dans un labo (et un rêve de science-fiction)
En 1958, un chercheur de la Cornell Aeronautical Laboratory nommé Frank Rosenblatt dévoile une machine capable d’apprendre à partir d’exemples. Il l’appelle le Perceptron. L’engin, imposant comme un meuble de bureau, capte des images via des photorécepteurs et ajuste des poids pour reconnaître des formes. La presse s’emballe : on y voit déjà la machine qui lira nos pensées. Rosenblatt lui-même parle d’un système qui pourrait un jour marcher, parler et se souvenir. Le mythe de l’intelligence artificielle venait de trouver sa première icône électronique, et avec elle, la promesse d’une « première vague » d’optimisme qui allait vite déchanter.
Le Perceptron : un seul neurone, des rêves immenses
Le Perceptron est, sous le capot, d’une simplicité désarmante. Une couche de signaux d’entrée, des poids multiplicatifs, une somme, et une fonction seuil qui décide « oui » ou « non ». C’est un classifieur linéaire : il trace une droite (ou un plan) pour séparer deux nuages de points. À l’époque, cela suffit à impressionner. Le problème, vite repéré, est que le Perceptron ne sait pas résoudre les problèmes non linéaires — le fameux cas du « OU exclusif » (XOR), où aucune ligne droite ne peut séparer les classes.
En 1969, Marvin Minsky et Seymour Papert publient Perceptrons, une démonstration mathématique des limites de l’approche à une seule couche. Le coup est rude. Les financements se tarissent, l’enthousiasme retombe, et le domaine entre dans ce que l’on appellera la première « hivers de l’intelligence artificielle ». Pendant une décennie, parler de réseaux de neurones devient presque suspect dans les laboratoires sérieux.
La rétropropagation redonne vie au réseau
Le salut vient d’un algorithme, plus que d’une machine. Dans les années 1980, la communauté remet au goût du jour la rétropropagation (backpropagation), formalisée entre autres par David Rumelhart, Geoffrey Hinton et Ronald Williams. L’idée est élégante : on compare la sortie du réseau à la réponse attendue, on calcule l’erreur, puis on la propage vers l’arrière pour ajuster chaque poids, couche après couche. Soudain, empiler plusieurs couches redevient utile.
C’est l’époque où les réseaux de neurones artificiels à plusieurs couches (multilayer perceptrons) redeviennent respectables. Geoffrey Hinton, figure tutélaire du domaine, milite sans relâche pour cette approche « connexionniste ». Le deuxième hiver finit, lentement, par fondre sous le poids des résultats.
2012 : AlexNet et l’explosion du deep learning
Le vrai point de bascule arrive en 2012. Lors de la compétition ImageNet, un réseau nommé AlexNet, conçu par Alex Krizhevsky, Ilya Sutskever et Geoffrey Hinton, écrase la concurrence en reconnaissant des images avec une marge jamais vue. Sa particularité ? Il utilise des réseaux de neurones à convolution (CNN) entraînés sur des cartes graphiques NVIDIA (GPU).
Ce détail technique change tout : les GPU, pensés pour afficher des pixels de jeux vidéo, se révèlent parfaits pour le calcul matriciel massif que nécessite l’entraînement profond. La puissance brute rencontre enfin des algorithmes matures. Le « deep learning » entre dans le langage courant, et les géants de la tech s’y ruent avec des budgets à six chiffres.
Mémoire, séquences et l’ébauche de l’attention
Reconnaître une image, c’est bien ; comprendre une phrase ou une vidéo, c’est autre chose. Pour les données séquentielles (texte, parole, séries temporelles), les chercheurs développent les réseaux récurrents (RNN). Mais ceux-ci oublient vite : traiter une longue phrase, c’est comme essayer de se souvenir du premier mot après en avoir lus deux cents.
La percée vient avec les LSTM (Long Short-Term Memory), inventées par Sepp Hochreiter et Jürgen Schmidhuber en 1997. Elles ajoutent des « portes » qui décident quoi mémoriser et quoi oublier. Les LSTM dominent la traduction automatique et la reconnaissance vocale pendant près de vingt ans. Pourtant, un angle mort demeure : traiter une séquence mot après mot reste lent et difficile à paralléliser sur des supercalculateurs.
2017 : le Transformer réécrit les règles
En juin 2017, un article au titre délibérément minimaliste, Attention Is All You Need, signé par des chercheurs de Google, bouleverse la donne. Les auteurs présentent le Transformer, une architecture qui abandonne les boucles récurrentes au profit du mécanisme d’attention.
L’intuition : plutôt que de lire un texte mot à mot, le modèle regarde chaque mot en le rapprochant de tous les autres, pondéré par leur pertinence mutuelle. « Le chat mange la souris » lie immédiatement « chat » et « souris » sans attendre d’avoir parcouru la phrase. Résultat : on peut entraîner en parallèle sur d’immenses corpus, à une échelle inédite. C’est le germe des modèles de langage géants qui débarqueront deux ans plus tard.
Des Transformers à ChatGPT : où nous sommes
Le Transformer devient la brique universelle. En 2018, BERT de Google excelle à comprendre le langage ; la même année, le premier GPT d’OpenAI ouvre la voie à la génération de texte. Suivront GPT-2, GPT-3, puis la vague des assistants conversationnels qui ont popularisé l’IA auprès du grand public.
Ces modèles partagent tous un même ancêtre conceptuel : un empilement de couches d’attention entraînées sur des milliards de paramètres. Ce qui a commencé avec un humble Perceptron à une couche en 1958 aboutit, soixante-cinq ans plus tard, à des systèmes capables de rédiger, traduire, coder et raisonner. La boucle est bouclée, mais l’histoire est loin d’être finie.
Conclusion : une longue patience
L’histoire des réseaux de neurones n’est pas un sprint mais une marche ponctuée d’éclipses. Trois ingrédients ont dû converger : des idées mathématiques solides (la rétropropagation), une puissance de calcul abordable (les GPU) et des données en quantité industrielle (internet). Prenez l’un des trois en moins, et le miracle ne se produit pas — c’est toute la leçon des « hivers » successifs. Le Transformer n’est peut-être qu’une étape de plus — mais quelle étape. La prochaine révolution se cache sans doute déjà dans un article confidentiel, en attendant patiemment son heure, comme le Perceptron a su attendre la sienne.