Le moment où l’IA « travaille » vraiment
On parle beaucoup d’entraînement quand on évoque l’intelligence artificielle, mais la phase qui touche réellement l’utilisateur au quotidien s’appelle l’inférence. C’est l’instant où un modèle déjà entraîné reçoit une entrée (votre question, une photo, un texte à corriger) et produit une sortie. Chaque chat bot, chaque autocomplétion de code, chaque génération d’image passe par là. Et c’est précisément à ce moment-là qu’une question technique devient une question économique et éthique : faut-il faire tourner ce calcul sur une machine distante (le cloud) ou sur votre propre matériel (l’inférence locale) ?
Le cloud : puissance à la demande, mais à quel prix ?
Le modèle historique, porté par les grands acteurs du cloud computing, est simple : vous envoyez vos données vers des fermes de serveurs, souvent équipées des derniers GPU haut de gamme, et vous récupérez le résultat. L’avantage est éclatant : vous accédez à des modèles gigantesques, de plusieurs centaines de milliards de paramètres, sans posséder la moindre carte graphique. La facturation se fait généralement au token ou à la requête.
Mais cette commodité a un coût qui s’accumule. Pour une entreprise traitant des millions de requêtes par jour, les appels API deviennent une ligne budgétaire colossale. Pire : vous ne maîtrisez pas la hausse des prix, ni la disponibilité du service, ni ce qu’il advient de vos données une fois arrivées sur les serveurs du fournisseur. Certaines API facturent également le contexte d’entrée, ce qui pénalise les longs documents : à grande échelle, optimiser la taille de ses prompts devient une discipline budgétaire à part entière. Le cloud brille pour la puissance brute, mais il vous lie à un tiers dont vous subissez la grille tarifaire.
L’inférence locale : vos données restent chez vous
L’alternative monte en puissance depuis l’arrivée des modèles ouverts (open weights). Des projets comme llama.cpp ont démocratisé l’exécution de grands modèles de langage directement sur du matériel grand public, du laptop au Raspberry Pi. Des outils comme Ollama ou la plateforme de distribution de poids Hugging Face rendent l’installation presque triviale : une commande, et un assistant tourne sur votre machine.
Le bénéfice majeur, c’est la confidentialité : aucune donnée ne quitte votre périphérique. Vos notes médicales, votre code source, vos conversations privées ne transitent jamais par un réseau. Pour les secteurs régulés (santé, droit, finance), c’est souvent le critère décisif. L’inconvénient ? Il faut de la mémoire vive et un processeur capable. Un modèle de 70 milliards de paramètres reste difficile à faire tenir sur un PC standard sans comprimer. La quantification, qui réduit la précision des poids (par exemple en 4 ou 8 bits), permet de faire tourner des modèles jusqu’à deux fois plus gros dans la même mémoire, au prix d’une perte de précision généralement imperceptible en usage courant.
Latence : la course contre la montre
La latence est le second champ de bataille. En cloud, chaque token généré doit traverser internet dans les deux sens : vous envoyez le prompt, le serveur calcule, il renvoie le résultat. Sur une connexion moyenne, l’aller-retour réseau ajoute plusieurs dizaines de millisecondes, parfois des secondes entières en heure de pointe. Pour une conversation fluide, cela crée des micro-ruptures qui fatiguent l’utilisateur.
En local, la donnée n’a pas à voyager : le calcul se fait à côté du clavier. Le premier token apparaît souvent plus vite, et le débit de génération dépend surtout de votre matériel. Le revers de la médaille, c’est que si votre machine est modeste, le débit de tokens par seconde chute, et le texte s’affiche au ralenti. Le cloud gagne sur la vitesse brute ; le local gagne sur la prévisibilité et l’absence de dépendance réseau. Les techniques de streaming, côté cloud, masquent une partie de l’attente en affichant les tokens au fil de l’eau, mais la latence perçue reste en général supérieure à un système purement local sur un réseau local rapide.
Confidentialité et souveraineté des données
Au-delà du secret purement technique, l’inférence locale répond à une préoccupation de souveraineté. Confier ses données à un fournisseur étranger, soumis à d’autres juridictions, inquiète de nombreuses organisations. L’edge computing — calculer au plus près de la source — réduit cette surface d’exposition. On ne stocke rien dans un data center lointain, on garde la maîtrise du cycle de vie des informations.
Il faut toutefois rester lucide : « local » ne veut pas dire « magique ». Un modèle ouvert peut contenir des biais, et l’absence de mise à jour centralisée signifie que vous devez vous-même suivre les correctifs de sécurité. La confidentialité n’est pas un produit tout-en-un, c’est une responsabilité que l’on reprend à son compte.
Cas d’usage : quand choisir quoi ?
La bonne réponse n’est presque jamais binaire. Quelques repères utiles :
- Choisissez le cloud pour des tâches ponctuelles demandant une puissance maximale, un prototypage rapide, ou quand vous ne disposez pas de matériel adapté.
- Choisissez le local pour les données sensibles, les usages offline, les applications embarquées, ou dès que le volume de requêtes rend le cloud trop cher.
- Le meilleur des deux mondes : de plus en plus de architectures hybrides gardent les données critiques en local et délèguent les calculs lourds au cloud, derrière un garde-fou de anonymisation.
Des frameworks comme PyTorch facilitent d’ailleurs le déploiement sur les deux cibles, ce qui rend le basculement moins douloureux qu’on ne le croit.
Conclusion : un équilibre à composer soi-même
L’opposition entre inférence locale et inférence cloud n’est pas un match où l’un écrase l’autre. Le cloud offre une puissance et une simplicité inégalées ; le local offre confidentialité, souveraineté et prévisibilité. Le prix, la latence et la protection des données sont les trois axes sur lesquels vous arbitrez. En 2026, la maturité de l’écosystème open-source rend le local accessible à tous, tandis que le cloud reste incontournable pour l’exploration. Le vrai gain, c’est la liberté de choisir — et de changer d’avis selon la tâche.