La prochaine rupture de l’IA ne viendra probablement pas des LLM
📩 Pour nous contacter: redaction@fw.media
Alors que les modèles de langage occupent tout l’espace médiatique depuis deux ans, l’idée peut surprendre mais la prochaine rupture de l’intelligence artificielle pourrait bien ne pas venir d’eux. Car derrière leur aisance stylistique et leur capacité d’analyse, les LLM restent prisonniers d’une architecture conçue pour une seule tâche, prédire le prochain mot. Or cette mécanique, aussi sophistiquée soit-elle, ne leur permet ni de raisonner de manière fiable, ni de comprendre les dynamiques du monde réel.
Gregory Renard nous l’expliquait en 2023 dans notre podcast consacré à l’IA, un LLM ne sait pas ce qu’est un mouvement physique, ne comprend pas la continuité temporelle, n’a pas de mémoire structurée du monde, ne peut pas manipuler explicitement des relations causales, et ne sait pas anticiper les effets d’une action. Lorsqu’il “explique” comment un objet tombe ou comment une scène évolue, il n’accède à aucune représentation des lois physiques qui régissent la scène mais réassemble des corrélations statistiques, souvent correctes, parfois hasardeuses.
Et cette limite n’a rien d’un bug, mais est le résultat direct de leur entraînement, car un modèle linguistique n’observe ni les objets, ni les trajectoires, ni les interactions. Le contraste avec l’apprentissage humain est très instructif sur ce point : un enfant de quatre ans a déjà absorbé, via sa vision, davantage d’informations que celles contenues dans l’ensemble du texte public accessible en ligne. Et surtout, il a appris par l’expérience, en corrigeant constamment ses prédictions.
L’IA générative vit ainsi une contradiction structurelle, si elle produit du texte avec une fluidité impressionnante, elle ne possède aucun mécanisme interne pour organiser une représentation du réel. Elle sait imiter, mais ne comprend pas, sa capacité à progresser est donc contrainte par sa nature même.
Et c’est cette impasse que de nombreux chercheurs, dont Yann LeCun, pointent aujourd’hui. Pour franchir un véritable seuil, l’IA doit être capable de prédire l’évolution du monde. Pour ce faire, elle devra acquérir une forme de “modèle interne” lui permettant d’anticiper, de tester des hypothèses, de planifier plusieurs actions, et de corriger ses erreurs. C’est précisément la promesse des architectures émergentes qui seront au cœur de la prochaine décennie : les World Models et les Joint Embedding Predictive Architectures (JEPA).
Ces modèles cherchent à combler ce qui manque aujourd’hui à l’IA, et à mesure que les limites du paradigme LLM deviennent visibles, cette nouvelle approche pourrait s’imposer comme le véritable terrain d’innovation. C’est le pari que Yann LeCun fait avec sa future startup consacrée à l’advanced Machine Intelligence, ainsi que Jeff Bezos avec Prometheus
