Les Limites des Grands Modèles de Langage en IA & leur Résolution par META

Dans une interview au Financial Times et présentée à Vivatech 2024, Yann Le Cun, Chef de l’IA chez META [Facebook, Instagram, WhatsApp, Messenger, etc.], met en lumière les limitations des grands modèles de langage (LLM) comme ChatGPT et Gemini. Il affirme que ces modèles, malgré leur popularité et leurs capacités impressionnantes, ne parviendront jamais à atteindre un niveau d’intelligence humaine.

Les Limites des LLM

Pour comprendre les propos de Yann Le Cun, précisons ce que sont les LLM : des modèles d’IA conçus pour comprendre et générer du langage humain, caractérisés par :
• Des millions, voire des milliards de paramètres.
• Un entraînement sur d’énormes corpus de données textuelles.
• La capacité de générer du texte cohérent et pertinent.
• L’utilisation de réseaux neuronaux profonds pour traiter et générer du texte.

Cependant, Le Cun souligne plusieurs limitations :
• Dépendance aux données d’entraînement : Les LLM sont limités par les données sur lesquelles ils sont formés. Leur précision dépend de la qualité et de la diversité de ces données.
• Absence de raisonnement complexe : Ils ne peuvent pas raisonner ou planifier de manière complexe. Leur compréhension logique reste superficielle.
• Manque de mémoire persistante : Ceci limite leur capacité à conserver des informations sur le long terme.
• Dangerosité intrinsèque : Les LLM peuvent produire des résultats inattendus ou biaisés.

La Vision de Yann Le Cun pour l’Avenir

Le Cun et son équipe travaillent sur une nouvelle génération de systèmes d’IA basés sur la « modélisation du monde« . Cette approche vise à construire une compréhension plus profonde et contextuelle, similaire à celle des humains :
• Compréhension contextuelle : Cette approche permettrait aux systèmes d’IA de comprendre le contexte plus largement et de raisonner en conséquence.
• Construction d’un modèle du monde : En développant une IA qui modélise le monde de manière similaire aux humains, on pourrait atteindre une IA plus flexible et adaptable.
• Vision à long terme : Le Cun estime que cette approche pourrait prendre jusqu’à 10 ans pour atteindre un niveau humain, mais il croit fermement en son potentiel pour définir la prochaine décennie de progrès en IA.

En somme, la stratégie de META visant à développer des systèmes basés sur la « modélisation du monde » est prometteuse et montre un engagement à long terme pour des objectifs ambitieux en intelligence artificielle. Cette approche pourrait définir la prochaine décennie de progrès en IA. Cependant, atteindre un niveau d’intelligence humaine est un objectif ambitieux nécessitant une navigation prudente pour éviter les dangers potentiels.