Introduction

Pensez-vous que Grok3 sera le « point final » des modèles pré-entraînés ?

Elon Musk et l'équipe xAI ont officiellement lancé la dernière version de Grok, Grok3, lors d'un livestream. Avant cet événement, une quantité importante d'informations, conjuguée à un battage publicitaire 24h/24 et 7j/7, avait suscité des attentes mondiales sans précédent pour Grok3. Il y a tout juste une semaine, Musk déclarait avec assurance lors d'un livestream, commentant DeepSeek R1 : « xAI est sur le point de lancer un modèle d'IA amélioré. » D'après les données présentées en direct, Grok3 aurait surpassé tous les modèles courants actuels en termes de benchmarks en mathématiques, en sciences et en programmation. Musk a même affirmé que Grok3 serait utilisé pour des tâches de calcul liées aux missions martiennes de SpaceX, prédisant des « avancées majeures dignes d'un prix Nobel d'ici trois ans ». Cependant, il ne s'agit pour l'instant que des affirmations de Musk. Après le lancement, j'ai testé la dernière version bêta de Grok3 et posé la question piège classique pour les grands modèles : « Lequel est le plus grand, 9.11 ou 9.9 ? » Malheureusement, sans précision ni notation, Grok3, soi-disant le plus intelligent, n'a toujours pas pu répondre correctement à cette question. Il n'a pas réussi à en cerner précisément le sens.

Ce test a rapidement suscité l'intérêt de nombreux amis et, par coïncidence, plusieurs tests similaires réalisés à l'étranger ont montré que Grok3 avait du mal à répondre à des questions de physique et de mathématiques élémentaires, comme « Quelle boule tombe en premier de la tour de Pise ? ». Il a donc été qualifié avec humour de « génie réticent à répondre à des questions simples ».

Grok3 est bon, mais il n'est pas meilleur que R1 ou o1-Pro.

Grok3 a rencontré des « échecs » lors de nombreux tests de connaissances pratiques. Lors du lancement de xAI, Musk a démontré l'utilisation de Grok3 pour analyser les classes de personnages et les effets du jeu Path of Exile 2, auquel il prétendait jouer régulièrement. Cependant, la plupart des réponses fournies par Grok3 étaient erronées. Musk n'a pas remarqué ce problème évident lors du live.

Cette erreur a non seulement fourni aux internautes étrangers une nouvelle raison de se moquer d'Elon Musk pour avoir « trouvé un remplaçant » dans le monde du jeu vidéo, mais a également suscité de vives inquiétudes quant à la fiabilité de Grok3 dans des applications pratiques. Pour un tel « génie », quelles que soient ses capacités réelles, sa fiabilité dans des scénarios d'application extrêmement complexes, comme les missions d'exploration de Mars, reste incertaine.

Actuellement, de nombreux testeurs qui ont eu accès à Grok3 il y a quelques semaines, et ceux qui ont testé les capacités du modèle pendant quelques heures hier, pointent tous vers une conclusion commune : « Grok3 est bon, mais il n'est pas meilleur que R1 ou o1-Pro. »

Une perspective critique sur la « perturbation de Nvidia »

Dans le PPT officiellement présenté lors de la sortie, Grok3 s'est montré « loin devant » dans l'arène des Chatbots, mais celui-ci a utilisé intelligemment des techniques graphiques : l'axe vertical du classement ne répertoriait que les résultats dans la plage de scores 1400-1300, ce qui fait que la différence initiale de 1 % dans les résultats des tests apparaît exceptionnellement significative dans cette présentation.

En termes de notation des modèles, Grok3 n'a qu'une avance de 1 à 2 % sur DeepSeek R1 et GPT-4.0, ce qui correspond à l'expérience de nombreux utilisateurs lors de tests pratiques qui n'ont constaté « aucune différence notable ». Grok3 ne devance ses successeurs que de 1 à 2 %.

Bien que Grok3 ait obtenu des scores supérieurs à ceux de tous les modèles actuellement testés publiquement, beaucoup ne prennent pas cela au sérieux : après tout, xAI a déjà été critiqué pour « manipulation des scores » à l'époque de Grok2. Le classement pénalisant le style de réponse, les scores ont fortement diminué, ce qui a conduit les professionnels du secteur à critiquer fréquemment le phénomène de « score élevé mais faible compétence ».

Qu'il s'agisse de manipulations de classements ou d'astuces de conception dans les illustrations, elles révèlent l'obsession de xAI et de Musk pour l'idée d'être à la pointe des capacités de modélisation. Musk a payé cher ces marges : lors du lancement, il s'est vanté d'avoir utilisé 200 000 GPU H100 (annonçant « plus de 100 000 » lors du livestream) et d'avoir atteint un temps d'entraînement total de 200 millions d'heures. Cela a conduit certains à penser qu'il s'agissait d'un nouvel atout majeur pour l'industrie des GPU et à considérer l'impact de DeepSeek sur le secteur comme « absurde ». Certains pensent notamment que la puissance de calcul pure et simple sera l'avenir de l'entraînement des modèles.

Cependant, certains internautes ont comparé la consommation de 2 000 GPU H800 sur deux mois pour produire DeepSeek V3, calculant que la consommation d'énergie réelle de Grok3 lors de l'entraînement est 263 fois supérieure à celle de V3. L'écart entre DeepSeek V3, qui a obtenu 1 402 points, et Grok3 est légèrement inférieur à 100 points. Suite à la publication de ces données, beaucoup ont rapidement compris que derrière le titre de « plus puissant au monde » de Grok3 se cache un effet d'utilité marginal évident : la logique selon laquelle des modèles plus grands génèrent de meilleures performances commence à montrer des rendements décroissants.

Même avec un score élevé mais une faible capacité, Grok2 disposait d'une grande quantité de données first-party de haute qualité provenant de la plateforme X (Twitter) pour soutenir son utilisation. Cependant, lors de l'entraînement de Grok3, xAI s'est naturellement heurté au « plafond » auquel OpenAI est actuellement confronté : le manque de données d'entraînement premium révèle rapidement l'utilité marginale des capacités du modèle.

Les développeurs de Grok3 et Musk sont probablement les premiers à comprendre et à identifier ces faits en profondeur. C'est pourquoi Musk a constamment mentionné sur les réseaux sociaux que la version actuellement utilisée par les utilisateurs n'est « encore qu'une version bêta » et que « la version complète sera publiée dans les prochains mois ». Musk a endossé le rôle de chef de produit de Grok3, suggérant aux utilisateurs de donner leur avis sur les différents problèmes rencontrés dans la section commentaires. Il est peut-être le chef de produit le plus suivi au monde.

Pourtant, en l'espace d'une journée, les performances de Grok3 ont sans aucun doute sonné l'alarme chez ceux qui espéraient s'appuyer sur une « puissance de calcul massive » pour entraîner des modèles plus performants : selon des informations Microsoft accessibles au public, GPT-4 d'OpenAI possède une taille de paramètres de 1 800 milliards, soit plus de dix fois celle de GPT-3. Des rumeurs suggèrent que la taille des paramètres de GPT-4.5 pourrait être encore plus importante.

À mesure que la taille des paramètres des modèles augmente, les coûts d'entraînement explosent. Avec l'arrivée de Grok3, les concurrents comme GPT-4.5 et d'autres qui souhaitent continuer à dépenser de l'argent pour améliorer les performances de leurs modèles grâce à la taille des paramètres doivent prendre en compte le plafond désormais clairement visible et réfléchir à la manière de le surmonter. Ilya Sutskever, ancien directeur scientifique d'OpenAI, avait déclaré en décembre dernier : « Le pré-entraînement que nous connaissons prendra fin », une déclaration qui a refait surface dans les discussions, incitant à rechercher la véritable voie pour l'entraînement de grands modèles.

Le point de vue d'Ilya a sonné l'alarme dans le secteur. Il a anticipé avec justesse l'épuisement imminent des nouvelles données accessibles, conduisant à une situation où l'acquisition de données ne permettrait plus d'améliorer les performances, comparable à l'épuisement des combustibles fossiles. Il a indiqué que « tout comme le pétrole, le contenu généré par l'homme sur Internet est une ressource limitée ». Selon les prédictions de Sutskever, la prochaine génération de modèles, après pré-entraînement, possédera une « véritable autonomie » et des capacités de raisonnement « similaire à celles du cerveau humain ».

Contrairement aux modèles pré-entraînés actuels, qui reposent principalement sur la correspondance de contenu (basée sur le contenu du modèle précédemment appris), les futurs systèmes d'IA seront capables d'apprendre et d'établir des méthodologies pour résoudre des problèmes d'une manière proche de la « pensée » du cerveau humain. Un humain peut acquérir une compétence fondamentale dans un domaine avec seulement des ouvrages professionnels de base, tandis qu'un grand modèle d'IA nécessite des millions de points de données pour atteindre l'efficacité de base la plus élémentaire. Même en modifiant légèrement la formulation, ces questions fondamentales peuvent ne pas être correctement comprises, ce qui montre que le modèle n'a pas véritablement progressé en intelligence : les questions fondamentales, pourtant insolubles, mentionnées au début de l'article en sont un exemple clair.

Conclusion

Cependant, au-delà de la force brute, si Grok3 réussit effectivement à révéler à l’industrie que « les modèles pré-entraînés approchent de leur fin », cela aurait des implications importantes pour le domaine.

Peut-être qu'après que la frénésie autour de Grok3 se sera progressivement calmée, nous assisterons à davantage de cas comme l'exemple de Fei-Fei Li, qui consiste à « régler des modèles hautes performances sur un ensemble de données spécifique pour seulement 50 $ », découvrant ainsi finalement le véritable chemin vers l'AGI.