Mesurer l'intelligence, est-ce important ?

🤖Course à la performance IA : faute de chronomètre, on ne sait pas vraiment si on s’améliore. 🏁 Ni où se situe la ligne d’arrivée.

😳 Une méthode simple c’est de poser des questions à un modèle et de mettre des juges humains pour noter les réponses.

Mais évidemment ça coûte cher. 💵 Et c’est biaisé.

Alors la recherche de benchmarks automatiques est très active. Il y a MMLU dont les résultats semblent corréler fortement avec les jugements humains.

Mais honnêtement ce n’est pas très clair. 🤷‍♀️

📊 En vrai est ce que le modèle à 61.2 est vraiment mieux que celui à 56.7 ? Et à partir de quelle valeur est ce qu’un modèle est « suffisant » pour être utilisable en vrai ?

😳 On a besoin vite d'une méthode fiable pour mesurer l'intelligence des LLM. Comme pour les humains. 🧠

Ah, zut, pour les humains on sait pas non plus. 👀 L'intelligence n'est pas une chose simple à mesurer.🌹

💡Mais est ce vraiment si important ?

c’est bien de savoir résoudre des problèmes, ou créer 15 idées nouvelles. Mais ce qui est encore plus fort c’est de savoir interfacer cette capacité avec les autres. Pour concrètement faire avancer le monde. 🌍

ChatGPT a fait un grand bon mais on attend vraiment le prochain. 🚀

---

Text drafted through a chat with an AI model. Visual: Stable Diffusion or DALL-E 3.
Transformation and final editing by Jean-Paul Paoli.