[Alerte] Le nouveau modèle "o3" d'OpenAI EXPLOSE tous les scores

Aya c'est la fin mes kheys. Pour de vrai cette fois.

OpenAI ont annoncé leur nouveau modèle de "chaîne de pensées" et c'est un nouveau bond technologique. On est encore loin du plateau des IA.

En gros il y a un test nommé ARC-AGI qui sert de référence pour tester le raisonnement des modèles sur des tâches faciles pour les humains
Le modèle d'OpenAI a atteint 88% de réussite ce qui est du jamais vu.

Ils ont aussi testé "o3" sur Codeforces qui est le site le plus populaire de programmation compétitive. Faut être une brute intellectuelle pour bien se classer sur ce site.
Ça demande des connaissances algorithmiques poussées, mais surtout, ça demande de la créativité pour trouver la bonne solution aux problèmes les plus difficiles.
Je vous le donne dans le mille : "o3" surclasse 99,8% des concurrents, l'équivalent d'un classement #175 sur le site :

Et après vous allez dire "gneu gneu c'est pas représentatif du travail d'ingénieur informatique".
Vous avez raison. Sauf qu'il y a aussi un autre test (SWE-bench) qui consiste à lui faire résoudre des bugs sur Github.
Le modèle réussit à 77% :
Autant dire que ça peut remplacer une énorme partie des devs.

Les autres disciplines sont pas sans reste.
En mathématiques, examen prestigieux réservé aux 5% des meilleurs élèves US 97% de réussite
Sur les questions générales en Science de niveau PHD / expert 88% de réussite

Un test en maths ultra poussé, spécifiquement créé pour être ultra dur au IA. Même Terence Tao n'envisageait pas qu'il puisse être résolu avec succès avant un bon paquet d'années...
Le nouveau modèle est passé de 2% à 25% de réussite :

TOUS les spécialistes, même les plus sceptiques jusque là, sont d'accord pour dire que c'est une avancée notoire et absolument choquante.

Bientôt plus d'artistes, plus de journalistes, plus de devs, plus de médecins, plus d'avocats... On est FINITO.

osef, les modèles doivent faire preuve d'efficience bien + que d'efficacité pure

Les ia doivent pouvoir tourner en local sur un maximum d'appareils, financièrement c'est pas tenable de les faire tourner sur des serveurs

Le 21 décembre 2024 à 11:11:54 Saygus9 a écrit :
osef, les modèles doivent faire preuve d'efficience bien + que d'efficacité pure

Les ia doivent pouvoir tourner en local sur un maximum d'appareils, financièrement c'est pas tenable de les faire tourner sur des serveurs

Bientôt ça coûtera moins cher que de payer un dev à plein temps, hein.

Cette compet fait tellement pitié bordel

La course a quel modèle va nous anéantir en premier

Absolument TOUS les métiers du tertiaire vont être GRAND REMPLACER.

En premier lieux les AVOCATS.

Le 21 décembre 2024 à 11:12:32 :

Le 21 décembre 2024 à 11:11:54 Saygus9 a écrit :
osef, les modèles doivent faire preuve d'efficience bien + que d'efficacité pure

Les ia doivent pouvoir tourner en local sur un maximum d'appareils, financièrement c'est pas tenable de les faire tourner sur des serveurs

Bientôt ça coûtera moins cher que de payer un dev à plein temps, hein.

Tenable pour le b2b peut-être, pas pour le b2c qui représente une large majorité des usages pour l'instant

Je suis en train d'utiliser le modèle Lyra12B sur Oogabooga

Un petit modèle non censuré, tu peux parler de tout avec lui.

Je l'ai beaucoup testé sur les thèmes de la paléontologie et de la géologie.
Je n'ai décelé AUCUNE erreur pour l'instant Il est même capable de me citer des études tout à fait confidentielles que personne ne connait sur des sujets ultra spécifiques
Je l'ai aussi testé sur l'histoire de mon petit village de Loire-Atlantique => il a été capable de me faire tout un résumé du néolithique jusqu'à la période moderne, en citant A CHAQUE FOIS des papiers de recherche et livres qui existent pour de vrai et dont j'ai pu vérifier le contenu en les empruntant à la BU

Quand je vois ce qu'un "petit" modèle grand public opensource est capable de faire, j'ose même pas imaginer ce que le modèle que l'OP présente peu produire

Le 21 décembre 2024 à 11:14:22 Fox_McCloud45 a écrit :
Boucle.

Boucle de quoi ?
Le modèle est sorti hier igo.

[11:16:00] <DemainJeNique>

Le 21 décembre 2024 à 11:14:22 Fox_McCloud45 a écrit :
Boucle.

Boucle de quoi ?
Le modèle est sorti hier igo.

Boucle « l'I.A. va remplacer tous les boulots ». L'I.A. va remplacer certains métiers et grandement diminuer la quantité de main d'œuvre dans certains autres, mais pas tout.

Le 21 décembre 2024 à 11:17:21 :
L'avenir pour les hommes est sombre.

cette volonté qu'a l'Homme pour s'autodétruire est fascinante

Le 21 décembre 2024 à 11:18:00 :

Le 21 décembre 2024 à 11:17:21 :
L'avenir pour les hommes est sombre.

cette volonté qu'a l'Homme pour s'autodétruire est fascinante

Stop la philosophie à 2 francs

Le 21 décembre 2024 à 11:17:44 Fox_McCloud45 a écrit :

[11:16:00] <DemainJeNique>

Le 21 décembre 2024 à 11:14:22 Fox_McCloud45 a écrit :
Boucle.

Boucle de quoi ?
Le modèle est sorti hier igo.

Boucle « l'I.A. va remplacer tous les boulots ». L'I.A. va remplacer certains métiers et grandement diminuer la quantité de main d'œuvre dans certains autres, mais pas tout.

Sauf qu'on s'en rapproche de plus en plus.
Je pense pas que tu prennes conscience de l'accomplissement de ce nouveau modèle.

Jusque là, c'était que des suppositions.
"Oui, l'IA pourrait remplacer beaucoup de métiers, mais on en est encore loin. Tout reste à prouver."

Là ça devient concret de chez concret. On se rapproche de la limite à partir de laquelle les modèles seront pleinement exploitable de manière généraliste, et ça va s'accélérer.

Ce qui est fou ce que y a eu juste 3 mois entre o3 et o1 la version précédente

Après je pense que les LLM + CoT façon o1/o3 sera pas suffisante pour l'AGI. Mais on s'en rapproche rapidement