L'entraînement de ChatGPT 5 va coûter 2 MILLIARDS. (Le 4 a coûté 100 millions)

Le 03 juin 2024 à 06:32:14 :
y'a aussi la phase où il donne plusieurs reponse et un utilisateur humain doit valider la meilleure, exclure les insultes...

Oui.
Et l'utilisateur peut aussi signaler lui même une mauvaise réponse ou autre.

Logique les composants utilisés son monstrueux https://www.lemondeinformatique.fr/actualites/lireamp-nvidia-devoile-l-accelerateur-h200-taille-pour-l-ia-generative-92143.html

32 pétaflops

Le 03 juin 2024 à 06:34:18 :
ca va vraiment créer bcp de métiers l'Ia?

Autant que la calculatrice. Par contre, couplé aux robots humanoïdes ça....

Le 03 juin 2024 à 06:38:07 :
Ca veut dire qu'il n'y aura jamais de chatGPT 6
Sinon il va couter combien, 800 milliards ?

Pour que la France rattrape son retard, oui. Comme tous les autres trains.

Le 03 juin 2024 à 06:38:07 :
Ca veut dire qu'il n'y aura jamais de chatGPT 6
Sinon il va couter combien, 800 milliards ?

Un GPT5 révolutionnaire qui remplace tous les métiers et qui fait toutes les tâches du tertiaire sans erreur, c'est pas 2 milliards qui est conséquent s'ils atteignent un tel marché.

Un outil comme ça peut être estimé à 2 trilliards. Donc non 2 milliards d'investissement c'est pas si énorme. Le problème c'est si c'est juste un GPT-4 à peine amélioré...

Mais je te garantis que si GPT5 est aussi performant qu'on l'espère, le modèle suivant aura aucun souci à réunir 100 milliards.

Le 03 juin 2024 à 06:42:05 :

Le 03 juin 2024 à 06:38:07 :
Ca veut dire qu'il n'y aura jamais de chatGPT 6
Sinon il va couter combien, 800 milliards ?

Un GPT5 révolutionnaire qui remplace tous les métiers et qui fait toutes les tâches du tertiaire sans erreur, c'est pas 2 milliards qui est conséquent s'ils atteignent un tel marché.

Un outil comme ça peut être estimé à 2 trilliards. Donc non 2 milliards d'investissement c'est pas si énorme. Le problème c'est si c'est juste un GPT-4 à peine amélioré...

Mais je te garantis que si GPT5 est aussi performant qu'on l'espère, le modèle suivant aura aucun souci à réunir 100 milliards.

GPT 4o est pas deja une version intermediaire entre le 4 et le 5 ?
Si oui il est bon mais loin de pouvoir remplacer qui que ce soit (dans la tech)

Le 03 juin 2024 à 06:43:21 :
C'est pas exponentiel il me semble que la complexité des transformers est quadratique. Mais gpt est sûrement un modèle mixture.

On va surtout arrivé à la limite des données disponibles et utiles pour l'entraîner, lui faire assimiler le contenu du code pénal ou de wikipedia c'était intéressant, mais lui faire scanner tous les posts sur le 18-25 un peu moins

Le 03 juin 2024 à 06:43:21 :
C'est pas exponentiel il me semble que la complexité des transformers est quadratique. Mais gpt est sûrement un modèle mixture.

Ça dépend aussi de combien ça te coûte de récupérer les données brutes. Chatgpt a un avantage majeur, ils ont scrappé tout le web gratuitement au début sans que personne s'en rend compte, depuis c'est plus possible de faire ça plein de sites ont mis en place des protections antiscrapping pour éviter que ça se reproduise...

Le 03 juin 2024 à 06:46:35 :

Le 03 juin 2024 à 06:43:21 :
C'est pas exponentiel il me semble que la complexité des transformers est quadratique. Mais gpt est sûrement un modèle mixture.

On va surtout arrivé à la limite des données disponibles et utiles pour l'entraîner, lui faire assimiler le contenu du code pénal ou de wikipedia c'était intéressant, mais lui faire scanner tous les posts sur le 18-25 un peu moins

Techniquement, ChatGPT a scrappé tout Reddit, donc il a scrappé les pires communautés pour s'entraîner

C'est un problème de convergence et de limites.

Il n'y aura jamais de GPT-6 sur cette architecture en tout cas.

Il y aura des GPT-4 spécialistes de telle ou telle tâche, ou peut-être un GPT-5 spécialiste. Le reste sera sûrement fait sur des ordinateurs quantiques avec de nouveaux algorithmes, mais pas tout de suite.

Le 03 juin 2024 à 06:47:47 :
comment tu scrappes? résumé?

Avec un scrappeur