Je suis doctorant en IA, posez vos questions

Mots clés du sujet de ma thèse : NLP, compression, modèle de langage, modèle génératif

Je réponds à toutes vos questions

Le 27 mai 2023 à 20:42:38 :
Si je te dis Yuri Nesterov tu me réponds ?

Momentum

Le 27 mai 2023 à 20:42:38 :
Si je te dis Yuri Nesterov tu me réponds ?

J'ai son livre d'opimisation sur mon bureau en plus ayaa

Le 27 mai 2023 à 20:43:09 :
L'ia va remplacer la plupart des métiers ?

Il va remplacer pas mal de métiers de l'administration j'en suis convaincu mais il va pas remplacer comme on le prétend les devs de si tôt

Le 27 mai 2023 à 20:44:52 :
Je mange sa merde tu comprend ça l'op ?? Je bouffe sa merde encore chaude sans aucune putain de trace de vergogne

Calme toi, tu t'es trompé de topic

Le 27 mai 2023 à 20:44:07 :
C'est vrai que les modèles de langage basés sur les transformers sont à bout de souffle et ne s'amelioreront plus sauf quelques petites optimisations ?

La stratégie qui consiste à upscale des transformers (seule réelle différence entre GPT2, GPT3 GPT4 etc) est déjà + ou - arrivée à boût de souffle
Par contre il est clair qu'on a pas fini de les comprendre et des les découvrir, même à échelle raisonnable on peut faire des trucs très intéressants en compression.

Le 27 mai 2023 à 20:44:31 :

Le 27 mai 2023 à 20:43:09 :
L'ia va remplacer la plupart des métiers ?

Il va remplacer pas mal de métiers de l'administration j'en suis convaincu mais il va pas remplacer comme on le prétend les devs de si tôt

Càd les métiers de l'administration ?
Style les fonctionnaires etc ?

Le 27 mai 2023 à 20:44:46 :
Explique la place des prompt dans l'indexage des alternatives de réponse. C'est en proportions où sur matrice ?

J'en sais rien, je suis doctorant en NLP/modèles génératifs, je ne m'amuse pas à faire joujou avec ChatGPT toute la journée et je ne suis pas non plus ML ops.

Le 27 mai 2023 à 20:46:51 :
Tu fais quoi de la quantization, distillation etc pour compresser ?

Quand tu parles de quantization, tu veux dire précision (genre FP16, BF16, FP8 etc ...) ou tu parles des approches genre VQ VAE ?
Perso mon approche c'est RVQVAE + transformers dans l'espace des codes
J'ai déjà fait de la distillation pour des modèles diffusion aussi

Le 27 mai 2023 à 20:48:29 :
La logique floue à t elle toujours la cote?

Non c'est un gros bide, tout comme l'analyse fractionnaire

Le 27 mai 2023 à 20:46:46 :

Le 27 mai 2023 à 20:44:31 :

Le 27 mai 2023 à 20:43:09 :
L'ia va remplacer la plupart des métiers ?

Il va remplacer pas mal de métiers de l'administration j'en suis convaincu mais il va pas remplacer comme on le prétend les devs de si tôt

Càd les métiers de l'administration ?
Style les fonctionnaires etc ?

Certains oui