je suis expert en IA/Deep Learning/Modèle génratif et je réponds aux questions

Le 21 octobre 2024 à 20:24:02 :

Le 21 octobre 2024 à 20:18:09 SuceurDeBonbon a écrit :

Le 21 octobre 2024 à 20:15:25 :
Quels sont les 4 algorithmes génératifs de base que tu conseillerais?

numéro 1: modèle AR type transformer pour toutes les modalités
numéro 2: modèle diffusion pour les images
numéro 3: des GAN pour des distributions très ciblées ou la diversité importe peu
numéro 4: j'en connais pas d'autres qui soit franchement différent des 3 premiers (pour moi flow matching etc c'est diffusion) et état de l'art

Un "modèle Transformers" est un réseau neuronal qui apprend le contexte et le sens en suivant les relations dans les données séquentielles, comme les mots de cette phrase, c'est d'ailleurs cette technologie (Transformers) qui nous permet de faire tourner des LLM sur du matos maison (vos GPU de pauvre) aujourd'hui.

L'OP ne se mouille pas trop; diffusion, Stable Diffusion, y en a d'autre mais c'est pas open source.
L'OP fait des datasets et lance un script, le voilà expert en deep learning

la diffusion c'est avant tout une classe de modèle génératif avant d'être le modèle "stable diffusion" le low

Le 21 octobre 2024 à 20:16:12 :

Le 21 octobre 2024 à 20:13:12 :
C'est possible de faire une IA qui te remplace dans ton boulot? En gros une IA experte en IA qui s'auto code/améliore

en l'état actuel des choses absolument pas

Le 21 octobre 2024 à 20:13:30 :

Le 21 octobre 2024 à 20:11:17 :

Le 21 octobre 2024 à 20:10:41 :
Thèse ou pas ?

ouient

Propre bien joué.
Ton avis sur la hype IA depuis j'ai pété ? Tu penses que les préoccupations sont légitimes ou c'est du sensationnalisme ?

je pense que des métiers sont menacés oui mais 80% c'est du vent
par contre pour les deepfakes oui c'est inquiétant

Le 21 octobre 2024 à 20:13:34 :
Quand mon dataset de test est différent de mon dataset d'entraînement (pas la même distribution) mais que je ne peux pas changer mon dataset de test, comment faire pour sue mon dataset d'entraînement colle au mieux à ce dataset ?

bah tu changes le dataset d'entraînement

Non mais c'est pour un challenge, je ne peux pas changer les données d'entraînement ni de test

Le 21 octobre 2024 à 20:36:27 :

Le 21 octobre 2024 à 20:32:56 :

Le 21 octobre 2024 à 20:29:48 :

Le 21 octobre 2024 à 20:27:37 :

Le 21 octobre 2024 à 20:22:13 :

> Le 21 octobre 2024 à 20:18:09 :

>> Le 21 octobre 2024 à 20:15:25 :

> >Quels sont les 4 algorithmes génératifs de base que tu conseillerais?

>

> numéro 1: modèle AR type transformer pour toutes les modalités

> numéro 2: modèle diffusion pour les images

> numéro 3: des GAN pour des distributions très ciblées ou la diversité importe peu

> numéro 4: j'en connais pas d'autres qui soit franchement différent des 3 premiers (pour moi flow matching etc c'est diffusion) et état de l'art

OK donc tu es plutôt mid tier en IA. Question à propos du likelihood : parmi les modèles que tu as cités, lesquels maximisent la log-vraisemblance du jeu de données d'entraînement?

je t'écoute, je sens que je vais rigoler

pour ton information la fonction log étant croissante, si tu maximises la vraisemblance, tu maximises la log-vraisemblance ...
donc tous les modèles génératifs entrainés en maximum de vraisemblance c'est à dire dans ma liste tous sauf le gan

d'accord le gringolin puant, on parle en log vraisemblance par praticité et comme proxy, car n'importe qui ayant fait un peu de maths sait que c'est la bonne méthodologie dans 99% des cas.

ta dernière phrase est du pur bullshit, c'est faux

c'est pas un proxy ... c'est juste le log
+ tous les modèles génératifs que j'ai cité sont entrainés avec un objectif de reconstruction type l1/12 ce qui correspond grosso modo à un moindre carré avec résidu gaussien dans le cas continu ou à une cross entropy loss pour la régression logistique
c'est à dire un maximum de vraisemblance
allez retourne en cours tu risques de pas passer ton semestre

maintenant cite moi des modèles génératifs de l'état de l'art que j'aurais omis stp

déjà fait le gringolin puant, regarde plus haut. Tu t'humilies

+ https://jtuckerk.github.io/prediction_probabilities.html
GTFO man

t'es au courant que les VAE ne sont plus dans aucun modèles génératifs de l'état de l'art depuis 2 ans ?
même les dernier SD utilisent un terme en KL-divergence ridiculement faible
le côté variationnel c'est largement de la branlette, FSQAE/VQAE >>> VAE
+ EBM personne utilise

+ je crois que t'as pas lu l'article que tu m'as envoyé parce qu'il contredit rien de ce que j'ai dit plus haut

Globalisation a raison. Les EBM et VAE c'est l'archi base ; les VAE permettent l'interpolation en espace latent, pas connaître ça c'est rien connaître du tout. Les EBM sont largement responsables du dernier prix Nobel de physique

L'OP a aussi oublié les JEPA et autres GFlowNets, donc il a clairement vu un MOOC DL et s'en satisfait. Topic à jeter, auteur à oublier

Le 21 octobre 2024 à 20:41:51 :

Le 21 octobre 2024 à 20:36:27 :

Le 21 octobre 2024 à 20:32:56 :

Le 21 octobre 2024 à 20:29:48 :

Le 21 octobre 2024 à 20:27:37 :

> Le 21 octobre 2024 à 20:22:13 :

>> Le 21 octobre 2024 à 20:18:09 :

> >> Le 21 octobre 2024 à 20:15:25 :

> > >Quels sont les 4 algorithmes génératifs de base que tu conseillerais?

> >

> > numéro 1: modèle AR type transformer pour toutes les modalités

> > numéro 2: modèle diffusion pour les images

> > numéro 3: des GAN pour des distributions très ciblées ou la diversité importe peu

> > numéro 4: j'en connais pas d'autres qui soit franchement différent des 3 premiers (pour moi flow matching etc c'est diffusion) et état de l'art

>

> OK donc tu es plutôt mid tier en IA. Question à propos du likelihood : parmi les modèles que tu as cités, lesquels maximisent la log-vraisemblance du jeu de données d'entraînement?

je t'écoute, je sens que je vais rigoler

pour ton information la fonction log étant croissante, si tu maximises la vraisemblance, tu maximises la log-vraisemblance ...
donc tous les modèles génératifs entrainés en maximum de vraisemblance c'est à dire dans ma liste tous sauf le gan

d'accord le gringolin puant, on parle en log vraisemblance par praticité et comme proxy, car n'importe qui ayant fait un peu de maths sait que c'est la bonne méthodologie dans 99% des cas.

ta dernière phrase est du pur bullshit, c'est faux

c'est pas un proxy ... c'est juste le log
+ tous les modèles génératifs que j'ai cité sont entrainés avec un objectif de reconstruction type l1/12 ce qui correspond grosso modo à un moindre carré avec résidu gaussien dans le cas continu ou à une cross entropy loss pour la régression logistique
c'est à dire un maximum de vraisemblance
allez retourne en cours tu risques de pas passer ton semestre

maintenant cite moi des modèles génératifs de l'état de l'art que j'aurais omis stp

déjà fait le gringolin puant, regarde plus haut. Tu t'humilies

+ https://jtuckerk.github.io/prediction_probabilities.html
GTFO man

t'es au courant que les VAE ne sont plus dans aucun modèles génératifs de l'état de l'art depuis 2 ans ?
même les dernier SD utilisent un terme en KL-divergence ridiculement faible
le côté variationnel c'est largement de la branlette, FSQAE/VQAE >>> VAE
+ EBM personne utilise

+ je crois que t'as pas lu l'article que tu m'as envoyé parce qu'il contredit rien de ce que j'ai dit plus haut

Bah si l'article est ultra intéressant, il te dit que tu maximises pas la vraisemblance en utilisant un softmax, donc il te prouve que tu dis de la merde...