Un khey CALÉ en DEEP LEARNING? quelques questions

Le 09 mai 2022 à 00:16:22 Chunchunmaru a écrit :

Le 08 mai 2022 à 03:24:07 :

Le 06 mai 2022 à 15:34:42 Chunchunmaru a écrit :

Le 06 mai 2022 à 00:07:41 :

Pas vraiment, je suis très occupé ces temps-ci

hophophop au boulot

J'ai déjà trop de boulot ...

Au. Boulot.

Le 09 mai 2022 à 01:09:23 :

Le 09 mai 2022 à 00:16:22 Chunchunmaru a écrit :

Le 08 mai 2022 à 03:24:07 :

Le 06 mai 2022 à 15:34:42 Chunchunmaru a écrit :

Le 06 mai 2022 à 00:07:41 :

Pas vraiment, je suis très occupé ces temps-ci

hophophop au boulot

J'ai déjà trop de boulot ...

Au. Boulot.

Laisse-moi dormir au moins

Le 09 mai 2022 à 01:40:38 Chunchunmaru a écrit :

Le 09 mai 2022 à 01:09:23 :

Le 09 mai 2022 à 00:16:22 Chunchunmaru a écrit :

Le 08 mai 2022 à 03:24:07 :

Le 06 mai 2022 à 15:34:42 Chunchunmaru a écrit :

Le 06 mai 2022 à 00:07:41 :

Pas vraiment, je suis très occupé ces temps-ci

hophophop au boulot

J'ai déjà trop de boulot ...

Au. Boulot.

Laisse-moi dormir au moins

Plus de fofo alors hophop

Si je dois donner un conseil à quelqu'un qui veut se lancer :

Ne jamais utiliser tensorflow, ou autre lib de merde, qui va te "faciliter le travail"

Ya un GOUFFRE entre
- Passer des heures à faire marcher un plugin save_weight qui marchera pas de toute façon
et
- Faire np.savetxt("W1.csv", delimiter=",")

Je comprends pas pourquoi tout le monde conseille des trucs chiants à faire marcher(jupyter, tensor, keras, pytorch)
A croire qu'ils veulent pas qu'on apprenne à coder

Le 09 mai 2022 à 04:46:47 :
Bon je m'arrête là pour ajourd'hui
J'ai du vanishing gradient, du coup j'ai changé ma fonction d'activation puis maintenant du exploding gradient
bonne nuit

Tu bosses jusqu'à 4h du matin

Change de rythme kheyou

Le 09 mai 2022 à 18:46:54 Chunchunmaru a écrit :

Le 09 mai 2022 à 04:46:47 :
Bon je m'arrête là pour ajourd'hui
J'ai du vanishing gradient, du coup j'ai changé ma fonction d'activation puis maintenant du exploding gradient
bonne nuit

Tu bosses jusqu'à 4h du matin

Change de rythme kheyou

Bah en fait je suis le plus productif la nuit...
Genre ça accumule toute la journée puis j'ai un pic vers minuit, à condition de pas être fatigué

Le 09 mai 2022 à 18:48:12 :

Le 09 mai 2022 à 18:46:54 Chunchunmaru a écrit :

Le 09 mai 2022 à 04:46:47 :
Bon je m'arrête là pour ajourd'hui
J'ai du vanishing gradient, du coup j'ai changé ma fonction d'activation puis maintenant du exploding gradient
bonne nuit

Tu bosses jusqu'à 4h du matin

Change de rythme kheyou

Bah en fait je suis le plus productif la nuit...
Genre ça accumule toute la journée puis j'ai un pic vers minuit, à condition de pas être fatigué

Tu es un peu comme moi

Le 09 mai 2022 à 23:45:39 Chunchunmaru a écrit :

Le 09 mai 2022 à 18:48:12 :

Le 09 mai 2022 à 18:46:54 Chunchunmaru a écrit :

Le 09 mai 2022 à 04:46:47 :
Bon je m'arrête là pour ajourd'hui
J'ai du vanishing gradient, du coup j'ai changé ma fonction d'activation puis maintenant du exploding gradient
bonne nuit

Tu bosses jusqu'à 4h du matin

Change de rythme kheyou

Bah en fait je suis le plus productif la nuit...
Genre ça accumule toute la journée puis j'ai un pic vers minuit, à condition de pas être fatigué

Tu es un peu comme moi

Et là je suis crevé
On verra demain si c'est mieux

Le 09 mai 2022 à 23:54:36 :

Le 09 mai 2022 à 23:45:39 Chunchunmaru a écrit :

Le 09 mai 2022 à 18:48:12 :

Le 09 mai 2022 à 18:46:54 Chunchunmaru a écrit :

Le 09 mai 2022 à 04:46:47 :
Bon je m'arrête là pour ajourd'hui
J'ai du vanishing gradient, du coup j'ai changé ma fonction d'activation puis maintenant du exploding gradient
bonne nuit

Tu bosses jusqu'à 4h du matin

Change de rythme kheyou

Bah en fait je suis le plus productif la nuit...
Genre ça accumule toute la journée puis j'ai un pic vers minuit, à condition de pas être fatigué

Tu es un peu comme moi

Et là je suis crevé
On verra demain si c'est mieux

Bonne nuit

Le 10 mai 2022 à 00:12:54 Chunchunmaru a écrit :

Le 09 mai 2022 à 23:54:36 :

Le 09 mai 2022 à 23:45:39 Chunchunmaru a écrit :

Le 09 mai 2022 à 18:48:12 :

Le 09 mai 2022 à 18:46:54 Chunchunmaru a écrit :

Le 09 mai 2022 à 04:46:47 :
Bon je m'arrête là pour ajourd'hui
J'ai du vanishing gradient, du coup j'ai changé ma fonction d'activation puis maintenant du exploding gradient
bonne nuit

Tu bosses jusqu'à 4h du matin

Change de rythme kheyou

Bah en fait je suis le plus productif la nuit...
Genre ça accumule toute la journée puis j'ai un pic vers minuit, à condition de pas être fatigué

Tu es un peu comme moi

Et là je suis crevé
On verra demain si c'est mieux

Bonne nuit

merci toi aussi

Le 09 mai 2022 à 03:01:20 :
Si je dois donner un conseil à quelqu'un qui veut se lancer :

Ne jamais utiliser tensorflow, ou autre lib de merde, qui va te "faciliter le travail"

Ya un GOUFFRE entre
- Passer des heures à faire marcher un plugin save_weight qui marchera pas de toute façon
et
- Faire np.savetxt("W1.csv", delimiter=",")

Je comprends pas pourquoi tout le monde conseille des trucs chiants à faire marcher(jupyter, tensor, keras, pytorch)
A croire qu'ils veulent pas qu'on apprenne à coder

Tu fais de l'IA avec quoi si tu utilises pas tensorflow/keras/pytorch?
Tu recodes tout toi même?
Ou tu utilises cuDNN? (ce qui peut être un choix intéressant en S2S)

Full math comme j'ai dit, à part pyplot pour les graph

dès j'utilise le truc d'un autre ya une merde quelque part c'est bon à force

Le 11 mai 2022 à 13:08:50 :
Full math comme j'ai dit, à part pyplot pour les graph

dès j'utilise le truc d'un autre ya une merde quelque part c'est bon à force

Donc tu as codé toi même les neurones de base, les connexions, les calculs de gradient etc?
Si tu n'utilises que ça, non seulement, tu es limité au CPU, mais en plus tu dois être limité à 4 coeurs , en plus de ne pas paralléliser tout ce qui est possible, ne pas optimiser la mémoire, sur un truc 25 fois moins efficace qu'un GPU, naturelle

Le 11 mai 2022 à 18:56:49 Citranus a écrit :

Le 11 mai 2022 à 13:08:50 :
Full math comme j'ai dit, à part pyplot pour les graph

dès j'utilise le truc d'un autre ya une merde quelque part c'est bon à force

Donc tu as codé toi même les neurones de base, les connexions, les calculs de gradient etc?
Si tu n'utilises que ça, non seulement, tu es limité au CPU, mais en plus tu dois être limité à 4 coeurs , en plus de ne pas paralléliser tout ce qui est possible, ne pas optimiser la mémoire, sur un truc 25 fois moins efficace qu'un GPU, naturelle

Oui tout paz sur toi
Je suis en train de théoriser un modèle
L'autre khey qui parlait de recherche en ML avait peut être raison je devrais m'orienter vers ça

Le 11 mai 2022 à 13:08:50 :
Full math comme j'ai dit, à part pyplot pour les graph

dès j'utilise le truc d'un autre ya une merde quelque part c'est bon à force

Honnetement khey c'est pas une bonne strategie, ca va marcher pour des petits trucs mais tu vas vite etre limite
Par exemple tu ne pourras pas utiliser ton GPU, tu ne pourras pas tirer partie de la vectorization de ton CPU, tu vas en chier comme pas possible a developer des models plus complexe,etc..

Surtout pour ce que tu veux faire, tu vas tot ou tard utiliser le mechanisme d'attention et dans ce cas tu vas galerer en terme de perf si tu fais tout a la main
Faire son propre framework c'est cool pour apprendre, mais pas cool pour developer ses methodes
Si tu es interesser pour savoir comment faire son propre framework je peux te donner des ressources, mais mieux vaut apprendre a utiliser un framework genre Pytorch pour ton projet

Le 11 mai 2022 à 19:44:09 RMSProp a écrit :

Le 11 mai 2022 à 13:08:50 :
Full math comme j'ai dit, à part pyplot pour les graph

dès j'utilise le truc d'un autre ya une merde quelque part c'est bon à force

Honnetement khey c'est pas une bonne strategie, ca va marcher pour des petits trucs mais tu vas vite etre limite
Par exemple tu ne pourras pas utiliser ton GPU, tu ne pourras pas tirer partie de la vectorization de ton CPU, tu vas en chier comme pas possible a developer des models plus complexe,etc..

Surtout pour ce que tu veux faire, tu vas tot ou tard utiliser le mechanisme d'attention et dans ce cas tu vas galerer en terme de perf si tu fais tout a la main
Faire son propre framework c'est cool pour apprendre, mais pas cool pour developer ses methodes
Si tu es interesser pour savoir comment faire son propre framework je peux te donner des ressources, mais mieux vaut apprendre a utiliser un framework genre Pytorch pour ton projet

Tu peux m'expliquer en quoi j'utilise pas la vectorisation vu que je fais mes opérations avec les matrices entières?
Je veux bien les ressources pour y faire un tour

Le 11 mai 2022 à 20:13:27 :

Le 11 mai 2022 à 19:44:09 RMSProp a écrit :

Le 11 mai 2022 à 13:08:50 :
Full math comme j'ai dit, à part pyplot pour les graph

dès j'utilise le truc d'un autre ya une merde quelque part c'est bon à force

Honnetement khey c'est pas une bonne strategie, ca va marcher pour des petits trucs mais tu vas vite etre limite
Par exemple tu ne pourras pas utiliser ton GPU, tu ne pourras pas tirer partie de la vectorization de ton CPU, tu vas en chier comme pas possible a developer des models plus complexe,etc..

Surtout pour ce que tu veux faire, tu vas tot ou tard utiliser le mechanisme d'attention et dans ce cas tu vas galerer en terme de perf si tu fais tout a la main
Faire son propre framework c'est cool pour apprendre, mais pas cool pour developer ses methodes
Si tu es interesser pour savoir comment faire son propre framework je peux te donner des ressources, mais mieux vaut apprendre a utiliser un framework genre Pytorch pour ton projet

Tu peux m'expliquer en quoi j'utilise pas la vectorisation vu que je fais mes opérations avec les matrices entières?
Je veux bien les ressources pour y faire un tour

Les processeurs modernes ont des instructions permettant de vectorizer les operations sur le CPU: https://en.wikipedia.org/wiki/Advanced_Vector_Extensions

Si tu codes en python pur tu n'utilises pas ca, si tu utilises numpy ca devrait etre activer quand meme mais tu n'as pas de support pour le GPU

de l'apprentissage en profondeur hein ?

on peut voir ca si tu veut...

"penche toi et tousse"

Le 11 mai 2022 à 20:19:32 RMSProp a écrit :

Le 11 mai 2022 à 20:13:27 :

Le 11 mai 2022 à 19:44:09 RMSProp a écrit :

Le 11 mai 2022 à 13:08:50 :
Full math comme j'ai dit, à part pyplot pour les graph

dès j'utilise le truc d'un autre ya une merde quelque part c'est bon à force

Honnetement khey c'est pas une bonne strategie, ca va marcher pour des petits trucs mais tu vas vite etre limite
Par exemple tu ne pourras pas utiliser ton GPU, tu ne pourras pas tirer partie de la vectorization de ton CPU, tu vas en chier comme pas possible a developer des models plus complexe,etc..

Surtout pour ce que tu veux faire, tu vas tot ou tard utiliser le mechanisme d'attention et dans ce cas tu vas galerer en terme de perf si tu fais tout a la main
Faire son propre framework c'est cool pour apprendre, mais pas cool pour developer ses methodes
Si tu es interesser pour savoir comment faire son propre framework je peux te donner des ressources, mais mieux vaut apprendre a utiliser un framework genre Pytorch pour ton projet

Tu peux m'expliquer en quoi j'utilise pas la vectorisation vu que je fais mes opérations avec les matrices entières?
Je veux bien les ressources pour y faire un tour

Les processeurs modernes ont des instructions permettant de vectorizer les operations sur le CPU: https://en.wikipedia.org/wiki/Advanced_Vector_Extensions

Si tu codes en python pur tu n'utilises pas ca, si tu utilises numpy ca devrait etre activer quand meme mais tu n'as pas de support pour le GPU

Bah du coup c'est bon vu que j'utilise numpy

Sinon, encore, je vois pas le problème d'utiliser ses propres méthodes, comme j'ai dit ceux des autres ça marche pas donc poubelle