Un khey CALÉ en DEEP LEARNING? quelques questions

Le 28 avril 2022 à 00:08:25 :

Le 27 avril 2022 à 23:45:29 :

Le 27 avril 2022 à 23:38:09 :

Le 27 avril 2022 à 23:35:33 Banclistologue a écrit :

Le 27 avril 2022 à 23:26:51 :

Le 27 avril 2022 à 23:22:08 Banclistologue a écrit :

Le 27 avril 2022 à 23:15:20 :

Le 27 avril 2022 à 23:10:21 :

Le 27 avril 2022 à 23:04:57 Banclistologue a écrit :

Le 27 avril 2022 à 22:31:25 :

Le 27 avril 2022 à 22:29:11 RMSProp a écrit :

Le 27 avril 2022 à 22:10:52 :

Le 27 avril 2022 à 22:07:23 :

Le 27 avril 2022 à 22:01:31 :
-Dropout, ca sert surtout a regulariser le reseau. Tu peux aussi mettre un cout de regularization (L1 ou L2 penalite) afin de rendre le reseau "sparse" ca a certain avantage theorique en plus de reduire l'overfitting

-Ca existe, ca s'appel les "Skip connections", tu peux lire le paper sur RestNet ou DenseNet. De nos jours on met meme des coeff alpha et beta sur les connections pour eviter d'avoir a utiliser batch norm (lire le papier NFNets)

- Aucune idee, mais en ce moment tout le monde utiliser des Transformer-like donc ca doit marcher la bas aussi

-JAX ou Pytorch

Met plus de termes anglais pour aider un débutant je pense, sinon il va pas t'écouter
Et relis sa question, sauter une couche pour ne se connecter qu'à une couche antérieure, ça s'appelle juste une couche parallèle.
JAX ou pytorch

Par contre, je suis interessé par le "cout de régularisation" je connais pas.

Les termes en francais sont bidons et il trouvera rien sur Google

Les skips connections c'est pas que d'une couche à l'autre, ça peut se faire par blocks, de mémoire c'est le cas dans resnet avec une 1x1 conv pour gérer la différence de dimension
Les couches parallèle c'est plus dans le style Inception/googlelenet

Pourquoi ? Mes potes chez Google dev avec JAX et Pytorch est le framework dominant dans la recherche

L1 et L2 sont des "coûts" dans le sens où ça penalize ton réseau

Le 27 avril 2022 à 22:29:11 RMSProp a écrit :

Le 27 avril 2022 à 22:10:52 :

Le 27 avril 2022 à 22:07:23 :

Le 27 avril 2022 à 22:01:31 :
-Dropout, ca sert surtout a regulariser le reseau. Tu peux aussi mettre un cout de regularization (L1 ou L2 penalite) afin de rendre le reseau "sparse" ca a certain avantage theorique en plus de reduire l'overfitting

-Ca existe, ca s'appel les "Skip connections", tu peux lire le paper sur RestNet ou DenseNet. De nos jours on met meme des coeff alpha et beta sur les connections pour eviter d'avoir a utiliser batch norm (lire le papier NFNets)

- Aucune idee, mais en ce moment tout le monde utiliser des Transformer-like donc ca doit marcher la bas aussi

-JAX ou Pytorch

Met plus de termes anglais pour aider un débutant je pense, sinon il va pas t'écouter
Et relis sa question, sauter une couche pour ne se connecter qu'à une couche antérieure, ça s'appelle juste une couche parallèle.
JAX ou pytorch

Par contre, je suis interessé par le "cout de régularisation" je connais pas.

Les termes en francais sont bidons et il trouvera rien sur Google

Les skips connections c'est pas que d'une couche à l'autre, ça peut se faire par blocks, de mémoire c'est le cas dans resnet avec une 1x1 conv pour gérer la différence de dimension
Les couches parallèle c'est plus dans le style Inception/googlelenet

Pourquoi ? Mes potes chez Google dev avec JAX et Pytorch est le framework dominant dans la recherche

L1 et L2 sont des "coûts" dans le sens où ça penalize ton réseau

Penalise s'il est sous performant?

pénaliser un modèle pour sa sous-performance ça s'appelle juste faire de l'optimisation en fait

mais comme a dit le khey c'est pas le cas des termes additifs dans la loss type régularisation L2

le but c'est de forcer tes poids à rester sur des petites valeurs de sorte à restreindre un peu l'espace des états de ton modèle (plus tu pénalises moins ton modèle overfit)

l'idée intuitive c'est qu'en utilisant beaucoup, beaucoup de poids, mais en régularisant pour compenser, on laisse au modèle la possibilité de voir les exemples sous plein d'angles différents et de construire de très nombreuses caractérisations intermédiaires de l'exemple pour nourrir une réflexion riche sans pour autant qu'il se mette à apprendre par coeur

(enfin quand je dis nourrir une réflexion riche c'est une métaphore hein,comme disent les kheys en ML y'a pas vraiment d'intelligence ... à part en reinforcement peut-être)

Je viens de lire un article à propos des vanishing gradient, ya des méthodes connues pour stop ce problème?
Mon réseau sera assez profond du coup je vais forcément me manger ce phénomène https://image.noelshack.com/fichiers/2022/17/2/1650981471-karen17.png

bah typiquement les residual dont on parlait tout à l'heure ça aide
comme je disais ça diminue la profondeur apparente de ton réseau

mais en fait je vois pas trop comment tu pourrais te manger ce phénomène vu que tu vas probablement juste prendre une architecture déjà disponible comme un resnet, qui contient déjà une solution au problème
à moins que tu veuilles vraiment bosser sur les architectures nn mais dans ce cas c'est de la recherche pure en ML, pas du ML appliqué à la finance

si je voulais faire une analogie, c'est comme si tu voulais coder un petit jeu opensource qui tourne sur ubuntu mais que tu te sentais limité par des problèmes qui ont historiquement été rencontré lors du développement du noyau linux

Si c'est disponible c'est que ça marche pas kheyou, surtout dans la finance https://image.noelshack.com/fichiers/2022/17/1/1650876612-karen12.png

je parle de la techno sous-jacente
tu as une infinité de façon de l'utiliser ensuite

et honnêtement si tu veux un modèle original tu as plus intérêt à jouer sur l'originalité de ton dataset, ou de la méthode de training utilisée, plus que sur l'originalité de ton architecture

(et by the way, les marchés ne sont pas rationnels sur les assets avec très peu de liquidité)

Donc limite je peux copier coller un modèle puis lui faire avaler mes données c'est ce que tu dis? https://image.noelshack.com/fichiers/2022/17/1/1650876612-karen12.png

franchement, c'est un peu ça

après quelles sont tes données

quels sont tes inputs, est-ce que tu travailles en multi-modal et si oui comment tu vas gérer ça. est-ce que tu vas aussi t'appuyer sur des données d'actualités avec google trend, etc.

quels sont tes labels (lui faire deviner seulement le prix à t + delta t n'est pas forcément le meilleur moyen d'entraîner un premier gros modèle ou de chauffer ton modèle définitif, même si in fine c'est la tâche qui t'intéresse)

est-ce que tu vas faire du transfer learning, si oui tu te bases sur quel modèle

etc.

il y a mille façons de poser le problème

Tu as une base de données centralisée des modèles déjà trouvés? avec le contexte de son utilisation et les variantes?

https://huggingface.co/models

Le 28 avril 2022 à 19:12:26 Chunchunmaru a écrit :
Alors l'OP ?

Bah c'est en cours rome s'est pas construite en 1 jour
J'ai regardé quelques termes, je suis toujours en train de choisir le type de réseau (CNN ou LSTMN)
Là je suis des tutos pour apprendre les bases sur tensorflow

Ben tu sauvegardes ton modèle

Si j'ai bien compris tu penses réussir à prévoir les cours de cryptos avec un NN. Le problème est le suivant : les performances passées ne présagent pas des performances futures.

Le 28 avril 2022 à 20:44:54 bsilv a écrit :
Ben tu sauvegardes ton modèle

Si j'ai bien compris tu penses réussir à prévoir les cours de cryptos avec un NN. Le problème est le suivant : les performances passées ne présagent pas des performances futures.

Sauf que si

Le 28 avril 2022 à 19:21:05 :

Le 28 avril 2022 à 19:12:26 Chunchunmaru a écrit :
Alors l'OP ?

Bah c'est en cours rome s'est pas construite en 1 jour
J'ai regardé quelques termes, je suis toujours en train de choisir le type de réseau (CNN ou LSTMN)
Là je suis des tutos pour apprendre les bases sur tensorflow

D'accord, ça taffe au moins
D'ailleurs tu fais quoi comme formation ?

Le 30 avril 2022 à 01:15:36 Chunchunmaru a écrit :

Le 28 avril 2022 à 19:21:05 :

Le 28 avril 2022 à 19:12:26 Chunchunmaru a écrit :
Alors l'OP ?

Bah c'est en cours rome s'est pas construite en 1 jour
J'ai regardé quelques termes, je suis toujours en train de choisir le type de réseau (CNN ou LSTMN)
Là je suis des tutos pour apprendre les bases sur tensorflow

D'accord, ça taffe au moins
D'ailleurs tu fais quoi comme formation ?

Je suis des tutos par ci par là
T'as l'air intéressé par le ML tu veux en faire?

Au fait j'ai abandonné tensorflow c'est de la merde, c'est dingue comment tout ce qui s'approche de google est à chier
Je vais coder en full math

Le 30 avril 2022 à 02:03:45 :

Le 30 avril 2022 à 01:15:36 Chunchunmaru a écrit :

Le 28 avril 2022 à 19:21:05 :

Le 28 avril 2022 à 19:12:26 Chunchunmaru a écrit :
Alors l'OP ?

Bah c'est en cours rome s'est pas construite en 1 jour
J'ai regardé quelques termes, je suis toujours en train de choisir le type de réseau (CNN ou LSTMN)
Là je suis des tutos pour apprendre les bases sur tensorflow

D'accord, ça taffe au moins
D'ailleurs tu fais quoi comme formation ?

Je suis des tutos par ci par là
T'as l'air intéressé par le ML tu veux en faire?

Au fait j'ai abandonné tensorflow c'est de la merde, c'est dingue comment tout ce qui s'approche de google est à chier
Je vais coder en full math

Je vais suivre une formation en IA et théorie des jeux

Autant j'ai quelques base en ML mais pas encore en DL

C'est un domaine intéressant , raison de plus pour ajouter cette corde à mon arc

Et puis ça me fait revoir les math

D'ailleurs j'ai fav le topic ocazou

Enfin un topic qui redonne espoir au forum.

Ça change des « migrants, golems… »

Je lis.

Le 30 avril 2022 à 02:50:57 Chunchunmaru a écrit :

Le 30 avril 2022 à 02:03:45 :

Le 30 avril 2022 à 01:15:36 Chunchunmaru a écrit :

Le 28 avril 2022 à 19:21:05 :

Le 28 avril 2022 à 19:12:26 Chunchunmaru a écrit :
Alors l'OP ?

Bah c'est en cours rome s'est pas construite en 1 jour
J'ai regardé quelques termes, je suis toujours en train de choisir le type de réseau (CNN ou LSTMN)
Là je suis des tutos pour apprendre les bases sur tensorflow

D'accord, ça taffe au moins
D'ailleurs tu fais quoi comme formation ?

Je suis des tutos par ci par là
T'as l'air intéressé par le ML tu veux en faire?

Au fait j'ai abandonné tensorflow c'est de la merde, c'est dingue comment tout ce qui s'approche de google est à chier
Je vais coder en full math

Je vais suivre une formation en IA et théorie des jeux

Autant j'ai quelques base en ML mais pas encore en DL

C'est un domaine intéressant , raison de plus pour ajouter cette corde à mon arc

Et puis ça me fait revoir les math

D'ailleurs j'ai fav le topic ocazou

On se sent PROGRAMMEUR

Si tensorflow marchait je te cache pas que j'en aurais rien à foutre des maths mais c'est dingue comment la programmation fait tout pour que j'en chie un max à chaque fois

Bon du coup j'ai réussi à faire un neurone et comprendre pourquoi j'avais flingué certaines choses je passe sur un petit réseau maintenant

Moi aussi je prendrais le temps de répondre
Et par honnêteté je dirais si j'arrive à rien que je vous laisse pas à attendre pour rien

Le 30 avril 2022 à 03:30:34 :

Le 30 avril 2022 à 02:50:57 Chunchunmaru a écrit :

Le 30 avril 2022 à 02:03:45 :

Le 30 avril 2022 à 01:15:36 Chunchunmaru a écrit :

Le 28 avril 2022 à 19:21:05 :

Le 28 avril 2022 à 19:12:26 Chunchunmaru a écrit :
Alors l'OP ?

Bah c'est en cours rome s'est pas construite en 1 jour
J'ai regardé quelques termes, je suis toujours en train de choisir le type de réseau (CNN ou LSTMN)
Là je suis des tutos pour apprendre les bases sur tensorflow

D'accord, ça taffe au moins
D'ailleurs tu fais quoi comme formation ?

Je suis des tutos par ci par là
T'as l'air intéressé par le ML tu veux en faire?

Au fait j'ai abandonné tensorflow c'est de la merde, c'est dingue comment tout ce qui s'approche de google est à chier
Je vais coder en full math

Je vais suivre une formation en IA et théorie des jeux

Autant j'ai quelques base en ML mais pas encore en DL

C'est un domaine intéressant , raison de plus pour ajouter cette corde à mon arc

Et puis ça me fait revoir les math

D'ailleurs j'ai fav le topic ocazou

On se sent PROGRAMMEUR

Si tensorflow marchait je te cache pas que j'en aurais rien à foutre des maths mais c'est dingue comment la programmation fait tout pour que j'en chie un max à chaque fois

Bon du coup j'ai réussi à faire un neurone et comprendre pourquoi j'avais flingué certaines choses je passe sur un petit réseau maintenant

Moi aussi je prendrais le temps de répondre
Et par honnêteté je dirais si j'arrive à rien que je vous laisse pas à attendre pour rien

Programmeur :rore:

Mine de rien, je connais pas du tout TensorFlow, as-tu tester Scikit Learn ?

Bien bien, je verrai tes avancés

Le 30 avril 2022 à 12:58:27 :

Le 30 avril 2022 à 03:30:34 :

Le 30 avril 2022 à 02:50:57 Chunchunmaru a écrit :

Le 30 avril 2022 à 02:03:45 :

Le 30 avril 2022 à 01:15:36 Chunchunmaru a écrit :

Le 28 avril 2022 à 19:21:05 :

Le 28 avril 2022 à 19:12:26 Chunchunmaru a écrit :
Alors l'OP ?

Bah c'est en cours rome s'est pas construite en 1 jour
J'ai regardé quelques termes, je suis toujours en train de choisir le type de réseau (CNN ou LSTMN)
Là je suis des tutos pour apprendre les bases sur tensorflow

D'accord, ça taffe au moins
D'ailleurs tu fais quoi comme formation ?

Je suis des tutos par ci par là
T'as l'air intéressé par le ML tu veux en faire?

Au fait j'ai abandonné tensorflow c'est de la merde, c'est dingue comment tout ce qui s'approche de google est à chier
Je vais coder en full math

Je vais suivre une formation en IA et théorie des jeux

Autant j'ai quelques base en ML mais pas encore en DL

C'est un domaine intéressant , raison de plus pour ajouter cette corde à mon arc

Et puis ça me fait revoir les math

D'ailleurs j'ai fav le topic ocazou

On se sent PROGRAMMEUR

Si tensorflow marchait je te cache pas que j'en aurais rien à foutre des maths mais c'est dingue comment la programmation fait tout pour que j'en chie un max à chaque fois

Bon du coup j'ai réussi à faire un neurone et comprendre pourquoi j'avais flingué certaines choses je passe sur un petit réseau maintenant

Moi aussi je prendrais le temps de répondre
Et par honnêteté je dirais si j'arrive à rien que je vous laisse pas à attendre pour rien

Programmeur :rore:

Mine de rien, je connais pas du tout TensorFlow, as-tu tester Scikit Learn ?

Bien bien, je verrai tes avancés

J'utilise numpy, scikit learn, et matplotlib / plyplot

Pour l'instant je suis toujours en train de décider entre CNN LSTMN et réseau siamois, je sens que je vais faire les 3 en même temps ça va pas me casser les couilles longtemps

Le 30 avril 2022 à 13:49:46 :

Le 30 avril 2022 à 12:58:27 :

Le 30 avril 2022 à 03:30:34 :

Le 30 avril 2022 à 02:50:57 Chunchunmaru a écrit :

Le 30 avril 2022 à 02:03:45 :

Le 30 avril 2022 à 01:15:36 Chunchunmaru a écrit :

Le 28 avril 2022 à 19:21:05 :

Le 28 avril 2022 à 19:12:26 Chunchunmaru a écrit :
Alors l'OP ?

Bah c'est en cours rome s'est pas construite en 1 jour
J'ai regardé quelques termes, je suis toujours en train de choisir le type de réseau (CNN ou LSTMN)
Là je suis des tutos pour apprendre les bases sur tensorflow

D'accord, ça taffe au moins
D'ailleurs tu fais quoi comme formation ?

Je suis des tutos par ci par là
T'as l'air intéressé par le ML tu veux en faire?

Au fait j'ai abandonné tensorflow c'est de la merde, c'est dingue comment tout ce qui s'approche de google est à chier
Je vais coder en full math

Je vais suivre une formation en IA et théorie des jeux

Autant j'ai quelques base en ML mais pas encore en DL

C'est un domaine intéressant , raison de plus pour ajouter cette corde à mon arc

Et puis ça me fait revoir les math

D'ailleurs j'ai fav le topic ocazou

On se sent PROGRAMMEUR

Si tensorflow marchait je te cache pas que j'en aurais rien à foutre des maths mais c'est dingue comment la programmation fait tout pour que j'en chie un max à chaque fois

Bon du coup j'ai réussi à faire un neurone et comprendre pourquoi j'avais flingué certaines choses je passe sur un petit réseau maintenant

Moi aussi je prendrais le temps de répondre
Et par honnêteté je dirais si j'arrive à rien que je vous laisse pas à attendre pour rien

Programmeur :rore:

Mine de rien, je connais pas du tout TensorFlow, as-tu tester Scikit Learn ?

Bien bien, je verrai tes avancés

J'utilise numpy, scikit learn, et matplotlib / plyplot

Pour l'instant je suis toujours en train de décider entre CNN LSTMN et réseau siamois, je sens que je vais faire les 3 en même temps ça va pas me casser les couilles longtemps

Nicesu

Commence déjà par le plus facile

Le 02 mai 2022 à 20:03:11 :
J'ai créé un réseau CNN spécial
Enfin j'ai fait la théorie faut le coder, j'avoue que j'ai pas la motiv

Bien joué, au moins tu avances

Garde toujours en tête que c'est une tâche à faire pour plus tard

Le 02 mai 2022 à 21:09:47 Chunchunmaru a écrit :

Le 02 mai 2022 à 20:03:11 :
J'ai créé un réseau CNN spécial
Enfin j'ai fait la théorie faut le coder, j'avoue que j'ai pas la motiv

Bien joué, au moins tu avances

Garde toujours en tête que c'est une tâche à faire pour plus tard

A toujours remettre à plus tard...

Bon du coup mon réseau à entre 4 et 8 couches ça va non?
La fonction d'activation c'est forcément mieux ReLU?

Le 02 mai 2022 à 21:26:36 :

Le 02 mai 2022 à 21:09:47 Chunchunmaru a écrit :

Le 02 mai 2022 à 20:03:11 :
J'ai créé un réseau CNN spécial
Enfin j'ai fait la théorie faut le coder, j'avoue que j'ai pas la motiv

Bien joué, au moins tu avances

Garde toujours en tête que c'est une tâche à faire pour plus tard

A toujours remettre à plus tard...

Bon du coup mon réseau à entre 4 et 8 couches ça va non?
La fonction d'activation c'est forcément mieux ReLU?

Je pense que oui

Ça je ne sais pas

Le 27 avril 2022 à 21:07:58 :

Le 27 avril 2022 à 21:06:25 :

Le 27 avril 2022 à 21:03:29 Saephyros a écrit :
Pycharm c'est bloated as fuck en vrai, vaut mieux comprendre comment gérer toi même les environnements, les dependencies et le débugage pour comprendre ce que tu fais

Après je pars de presque 0, j'ai un peu les notions mathématiques mais niveau code en IA c'est 0
J'ai essayé jupyter c'est nul j'aime pas du tout les sortes de cellules

jupyter notebook = caca

Jupyter notebook c'est sympa pour tester ton code sans relancer tout ton code sur pycharm. Je l'utilise beaucoup pour visualiser ma base de données. Je vois pas pourquoi vous crachez dessus.