EXPERT Machine Learning Je réponds à tout
Le 27 octobre 2020 à 21:35:11 nonosim a écrit :
Le 27 octobre 2020 à 21:17:34 chibbimitia a écrit :
Le 27 octobre 2020 à 21:13:05 nonosim a écrit :
Le 27 octobre 2020 à 20:58:39 chibbimitia a écrit :
Le 27 octobre 2020 à 20:53:08 nonosim a écrit :
> Le 27 octobre 2020 à 20:47:49 Free_benalla a écrit :
>> Le 27 octobre 2020 à 20:45:48 Lkheyny a écrit :
> >> Le 27 octobre 2020 à 20:44:30 nonosim a écrit :
> > >T'en penses quoi du data engineering ? C'est ceux qui préparent les infrastructures de données, les pipelines... Apparemment c'est beaucoup plus recherché que les data scientists, beaucoup moins de diplômés aussi.
> >
> > Euh, dans un projet ML tu as du data engineering.
> >
> > Ce à quoi tu réfères je dirais que c'est davantage data mining, extraction donnée ect. Et c'est vital, c'est surtout ça qui fait la qualité d'un modèle ensuite... Garbage in, Garbage Out.
> >
> > Data Engineering c'est quand tu peaufines tes features, que tu en crées de nouvelles, des intéractions entre elles, des ratios, c'est intéressant à faire en soi ;) (attention à l'overfitting)
>
> non il parle des personne qui prépre les pipeline
> en gros ceux qui vont recuperer les données machine, les aggregée en base de données propre et les envoyé au différents utilisateur
>
> mon point de vue perso c'estque je pense que l'apprentissage est probablement plus 'simple' que dev des modèles, car y a un savoir limité en quantitée, docn après qqes années d'exp ta fait le tour des techno et tu te touchche les couille
Quand tu dis que " l'apprentissage est probablement plus 'simple' que dev des modèles" si j'ai bien compris, le métier de data scientist est beaucoup plus simple que data engineer, celui-ci doit continuer à apprendre toute sa vie ? Les salaires sont à peu près équivalents ?
J'ai peur que la data science soit une bulle qui risque d'exploser d'ici quelques années, en commençant mes études de maths on me l'a présenté comme un "domaine d'avenir" mais je me rends compte que c'est faux donc j'essaie de voir dans quoi je peux me réorienter si la data science est si surcotée que ça, sachant que je peux rallonger mes études de 2 ans si possible.
Conseil:
Go data engineer. ML engineer à la limite, mais 1 boite sur 100 en recrute réellement.
ML engineer = les mecs qui codent les modèles. En gros, à part facebook/google/amazon, t'as quasi aucune boite qui le fait réellement et avec des vraies contraintes.
Data engineer = création des outils, frameworks, pour faire du ML/data dessus. Mettre en place des clusters hadoop, tune des gros jobs spark, installer du presto en prod, gérer un metastore hive, etc.
Tout ca, c'est bien plus compliqué, ca paye bien + tu restes polyvalent, c'est avant tout des compétences de dev, donc tu peux facilement basculer sur du dev classique quand tu le voudras.Data engineer c'est beaucoup moins bouché que la data science c'est sûr mais en même temps je sais pas si ça me plairait vraiment. J'espère aussi ne pas "pisser du code" toute ma vie non plus, j'ai du mal à me représenter le quotidien d'un data engineer aussi
Ba "pisser du code", c'est péjoratif, mais en vrai, c'est quand même intellectuellement > majorité des jobs. C'est varié, t'apprends tout le temps, t'es tranquille, etc. Et ensuite tu peux évoluer sur du lead ou management, genre mon cas. Je gère une dizaine de personnes, j'ai plus le temps de coder moi même.
Ah ouais t'es data engineer ? Je préfère avoir un métier stimulant c'est sûr mais en même temps je suis pas une personne qui résiste bien au stress (parce que je me dis qu'au moins pour certains BS jobs y a 0 stress mais c'est sûr que tu te fais chier). Mais métier stimulant (où on peut évoluer) mais pas trop stressant ce serait l'idéal pour moi.
Je suis déjà en master de maths apps (y a de la data science, des maths fi etc). Faut repartir à partir de quelle niveau de formation pour devenir data engineer ? C'est dur de trouver des masters dans ce domaine alors que pour la data science y en a plein.
J'ai fais math app, je suis parti sur du dev classique ensuite en taff, et au fur et à mesure, je me suis orienté vers la data et je suis devenu data engineer. Enfin, j'étais.
Faut pas chercher forcément un master intitulé "data engineer". Tu montes tes compétences en dev (pas que du notebook python, du vrai dev, language typé, orienté object, un peu de fonctionnel, etc.). Tu prends des cours du stylé "Système Distribué" ou "Base Distribué", qui vont t'introduire au map reduce, à l'environnement hadoop, aux services cloud, etc.
Puis t'essaies de bosser tes algorithmes et structures de données, le truc archi chiant et pas trop utile...sauf pour aller chercher un taff dans une grosse boite de tech. Et là, t'es golden. Perds pas ton temps dans des cabinets, ssii ou autre, tu vises la grosse boite tech si tu peux, t'y fais quelques années, et ensuite, tu peux littéralement aller où tu veux.
Ah et clairement, la grosse boite tech, à part cas particuliers, c'est très peu stressant hein. T'es entouré de gens brillants, l'esprit c'est de traiter les employés le mieux possible (vu que tout le monde se les arrache), tu fais des horaires corrects, etc. T'es jamais à l'abri du manager tyrannique évidemment, mais t'as tellement de faciliter à change de taff de toute facon que ca dure jamais longtemps.
Le 27 octobre 2020 à 20:51:41 Sprycotcot a écrit :
Si je veux faire un réseau de neurone pour une ia qui joue au snake, c'est quoi les grosses étapes pour y parvenir ?T'aurais des livres / formations qui traitent de cet aspect là à conseiller ?
T'as pas répondu l'op 
Données du topic
- Auteur
- Lkheyny
- Date de création
- 27 octobre 2020 à 20:13:23
- Nb. messages archivés
- 215
- Nb. messages JVC
- 215