Un khey CALÉ en DEEP LEARNING? quelques questions
Le 27 avril 2022 à 22:03:53 :
Le 27 avril 2022 à 22:02:08 :
Le 27 avril 2022 à 21:50:28 :
Le 27 avril 2022 à 21:47:17 ploud4 a écrit :
Le 27 avril 2022 à 21:46:00 :
je sais pas qui croire bordel
je veux juste des graphMais merci je compte bien persévérer
Bah teste.
C'est le seul moyen de savoir quand tu fais du ML.
ça me plait ça try and error
Au fait à propos des "neurons"
Si je devais coder ça avec mon savoir actuel je ferais une variable pour chaque neurone, j'imagine que c'est le pire truc à faire
j'ai vu que ça utilise des matrices, tout le réseau tient dans une seule matrice ?POurquoi ils appellent ça des "neurones" ? On est d'accord que c'est n'importe quoi sémantiquement et que ça réplique absolument pas un vrai schéma neuronal humain, c'est juste que c'est plus vendeur et que ça fait "intelligence" d'utiliser ce genre de termes alors que sur le fond c'est pas du tout des vrais "IA" ?
Ca y est, tu comprends que "l'Intelligence Artificielle" n'a en vérité rien d'intelligent?
Oui, ça a toujours été un terme marketing pour attirer des investisseurs et ça a marché du tonnerre
Je suis pas du tout dev quai, je suis ça de très loin mais si ça me parait être ultra marketing dans la plupart des famosas "start up" qui lèvent des fonds pour proposer de la merde j'ai l'impression que même dans la recherche ou les projets perso ça n'a rien d'intelligent. C'est un scripte "classique" quoi, c'est juste une organisation particulière mais ça s'arrête là. Mais je pensais que c'était le cas uniquement pour du machine learning, mais là à vous lire si vous parlez de deep learning y a une différence avec le machine learning ? Parce que j'ai l'impression que c'est les même conneries 
Le 27 avril 2022 à 22:07:23 :
Le 27 avril 2022 à 22:01:31 :
-Dropout, ca sert surtout a regulariser le reseau. Tu peux aussi mettre un cout de regularization (L1 ou L2 penalite) afin de rendre le reseau "sparse" ca a certain avantage theorique en plus de reduire l'overfitting-Ca existe, ca s'appel les "Skip connections", tu peux lire le paper sur RestNet ou DenseNet. De nos jours on met meme des coeff alpha et beta sur les connections pour eviter d'avoir a utiliser batch norm (lire le papier NFNets)
- Aucune idee, mais en ce moment tout le monde utiliser des Transformer-like donc ca doit marcher la bas aussi
-JAX ou Pytorch
Met plus de termes anglais pour aider un débutant je pense, sinon il va pas t'écouter 
Et relis sa question, sauter une couche pour ne se connecter qu'à une couche antérieure, ça s'appelle juste une couche parallèle.
JAX ou pytorch 
Par contre, je suis interessé par le "cout de régularisation" je connais pas.
Le 27 avril 2022 à 22:07:17 Peil a écrit :
Le 27 avril 2022 à 22:06:49 :
Le 27 avril 2022 à 22:05:47 Peil a écrit :
Le 27 avril 2022 à 22:04:48 :
Le 27 avril 2022 à 22:03:01 Peil a écrit :
Le 27 avril 2022 à 22:01:25 :
Le 27 avril 2022 à 21:59:04 :
Le 27 avril 2022 à 21:56:48 :
Le 27 avril 2022 à 21:54:32 :
Le 27 avril 2022 à 21:44:12 :
Ca dit "installe jupyter" mais ça ne sait pas comment l'installer avec support GPU, je vois le genre, tu te fais troller l'OP.
C'est une vraie plaie à installer, aucun tuto valable pour le faire.
Et à lancer, jupyterlab :nez:Il a qu'à installer Anaconda qui a déjà tout intégré dont Jupyter
Anaconda m'a apporté que des malheurs, si je l'installe sur une machine virtuelle? Je pers en performance? Je préfère télécharger "word.exe" qui vient d'un site porno zoophile allemand que de mettre anaconda direct sur ma machine.
Kek, quel problème? Jamais eu de soucis avec Anaconda perso, t'es sûr que t'as pas téléchargé une version albanaise via un site tiers hébergé aux Philipines?
Moi j'ai jamais eu de problème avec idle perso
anaconda : deux réinstallations, je peux même pas faire tourner un print("PUTAIN CONDA T A CHIER")Un peu de dignité khey, y'a littéralement trois clics à tout casser pour installer proprement Anaconda, tout est fait à ta place. Tu t'es foiré quelque part mais ne rejette pas la faute sur ce bon vieux Anaconda
perso team IDE aussi
Toi tu es team "je n'utilise pas Jupyter Notebook", le droit à la parole t'es donc refusé d'office
Tu es un homme ? Oui j'utilise des cellules
Ton corps est composé de quoi? Spoiler: de cellules
Echec et mat
ayaaaa 
Le 27 avril 2022 à 22:10:52 Citranus a écrit :
Le 27 avril 2022 à 22:07:23 :
Le 27 avril 2022 à 22:01:31 :
-Dropout, ca sert surtout a regulariser le reseau. Tu peux aussi mettre un cout de regularization (L1 ou L2 penalite) afin de rendre le reseau "sparse" ca a certain avantage theorique en plus de reduire l'overfitting-Ca existe, ca s'appel les "Skip connections", tu peux lire le paper sur RestNet ou DenseNet. De nos jours on met meme des coeff alpha et beta sur les connections pour eviter d'avoir a utiliser batch norm (lire le papier NFNets)
- Aucune idee, mais en ce moment tout le monde utiliser des Transformer-like donc ca doit marcher la bas aussi
-JAX ou Pytorch
Met plus de termes anglais pour aider un débutant je pense, sinon il va pas t'écouter
Et relis sa question, sauter une couche pour ne se connecter qu'à une couche antérieure, ça s'appelle juste une couche parallèle.
JAX ou pytorchPar contre, je suis interessé par le "cout de régularisation" je connais pas.
Nan mais au contraire je veux les noms des termes, en anglais ça me permet de trouver direct
Le 27 avril 2022 à 22:07:23 RMSProp a écrit :
Le 27 avril 2022 à 22:01:31 :
-Dropout, ca sert surtout a regulariser le reseau. Tu peux aussi mettre un cout de regularization (L1 ou L2 penalite) afin de rendre le reseau "sparse" ca a certain avantage theorique en plus de reduire l'overfitting-Ca existe, ca s'appel les "Skip connections", tu peux lire le paper sur RestNet ou DenseNet. De nos jours on met meme des coeff alpha et beta sur les connections pour eviter d'avoir a utiliser batch norm (lire le papier NFNets)
- Aucune idee, mais en ce moment tout le monde utiliser des Transformer-like donc ca doit marcher la bas aussi
-JAX ou Pytorch
encore pytorch RIP
Le 27 avril 2022 à 22:08:24 Neframoth a écrit :
Bah pas relier = poids du neurone = 0
donc on supprime?
Le 27 avril 2022 à 22:15:39 Foxyorki15 a écrit :
t'es en école d'ingé l'op ?
Non du tout c'estun projet perso 
le projet de ma vie même
Le 27 avril 2022 à 22:10:52 :
Le 27 avril 2022 à 22:07:23 :
Le 27 avril 2022 à 22:01:31 :
-Dropout, ca sert surtout a regulariser le reseau. Tu peux aussi mettre un cout de regularization (L1 ou L2 penalite) afin de rendre le reseau "sparse" ca a certain avantage theorique en plus de reduire l'overfitting-Ca existe, ca s'appel les "Skip connections", tu peux lire le paper sur RestNet ou DenseNet. De nos jours on met meme des coeff alpha et beta sur les connections pour eviter d'avoir a utiliser batch norm (lire le papier NFNets)
- Aucune idee, mais en ce moment tout le monde utiliser des Transformer-like donc ca doit marcher la bas aussi
-JAX ou Pytorch
Met plus de termes anglais pour aider un débutant je pense, sinon il va pas t'écouter
Et relis sa question, sauter une couche pour ne se connecter qu'à une couche antérieure, ça s'appelle juste une couche parallèle.
JAX ou pytorchPar contre, je suis interessé par le "cout de régularisation" je connais pas.
Les termes en francais sont bidons et il trouvera rien sur Google
Les skips connections c'est pas que d'une couche à l'autre, ça peut se faire par blocks, de mémoire c'est le cas dans resnet avec une 1x1 conv pour gérer la différence de dimension
Les couches parallèle c'est plus dans le style Inception/googlelenet
Pourquoi ? Mes potes chez Google dev avec JAX et Pytorch est le framework dominant dans la recherche
L1 et L2 sont des "coûts" dans le sens où ça penalize ton réseau
Le 27 avril 2022 à 22:19:11 :
Mais sinon, les pros jupyter, en S2S, c'est quoi le soucis quand on utilise pas jupyter?
Le 27 avril 2022 à 22:29:11 RMSProp a écrit :
Le 27 avril 2022 à 22:10:52 :
Le 27 avril 2022 à 22:07:23 :
Le 27 avril 2022 à 22:01:31 :
-Dropout, ca sert surtout a regulariser le reseau. Tu peux aussi mettre un cout de regularization (L1 ou L2 penalite) afin de rendre le reseau "sparse" ca a certain avantage theorique en plus de reduire l'overfitting-Ca existe, ca s'appel les "Skip connections", tu peux lire le paper sur RestNet ou DenseNet. De nos jours on met meme des coeff alpha et beta sur les connections pour eviter d'avoir a utiliser batch norm (lire le papier NFNets)
- Aucune idee, mais en ce moment tout le monde utiliser des Transformer-like donc ca doit marcher la bas aussi
-JAX ou Pytorch
Met plus de termes anglais pour aider un débutant je pense, sinon il va pas t'écouter
Et relis sa question, sauter une couche pour ne se connecter qu'à une couche antérieure, ça s'appelle juste une couche parallèle.
JAX ou pytorchPar contre, je suis interessé par le "cout de régularisation" je connais pas.
Les termes en francais sont bidons et il trouvera rien sur Google
Les skips connections c'est pas que d'une couche à l'autre, ça peut se faire par blocks, de mémoire c'est le cas dans resnet avec une 1x1 conv pour gérer la différence de dimension
Les couches parallèle c'est plus dans le style Inception/googlelenetPourquoi
L1 et L2 sont des "coûts" dans le sens où ça penalize ton réseau
Le 27 avril 2022 à 22:29:11 RMSProp a écrit :
Le 27 avril 2022 à 22:10:52 :
Le 27 avril 2022 à 22:07:23 :
Le 27 avril 2022 à 22:01:31 :
-Dropout, ca sert surtout a regulariser le reseau. Tu peux aussi mettre un cout de regularization (L1 ou L2 penalite) afin de rendre le reseau "sparse" ca a certain avantage theorique en plus de reduire l'overfitting-Ca existe, ca s'appel les "Skip connections", tu peux lire le paper sur RestNet ou DenseNet. De nos jours on met meme des coeff alpha et beta sur les connections pour eviter d'avoir a utiliser batch norm (lire le papier NFNets)
- Aucune idee, mais en ce moment tout le monde utiliser des Transformer-like donc ca doit marcher la bas aussi
-JAX ou Pytorch
Met plus de termes anglais pour aider un débutant je pense, sinon il va pas t'écouter
Et relis sa question, sauter une couche pour ne se connecter qu'à une couche antérieure, ça s'appelle juste une couche parallèle.
JAX ou pytorchPar contre, je suis interessé par le "cout de régularisation" je connais pas.
Les termes en francais sont bidons et il trouvera rien sur Google
Les skips connections c'est pas que d'une couche à l'autre, ça peut se faire par blocks, de mémoire c'est le cas dans resnet avec une 1x1 conv pour gérer la différence de dimension
Les couches parallèle c'est plus dans le style Inception/googlelenetPourquoi
L1 et L2 sont des "coûts" dans le sens où ça penalize ton réseau
Penalise s'il est sous performant?
Le 27 avril 2022 à 22:29:11 :
Le 27 avril 2022 à 22:10:52 :
Le 27 avril 2022 à 22:07:23 :
Le 27 avril 2022 à 22:01:31 :
-Dropout, ca sert surtout a regulariser le reseau. Tu peux aussi mettre un cout de regularization (L1 ou L2 penalite) afin de rendre le reseau "sparse" ca a certain avantage theorique en plus de reduire l'overfitting-Ca existe, ca s'appel les "Skip connections", tu peux lire le paper sur RestNet ou DenseNet. De nos jours on met meme des coeff alpha et beta sur les connections pour eviter d'avoir a utiliser batch norm (lire le papier NFNets)
- Aucune idee, mais en ce moment tout le monde utiliser des Transformer-like donc ca doit marcher la bas aussi
-JAX ou Pytorch
Met plus de termes anglais pour aider un débutant je pense, sinon il va pas t'écouter
Et relis sa question, sauter une couche pour ne se connecter qu'à une couche antérieure, ça s'appelle juste une couche parallèle.
JAX ou pytorchPar contre, je suis interessé par le "cout de régularisation" je connais pas.
Les termes en francais sont bidons et il trouvera rien sur Google
Les skips connections c'est pas que d'une couche à l'autre, ça peut se faire par blocks, de mémoire c'est le cas dans resnet avec une 1x1 conv pour gérer la différence de dimension
Les couches parallèle c'est plus dans le style Inception/googlelenetPourquoi
L1 et L2 sont des "coûts" dans le sens où ça penalize ton réseau
Pour débuter Keras > tout.
Les couches parallèles, c'est ce qu'il décrit.
JAX pytorch, tensorflow, tous se valent... t'en essaye un, si ça te va tu gardes, sinon tu changes.
Explique en détail, je vois pas du tout ce que tu veux dire.
Le 27 avril 2022 à 22:30:29 RMSProp a écrit :
Le 27 avril 2022 à 22:13:21 :
Le 27 avril 2022 à 22:07:23 RMSProp a écrit :
Le 27 avril 2022 à 22:01:31 :
-Dropout, ca sert surtout a regulariser le reseau. Tu peux aussi mettre un cout de regularization (L1 ou L2 penalite) afin de rendre le reseau "sparse" ca a certain avantage theorique en plus de reduire l'overfitting-Ca existe, ca s'appel les "Skip connections", tu peux lire le paper sur RestNet ou DenseNet. De nos jours on met meme des coeff alpha et beta sur les connections pour eviter d'avoir a utiliser batch norm (lire le papier NFNets)
- Aucune idee, mais en ce moment tout le monde utiliser des Transformer-like donc ca doit marcher la bas aussi
-JAX ou Pytorch
encore pytorch RIP
Pytorch c'est super facile à apprendre
Si tu veux apprendre je recommande: http://d2l.ai/
Je me base sur ça pour faire mes cours et les étudiants comprennent sans trop de difficultés
D'abord je recherche tous les termes qui ont été dit ici
Puis je fais le plan du réseau
Puis je tente de le constuire sous pycharm
Et si ça marche pas ou que pour optimiser il faille pytorch j'irais dessus 
Le 27 avril 2022 à 22:31:25 :
Le 27 avril 2022 à 22:29:11 RMSProp a écrit :
Le 27 avril 2022 à 22:10:52 :
Le 27 avril 2022 à 22:07:23 :
Le 27 avril 2022 à 22:01:31 :
-Dropout, ca sert surtout a regulariser le reseau. Tu peux aussi mettre un cout de regularization (L1 ou L2 penalite) afin de rendre le reseau "sparse" ca a certain avantage theorique en plus de reduire l'overfitting-Ca existe, ca s'appel les "Skip connections", tu peux lire le paper sur RestNet ou DenseNet. De nos jours on met meme des coeff alpha et beta sur les connections pour eviter d'avoir a utiliser batch norm (lire le papier NFNets)
- Aucune idee, mais en ce moment tout le monde utiliser des Transformer-like donc ca doit marcher la bas aussi
-JAX ou Pytorch
Met plus de termes anglais pour aider un débutant je pense, sinon il va pas t'écouter
Et relis sa question, sauter une couche pour ne se connecter qu'à une couche antérieure, ça s'appelle juste une couche parallèle.
JAX ou pytorchPar contre, je suis interessé par le "cout de régularisation" je connais pas.
Les termes en francais sont bidons et il trouvera rien sur Google
Les skips connections c'est pas que d'une couche à l'autre, ça peut se faire par blocks, de mémoire c'est le cas dans resnet avec une 1x1 conv pour gérer la différence de dimension
Les couches parallèle c'est plus dans le style Inception/googlelenetPourquoi
L1 et L2 sont des "coûts" dans le sens où ça penalize ton réseau
Le 27 avril 2022 à 22:29:11 RMSProp a écrit :
Le 27 avril 2022 à 22:10:52 :
Le 27 avril 2022 à 22:07:23 :
Le 27 avril 2022 à 22:01:31 :
-Dropout, ca sert surtout a regulariser le reseau. Tu peux aussi mettre un cout de regularization (L1 ou L2 penalite) afin de rendre le reseau "sparse" ca a certain avantage theorique en plus de reduire l'overfitting-Ca existe, ca s'appel les "Skip connections", tu peux lire le paper sur RestNet ou DenseNet. De nos jours on met meme des coeff alpha et beta sur les connections pour eviter d'avoir a utiliser batch norm (lire le papier NFNets)
- Aucune idee, mais en ce moment tout le monde utiliser des Transformer-like donc ca doit marcher la bas aussi
-JAX ou Pytorch
Met plus de termes anglais pour aider un débutant je pense, sinon il va pas t'écouter
Et relis sa question, sauter une couche pour ne se connecter qu'à une couche antérieure, ça s'appelle juste une couche parallèle.
JAX ou pytorchPar contre, je suis interessé par le "cout de régularisation" je connais pas.
Les termes en francais sont bidons et il trouvera rien sur Google
Les skips connections c'est pas que d'une couche à l'autre, ça peut se faire par blocks, de mémoire c'est le cas dans resnet avec une 1x1 conv pour gérer la différence de dimension
Les couches parallèle c'est plus dans le style Inception/googlelenetPourquoi
L1 et L2 sont des "coûts" dans le sens où ça penalize ton réseau
Penalise s'il est sous performant?
Je suis la discussion depuis le début et je te conseille vraiment de faire un ou deux cours en ligne sur les principaux algos. Ne te focalise pas uniquement sur les NN l'op. Commence par des choses simples : régression logistique / knn / clustering avec kmeans etc.
Ce cours par exemple : https://fr.coursera.org/learn/machine-learning
Le 27 avril 2022 à 22:38:36 MonsieurFuji a écrit :
Le 27 avril 2022 à 22:31:25 :
Le 27 avril 2022 à 22:29:11 RMSProp a écrit :
Le 27 avril 2022 à 22:10:52 :
Le 27 avril 2022 à 22:07:23 :
Le 27 avril 2022 à 22:01:31 :
-Dropout, ca sert surtout a regulariser le reseau. Tu peux aussi mettre un cout de regularization (L1 ou L2 penalite) afin de rendre le reseau "sparse" ca a certain avantage theorique en plus de reduire l'overfitting-Ca existe, ca s'appel les "Skip connections", tu peux lire le paper sur RestNet ou DenseNet. De nos jours on met meme des coeff alpha et beta sur les connections pour eviter d'avoir a utiliser batch norm (lire le papier NFNets)
- Aucune idee, mais en ce moment tout le monde utiliser des Transformer-like donc ca doit marcher la bas aussi
-JAX ou Pytorch
Met plus de termes anglais pour aider un débutant je pense, sinon il va pas t'écouter
Et relis sa question, sauter une couche pour ne se connecter qu'à une couche antérieure, ça s'appelle juste une couche parallèle.
JAX ou pytorchPar contre, je suis interessé par le "cout de régularisation" je connais pas.
Les termes en francais sont bidons et il trouvera rien sur Google
Les skips connections c'est pas que d'une couche à l'autre, ça peut se faire par blocks, de mémoire c'est le cas dans resnet avec une 1x1 conv pour gérer la différence de dimension
Les couches parallèle c'est plus dans le style Inception/googlelenetPourquoi
L1 et L2 sont des "coûts" dans le sens où ça penalize ton réseau
Le 27 avril 2022 à 22:29:11 RMSProp a écrit :
Le 27 avril 2022 à 22:10:52 :
Le 27 avril 2022 à 22:07:23 :
Le 27 avril 2022 à 22:01:31 :
-Dropout, ca sert surtout a regulariser le reseau. Tu peux aussi mettre un cout de regularization (L1 ou L2 penalite) afin de rendre le reseau "sparse" ca a certain avantage theorique en plus de reduire l'overfitting-Ca existe, ca s'appel les "Skip connections", tu peux lire le paper sur RestNet ou DenseNet. De nos jours on met meme des coeff alpha et beta sur les connections pour eviter d'avoir a utiliser batch norm (lire le papier NFNets)
- Aucune idee, mais en ce moment tout le monde utiliser des Transformer-like donc ca doit marcher la bas aussi
-JAX ou Pytorch
Met plus de termes anglais pour aider un débutant je pense, sinon il va pas t'écouter
Et relis sa question, sauter une couche pour ne se connecter qu'à une couche antérieure, ça s'appelle juste une couche parallèle.
JAX ou pytorchPar contre, je suis interessé par le "cout de régularisation" je connais pas.
Les termes en francais sont bidons et il trouvera rien sur Google
Les skips connections c'est pas que d'une couche à l'autre, ça peut se faire par blocks, de mémoire c'est le cas dans resnet avec une 1x1 conv pour gérer la différence de dimension
Les couches parallèle c'est plus dans le style Inception/googlelenetPourquoi
L1 et L2 sont des "coûts" dans le sens où ça penalize ton réseau
Penalise s'il est sous performant?
Je suis la discussion depuis le début et je te conseille vraiment de faire un ou deux cours en ligne sur les principaux algos. Ne te focalise pas uniquement sur les NN l'op. Commence par des choses simples : régression logistique / knn / clustering avec kmeans etc.
Ce cours par exemple : https://fr.coursera.org/learn/machine-learning
Merci de toute façon je comptais regarder en détail chaque post et voir les termes qui ont été dit une fois que le topic a bidé
Je pense pas que la finance puisse se faire résoudre avec quelques régressions cependant
Le 27 avril 2022 à 22:31:38 :
Le 27 avril 2022 à 22:29:11 :
Le 27 avril 2022 à 22:10:52 :
Le 27 avril 2022 à 22:07:23 :
Le 27 avril 2022 à 22:01:31 :
-Dropout, ca sert surtout a regulariser le reseau. Tu peux aussi mettre un cout de regularization (L1 ou L2 penalite) afin de rendre le reseau "sparse" ca a certain avantage theorique en plus de reduire l'overfitting-Ca existe, ca s'appel les "Skip connections", tu peux lire le paper sur RestNet ou DenseNet. De nos jours on met meme des coeff alpha et beta sur les connections pour eviter d'avoir a utiliser batch norm (lire le papier NFNets)
- Aucune idee, mais en ce moment tout le monde utiliser des Transformer-like donc ca doit marcher la bas aussi
-JAX ou Pytorch
Met plus de termes anglais pour aider un débutant je pense, sinon il va pas t'écouter
Et relis sa question, sauter une couche pour ne se connecter qu'à une couche antérieure, ça s'appelle juste une couche parallèle.
JAX ou pytorchPar contre, je suis interessé par le "cout de régularisation" je connais pas.
Les termes en francais sont bidons et il trouvera rien sur Google
Les skips connections c'est pas que d'une couche à l'autre, ça peut se faire par blocks, de mémoire c'est le cas dans resnet avec une 1x1 conv pour gérer la différence de dimension
Les couches parallèle c'est plus dans le style Inception/googlelenetPourquoi
L1 et L2 sont des "coûts" dans le sens où ça penalize ton réseau
Pour débuter Keras > tout.
Les couches parallèles, c'est ce qu'il décrit.
JAX pytorch, tensorflow, tous se valent... t'en essaye un, si ça te va tu gardes, sinon tu changes.Explique en détail, je vois pas du tout ce que tu veux dire.
Ça dépend des personnes, keras est très bien mais moins flexible
Il parle de sauter des couches -> Skip connections
Oui tous se valent, mais quitte à apprendre tensorflow mieux vaut apprendre JAX
Les régularisations imposent un coût au réseau de neurone en pénalisant la norme du vecteur représentant les paramètres du réseau. Donc pénalisant la distance vers 0 du vecteur de paramètres
Données du topic
- Auteur
- HunterChasseur
- Date de création
- 27 avril 2022 à 20:54:28
- Nb. messages archivés
- 257
- Nb. messages JVC
- 245
JvArchive compagnon