Je suis SPECIALISTE en IA/Deep Learning

Le 10 mars 2023 à 00:27:24 :

Le 10 mars 2023 à 00:25:45 :

Le 10 mars 2023 à 00:23:17 :
Difficile de rentrer en master IA avec une licence INFO ? combien de moyenne ?

On peut s'initier à l'IA par soi même ?

Quel type d'algorithme d'IA préfère tu ?

Y'a des débouchés à l'étranger par exemple ?

Aucune idée
Oui si on a des connaissances en maths/info et qu’on est un nerdz
J’aime les modèles génératifs en général, les modèles de diffusion sont extrêmement funs (et fonctionnent diablement bien)
J’aime les méthodes à noyaux (pour la beauté)
J’aime la programmation dynamique
Oui je crois en tout cas si t’es bon

Ok, quel type d'IA la plus simple faire de chez moi afin d'avoir des résultat simple et rapidement ?

Une petite IA d'algo génétique c'est faisable ?

Jamais vu algo génétique servir à qq chose

Le 10 mars 2023 à 00:32:19 :
Pourquoi j'ai que des nan quand je train mon vae full régression ?

nan cheese ou nan kebab ?

Le 10 mars 2023 à 00:34:03 :

Le 10 mars 2023 à 00:27:24 :

Le 10 mars 2023 à 00:25:45 :

Le 10 mars 2023 à 00:23:17 :
Difficile de rentrer en master IA avec une licence INFO ? combien de moyenne ?

On peut s'initier à l'IA par soi même ?

Quel type d'algorithme d'IA préfère tu ?

Y'a des débouchés à l'étranger par exemple ?

Aucune idée
Oui si on a des connaissances en maths/info et qu’on est un nerdz
J’aime les modèles génératifs en général, les modèles de diffusion sont extrêmement funs (et fonctionnent diablement bien)
J’aime les méthodes à noyaux (pour la beauté)
J’aime la programmation dynamique
Oui je crois en tout cas si t’es bon

Ok, quel type d'IA la plus simple faire de chez moi afin d'avoir des résultat simple et rapidement ?

Une petite IA d'algo génétique c'est faisable ?

Jamais vu algo génétique servir à qq chose

c'est assez puissant, ca permet de faire évoluer une solution sur un espace énorme de recherche.
et donc aussi par exemple de faire de l'apprentissage un-supervised en scorant les résultats d'une population de nnet.
un peu comme le q-learning.

Le 10 mars 2023 à 00:32:19 :
Pourquoi j'ai que des nan quand je train mon vae full régression ?

Tu dois avoir un inf / -inf quelque part ou un 0 avant une activation / log
Prends un bon debugger et utilise isnan / isinf, t’as sûrement une opération qui merde
Ou un mask (d’attention par ex) qui masque un élément complet sur tout une dimensions

Le 10 mars 2023 à 00:39:44 :
Un bon plan à partager pour se faire des sous avec l'IA ?

bot de trading

Le 10 mars 2023 à 00:37:08 :
Décris comment fonctionne l'algo xgboost

Le 10 mars 2023 à 00:37:08 :
Décris comment fonctionne l'algo xgboost

Tu crées une série de modèle qui corrigent les résidus et qui fonctionnent ensemble

Le 10 mars 2023 à 00:33:12 :

Le 10 mars 2023 à 00:30:14 :

Le 10 mars 2023 à 00:22:26 :

Le 10 mars 2023 à 00:14:09 :
differentes methodes d'entrainements sur un LSTM ?

C’est de la merde les LSTM, faut souvent faire du teacher forcing sauf que ça créée pleins de problèmes + propagations d’erreurs + c’est AR donc passe pas bien à l’échelle

Teacher forcing / exposure bias c’est pareil sur les transformers kheyou
Et pour avoir bosser le sujet les quelques solution de gen à base de RL ou relaxation continu = trop de variance, aucune fiabilité
Je pense que faut faire avec et bosser sur des meilleures techniques de decoding AR

Depuis quand y a du teacher forcing avec les transformers ? Ils fonctionnent strictement de la même manière en entraînement queen inférence ?
Et au moins ils passent à l’échelle

Bah la génération est AR, donc forcément tu samples les tokens un par un, c’est pas differentiable, donc exposure bias
Y’a tout un champ de recherche qui essaye de mitiger ça

Dans les domaines continus la génération est tellement moins chiante
J’adore le fonctionnement dès diffusion models aussi, c’est hyper élégant y’a rien de plus adapté. Sauf que pour du texte ça marche pas

Le 10 mars 2023 à 00:37:57 :

Le 10 mars 2023 à 00:34:03 :

Le 10 mars 2023 à 00:27:24 :

Le 10 mars 2023 à 00:25:45 :

Le 10 mars 2023 à 00:23:17 :
Difficile de rentrer en master IA avec une licence INFO ? combien de moyenne ?

On peut s'initier à l'IA par soi même ?

Quel type d'algorithme d'IA préfère tu ?

Y'a des débouchés à l'étranger par exemple ?

Aucune idée
Oui si on a des connaissances en maths/info et qu’on est un nerdz
J’aime les modèles génératifs en général, les modèles de diffusion sont extrêmement funs (et fonctionnent diablement bien)
J’aime les méthodes à noyaux (pour la beauté)
J’aime la programmation dynamique
Oui je crois en tout cas si t’es bon

Ok, quel type d'IA la plus simple faire de chez moi afin d'avoir des résultat simple et rapidement ?

Une petite IA d'algo génétique c'est faisable ?

Jamais vu algo génétique servir à qq chose

c'est assez puissant, ca permet de faire évoluer une solution sur un espace énorme de recherche.
et donc aussi par exemple de faire de l'apprentissage un-supervised en scorant les résultats d'une population de nnet.
un peu comme le q-learning.

J’ai jamais vu un algo génétique résoudre quoi que ce soit en dehors de cas synthétique

Le 10 mars 2023 à 00:42:37 :

Le 10 mars 2023 à 00:33:12 :

Le 10 mars 2023 à 00:30:14 :

Le 10 mars 2023 à 00:22:26 :

Le 10 mars 2023 à 00:14:09 :
differentes methodes d'entrainements sur un LSTM ?

C’est de la merde les LSTM, faut souvent faire du teacher forcing sauf que ça créée pleins de problèmes + propagations d’erreurs + c’est AR donc passe pas bien à l’échelle

Teacher forcing / exposure bias c’est pareil sur les transformers kheyou
Et pour avoir bosser le sujet les quelques solution de gen à base de RL ou relaxation continu = trop de variance, aucune fiabilité
Je pense que faut faire avec et bosser sur des meilleures techniques de decoding AR

Depuis quand y a du teacher forcing avec les transformers ? Ils fonctionnent strictement de la même manière en entraînement queen inférence ?
Et au moins ils passent à l’échelle

Bah la génération est AR, donc forcément tu samples les tokens un par un, c’est pas differentiable, donc exposure bias
Y’a tout un champ de recherche qui essaye de mitiger ça

Dans les domaines continus la génération est tellement moins chiante
J’adore le fonctionnement dès diffusion models aussi, c’est hyper élégant y’a rien de plus adapté. Sauf que pour du texte ça marche pas

Bah pour moi un transformer justement c’est pas AR
C’est juste une grosse matrice de self attention, c’est littéralement trois couches linéaires + activations et un soft max donc c’est tout ce qu’il y a de plus NAR