Je suis SPECIALISTE en IA/Deep Learning

Le 09 mars 2023 à 23:50:14 :
Je bosse à peu près sur les mêmes choses que toi, modèles génératifs pour texte et autre modalité kheyou

La en ce moment plus sur l’évaluation des résultats pour essayer d’avoir des trucs plus pertinents sur bleu etc

Intéressant moi kheyou, quelle est ta dernière lecture intéressante ?

Le 09 mars 2023 à 23:55:03 :
quel est ton avis sur le débat qui fait rage concernant les ia type midjourney stable diffusion and co qui s'entrainent sur des bases de données remplies d'images copyrightées

Je m’en branle pour être tout à fait honnête

Le 09 mars 2023 à 23:57:18 :
C'est pas tout le temps la même chose ce genre de job en vrai?

C’est à la fois répétitif et ça change tous les 6 mois ahiiii mais le bon côté c’est qu’on peut laisser libre court à son imagination (en particulier avec les modèles génératifs)

Le 10 mars 2023 à 00:03:33 :
Comment tu construis une bonne base de données (représentative etc) pour l'apprentissage d'un algo ?

Il faut filer la tâche à un stagiaire
Sérieusement c’est une tache infâme et j’ai la chance de bosser avec des parternaires industrielles qui nous filent des données d’une qualité exceptionnelle

Le 10 mars 2023 à 00:10:51 :
Y'a beaucoup de modeles multimodaux qui sortent en ce moment, ca avance a un rythme effréné, tu predis quand la premiere AGI l'op ?

C’est terriblement vrai, en TTS par exemple VALL-E (et Facebook ont sorti un équivalent ) a démontré qu’un modèle de langage simple et passé a lechelle type DALL-E peut enculer toute la baseline et resoudre a lui seule le cas de zero shot (copier une voix quoi)

Le 10 mars 2023 à 00:14:09 :
differentes methodes d'entrainements sur un LSTM ?

C’est de la merde les LSTM, faut souvent faire du teacher forcing sauf que ça créée pleins de problèmes + propagations d’erreurs + c’est AR donc passe pas bien à l’échelle

Le 10 mars 2023 à 00:20:01 :

Le 10 mars 2023 à 00:18:26 :
ce qui m'etonne dans ces nouvelles filières, AI, data scientist etc..
c'est qu'en sortie d'étude, on vous enlève python, tensorflow, et la, ben y a plus rien

Un mec qui fait du Taekwondo, il finit en fauteuil, hop y a plus rien

analogie un peu merdique khey

j'dirai plutôt, y a ceux qui prennent les cours de Taekwondo jusqu'au dernier dan, et puis y a ceux qui prennent les leçons juste pour enfiler le kimono et saluer le tatami.

Difficile de rentrer en master IA avec une licence INFO ? combien de moyenne ?

On peut s'initier à l'IA par soi même ?

Quel type d'algorithme d'IA préfère tu ?

Y'a des débouchés à l'étranger par exemple ?

Le 10 mars 2023 à 00:18:26 :
ce qui m'etonne dans ces nouvelles filières, AI, data scientist etc..
c'est qu'en sortie d'étude, on vous enlève python, tensorflow, et la, ben y a plus rien

Moi je suis plutôt Pytorch et Jax mais effectivement si tu m’enlèves python je ne sers plu à rien

Dernière lecture intéressante je dirai DetectGPT
Mais depuis quelques mois je lis plus énormément, j’ai tellement de trucs à faire que les quelques papiers que je vois passer je l s torche en diagonale a part ceux qui m’intéressent vraiment

Et toi ?

Le 10 mars 2023 à 00:23:17 :
Difficile de rentrer en master IA avec une licence INFO ? combien de moyenne ?

On peut s'initier à l'IA par soi même ?

Quel type d'algorithme d'IA préfère tu ?

Y'a des débouchés à l'étranger par exemple ?

Aucune idée
Oui si on a des connaissances en maths/info et qu’on est un nerdz
J’aime les modèles génératifs en général, les modèles de diffusion sont extrêmement funs (et fonctionnent diablement bien)
J’aime les méthodes à noyaux (pour la beauté)
J’aime la programmation dynamique
Oui je crois en tout cas si t’es bon

Le 10 mars 2023 à 00:22:26 :

Le 10 mars 2023 à 00:14:09 :
differentes methodes d'entrainements sur un LSTM ?

C’est de la merde les LSTM, faut souvent faire du teacher forcing sauf que ça créée pleins de problèmes + propagations d’erreurs + c’est AR donc passe pas bien à l’échelle

que penser des techniques d'évolutions topologique des réseaux à travers différents types d'algo évolutionnaires tel que les génétiques?

comment apprendre avec des ressources francophones

j'ai des bases, j'ai suivi un cours d'IA M1 (je suis physicieux)

Le 10 mars 2023 à 00:25:45 :

Le 10 mars 2023 à 00:23:17 :
Difficile de rentrer en master IA avec une licence INFO ? combien de moyenne ?

On peut s'initier à l'IA par soi même ?

Quel type d'algorithme d'IA préfère tu ?

Y'a des débouchés à l'étranger par exemple ?

Aucune idée
Oui si on a des connaissances en maths/info et qu’on est un nerdz
J’aime les modèles génératifs en général, les modèles de diffusion sont extrêmement funs (et fonctionnent diablement bien)
J’aime les méthodes à noyaux (pour la beauté)
J’aime la programmation dynamique
Oui je crois en tout cas si t’es bon

Ok, quel type d'IA la plus simple faire de chez moi afin d'avoir des résultat simple et rapidement ?

Une petite IA d'algo génétique c'est faisable ?

Le 10 mars 2023 à 00:27:57 :
Bordel je pige rien à ce topic, j'ai l'impression d'être sur le forum finance
Par quoi faut commencer pour se mettre à l'IA ? Je dèv un peu nonobstant

J'y connais rien mais apparemment la référence c'est le livre IA the modern approach

Le 10 mars 2023 à 00:27:24 :

Le 10 mars 2023 à 00:25:45 :

Le 10 mars 2023 à 00:23:17 :
Difficile de rentrer en master IA avec une licence INFO ? combien de moyenne ?

On peut s'initier à l'IA par soi même ?

Quel type d'algorithme d'IA préfère tu ?

Y'a des débouchés à l'étranger par exemple ?

Aucune idée
Oui si on a des connaissances en maths/info et qu’on est un nerdz
J’aime les modèles génératifs en général, les modèles de diffusion sont extrêmement funs (et fonctionnent diablement bien)
J’aime les méthodes à noyaux (pour la beauté)
J’aime la programmation dynamique
Oui je crois en tout cas si t’es bon

Ok, quel type d'IA la plus simple faire de chez moi afin d'avoir des résultat simple et rapidement ?

Une petite IA d'algo génétique c'est faisable ?

algo genetique c'est relativement vite fait, le plus dur c'est de trouver un moyen "d'encoder en genome" ta solution.

Le 10 mars 2023 à 00:22:26 :

Le 10 mars 2023 à 00:14:09 :
differentes methodes d'entrainements sur un LSTM ?

C’est de la merde les LSTM, faut souvent faire du teacher forcing sauf que ça créée pleins de problèmes + propagations d’erreurs + c’est AR donc passe pas bien à l’échelle

Teacher forcing / exposure bias c’est pareil sur les transformers kheyou
Et pour avoir bosser le sujet les quelques solution de gen à base de RL ou relaxation continu = trop de variance, aucune fiabilité
Je pense que faut faire avec et bosser sur des meilleures techniques de decoding AR

Le 10 mars 2023 à 00:25:22 :
Dernière lecture intéressante je dirai DetectGPT
Mais depuis quelques mois je lis plus énormément, j’ai tellement de trucs à faire que les quelques papiers que je vois passer je l s torche en diagonale a part ceux qui m’intéressent vraiment

Et toi ?

Ok connais pas j’irai voir
Perso c’est les VQVAE qui me fascinent, j’ai l’impression de les redécouvrir avec Encodec et les VQDiff (imagine un modèle de diffusion sur des latentes discrètes qui masque au lieu de bruiter)
Je comprends pas pourquoi ils sont aussi puissants

Le 10 mars 2023 à 00:21:14 :

Le 09 mars 2023 à 23:50:14 :
Je bosse à peu près sur les mêmes choses que toi, modèles génératifs pour texte et autre modalité kheyou

La en ce moment plus sur l’évaluation des résultats pour essayer d’avoir des trucs plus pertinents sur bleu etc

Intéressant moi kheyou, quelle est ta dernière lecture intéressante ?

Le 09 mars 2023 à 23:55:03 :
quel est ton avis sur le débat qui fait rage concernant les ia type midjourney stable diffusion and co qui s'entrainent sur des bases de données remplies d'images copyrightées

Je m’en branle pour être tout à fait honnête

Le 09 mars 2023 à 23:57:18 :
C'est pas tout le temps la même chose ce genre de job en vrai?

C’est à la fois répétitif et ça change tous les 6 mois ahiiii mais le bon côté c’est qu’on peut laisser libre court à son imagination (en particulier avec les modèles génératifs)

Le 10 mars 2023 à 00:03:33 :
Comment tu construis une bonne base de données (représentative etc) pour l'apprentissage d'un algo ?

Il faut filer la tâche à un stagiaire
Sérieusement c’est une tache infâme et j’ai la chance de bosser avec des parternaires industrielles qui nous filent des données d’une qualité exceptionnelle

Le 10 mars 2023 à 00:10:51 :
Y'a beaucoup de modeles multimodaux qui sortent en ce moment, ca avance a un rythme effréné, tu predis quand la premiere AGI l'op ?

C’est terriblement vrai, en TTS par exemple VALL-E (et Facebook ont sorti un équivalent ) a démontré qu’un modèle de langage simple et passé a lechelle type DALL-E peut enculer toute la baseline et resoudre a lui seule le cas de zero shot (copier une voix quoi)

Ouais je savais bien que c'était pas si simple
Mon stage de fin d'étude c'était de l'apprentissage supervisé
J'avais des données gratuites avec des valeurs nulles à hauteur de 85% dans toutes les variables explicatives, enjoy
Je pouvais littéralement rien faire

Le 10 mars 2023 à 00:30:14 :

Le 10 mars 2023 à 00:22:26 :

Le 10 mars 2023 à 00:14:09 :
differentes methodes d'entrainements sur un LSTM ?

C’est de la merde les LSTM, faut souvent faire du teacher forcing sauf que ça créée pleins de problèmes + propagations d’erreurs + c’est AR donc passe pas bien à l’échelle

Teacher forcing / exposure bias c’est pareil sur les transformers kheyou
Et pour avoir bosser le sujet les quelques solution de gen à base de RL ou relaxation continu = trop de variance, aucune fiabilité
Je pense que faut faire avec et bosser sur des meilleures techniques de decoding AR

Depuis quand y a du teacher forcing avec les transformers ? Ils fonctionnent strictement de la même manière en entraînement queen inférence ?
Et au moins ils passent à l’échelle