[PhD] je suis spécialiste en IA/modèles génératifs

Explique la différence entre DPO et GRPO

Avantages et inconvénients des Diffusion Language Models

Le 16 juillet 2025 à 19:45:40 :
Explique la différence entre DPO et GRPO

Avantages et inconvénients des Diffusion Language Models

GRPO ca a été introduit par DeepSeek pour l'étape de FT-RLHF mais honnetement je pourrais dire grand chose de plus.

Diffusion LM sont en pratique des Masked LM avec une justification théorique plus proche des modèles de diffusion (en gros on transpose la théorie des processus sto continus à des processus sto discrets).
L'intérêt des diffusion LM/Masked LM c'est inférence potentiellement plus rapide (mais throughput un peu plus faible) et pleins de stratégies type predictor/corrector, ça a beaucoup buzzé l'année dernière.

Le meilleur workflow pour dev quand tu connais rien en dev ? J'ai test Cursor et j'ai payé l'abonnement Claude Code à 200€ mais j'ai pas de process

Pour la génération d'image +- consistante y a pas mieux que gpt4 ? J'étais sur Flux 1 dev avant et c'était catastrophique, avec LoRa ça passait mais tu rajoutais un personnage c'était cuit
Mais au moins ça permettait de generer plus d'images

Le 16 juillet 2025 à 20:01:48 :
Le meilleur workflow pour dev quand tu connais rien en dev ? J'ai test Cursor et j'ai payé l'abonnement Claude Code à 200€ mais j'ai pas de process

Pour la génération d'image +- consistante y a pas mieux que gpt4 ? J'étais sur Flux 1 dev avant et c'était catastrophique, avec LoRa ça passait mais tu rajoutais un personnage c'était cuit
Mais au moins ça permettait de generer plus d'images

Le meilleur workflow c'est d'apprendre à dev + je suis trop pauvre pour payer des LM donc je sais pas
Pour la génération d'image pareil, je suis pas calé sur la concurrence et les modèles commerciaux, plus sur l'aspect technique et scientifique

Le 16 juillet 2025 à 20:05:15 :
En matière artistique, quel genre d'avenir entrevois-tu qui puisse faire cohabiter l'IA et le droit d'auteur des artistes sur lesquels s'entraînent les IA ?

Je suis pour la génératlisation du fair use, donc le droit d'entrainer des modèles génératifs librement sur n'importe quel contenu y compris soumis à la propriété intellectuelle.
Je pense qu'il faut supprimer la propriété intellectuelle et faire évoluer le droit d'auteur.
La propriété intellectuelle est une arnaque conceptuelle qui mène à des aberrations et enrichit une ultra minorité d'artistes.

Le 16 juillet 2025 à 20:07:27 :
Ton niveau de connaissance des EBM et dérivés ? Pourquoi peut-on incorporer quasiment naturellement un EBM dans du RL?

faible, pour moi EBM ça me fait penser au flow based model à la mode y a quelques années, mais je pourrais pas en dire plus;
Pareil pour le RL

Le 16 juillet 2025 à 20:10:00 :
Excellent lique qlora j’ai pas compris

LoRA = low-rank adaptation
C'est une technique pour fine-tuner des gros modèles à faible cout ou quand le dataset et petit;
Tu optimises une matrice faible rang (sous la forme d'un outer product de 2*r vecteur, avec r = le rang) qui se superposent aux poids du modèle préentrainé.

En général on entraine les modèles avec des poids encodés sur 16bit, mais en inférence on peut descendre la quantification en utilisant une ribambelle de tricks pour descendre à 8bit 4bit et même moins. L'intéret c'est de gagner de la RAM/VRAM, surtout pour les plus gros modèles.
QLoRA c'est faire du LoRA quand on part de poids quantifiés faiblement, permettant à n'importe quel guignolo qui a une carte de gamer de faire des loRA de son LLM favori.

Le 16 juillet 2025 à 20:29:02 :
Comment fais-tu un tunnel pour pouvoir exécuter une instance SD programmée aux processeurs Nvida sur un AMD sans abandonner CuDA?

aucune idée khey j'ai jamais touché une carte AMD de ma vie

Le 16 juillet 2025 à 20:30:38 :

Le 16 juillet 2025 à 20:29:02 :
Comment fais-tu un tunnel pour pouvoir exécuter une instance SD programmée aux processeurs Nvida sur un AMD sans abandonner CuDA?

aucune idée khey j'ai jamais touché une carte AMD de ma vie

Pas de problèmes : comment mettrais tu le LOAD du processus de génération du GPU vers le CPU, un peu comme FCPU SD ?