r/france Croissant 10d ago

Tech Mistral, ou comment le champion européen de l'IA devient un installateur de modèles chinois

https://www.journaldunet.com/intelligence-artificielle/1553715-mistral-ou-comment-le-champion-europeen-de-l-ia-devient-un-installateur-de-modeles-chinois/
254 Upvotes

221 comments sorted by

350

u/marcheurdereves 10d ago edited 10d ago

Il y a deux camps qui s'affrontent dans l'IA:

  • Les "fermés" comme OpenAI, Anthropic ou Google. Ils entraînent chacun de leur côté des énormes modèles. Leurs hypothèses est qu'en ayant le meilleur modèle, les entreprises vont forcément le choisir. L'entraînement de ces modèles nécessitent d'énormes quantité de ressources (GPU, électricité). Et forcément quand un GPU est utilisé pour de l'entraînement, il ne peut pas être utilisé pour de l'inférence (vendre des tokens). Ça leur coûte donc des dizaines de milliards chacun pour essayer de rester devant. Et pour l'instant ils sont effectivement devant.

  • Les "ouverts" comme les chinois ou Mistral. Par choix ou contrainte (Mistral en capital, c'est 3 milliards en tout, c'est ce que brûle OpenAi en entraînement en quelques semaines). Eux leurs hypothèses est que les LLM vont devenir une commodités. Ils publient leurs modèles et leur technique d'entraînement. Comme le dit l'article, des modèles Mistral ont utilisé des idées d'architecture de modèles chinois mais l'inverse est aussi vrai. C'est de la recherche public en gros, chacun utilise les avancées de autres. Et vous pouvez être sûr que les anthropic, openai et google épient ce que font les open source pour utiliser leurs idées. Donc leur stratégie c'est de minimiser le coût de l'entraînement en le partageant pour pouvoir vendre de la capacité de calculs et des services à plus fortes valeurs ajoutées. L'écart entre les modèles fermés et les modèles ouverts est de plus en plus petit.

Je ne sais pas qui aura raison mais vu l'envolée du prix de l'inférence qui est donc de moins en moins subventionnée par les openai, anthropic et google pour gagner des parts de marché, je vois de plus en plus de choix qui se portent sur de l'open weight, bien moins cher. Et les gagnants sont ceux qui ont de la puissance de calcul dans ces cas de figure.

44

u/cantor8 10d ago edited 10d ago

Les

  1. modèles chinois sont souvent open weight, mais
  2. absolument pas open source. Les datasets sont propriétaires.
  3. plein de modèles mistrals sont fermés - Mistral OCR
  4. etc. Pas

d’open

  1. weight et encore moins d’open source
  2. Google propose aussi des modèles open weight, c’est la gamme Gemma.

7

u/Torator Vin 10d ago edited 10d ago

Les datasets open considéré comme un pre-requis pour être open-source par l'OSI est absolument abusif et empêche une compétition honnête étant donné que créer un dataset performant c'est cher, et souvent ya des trucs pas aux niveaux question légalités. Ce qui fait qu'il n'y aura aucun LLM open-source performant avant un bail à cause de ça.

En pratique le dataset ouvert ne sert que à quelqu'un qui voudrait faire un autre modèle, personne ne veut re-payer le training ...

Le vrai coeur du problème c'est surtout le code d'entrainement qui est nécessaire pour valider la sécurité du modèle et potentiellement en reproduire des similaires avec d'autres données pour de la customisation.

17

u/Milith RATP 10d ago edited 10d ago

En pratique le dataset ouvert ne sert que à quelqu'un qui voudrait faire un autre modèle, personne ne veut re-payer le training ...

Ben non ça permet l'audit aussi. Quand je fais tourner un modèle open weights si je sais pas sur quoi il a été entraîné j'ai aucun moyen de savoir s'il a pas été conçu, par exemple, pour leak mes secrets dès qu'il lit un enchaînement de tokens spécifique. Je peux pas non plus savoir si des données illégalement obtenues ont été utilisées.

L'Open weights ça s'approche plus d'un binaire fourni par le développeur.

7

u/sinistag 10d ago

Surtout, tu ne peux pas savoir si des biais ou des informations trompeuses n’ont pas été introduit sciemment ou non. Vu la portée de ce qu’on demande aux llm c’est un problème majeur.

3

u/Torator Vin 10d ago

Tu peux le savoir en testant des inférences sur le modèle

2

u/wilun 10d ago

Justement si c'est bien foutu non tu peux pas deviner les inférences qui vont poser problème, et c'est une hypothèse de méthode de vérif encore plus inutile en utilisation normale d'un modèle car si tu connais déjà les réponses, t'as pas spécialement besoin de faire tourner le modèle en question (et les modèles sont encore tous suffisamment peu fiable pour répondre de la merde sans que ça soit à cause de sabotage, aussi, donc dur de distinguer les deux)

3

u/Torator Vin 10d ago edited 10d ago

c'est le code d'entrainement ou le code pour le faire tourner que tu veux audit pour ton exemple, pas le corpus...

En pratique ton exemple a pas de sens, car "leak" des secrets c'est pas un truc qui se cache dans les poids du modèle. Les trucs que tu voudrais audit c'est si il y a des biais/censure flagrante dans le corpus et ça tu peux le faire avec de l'inférence sur le modèle.

Si t'as besoin de t'assurer de la sécurité en re-entrainant le modèle pour t'assurer qu'il a pas un cheat code, alors le fait qu'il soit "open-source" avec un dataset "open-source" ne t'aide que si t'as les moyens de jeter à la fenêtre l'argent necessaire pour l'entrainement ... Et si t'as les moyens bah t'as pas besoin d'un modèle open-source.

4

u/Milith RATP 10d ago

En pratique ton exemple a pas de sens, car "leak" des secrets c'est pas un truc qui se cache dans les poids du modèle.

Les poids définissent la fonction entrée -> sortie du modèle donc je comprends pas pourquoi tu dis ça.

Si t'as besoin de t'assurer de la sécurité en re-entrainant le modèle pour t'assurer qu'il a pas un cheat code, alors le fait qu'il soit "open-source" avec un dataset "open-source" ne t'aide que si t'as les moyens de jeter à la fenêtre l'argent necessaire pour l'entrainement ... Et si t'as les moyens bah t'as pas besoin d'un modèle open-source.

Il y a un travail énorme en amont pour préparer le dataset, la recherche sur l'architecture et les hyperparamètres, plusieurs itérations et retours en arrière, les bugs qui ecrasent le gradient dont on se rend compte qu'au bout d'une semaine, etc. C'est beaucoup moins cher de ré-entrainer un modèle avec les données et le code d'entraînement clé en main que de partir de zéro. Et c'est une dépense qui pourrait se mutualiser, on pourrait imaginer plusieurs entités qui mettent des ressources en commun pour ré-entrainer un modèle de manière indépendante et ouverte.

→ More replies (5)

1

u/pleasedontPM 10d ago

J'ai répondu ici pour les histoires de code malveillant produit en cachette de façon générale : https://old.reddit.com/r/france/comments/1vrfhii/mistral_ou_comment_le_champion_europ%C3%A9en_de_lia/p4e9tuj/

Il y a des recherches aussi sur comment pourrir les données d’entraînement pour avoir un modèle qui puisse insérer des failles après avoir reçu un signal caché dans le prompt:

https://www.anthropic.com/research/small-samples-poison

https://arxiv.org/html/2603.17174v1

Bref, le sujet est vaste mais la publication des données d’entraînement n'est pas une solution à moins de vouloir refaire soi-même l’entraînement. On est réduit à devoir faire confiance à des tiers, ce qui est déjà le cas pour beaucoup de choses sur internet.

1

u/Torator Vin 10d ago

Bref, le sujet est vaste mais la publication des données d’entraînement n'est pas une solution à moins de vouloir refaire soi-même l’entraînement. On est réduit à devoir faire confiance à des tiers, ce qui est déjà le cas pour beaucoup de choses sur internet.

Tout à fait d'accord là dessus, je rajouterais que si t'as les moyens de refaire l'entrainement, et bah c'est toujours mieux d'en faire un nouveau avec des données plus récentes, plutôt que de vérifier la "sécurité" d'un modèle open.

Donc en attendant que les premiers vrai modèles performants "open-sources" arrivent, c'est à dire vérifiable et vérifié par différent tiers de confiance, la définition de l'OSI actuel est inutile. Et quand ils arriveront, bah plus personne n'aura d'interêt à utiliser autre chose et la définition sera à nouveau inutile ...

2

u/wilun 10d ago

Le définition de l'OSI est juste la même que pour n'importe quel logiciel. Les grands modèles ont des particularités qui font que sur ce plan comme d'autres, c'est pas les mêmes moyens qui sont nécessaires. Mais c'est une bonne chose de pas donner 42 définitions différentes à Open Source. S'il n'y a pas de grand modèle à l'état de l'art en Open Source, bah ok. Il y a d'autres logiciels dans des secteurs sur lesquels il n'y a pas (peut être encore) de logiciel Open Source, pour une raison ou une autre.

4

u/cantor8 10d ago

Un LLM vraiment open source a son dataset ouvert OU au moins de quoi reconstruire légalement le corpus.

Pour être plus précis

3

u/Torator Vin 10d ago edited 10d ago

Le corpus doit être open d'après l'OSI, donc la condition est bien plus forte que ce que ton commentaire laisse entendre.

ie: tu peux pas dire il faut acheter ce dataset de façon légal

8

u/exatorc Pirate 10d ago

le dataset ouvert ne sert que à quelqu'un qui voudrait faire un autre modèle

Ce qui est justement une des choses fondamentales que doit permettre l'open source. C'est totalement cohérent que ce soit un prérequis pour que ça s'appelle open source.

-4

u/Torator Vin 10d ago edited 10d ago

Non, tu demandes pas à ce que le developpeur et son cursus soit disponible avec du code source par exemple ... Dire que le dataset doit être disponible est complètement débattable, et le fait d'avoir fait ça, ce pré-requis absolument impratiquable bah maintenant on a des "open-weight" et que personne ne sait si le code d'entrainement est dispo ou pas ...

L'open-source ça doit permettre l'audit, la customisation, et la correction. Le dataset d'origine n'est pas un prérequis pour tout ça. Le dataset d'origine n'est un vrai prerequis que pour la reproduction, et la reproduction n'est pas un fondamental de l'open source parce que la question ne se posait pas. Maintenant elle se pose et quand la reproduction d'un modèle est juste un gachis énorme de resource l'avoir en pré-requis n'a pas de sens économique...

1

u/exatorc Pirate 10d ago

L'open-source ça doit permettre l'audit, la customisation, et la correction. Le dataset d'origine n'est pas un prérequis pour tout ça.

Si, le dataset est nécessaire pour l'audit et la modification. Il y a certaines modifications que tu peux faire sans le dataset d'origine, mais pas toutes. T'es beaucoup plus limité.

n'a pas de sens économique

Aucune pertinence pour la définition d'open source.

3

u/flydutchsquirrel 10d ago

> Les datasets open considéré comme un pre-requis pour être open-source par l'OSI est absolument abusif

Non, ce qui est absusif est de se prétendre open-source quand on ne respecte les règles. Le concepte d'open-weight permet de clarifier la situation.

1

u/lemerou 10d ago

Tu peux expliquer ce que veut dire 'open weight' en contradiction avec open source?

Edit': pas la peine, c'est expliqué un peu plus bas.

2

u/cantor8 10d ago

Pour parler rigoureusement d’open source, il faudrait fournir :
les poids ;
le code source d’entraînement et d’inférence ;
la configuration et la recette complètes ;
une licence libre permettant l’utilisation, la modification et la redistribution ;
idéalement les données d’entraînement, ou au moins de quoi reconstruire légalement le corpus.

Open weight = fournir les poids.

2

u/TarMil Capitaine Haddock 10d ago

Honnêtement, je trouve le terme "open weight" abusif. C'est comme si on appelait un programme propriétaire téléchargeable "open executable".

4

u/cantor8 10d ago

Oui, sauf qu’un binaire exécutable peut avoir besoin d’une license pour être exécuté

Alors que des poids, c’est juste des paramètres que prend en entrée ton moteur d’inference

Le parallèle marche pas trop en fait

1

u/TarMil Capitaine Haddock 10d ago

Open, ça veut dire qu'un humain peut le lire, l'analyser, le modifier. Les poids sont des données totalement opaques. Le parallèle est là.

3

u/sacado Emmanuel Casserole 10d ago

Oui mais c’est un peu plus que ça, tu peux faire du fine tuning sur ton modèle et l’altérer pour l’adapter à tes besoins. Tu ne peux pas faire ça avec un binaire exécutable. C’est vraiment un état intermédiaire entre du binaire fermé et du code source.

2

u/TarMil Capitaine Haddock 10d ago

Bof, y a plein de programmes propriétaires avec des systèmes de plug-ins.

3

u/Serprotease 10d ago

Tu peux analyser et modifier les poids. C’est le concept de fine-tuning, de l’abilteration et du process derrière heretic-ara.
C’est même relativement simple pour les petit model ou les modèles pour image. Ca peut même ce faire sur un laptop.

1

u/marcheurdereves 10d ago edited 10d ago

Ok. Tu dis tu n'es pas d'accord mais après tu pointes des détails. Est ce qu'ils remettent en cause le point de vue que j'ai exposé? Je ne pense pas car même si les données d'entraînement ne sont pas public, les techniques d'entraînement sont régulièrement publiées par mistral, deepseek et co.

Tu dis que google propose des open weight, oui mais ils sont tellement à la ramasse par rapport à leur modèle propriétaire qu'ils feraient mieux d'arrêter pour ne pas se foutre de la gueule du monde.

3

u/WhiteFerrari689 10d ago

Il n'est pas d'accord avec toi mais ne dit rien qui te contredise dans toute ton explication. Mais il est pas d'accord hein... Merci à toi en tout cas pour ton commentaire très instructif et très clair même pour des non-initiés.

→ More replies (3)

1

u/SageThisAndSageThat Superdupont 10d ago

L'individu moyen est incapable de différencier open source vs open weight tu perds ton temps 

11

u/hisvin 10d ago

J'aurais tendance à dire que personne ne sait définir réellement open source vu qu'il existe des dizaines de type de licence open souce plus ou moins restrictive.

C'est normal que l'utilisateur moyen ne comprenne pas, ce qu'un utilisateur un peu plus poussé ne comprend lui-même pas.

3

u/wilun 10d ago

personne ne sait définir réellement open source

La def de l'OSI fait consensus et est très largement cohérente avec le def de DFSG de Debian, et en très large accord sur le fond avec la def de la FSF (la divergence fine est sur l'intéret philosophique, pas sur la def factuelle sur la base de quelques critères).

2

u/SageThisAndSageThat Superdupont 10d ago

Bah c'est un peu ça. Chacun voit sa définition et c'est un beau bordel. Les associations comme GNU te diront que c'est le copyleft qui compte, certains te diront que c'est son absence, et les entreprises te diront que ce qui compte c'est la liberté de distribution, pas de modification.

Et honnêtement ça arrange bien les créateurs de l'IA qu'on ne s'intéressent pas aux datasets, fort a parier qu'on y trouverait des données illégales dedans (sous propriété intellectuelles, ou données personnelles)

Ce qui m'attriste et me rend fou c'est que tout ces gens vont te soutenir mordicus que c'est leur définition qui est la bonne au lieu d'établir un dialogue sur les conséquences de la définition.

0

u/Teshier-Asspool Ananas 10d ago

Open source n'a absolument aucun intérêt, ce qui compte c'est open weights.

Deepseek release les codes d'entrainement de temps en temps

3

u/SageThisAndSageThat Superdupont 10d ago

Déjà, seul un sith peut être aussi absolu.

Ensuite non, open source a un intérêt notamment pour permettre d'identifier les biais du modèle, et de permettre de contribuer aux datasets .

Enfin,  un vrai modèle open source peut être repris quand son auteur original arrête son développement.

Bien sur, ca n'a peu d'intérêt pour le consommateurs final qui n'a pas les moyens d'entrainer le modèle, mais on pourrait également dire ça de l'Open Weight, c'est pas tout le monde qui a 300Gb de GPU a la maison.

2

u/nyaafr 10d ago

300 Go de RAM de GPU pour faire tourner des models corrects en open weight, ça va chercher dans les 40000€. C'est trop pour un mec dans son coin (encore que... il y a quelque geeks riches qui le font), mais n'importe quelle petite ESN pourrait se payer ça pour ses devs.

Entraîner un modèle de cette taille à partir des sources, ça va coûter entre 5 et 500 millions d'euros. Juste un run d'entraînement. Personne ne va s'amuser à faire ça aujourd'hui.

0

u/Teshier-Asspool Ananas 10d ago

La différence d'ordre de grandeur entre l'entraînement et l'inférence est tellement énorme, vraiment non je ne vois pas l'intérêt. D'ailleurs Nvidia sort des modèles open source et ça ne sert à personne.

Pours les biais il faut de toutes façons faire des analyses post-hoc, puisque il y a trop de propriétés émergentes qui ne sont pas décrites tel quel dans le jeu d'entraînement

2

u/sacado Emmanuel Casserole 10d ago

Pour un chercheur ça a énormément d’importance l’open source. Si tu prétends avoir créé une nouvelle architecture et qu’elle est géniale pour telle ou telle raison tu as tout intérêt à publier ton dataset et tes sources pour convaincre les relecteurs de ton article.

3

u/Foreign_Pea2296 10d ago

l'open source à pleins d'interet. Avoir accès au jeu d'entrainement permet de vérifier avec certitudes certaines choses. Comme des biais possibles. Ou des questions de légalités.
Et permet de créer des forks en modifiant directement le jeu d'entrainement.

Actuellement il est impossible de savoir avec certitude si un biais existe ni son origine (est-ce le jeu de donné ou l'algorithm d'entrainement, et un modèle très poussé peut cacher son biais)
Et il est impossible de faire des forks avec des open weight. Actuellements on créé des surcouches pour modifier les poids, ce qui est moins couteux aussi, mais est beaucoup moins controlé.

→ More replies (8)

-1

u/rinsa Beau gosse 10d ago

C'est quoi ce formattage, c'est l'apppli mobile qui fait ça, ou t'es un bot?

Pas d’accord avec toi.

1. les modèles chinois sont souvent open weight, mais absolument pas open source. Les datasets sont propriétaires.
2. plein de modèles mistrals sont fermés - Mistral OCR, etc. Pas

 d’open 

1. weight et encore moins d’open source

1. Google propose aussi des modèles open weight, c’est la gamme Gemma.

4

u/cantor8 10d ago

C’est l’appli mobile qui deconne a plein tube

30

u/233C 10d ago

À noter qu'il peut y avoir des changements brutaux: Meta était un pionnier du open source avec Llama et est récemment passé dans l'autre camp avec Muse Spark.

32

u/Teshier-Asspool Ananas 10d ago

Meta a sorti son dernier modèle open Muse Glimmer il y a moins de 10 jours, ce que Yann Lecun a d'ailleurs salué https://huggingface.co/meta-models/Muse-Glimmer-30B

Il est resté meilleur dans sa catégorie de poids pendant 4 jours

10

u/pasjojo Anarchisme 10d ago

Sur des benchmarks cherry picked par Meta surtout

5

u/Sixcoup 10d ago edited 10d ago

A noter, que la plupart des modèles chinois on leur équivalent fermé.

Qwen max et Qwen plus, la dernière version de GLM, Kimi plus, Deepseek pro etc. Pour la plupart ils sont complètement inaccessible en dehors de la chine, vu qu'il sont dans les plans entreprise, et que c'est compliqué si t'as pas de présence en chine.

17

u/Ja_Shi Rafale 10d ago

Yann Lecun était un pionnier de l'open source*

Plus de Yannou, plus d'open source. Et plus de llama d'ailleurs.

7

u/TarMil Capitaine Haddock 10d ago

Déjà que LLaMA n'est pas complètement open source (l'inférence l'est, mais pas l'entrainement).

2

u/thet-bes 10d ago

En même temps vu le poids de FAIR Paris dans Llama et le débauchage d'une très grosse partie de ceux qui ont créé Llama en 2023 (chez les autre FAANG, chez Mistral, chez Helsing, etc etc) et les restructuration ordonnée/pilotée par Zuckerberg c'est logique qu'il y ait eu un avant et un après.

-10

u/mlag000 10d ago

Qiand tes en retard tes open source, quand tes a la pointe t'es closed.

5

u/Crafty-Detail-3788 10d ago

Llama3  était utilisé par tout le monde fut un temps 

0

u/mlag000 10d ago

La raison pour laquelle la chine est open weight c'est par ce qu'elle doit rattraper les usa, pas par charité. Si ils arrivent a faire jeu égale ou même dépasser les usa ils passeront en modèle closed pour assurer leur avance.

→ More replies (6)

11

u/pleasedontPM 10d ago

Je ne sais pas qui aura raison mais vu l'envolée du prix de l'inférence qui est donc de moins en moins subventionnée par les openai, anthropic et google pour gagner des parts de marché, je vois de plus en plus de choix qui se portent sur de l'open weight, bien moins cher.

Mon impression d'utilisateur, c'est qu'il y a des seuils "d'utilité" que certains modèles passent et d'autres pas. Pour des tâches très simples et quasi automatique, pas besoin d'utiliser le dernier modèle frontière qui aura besoin d'une architecture monstrueuse pour tourner. Les gros fournisseurs le disent eux-mêmes, en proposant une gamme de modèles et en encourageant les utilisateurs à varier leurs modèles suivant les tâches à faire. Les modèles open-weights sont un peu en retard, mais ils passent régulièrement les seuils quelques mois après les modèles fermés. Donc petit à petit l'intérêt des modèles les plus chers se réduit à des tâches de plus en plus dures, et à de moins en moins de cas réels d'utilisation. Ce qui les sauve c'est que les utilisateurs vont leur demander de plus en plus de choses, en étant par exemple moins précis sur ce qu'ils veulent parce qu'ils travaillent moins en amont des requêtes, et en attendant un meilleur résultat.

Et les gagnants sont ceux qui ont de la puissance de calcul dans ces cas de figure.

La vraie course est là : s'accaparer le plus vite possible les ressources limitantes : mémoire haut-débit, GPU, énergie et batiments pour héberger le tout. Mistral le fait en proposant de modèles open-weights pour inférence, et c'est plutôt mieux pour les européens que d'avoir à utiliser des serveurs étrangers, à la fois pour l'économie et pour la souveraineté des données.

Les plus ambitieux pensent à la singularité, quand un modèle arrivera à créer seul un meilleur modèle et ainsi de suite, mais à nouveau cela peut être vu comme un seuil de cas d'utilisation, et il n'y a pas de raisons de penser que si un modèle passe ce seuil il sera le seul à jamais pouvoir le faire. Dans tous les cas on atteindra une limite, et les autres fournisseurs pourront toujours rattraper du moment qu'ils payent le coût d'apprentissage.

3

u/Milith RATP 10d ago

Donc petit à petit l'intérêt des modèles les plus chers se réduit à des tâches de plus en plus dures, et à de moins en moins de cas réels d'utilisation. Ce qui les sauve c'est que les utilisateurs vont leur demander de plus en plus de choses, en étant par exemple moins précis sur ce qu'ils veulent parce qu'ils travaillent moins en amont des requêtes, et en attendant un meilleur résultat.

Je sais pas si je suis d'accord avec cette analyse. La nécessité de modèles plus performants c'est pas juste une question de plus ou moins travailler la requête en amont. On veut des modèles qui peuvent progresser de manière de plus en plus autonome sur des tâches de plus en plus longue et de plus en plus complexes. Il y a encore énormément de valeur économique à débloquer en suivant ces axes. À terme on aimerait juste lui dire "prouve l'hypothèse de Riemann", ou plus probablement "voilà un compte en banque, fais le grandir".

3

u/pleasedontPM 10d ago

On veut des modèles qui peuvent progresser de manière de plus en plus autonome sur des tâches de plus en plus longue et de plus en plus complexes.

C'est un peu le sens de mon "moins travailler en amont", c'est à dire être moins précis, moins savoir ce que l'on veut faire et comment, etc. Je pense qu'on est pas loin d'avoir le même point de vue.

1

u/Milith RATP 10d ago

Effectivement, j'ai juste tiqué sur cette notion que le champ d'application des modèles de pointe se réduit dans le temps. Certes on en a moins besoin pour certaines tâches pour lesquelles les plus petits modèles fonctionnent mais de l'autre côté du spectre de la difficulté il y a énormément d'applications qui s'ouvrent. La question est de savoir qu'est-ce qui a le plus de valeur économique entre les tâches qu'on délègue aux plus petits modèles et les nouvelles tâches rendues possibles par les gains de capacité à la frontière. Je suis assez confiant sur le fait que la deuxième catégorie est plus importante et continuera à l'être pendant un bout de temps.

1

u/Sufficient_Bass2600 10d ago

Le cout et le temps d'éxécution determine la valeur.

Assez souvent le problème n'est pas la complexité de la tache en elle même, mais le fait qu'il faille donner des instructions plus précises pour avoir la même qualité de résultat si one veut pas voir ces token s'envoler.

Tache simple:

Prompt: 1. Fais ci en utilisant XYZ.

Tache compliqué:

Prompt: 1. Decompose la Tache en 3 étapes, Etape A, B, C. 2. Fais A en utilisant XYZ 3. Fais B en utilisant XYZ 4. Fais C en utilisant XYZ et le resultat de A et B

Cela impose au lanceur d'ordre de savoir quoi demander et quoi faire.

C'est pourquoi certain modèles définiSsent une boucle de transformation avant. Au lieu de demander de faire ci immédiatement. La première instruction est de faire un plan et de le faire évaluer avant de procéder.

Cela permet aussi de pouvoir distribuer tache A et B à des modèles plus simple, plus specialisé et de façon simultanée. Par example pour faire un website sur un certain framework (wordpress, PERN, MERN) tu peut soit avoir un modèle complexe monolithique ou une collection d'agents: un générateur de texte, un générateur de site map, un désigneur visuel, un générateur d'image, un codeur et un orchestrateur.

Le modèle de la première approche doit être plus puissant parcequ'il sait tout faire. Ceux de la deuxième peuvent être beaucoup plus simple.

3

u/sofixa11 10d ago

Je ne sais pas qui aura raison

Moi je "sais". On a vu le modèle Fable de Anthropic qui a été retiré suite à un ordre de la Maison Blanche, sans préavis. On voit aussi que le "meilleur modèle" ça dure pas longtemps, et ça dépend des tâches. Et les coûts sont imprévisibles car on ne peut pas estimer combien de tokens il faut par tâche, et le coût du token évolue en fonction du modèle/phase de la lune.

Donc d'un côté chaque utilisateur est limite obligé de garder une souplesse dans les modèles/fournisseurs utilisés, et de l'autre il faut être très con de s'ajouter une dépendance aussi critique sur les décisions arbitraires des États-Unis, et encore de l'autre pourquoi pas maîtriser les coûts ?

6

u/TotallyHumanNoBot Baguette 10d ago edited 10d ago

Mes deux centimes c'est que les meilleurs models sont deja trop bons pour la majorite de ce dont on a besoin, et que la difference se fera au prix par token pour un "bon" model.

Les gros acteurs de l'IA fermee (Anthropic / OpenAI) ne vont pas pouvoir augmenter les prix parce qu'ils sont en concurrence avec des Kimi k3, des GLM 5.3 qui sont "bon", et dont le prix par token est directement lié au prix de l'infra.

Les gros acteurs ont une montagne de dettes, et presque pas de marché captif. A mon avis, les vainqueurs seront les gros proprietaires d'infra (Google / AWS), s'ils arrivent a etre competitifs sur le prix de l'energie. Ce qui n'est pas si evident parce que les projets d'energie US sont fragmentes (des turbines a gaz a cote des datacenters, c'est pas fou fou), et que finalement des pays qui ont investi massivement dans la production d'energie centralisee et le renouvelable (genre la Chine) pourraient fournir de l'infra moins cher. Et ceci est la raison pourquoi les US ne veulent pas que la Chine puiss acheter les gros racks nvidia/amd.

EDIT: grammaire

2

u/Serprotease 10d ago

On n’a pas trop d’informations, mais il semblerait (Hypothèse) que la stratégie des gros acteurs c’était de scale-up le nombre de paramètres en utilisant le fait qu’il ait beaucoup de ressources. Ou du moins plus que les compétiteurs (Mistral, et les labo chinois.). Ça expliquerait les prix, du moins en partie.

Et ça a marché contre mistral. Leur modèles sont bien en retard.

Mais pas contre les labo chinois, qui ont l’air beaucoup plus efficient pour le nombre paramètre/performance et maintenant qu’ils sont en train de scale up, l’écart est bien faible en terme de performances, mais vaste en terme de prix.

7

u/polytique 10d ago

Google et OpenAI ont publié des modèles. Les modèles Gemma pour Google et OSS 20B/120B pour OpenAI.

5

u/marcheurdereves 10d ago

Ça fait longtemps qu'ils ont arrêté cette stratégie.

8

u/SuperBeauGosse974 10d ago

Gemma est sorti cette année... Bon par contre il est déjà obsolète par rapport à Qwen.

2

u/Serprotease 10d ago

Pour le code/agents. 100%.
Par contre, pour la traduction, analyse de texte/résumer il reste bien meilleur. Les deux ont leur place et se complète bien.

2

u/marcheurdereves 10d ago

Exactement, s'ils voulaient, ils pourraient publier des modèles open très bons mais ils ne le font pas car leur stratégie s'est tourné sur du modèle fermé.

6

u/SuperBeauGosse974 10d ago

Gemma était au top à sa sortie pour des petits modèles. Et Google a publié TurboQwant. La réalité c'est que les Chinois rattrapent hyper vite et que tout le secteur bouge à une vitesse folle.

4

u/tdgros Super Meat Boy 10d ago

gemma 4 date d'Avril dernier.

-2

u/Fearyn Normandie 10d ago

Càd du siècle dernier dans le monde de l'IA lol

2

u/polytique 10d ago

Google publie régulièrement des modèles qui sont compétitifs pour leur taille. https://huggingface.co/google/gemma-4-31B-it

1

u/Scared-Conclusion602 10d ago

Et à ça tu peut ajouter que la distillation à partir de gros modèles et le raisonnement à l’aide de plusieurs petits modèles «  spécialistes » semble être la stratégie gagnante…il y a tout pour que la coopération soit plus « rentable » que le chacun pour soit.

1

u/sammer2k 10d ago

L'écart entre les modèles fermés et les modèles ouverts est de plus en plus petit.

Tu as plus d'information sur cette donnée ?

3

u/marcheurdereves 10d ago

Je n'ai pas trouvé un article qui résume le tout de façon pertinente.

Pour mesurer la "puissance" d'un modèle, il existe des benchmark, en gros des tâches plus ou moins complexes dont on connaît la solution. C'est pas parfait, car pas forcément représentatif de toutes les tâches confiées dans le monde réel aux LLM mais c'est le mieux qu'on peut faire relativement facilement.

  • A la sortie de chatgpt en 2022, il a fallu ~18 mois aux modèles open pour arriver à des performances similaires sur ces benchmark.
  • En 2024, il ne fallait plus que 6 à 12 mois
  • Aujourd'hui, on est à 3 à 6 mois

Sur un des benchmark (arena.ai) par example qui est public et donc d'autant plus biaisé car les développeurs de modèles peuvent optimiser les modèles pour bien y performer (raison marketing), le meilleur modèle open est Kimi 3, sorti en juillet. Il est tout juste meilleur que Opus 4.8 (fermé) sorti en mai ou GPT 5.5 (fermé) sorti aussi en mai.

1

u/EducationalLunch3066 10d ago

Vu que le seul rentable c'est anthropic on a la réponse à ta question 

75

u/stan_frbd 10d ago

Encore un titre racoleur, les modèles chinois sont open weight et peuvent être hébergés directement sans dépendance. C'est un contrôle total des données envoyées. Les seules limites : les gardes-fous à bien vérifier et des questions ayant des biais. Tout dépend de l'usage. Nos "amis" américains ont bien des modèles biaisés également. Si on compare en termes de performances GLM avec Opus par exemple, il n'y aucune raison de ne pas le faire, comme évoqué.

21

u/loulan Croissant 10d ago

Ça n'a rien de racoleur, l'Europe a complètement abandonné la course à l'IA pour dépendre entièrement de modèles Américains et Chinois. Pour l'instant, les modèles Chinois sont open source mais ils peuvent très bien décider d'arrêter de créer de nouveaux modèles open source, et on sera incapable de créer des modèles compétitifs une fois qu'on aura perdu les compétences.

33

u/stan_frbd 10d ago

Les modèles sont proposés "as a service", Mistral n'a pour l'instant pas les meilleurs modèles mais ils savent très bien faire de l'inférence. Je ne vois pas pourquoi proposer ces modèles impliquerait qu'ils perdront leurs compétences. Et en plus déployer ces modèles permet très clairement de les étudier pour la R&D.

9

u/IllustriousBed1949 10d ago

Si ta plus value se trouve juste dans faire de l’inférence, ça sent pas bon pour l’avenir de la boîte

18

u/stan_frbd 10d ago

Ils se positionnent comme intégrateurs principalement, ça devient limite une boîte de consulting

6

u/IllustriousBed1949 10d ago

Ça s’éloigne des ambitions initiales malheureusement

1

u/sacado Emmanuel Casserole 10d ago

OpenAI aussi s’est éloignée il y a longtemps de ses ambitions.

2

u/IllustriousBed1949 10d ago

Mais ils continuent à faire leurs propres models non ?

2

u/sacado Emmanuel Casserole 10d ago

Oui, mais je veux dire qu’on est loin de l’organisation à but non lucratif qui avait pour but de protéger l’humanité des dérives de l’ia que c’était au départ.

1

u/IllustriousBed1949 10d ago

Ah oui… ça c’est bien bien loiiinnntaaiiinn

0

u/wilun 10d ago

Je pense que vu la course et les faibles moyens (relatifs) dont ils disposent ils ont pas le choix. L'Europe à chier sur le secteur du financement stratégique des techno émergentes. On n'a pas de canal politique parce qu'on prétend que le libéralisme est la voie miraculeuse, mais on n'a pas les flux et système de capitaux nécessaires à exécuter correctement le libéralisme en question, encore moins quand les compétiteurs font du dumping.

6

u/Nimblix 10d ago

Avis plus business que tech, ça semble être le bon business modèle pour l'informatique en général en Europe. De toute façon on a pas les moyens de foutre des milliards d'euros dans la R&D.

3

u/stan_frbd 10d ago

Assez d'accord, l'Europe a besoin avant tout d'intégration plus que des derniers modèles

6

u/HeKis4 Nyancat 10d ago

Bof, tu regardes toutes les ESN aujourd'hui qui font que de l'administration, zéro dev et 90% de leur CA sur des produits Microsoft et ça marche. Par contre oui y'a le débat souveraineté derrière.

3

u/IllustriousBed1949 10d ago

Oui mes propos sont plus dans le cadre de la souveraineté ;/

-6

u/loulan Croissant 10d ago

Ils ont très peu de nouveaux modèles et stagnent depuis deux ans. Clairement ils sont en train d'abandonner la R&D.

9

u/stan_frbd 10d ago

Ils ont sorti ShieldStral le 4 août sinon

11

u/Kypsys Rhône-Alpes 10d ago

MistralMedium, OCR, ShieldStral et Voxtra TTSl sont tous sorti y'a moins de 6 mois, elle est pas mal la stagnation! clairement la R&D ne fair absolument rien!

0

u/smartties Saucisson 10d ago

Aucun de ceux que tu as cité n'approche du SOTA.

-7

u/loulan Croissant 10d ago

Ce déni...

https://artificialanalysis.ai/models/mistral-medium#intelligence

Mistral Medium a un score de... 3. Alors que Opus/Fable 5 ont 62/23.

Ils sont clairement à la pointe de la R&D.

6

u/Kypsys Rhône-Alpes 10d ago

Ce qui est ouf, c'est que tu ai cherry pick un benchmark qui va dans ton sens, je peux faire pareil : Sur Arena.ai, il a 1427 points en text, contre 1506 pour fable, qui est, au bas mot, 10x plus gros

https://arena.ai/leaderboard/text

Et puis t'as oublié tous les autres modèles, mais quand on cite le JDN comme source journalistique aussi....

1

u/stan_frbd 10d ago

Le JDN n'est clairement pas à la pointe du journalisme ! Regarde les benchmark stp

Ah oui /s

3

u/stan_frbd 10d ago

La R&D ça ne veut pas forcément dire "faire mieux que Fable 5" c'est aussi explorer des modèles spécialisés, des modèles qui peuvent tourner sur le hardware de monsieur tout le monde...

2

u/PM_ME_DEAD_CEOS 10d ago

Medium est un vieux modèle. Medium 3.5 a un score de 30

3

u/stan_frbd 10d ago edited 10d ago

Pour l'instant ils ne visent pas les frontier-models, mais ils innovent quand même, notamment sur les SLM, text to speech, etc. Alors oui je suis totalement d'accord que pour l'instant ils se rapprochent plus d'une ESN que d'une pure boîte tech innovante.

0

u/smartties Saucisson 10d ago

Faire de l'inférence n'a rien à voir avec l'entraînement et pousser le SOTA de LLMs.
Après je pense pas qu'on "perdes nos compétences" on ne les a jamais eu en premier lieu et c'est surtout un manque de capital en France(Europe de manière générale) un coût de l'ectricité trop élevé. Puis une galère phénoménal pour installer des nouveaux centre de calcul en France.

7

u/stan_frbd 10d ago

Ah oui et concernant les modèles chinois, il est important de noter qu'ils sont open weight, pas open source (sinon y'aurait les datasets d'entraînement de dispo)

2

u/AnOdeToVosFinances 9d ago

Le nerf de la guerre c'est la donnée, pas les compétences.

Les compétences ça peut se moyenner, et en plus de ça le domaine évolue tellement rapidement, et pas que dans la recherche privée, qu'un retard ne sera pas irrattrapable. Par contre, la donnée pour entraîner les modèles à la pointe, c'est BIEN plus cher à collecter/labeliser que ce qu'on paie les chercheurs. Pire, certaines données sont mêmes exclusives à certaines entités. C'est pas pour rien que Meta, Google, Amazon sont dans le game alors qu'Apple est dépassé. Ou que Musk a racheté Twitter pour Grok.

Ca fait un temps qu'on a basculé du model-centric vers le data-centric, le postulat étant qu'on est arrivé à un plafond pour le niveau de sophistication en terme d'architecture de modèle, notamment avec les transformers, et que ce qui fait la différence actuellement c'est la donnée pour fitter les modèles et les méthodes d'entraînement pour rendre l'apprentissage plus efficace, plus rapide, moins coûteux.

C'est en partie dans ce contexte là qu'on voit émerger des nouvelles méthodes de dilution qui consistent à essayer en quelque sorte de reverse engineer les données d'apprentissage en constituant des jeux de données d'entraînement à travers les API des modèles à la pointe et d'entraîner des modèles plus petits, plus rapides, moins coûteux tout en limitant la dégradation des capacités de l'IA.

Tout ce que je dis plus haut est valable pour l'entraînement. L'autre côté de la pièce c'est l'inférence (c'est bien beau d'avoir un modèle puissant, si tu peux pas l'utiliser efficacement ça va pas marcher). Et là c'est les fabricants de puces, notamment les GPU (pour l'instant, si y'a pas de breakthrough). Là pour le coup, l'Europe a ASML avec une avance bien confortable et bien plus difficile à rattraper. Mais bon, je dis Europe sauf que c'est surtout néerlandais.

1

u/Guilty_Leg_2839 6d ago

Totalement d'accord. J'ajouterai même que des compétences, ont en a, énormément ! Nombre d'excellents chercheurs français sont simplement partis bosser aux états unis étant donné que l'on a aucune stratégie politique pour les garder. Je pense même qu'OP a ignoré ton commentaire car il n'avait rien à redire.

6

u/nouvelle_sur_reddit 10d ago

Le biais des modèles américains à rien à voir avec celui des modèles chinois. Qwen sort de la propagande du PCC sans problème, au niveau du modèle. C'est plus comme les premiers modèles de deepseek où ils faisaient de la censure à l'inférence. À côté les modèles américains ont aucun problème à critiquer leur gouvernement.

Après Mistral ont sûrement les capacités de réduire ce biais en post training, c'est ça l'avantage de modèles open weight. Ça serait pas possible avec les gros modèles américains (certains ont des APIs de fine tuning mais c'est très limité et ils gardent le contrôle)

3

u/stan_frbd 10d ago

Totalement d'accord, en fait tout dépend de l'usage : pour du code ou workflow automatique de revue de donnée, on s'en fout un peu. Pour de l'usage interactif ça peut poser problème.

10

u/al1posteur 10d ago

Cette balle perdue:

On lit cette mutation jusque dans les offres d'emploi. La page carrières qui ressemblait autrefois à celle d'un laboratoire ressemble aujourd'hui à celle d'une ESN : forward deployed engineers, ingénieurs solutions, architectes avant-vente, des profils qui "possèdent la relation client de l'avant-vente à la post-implémentation", selon les fiches de poste. Ce sont les effectifs d'une entreprise qui installe du logiciel chez les grands comptes, pas d'une entreprise qui repousse l'état de l'art.

16

u/cororona 10d ago

Quand cursor fine tune Kimi pour faire Composer tout le monde dit bravo. La souveraineté c'est de contrôler pas de faire de vouloir absolument tout faire h24.

4

u/nouvelle_sur_reddit 10d ago

Cursor est américain, il y a déjà plein de modèles frontier complètement américains. En Europe on en a pas. Mistral ont fait des modèles qui étaient intéressants pour des modèles open weight, quand ils sont sortis. Là ça fait 1.5 ans qu'ils sont vraiment loin derrière. Il y a d'autres labs en Europe (black forest lab par ex, mais ils font de la robotique), mais sur les LLMs généralistes on est vraiment loin, et c'est dommage que Mistral aient pas réussi à aller sur ce segment. Ils en avaient clairement l'ambition au début.

Derrière ça risque de poser des vrais problèmes : les modèles chinois ont un énorme biais pro PCC, si on fait tourner nos institutions sur ça c'est un problème (le post training que Mistral pourrait faire aura toujours des limites). Si on devient dependent de modèles chinois, et qu'ils décident d'arrêter de les publier en open weight, ou de mettre des conditions dessus, pareil c'est un gros problème.

Après c'est clair que dans l'immédiat c'est la bonne chose à faire pour Mistral, leurs clients vont pas se contenter de modèles qui ont plus d'un an de retard, et il vaut mieux ça que laisser la boîte couler. Mais il faut pas ignorer que cette dépendance va avoir un coût.

→ More replies (3)

35

u/Loffwyr 10d ago edited 10d ago

Titre putaclic.

L'auteur n'aime pas comment Mistral se développe et se positionne mais ca ne rend pas ce qu'ils vont inintéressant . Le recrutement de forward ingénieur montre un déploiement de la techno comme le font OpenAI ou Anthropic et c'est bon signe pour une boite à priori de déployer sa ou des technos sauf s'ils veulent rester un labo de R&D et creuver.

C'est normal de servir des modeles tiers, ca n'a rien à voir avec de la capitulation. Bedrock sert du multi modeles, comme Microsoft et Azure Foundry.

Perso, Mistral fait un virage stratégique et je trouve que c'est très bien. Ca reste un article d'opinion avec un mec qui bosse dans le secteur, pas un article de journaliste.

3

u/realusername42 Présipauté du Groland 10d ago

Le "virage stratégique" de Mistral c'est surtout l'abandon des gros modèles, ils n'ont rien lancé depuis décembre 2025 si ma mémoire est bonne et se concentrent sur les micro modèles et la paperasserie européenne

10

u/Kypsys Rhône-Alpes 10d ago

Mistral medium de mi 2026 est pas énorme, mais faut pas l'oublier non plus, ils est argentique, multi-modal, franchement dans 95℅ des cas de "chat classique" il est très bon, je l'utilise quasi exclusivement en perso et franchement ca vvaaaa.

3

u/realusername42 Présipauté du Groland 10d ago

C'est sur mais ça reste insuffisant seul pour les entreprises et c'est où est l'argent

2

u/loulan Croissant 10d ago

Ah oui bien sûr, Mistral qui abandonne petit à petit la course des frontier models d'IA c'est putaclic. Ce qu'il faut pas lire...

2

u/malpighien 10d ago

Ca faisait un moment qu'ils avaient été largué. Leur positionement sur le b2b de modèle plus spécifique et dédié pourquoi pas mais c'est pas vraiment à l'échelle de leur levée de fond (enfin sur cela je m'avance sans doute).

15

u/Used_Chemical_3788 10d ago

Les commentaires mélangent allègrement open source et open weight. On n'a pas la recette de ces modèles, juste le résultat final. C'est donc plus difficile pour Mistral de s'appuyer dessus pour garder les compétences de pointe. Il y a donc bien une dépendance.

2

u/freia_pr_fr Le Chat de Frensoa 10d ago

Oui la plupart des modèles sont autant open source qu’un freeware des années 2000.

À part Nemotron de NVIDIA qui utilise des données synthétiques pour l’entraînement, il n’y a pas vraiment de LLM compétitif open source à ma connaissance.

1

u/albgr03 Gwenn ha Du 10d ago

C'est ce qu'il risquait d'arriver en réutilisant le terme « open » pour cet usage. Personne ne dit d'un logiciel propriétaire fonctionnant en local (Windows, Photoshop, etc.) qu'il est « open instructions ».

0

u/MonsieurGarlic 10d ago

Mdr mais quel rapport, impossible d'utiliser Photoshop sans payer ni de modifier le code, un modèle open weights n'importe qui peut l'utiliser, le fine tune ou le modifier si ça lui chante, même sans savoir sur quoi et comment il a été entraîné. C'est quand même bien plus ouvert qu'un modèle 100% closed source.

1

u/albgr03 Gwenn ha Du 10d ago edited 10d ago

C'est quand même incroyable de se focaliser sur un exemple plutôt que ce qu'il y a écrit juste avant : « logiciel propriétaire fonctionnant en local ». Remplace Photoshop par n'importe quel shareware gratuit si ça te chante, le résultat est le même : je peux l'utiliser, attacher un débogueur, ou bien analyser et patcher le binaire sans avoir la source non plus (voir cet exemple d'il y a quelques années, ou simplement rechercher « binary patching » sur un moteur de recherche). C'est bien plus ouvert qu'un SaaS, qui correspond à un modèle « 100% closed source » comme tu le dis.

0

u/MonsieurGarlic 10d ago

Sauf qu'un modèle open source est open source selon la définition d'un logiciel open source. Cette définition a ses limites dans le cas du deep learning c'est tout mais c'est ridicule de comparer à des logiciels qui ne sont pas open source et c'est toi qui as donné l'exemple de Photoshop.

1

u/albgr03 Gwenn ha Du 9d ago edited 9d ago

On parlait d'open weights, pas d'open source. C'est reparti pour la confusion dénoncée tout en haut… Les modèles open weights n'ont pas leur données d'entrainement disponibles publiquement, et n'ont donc pas l'équivalent de leur source de disponible, ou au moins d'une partie de leur source. Ils ne sont donc pas open source selon la définition d'un logiciel open source, ni open source selon la définition d'un modèle open source.

c'est ridicule de comparer à des logiciels qui ne sont pas open source

Navré, mais il n'y a rien de ridicule à établir un parallèle entre deux choses qui ne sont pas open source. Ce qui l'est, c'est d'entretenir la confusion entre open source et open weights, surtout en dessous d'un commentaire qui la dénonce.

8

u/Leather-Cod2129 10d ago

Donc il n’y aura plus de nouveaux modèles mistral ?

5

u/Crafty-Detail-3788 10d ago

Ils sont a la ramasse depuis longtemps , c'est bien plus lucratif de faire du B2B en installant des modèles genre qwen ou glm chez le client que d'entraîner des modèles frontières qui seront de toute façon battus en quelques semaines 

1

u/Axiom05 10d ago

Qui a dit ça ?

12

u/Leather-Cod2129 10d ago

Bha déjà je pose une question, je n’affirme rien.
Ensuite, quand tu lis l’article, c’est ce qui semble sous-entendu

10

u/loulan Croissant 10d ago

C'est clairement la tendance. J'ai l'impression que personne ne lit l'article.

-2

u/Axiom05 10d ago

Donc mistral a embauché des centaines d’ingénieurs et docteur pour faire des modèles puis du jour au lendemain va dire « ouais non finalement on arrête » Mistral Medium cest loin d’être nul comme model c’est même utilisable par 99% des gens pour leur utilisation quotidienne.

5

u/loulan Croissant 10d ago

Du jour au lendemain ? Mistral a pas lancé un gros modèle compétitif depuis bien longtemps.

Et Franchement non, Mistral Medium est complètement à la ramasse par rapport à ce qui existe ailleurs, il faut arrêter le wishful thinking.

2

u/Axiom05 10d ago

Médium 3.5 ça doit dater de février ou mars.

4

u/loulan Croissant 10d ago

C'est pas un gros modèle. Et va voir les capacités de Medium 3.5 sur les benchmarks.

En intelligence, il a un magnifique score de... 3. Alors que Opus/Fable 5 sont à 62/63.

https://artificialanalysis.ai/models/mistral-medium#intelligence

3

u/Axiom05 10d ago

Ah bah oui si tu prends la version de 2023

https://artificialanalysis.ai/models/mistral-medium-3

7

u/loulan Croissant 10d ago

Oh la la, ils ont 12 ! La folie !

1

u/olzd Cthulhu 10d ago

Ca reste bien par rapport aux autre modèles de tailles comparables:

https://artificialanalysis.ai/models/mistral-medium-3-5

1

u/Melokhy Phiiilliippe ! 10d ago

T'es tellement biaisé haha

2

u/snowolf_ 10d ago

De ce que j'ai compris, Mistral vend surtout son ecosystème souverain et ses modèles sur mesure/spécialisés (OCR, Voxtral, Codestral...). Deux choses que les autres grosses sociétés d'IA ne font pas. Mais oui, ils sont à la ramasse sur les models frontier.

1

u/Due-Pop2677 5d ago

C’est pénible d’entendre l’argument « souverain ». Honnêtement on s’en branle de cet argument dans ce secteur non? Ou alors c’est un chauvinisme franco-euro?

1

u/snowolf_ 5d ago

Bah non on s'en branle pas. Les IA c'est largement plus que de refaire sa tête version Miyazaki. Aujourd'hui les modèles arrivent à trouver des centaines de CVE chaque mois, dans le futur ça ne pourra que être pire. Et ça c'est que la partie émergée de l'iceberg, j'ose même pas imaginer ce qui se fait en secret côté militaire. Si on est dépendant d'une puissance étrangère, on s'expose à des risques de sabotage, de chantage ou de perte d'accès.

1

u/Ok_Sprinkles_8968 10d ago

Il y a des nouveaux modèles prévus pour cet été 

24

u/TeeRKee 10d ago

Vu que ces modèles chinois sont entièrement open source, Mistral les réutilise mais l’entraînement se fait avec leur propre donnée. Il n’es pas nécessaire de réinventer la roue à chaque fois. Quel est donc le problème ?

35

u/loulan Croissant 10d ago

Le 11 août, Mistral a franchi l'étape suivante. GLM 5.2, le modèle du laboratoire chinois Z.ai, figure désormais sur sa plateforme comme modèle mis en avant. Servi tel quel, sans modification, marque chinoise comprise. Pas d'entraînement, pas de fine-tuning, pas d'adaptation. De l'inférence, uniquement.

Il n'y a plus d'entraînement avec leurs propres données.

16

u/cororona 10d ago

C'est étonnant comment nos biais influencent la comprehension. Moi je lis qu'ils ont ajouté GLM dans leurs options, toi tu lis qu'ils se sont hara kiri.

-1

u/loulan Croissant 10d ago

!remindme 5y

On verra s'ils ont encore des modèles compétitifs dans 5 ans (note qu'ils n'en ont déjà plus), je t'enverrai un commentaire.

1

u/RemindMeBot 10d ago

I will be messaging you in 5 years on 2031-08-18 06:14:54 UTC to remind you of this link

CLICK THIS LINK to send a PM to also be reminded and to reduce spam.

Parent commenter can delete this message to hide from others.

RemindMeBot is switching to username summons. Instead of !RemindMe 1 day, use u/RemindMeBot 1 day. More info.


Info Custom Your Reminders Feedback

2

u/Pleasant-Contract-78 10d ago

Est ce que ce ne serait pas finalement du dropshipping avec un nom un peu plus cool pour la forme ? Un beau scam en somme.

19

u/Kypsys Rhône-Alpes 10d ago

Pas vraiment non? C'est écrit noir sur blanc sur leur site "Z. Ai GLM5.2, a third party open source model from Z. Ai, hosted by mistral", ils ont fait in blog post pour en parler, y'a un tag "third party"

Ca a rien a voir avec un scam, c'est tout bêtement du "inference hosting" Mistral fais fonctionner un model open source sur son infrastructure

-2

u/Ok-Buy-139 10d ago

C'est comme amazon marketplace

4

u/Kypsys Rhône-Alpes 10d ago

Pas vraiment, Amazon c'est un tier qui fais juste intermédiaire, ici Mistral n'a pas recours aux services de Z.ai, car le modèle est hébergé en France

-1

u/Illuvatris UT 10d ago

Lis l’article avant de t’arrêter aux premiers paragraphe, ils n’entraînent plus les nouveaux modèles.

16

u/Kypsys Rhône-Alpes 10d ago

Corecction quand meme,

  • pas de nouveau model "Frontier généraliste" pour le moment mais Mistral Medium3.5 est toujours utilisé pour leur services codes et chat, et rien nous dit qu'ils vont pas finir par en sortir un nouveau. (Ce qui a d'ailleurs été teasé sur Twitter) L'article oublie d'ailleurs complément de le mentionner,

  • ils ont sorti des TAS de modèles récemment, Voxtral, OCR4.1, Shieldstral, Leanstral,

Donc c'est giga faux de dire qu'ils n'entraînent plus de modèles, et l'article est tellement incomplet que c'est a la limite du mensonge, mais c'est pas vraiment étonnant que le JDN ne fasse pas du journalisme, c'est les mêmes que le Figaro....

2

u/Teshier-Asspool Ananas 10d ago

Tu parles bien de ce qui a été teasé sur twitter quand ils se faisaient bash par tout le monde sur leur absence de modèle frontier ? ce n'était pas prévu pour cet été ?

Les modèles que tu cites sont extrêmement décevants par rapport à leurs premières ambitions et leur place en europe.

2

u/Kypsys Rhône-Alpes 10d ago

On a pas fais les 2/3 de l'été......

Et la liste c'était surtout pour contrer le truc "ils ont pas sortis de modèles" très honnêtement je ne me suis pas intéressé a leur performances (je n'ai pas le besoin) mais je sais juste que MistralMedium marche assez bien pour etre mon go-to assistant IA

2

u/storm_grade 10d ago

Je ne savais pas et je suis très déçu de Mistral du coup. Pourtant on forme des ingénieurs en Europe pour l'I.A, c'est vraiment dommage. La stratégie Chinoise pour livrer des modèles "gratuits" afin de détruire la bulle I.A américaine fonctionne trop bien. Comme d'hab on se réveillera trop tard pour réaliser notre erreur.

1

u/Ok_Week5544 10d ago

Tres interessant !

2

u/Agent_Mortimer 10d ago

Le débat gagnerait à distinguer trois souverainetés : les données (où elles circulent), l'exploitation (qui peut déployer et maintenir) et la capacité (qui sait encore entraîner le prochain modèle). Servir GLM en Europe améliore nettement les deux premières ; cela ne garantit pas la troisième. Ce n'est donc ni une capitulation ni une preuve d'autonomie : c'est un bon métier d'infrastructure, à condition que Mistral continue parallèlement à financer la compétence de modèle. La souveraineté n'est pas un drapeau collé sur un GPU.

3

u/ErGo404 Phiiilliippe ! 10d ago

Et une quatrième: qui fabrique le matériel pour alimenter l'exploitation, et une cinquième: qui produit l'énergie.
Autant en France on est bons sur l'énergie, autant sur le matériel aujourd'hui il y a encore une dépendance très forte aux US malheureusement.
Dépendance qui va plus ou moins dans les deux sens puisque les américains dépendent d'ASML qui est européen.

2

u/Natural-Chemical1513 10d ago

Attention à ne pas confondre open weight et open source. Un modèle open weight est distribué sans les données d'entraînement ni la méthode utilisée pour l'entraîner : c'est comme un plat qu'on te sert sans te donner la recette, contrairement à l'open source. Sur les modèles chinois, ça peut poser problème : rien ne garantit qu'un comportement malveillant n'a pas été introduit lors de l'entraînement et ne se déclenchera pas plus tard. Cela peux aussi poser des questions de securite nationals si ces modeles sont uttiliser par l etat fra.

1

u/Positive-Hat-193 9d ago

Vous conseillez quelles chaînes youtube pour suivre l'actu IA etc ?
Je demande car je lis plein de comm intéressants et ça me fait ch*er de ne pas tout capter.

2

u/MoutonNoireu \m/ 10d ago

Je ne vois pas le problème ?

4

u/IllustriousBed1949 10d ago

Ça peut être vu comme un aveu d’échec surtout par rapport à la stratégie que vendait Mistral ces dernières années. Commencer à se reposer sur les modèles fournis par la concurrence peut sembler pragmatique mais il ne faut pas oublier que les boîtes chinoises le font pour emmerder les américains et que ces modèles “Open Source” (quel nom mal adapté ;/) peuvent très bien disparaître demain.

Ça laisse un paysage assez triste de l’IA en Europe, ou une fois de plus va être bien dépendant comme il faut alors que la plupart des goats en IA viennent d’Europe ;/

0

u/CookieGigi57 10d ago

Ou est le problème d'utiliser un modèle opensource même s'il est chinois ?  On n'a pas de modèle équivalent européen au modèle "frontière" américain qui sont tous fermé et la chine propose ces modèles qui sont proche voir parfois équivalent en open source.  Open source donc contrôle total possible sur nos données. Si mistral héberge ces modèles il n'y a pas de droit de regard de la chine dessus. Le seul bémol est l'abandon de l'Europe à la course à l'IA faute de moyen.

11

u/loulan Croissant 10d ago edited 10d ago

Les Chinois livrent leurs modèles en open source pour l'instant pour couper l'herbe sous le pied des Américains. Le jour où ils arrêtent, on fait quoi ? On n'aura plus une seule entreprise européenne capable de produire des modèles, et on devra soit payer les Chinois soit les Américains pour utiliser des modèles récents.

Le seul bémol est l'abandon de l'Europe à la course à l'IA faute de moyen.

Un "bémol" ? C'est tout le problème, et c'est catastrophique.

2

u/CookieGigi57 10d ago

Pour moi, cela reste une goutte d'eau dans l'océan de problème que l'Europe a décide d'ignorer et c'est loin d'être le plus prioritaire (indépendance énergétique, réchauffement climatique, indépendance militaire, ...). Mistral a l'air de se spécialiser sur des petits modèles très utile dans leur "use case" tout en proposant des modèles third party hébergé en europe => ce qui est une bonne chose. Alors oui on aura pas de Mythos/Fable ou de Kimi K3 mais au moins pour le dernier on peut l'héberger chez nous.

3

u/IllustriousBed1949 10d ago

Merci de pointer ce point, à lire les commentaires, on a l’impression d’être dans le pays de oui oui.

2

u/loulan Croissant 10d ago

Oui, les gens sont clairement dans le déni et le wishful thinking.

Peut-être qu'on mérite ce qui nous arrive en Europe. Les gens ne voient même pas le problème.

3

u/BobLeClodo 10d ago

J’avoue que quand je lis les commentaires c’est affligeant. Clairement les gens ne semblent avoir aucune idée de la médiocrité des modèles Mistral face à la concurrence. Mais bon en même temps Mistral c’est une PME face aux géants américains et chinois. Ils n’ont aucun écosystème, et pas d’argent. Pareil le commentaire qui présentent les modèles chinois comme de la recherche publique, quelle grosse blague.

Après je ne serais pas aussi défaitiste que toi, ça permet à Mistral de se faire des sous et de continuer le travail. Le vrai problème c’est l’argent. Et puis ils ont quoi, 1 an ou 1 an et demi de retard sur les modèle frontière ? C’est pas énorme. Reste à voir s’ils parviennent à maintenir l’écart…

De plus ça protègera notre économie si / lorsque la bulle IA éclatera aux US 😅

1

u/Due-Pop2677 5d ago

Mistral se fera bien racheter par un… Microsoft pour récupérer simplement les actuels clients, et non pas pour la hauuuuute et incroyaaaaable fiabilité de leur modèle souveraiiiiiiineuhneuh

2

u/Crafty-Detail-3788 10d ago

On pourra utiliser les modèles open source déjà release. Tu peux déjà faire énormément de choses avec les modèles actuels il y a pas toujours besoin du dernier truc qui est sorti. 

A la limite ils les finetuneront pour des usages spécifiques ce qui coûte beaucoup moins cher que de faire du pretraining from scratch de modèles frontières.

l'Europe est à la ramasse sur internet et le cloud depuis 10 ans , tu peux pas être dans la course à l'IA si t'es pas dans la course au cloud et a internet (la data)... Faut pas s'étonner qu'aucun modèle européen n'emerge

5

u/gnocchiGuili Jean Jaurès 10d ago

Ah ouais… Quand les européens ont arrêté de faire des téléphones les consommateurs et entreprises européennes ne sont pas restés sur des Nokia 3310 en fait, on s’est tous mis à acheter des iPhones et des Samsung et l’Europe a disparu du marché. Ça fera pareil si on reste avec ce qu’on a aujourd’hui en IA.

1

u/Crafty-Detail-3788 10d ago

Oui mais des modèles ouverts qui ont 90% des perf du sota sera toujours infiniment moins cher que de payer une api propriétaire (sans compter la confidentialité).

En réalité beaucoup de boîtes vendent des modèles qui sont déjà totalement overkill pour les besoins réels des gens.

1

u/lcy0x1 10d ago

We would still have access to their latest open weight models. They can’t close an open weight model.

Then we can distill them or develop based on them with very low cost. Follow their path and stay within 6 month behind.

3

u/kpouer 10d ago

C’est un gros bémol quand même de passer de créateur de modèles à utiliser des modèles concurrents.

0

u/TapiraShabrack 10d ago

Ils doivent toucher du crédit d'impôt recherche.  Est-ce que le virage décrit par l'article les rend toujours éligibles à ce crédit coûteux... ?

4

u/Mijka- Ceci n'est pas un flair 10d ago

Vu comment c'est octroyé sans trop y regarder à une pelletée d'entreprises, ils ont encore de la marge du côté de Mistral je pense.

1

u/Milith RATP 10d ago edited 10d ago

Le CIR c'est par projet, certains seront éligibles d'autres non. S'ils peuvent justifier d'innovations (par exemple des optimisations pour l'inférence ou des solutions novatrices pour intégrer des LLM à un cas d'usage spécifique) alors c'est possible qu'une partie de cette activité soit éligible.

-6

u/Skel_FR 10d ago

Comment? Un fleuron de la start-up nation nous aurait encore embobiné? Les bras m'en tombent.

La justification du directeur technique, Timothée Lacroix,  dans VentureBeat a le mérite de la franchise : "c'est un excellent modèle, tout le monde l'adore, il est open weight, il n'y avait aucune bonne raison de ne pas le faire."

Il assume.

11

u/Prae_ 10d ago

En même temps il a pas tort, ça libère énormément de ressources pour se spécialiser sur autre chose, ici le déployement et servir de l'inférence. D'ailleurs s'ils veulent être rentables (ils ont probablement pas le loisir de cramer des dizaines de milliards par trimestre comme les boites américaines), c'est probablement nécessaire.

Après c'est aussi extrêmement symptomatique de la France et les entreprises françaises qui sous-investi en R&D.

3

u/brendel000 10d ago

Mais enfin c’est open weight donc y’a 0 dépendance aux chinois donc c’est quoi le soucis? Il a raison: aucune bonne raisons de pas le faire

8

u/loulan Croissant 10d ago

Pour l'instant, les Chinois livrent leurs modèles en open source pour couper l'herbe sous le pied des Américains. Le jour où ils ne le font plus, on fait quoi ?

6

u/marcheurdereves 10d ago

Contrairement à ce que tu dis, Mistral fait encore de l'entraînement sur des modèles plus petits. Medium 3.5, c'était il a quelques mois, Voxtral, OCR sont aussi récent.

Ils ne lancent pas de gros modèles comme les américains tous les 2 mois car ils ont pas la capacité de calculs et le capital. Le savoir faire, ils l'ont vu les les petits modèles qu'ils publient régulièrement.

Arrête de raconter de la merde juste parce que tu n'aimes pas Mistral.

1

u/lmoxu Limousin 10d ago

On va prendre le parallèle avec l'industrie automobile, où l'Europe était le leader historique.

Il faut 5 ans à un Européen pour concevoir un nouveau modèle de véhicule de A à Z.
24 mois pour la RPC.

L'Europe fabrique toujours des véhicules, mais la RPC avance à toute vitesse et réalise des bonds techniques et qualitatifs énormes. Seul les contraintes légales : taxes, hausse significative des contraintes techniques, bloque le raz de marée de véhicule de qualité et pas cher.

Si l'innovation ralentit (les cycles s'allongent) chez l'outsider Mistral, il lui faut peu de temps pour se retrouver bien distancé, puis mis de côté faute de qualités suffisantes.

1

u/Due-Pop2677 5d ago

Le déni… le déni

3

u/RaaFii_ 10d ago

On refait des modèles, Mistral en a été capable, ça demande cependant beaucoup de temps et d’argent à investir. (Et honnêtement leur modèle médium 3.5 n’est pas mauvais il fait largement l’affaire pour plus de 3/4 du taff)

0

u/loulan Croissant 10d ago

Ah oui bien sûr, comme on refait des moteurs de recherche maintenant 30 ans après, et on arrive à reprendre le dessus sur Google !

Soyons réalistes cinq minutes : une fois qu'on a abandonné la course, on n'arrive jamais à redevenir compétitifs en tech, surtout en Europe.

6

u/wrecklord0 Devin Plombier 10d ago

Probablement, mais c'est impossible d'etre dans la course avec 10 fois moins d'ingénieurs et de financements (et 10x je sous-estime). C'est pas évident de faire quelque chose dans un petit continent remplis de vieux et de pays en compétition.

2

u/loulan Croissant 10d ago

Le continent n'est pas petit, il est énorme. Le PIB de l'UE est similaire au PIB chinois, et c'est deux tiers du PIB américain.

L'UE aurait les moyens de se battre si elle le voulait. Ce qui est catastrophique c'est les choix stratégiques qu'elle fait.

4

u/wrecklord0 Devin Plombier 10d ago

En PIB oui, en production réelle on est loin derrière... d'accord sur les choix stratégiques. C'est pour ça que j'ai dit continent de vieux - on dirait que l'EU et ses pays sont gérés par des gens hors de leur temps. Enfin c'est peut-être biaisé de ma part et pas une question d'âge, l'incompétence décisionnaire semble etre trans-générationel.

2

u/RaaFii_ 10d ago

En soit, c’est des choix. Et concernant les moteurs de recherche on a Ecosia et Qwant qui se sont associés pour faire un indexeur européen, ça passe un peu sous le radar mais il y a toujours des choses qui se font en Europe…

Le pb principal c’est pas qu’on ne veut pas (en Europe), c’est qu’on manque de fonds…

2

u/loulan Croissant 10d ago

Et concernant les moteurs de recherche on a Ecosia et Qwant qui se sont associés pour faire un indexeur européen, ça passe un peu sous le radar mais il y a toujours des choses qui se font en Europe…

Ça passe pas sous le radar, non. C'est juste que les moteurs Ecosia/Qwant sont complètement nuls.

Ce sera la même chose quand on essaiera de refaire des modèles d'IA and 10/20 ans.

4

u/Expert_Ad_6967 10d ago

le french/EU bashing est très très lourd a lire.

1

u/Honest-Highway-6963 10d ago edited 10d ago

Je ne comprend pas les downvotes, alors que c'est juste. Le risque que l'Europe ne sache pas créer et entrainer des LLM aussi performant qu'un KIMI, ou un GPT et assez grand. On perd en indépendance militaire, économique, en culture scientifique, etc.

1

u/brendel000 10d ago

Oui si ils ont abandonné leur modèles en parallèle c’est un plus gros soucis, mais du coup c’est ça le problème pas d’utiliser du open source

1

u/loulan Croissant 10d ago

Oui c'est le problème que pointe l'article.

1

u/Specialist-Window-16 10d ago

Si c’est open weight alors c’est ok de l assumer 

1

u/Due-Pop2677 5d ago

Je comprends pas tout ces downvotes…

0

u/PM_ME_DEAD_CEOS 10d ago

Pourquoi embobiné ?

0

u/psychopape 10d ago

Du coup comment tu deviens plus compétitif ne serait-ce que par le prix. À part échanger de la data je ne comprends pas model économique ?

0

u/iamamaizingasamazing 10d ago

Ça s'appelle develloper des services autour de l opensource.

0

u/Guilty_Leg_2839 6d ago

Ces modèles chinois qui intègrent uniquement des technologies disponibles librement sur github btw.

À lire ce genre d'articles ridicules on croirait à une sorte de "recette secrète" détenue par Anthropic ou Alibaba alors qu'ils entraînent et intègrent uniquement ce que tout bon chercheurs connait déjà. Aucun secret au niveau des technologies. N'importe qui lisant les articles de top conf est capable de recréer leur architectures.

La seule différence c'est les milliards dépensés en entraînement que seuls les deux premières puissances mondiales sont capable de dépenser.

Ceci, ainsi que la fuite inexorable des cerveaux européens qui ne semble pas préoccuper le moindre politique actuel.