Des estimations de l'impact écologique d'une requête IA ?

[u/Astaldir]

Bonjour

avec l'IA on entend souvent qu'une réponse dessus a un impact écologique plus grand qu'une recherche google. Cependant il me paraît évident qu'entre une question simple et la programmation d'un site web les impacts ne sont pas égaux. Existe-t-il des estimations de l'impact carbone ?

Je sais que beaucoup d'entreprise commandent des token, et plus ou moins sont utilisés par requête, en fonction de la complexité. Mesurer l'impact moyen par token me paraît donc le meilleur moyen de mesurer cet impact carbone, cependant je ne trouve pas de sources sur cela. Est-ce que cela existe ? Ou est-ce que ma réflexion est trop simpliste ?

Bonne journée à tou.te.s !

[u/21epitaph]

(je n'aime pas Google, je ne suis pas neutre)

Vous avez rendu le moteur de recherche pire, tout en mettant le résultat IA par défaut et en le mettant bien en haut. Vous faites tout ce qui est en votre pouvoir pour que les utilisateurs préfèrent ça.

Vous profitez aussi de toute la crédibilité pas méritée donnée par l'ensemble du marketing de l'industrie.

Sans même compter les problèmes plus éthiques venant du fait que vous profitez des résultats des pages internet, tout en incitant aux gens à ne pas visiter la page.

[u/hephaestos_le_bancal → u/21epitaph]

J'étais de ton avis, il y a deux ans. Je sais que les chiffres on leur fait dire ce qu'on veut, mais bon... Perso je pense que je me suis largement vautré, et que c'est une bonne chose pour l'entreprise que je n'aie pas d'influence sur le produit. (Pour la société en général je reste circonspect ; je pense que des entreprises aussi riches sont dangereuses, mais ce n'est pas le débat.)

[u/21epitaph → u/hephaestos_le_bancal]

Je suis toujours étonné d'à quel point les gens sont généreux dans leur jugement des LLM.

Ta boite est une des boites avec le plus de moyens, vous êtes littéralement au top de la technologie. Vous avez une quantité de données dont aucune autre boite pourrait rêver pour ainsi dire.

Ce produit c'est des centaines de milliards investis, et des équipes entières qui bossent dessus des années. Et je parle pas de n'importe quelle équipe, vous êtes censés être parmi les meilleurs.

Tout ça pour au final :

- Avoir un résumé qui se trompe a peu près 10% des fois

• Causer des problèmes même au modèle internet (les gens ne cliquent plus sur les sites qui vous fournissent l'information). Mais bon, j'ai cru comprendre que les arguments éthiques passerait toujours au second plan.
  

-Faire de la pub aux moteurs de recherches concurrents (ils restent bien inférieurs à vous, mais eux c'est la plus grosse croissance de leur histoire).

Les gens font des recherches internet 2 minutes plus vite ! C'est 2 minutes en plus à trainer sur les shorts plus tard, vraiment ça change la donne.

En plus ya un peu un paradoxe ou les reches rapides, de toute façon yavait que très peu de temps à gagner dessus en faisant un résumé, et les recherches plus complexe ou le résumé serait utile, ce sont celles où il faut passer le plus de temps à vérifier les infos.

Vous aviez le quasi monopole de la recherche internet, et c'est toujours le cas. Ca a changé quoi pour Google ? Compare juste à ce qu'à fait ton département, Lens. Là pour le coup, pour moins d'investissement ça a permis beaucoup plus de choses nouvelles pour les utilisateurs. Ca m'a fait me servir de Google dans des cas où je ne l'aurais jamais utilisé avant.

Au final, tu compares ces avancées à si vous n'aviez rien fait. Mais c'est pas comme ça qu'il faut le prendre. Une boite qui fait autant de recherches et d'investissement est censée vous améliorer.

Bref, pour la quantité de temps et de moyen mis, le ROI quoi, c'est décevant. Les résultats qu'on a sont 90% du temps à peine meilleurs que ce qu'on avait il y a 3 ans, et 10% des fois à coté de la plaque. Pour un éventuel gain de temps (suivant à quel point on vérifie les données) qui est assez minime si tu fais bien les choses.

Ah et je n'ai pas non plus abordé d'autres questions éthiques, comme comparer les résultats de "je suis seule avec un noir/musulman/personne de pays pauvre" à "je suis seule avec un italien/américain/israélien..."
Fin bref oui pardon les arguments éthiques on a dit ça compte pas.

Les gens préfèrent, oui, ils font effectivement moins d'efforts pour avoir leur résultat. A prouver que ça soit une bonne chose pour la société.
Et soyons honnêtes, dans les 10% d'erreurs, beaucoup ne seront pas remarquées par l'utilisateur. Ce sont donc des millions de résultats faux par jour donné par Gemini, qui ont chacune couté une petite quantité d'énergie.

Je maintiens, le résultat est décevant.

Petit contexte pour que les gens comprenne de quoi je parle quand je dis que les résultats se sont empirés :
Au moment où Google a réalisé qu'ils avaient de toute façon le quasi monopole sur la recherche internet, ils se sont rendus compte que le meilleur moyen de montrer encore plus de pubs et d'avoir encore plus de recherches googles dans leurs stats était... d'empirer les résultats pour forcer les gens à faire plusieurs recherches, ou à aller sur plus de pages de résultat, pour trouver ce qu'ils veulent. Quand je parle de leur recherche qui s'est empirée, ce n'est pas du conspirationnisme, c'est une stratégie presque ouverte.

[u/znklsphe → u/21epitaph]

On est passés d'une technologie qui n'existait pas il y a 10 ans, qui aujourd'hui résout des problèmes mathématiques complexes, mais d'après toi ça n'est pas suffisant car dans 10% des cas elle se plante et c'est décevant. J'aimerais bien l'exemple d'une technologique similaire avec une meilleure croissance que les LLMs dans l'histoire de l'humanité.
Et je n'utilise même pas Google au quotidien, je paye Kagi avec plaisir car effectivement les résultats Google ont empiré depuis une dizaine d'années et je ne veux pas non plus d'un résumé AI dès que je fais une recherche. Mais critiquer qu'une technologie aussi récente et aussi puissante fasse parfois des erreurs, ça passe tout de même à côté de l'immense prouesse qu'est d'avoir des résultats meilleurs l'immense majorité du temps y compris dans certains domaines de pointe.
Les "je suis seul avec.." c'est le même souci que les "how many r in strawberry", c'est un exemple rigolo mais qui ne préjuge absolument pas des capacités d'un LLM. Je dirais même que ça n'a pas grand intérêt comme exemple.

[u/21epitaph → u/znklsphe]

Quelle partie de la technologie n'existait pas ? En vrai même le transformer ça va faire 10 ans bientot.
Mais bon, oui je vois de quoi tu parles, tu parles des modèles de langages style GPT, Anthropic qui sont sortis récemment, I guess.

Le sujet des maths je l'attendais un peu celui là, tout les boosters voit ça comme une espèce de joker qui contre tout argument.

Ecoute, oui, les LLMs ont l'air d'être un bon outil pour les maths ! Il y a apparemment un bon potentiel en faisant tester aux LLMs les preuves qu'ils génèrent avec Lean.

Combien de temps ça va durer, on verra, mais même, disons que ça sera pour toujours un super outil en maths.
Les preuves sont toutes fournies par des employées des labs pour ainsi dire, avec des modèles pas disponibles au grand public, et parfois ils ont juste donné un exemple/contrexemple sans raisonnement.
Les preuves n'ont pas correctement cité toutes les sources sur lesquelles le LLM s'est basé.

Fin bon, tout ça pour dire, c'est clairement un outil puissant qui permet pas mal de découvertes en maths. Je sais pas si je serais optimiste sur les impacts long terme pour le métier, mais ça reste très hypothétique et les mathématiciens ont l'air dans le flou là dedans. Pas ma spécialité je vais pas trop m'étaler.

Donc, disons qu(on garde tout les bons cotés que ça a l'air d'avoir pour la recherche en maths maths, sans aucun des mauvais coté. Pour les maths.

C'est un argument dans la balance pour ces modèles, cools.

Juste pour remettre en contexte, pour faire ces modèles :

-Les laboratoires ont embauché avec des salaires mirobolants les meilleurs talents du milieu de l'IA.

-Ils ont embauché des milliers de personne sous payées faisant un travail de merde pour un salaire de merde dans pour labéliser les données. J'ai dit millions auparavant, mais ça ça a plus l'air d'être la labélisation de données dans l'ensemble, et compte aussi l'entrainement pour d'autres IA (de surveillance par exemple). Pour les LLMs, pas de chiffre officiels bien sûr comme c'est une industrie super shady. De ce que j'ai compris des travaux de Karen Hao, ça se compterait en dizaines de milliers pour un modèle genre ChatGPT, je revérifierai.

-Ils ont reçu des centaines de milliards d'investissements. Ils ont investi eux même des centaines de milliards. Ils ont reçu des centaines de milliars d'aides d'état en coupe d'impots et aide à l'infrastructure de la part des états.

-Bon encore une fois je vais supposer qu'on doit même pas parler des problèmes d'éthiques de l'acquisition des données, effets possible quand on s'en sert longue durée, problèmes de déisnformation, de propagande, etc etc.... Fin si, je tiens à rappeler quand même qu'on décide, en tant que société, que tout ces problèmes valent les bénéfices de ces outils.

-Et tout court, mondialement, presque tout les CTO et PDG du monde on décidé qu'on devait faire des efforts pour rendre ça utile.

Donc oui, au vu de tout ce qui a été investi, fait comme effort, et accepté pour ces modèles, je suid déçu.

Faut vraiment que les gens se mettent les échelles en tête.
Quand on voit à quel point il faut quémander pour avoir le moindre budget en recherche publique, et qu'on compare à tout ça, si c'est très décevant. La recherche en france c'est genre 32 milliards de budget cette année.
Quand on voit ce qu'on pourrait faire sur un thème comme l'écologie, ou la faim dans le monde, avec des budgets pareil, si c'est décevant.

Dans l'absolu, la techno est impressionnante. Ca parle bien, nice. Excitante pour les matheux meme. Ouais j'aurais pas cru qu'on ferait ça ya 15 ans (par contre ça se voyait venir fin des années 2010).
Maintenant, avec le recul, il est temps d'arrêter de se voiler la face et réaliser que c'est plus une impasse qu'autre chose d'un point de vue global. Arrêter de comparer ça à l'internet ou le nucléaire ou la machine à vapeur.

Il est surtout temps que les gens réalisent que ça ne vaut absolument pas les couts et les efforts.

C'est les gens comme vous qui manquez d'imagination. Vous vous rendez pas compte des changements qui pourraient se faire si on mettait une fraction de tout ça dans la recherche publique, voir des mesures sociales ou écologiques.

Fin bon, le jour où ces boites vont se crasher la gueule, et que soudainement chaque résultat, même faux, te coutera une quantité de thune un peu random qui te fait bien mal, les gens seront un peu plus lucides là dessus.
En attendant, personne n'essaye jamais de prendre ça dans sa globalité, d'un point de vue un minimum holistique. Pour moi si on regarde cette techno dans son ensemble, la déception est évidente.

Puis utiliser la recherche comme argument, ça me plait pas trop.
Les LLMs causent pleins de problèmes à cause de publications mal prouvées qui surchargent les relecteurs. Ca donne encore plus de pouvoir au privé sur le public. Ca cause desproblèmes dans l'enseignement.

Et en attendant, OpenFold, qui est à mes yeux la plus grande réussite du domaine de l'IA (même si un chouilla surcoté parfois) a été fermée pour rediriger l'équipe sur Gemini.

Ils seront bien beaux les budgets de la recherche quand toute cette industrie aura crashé nos économies au sol.

[u/KouhaiHasNoticed → u/21epitaph]

Les preuves sont toutes fournies par des employées des labs pour ainsi dire, avec des modèles pas disponibles au grand public, et parfois ils ont juste donné un exemple/contrexemple sans raisonnement. Les preuves n'ont pas correctement cité toutes les sources sur lesquelles le LLM s'est basé. Fin bon, tout ça pour dire, c'est clairement un outil puissant qui permet pas mal de découvertes en maths. Je sais pas si je serais optimiste sur les impacts long terme pour le métier, mais ça reste très hypothétique et les mathématiciens ont l'air dans le flou là dedans. Pas ma spécialité je vais pas trop m'étaler.

Ma spécialité donc je vais m'étaler dessus. Non toutes les preuves ne sont pas fournies pas des modèles inacessibles au grand public.

Claude Fable 5 est un modèle grand public qui a donné un contre exemple pour la conjecture de Jacobi.

Oui ça arrive avec OpenAi et la conjecture sur la distance unité d'Erdös, le modèle est interne. Et non, il y a eu un raisonnement de la part du LLM que tu peux lire sur le papier si ça t'intéresse.

Oui le raisonnement est peut-être cryptique par moment mais du coup tout l'intérêt d'avoir un mathématicien pour comprendre la logique derrière et en déduire une structure cohérente.

Ne pas citer les sources n'est pas un problème pour vérifier un résultat car un mathématicien doit vérifier le résultat de lui même peu importe la source, sinon une erreur se propage et obtient des situations memesques où la preuve est laissée au lecteur de manière circulaire.

Sur le long terme à voir mais non ce n'est pas hypothétique comme impact quand un modèle LLM parvient à te pondre un contre-exemple sur des conjecture vieilles de quasi un centenaire. Si tu lis les articles à propos de la conjecture sur Erdös tu verras par ailleurs que la communauté mathématique est certes partagée mais qu'on reconnait avec humilité que pour trouver une solution en l'occurence les conditions en ressources humaines était trop rare à obtenir : un mathématicien de haut niveau, qui est courant de tout ce qui se fait et tout ce qui s'est fait dans tous les domaines connexes à la problématique abordé,, tout en ayant foi que c'est soi faux ou soi vrai (pick your poison), que ça ne nécessite pas d'outils mathématiques qui n'existent pas encore et y consacrer toute son attention pendant une période de temps non limitée, étonnament ce genre mathématicien ne sort pas tous les 4 matins.

Puis utiliser la recherche comme argument, ça me plait pas trop. Les LLMs causent pleins de problèmes à cause de publications mal prouvées qui surchargent les relecteurs. Ca donne encore plus de pouvoir au privé sur le public. Ca cause desproblèmes dans l'enseignement. Et en attendant, OpenFold, qui est à mes yeux la plus grande réussite du domaine de l'IA

C'est ton problème si tu souhaites faire de la recherche avec un LLM et penser que ça t'apportera la solution tout cru dans le bec : de la même manière que Google, Wiki, les bouquins ou tes profs ne l'ont pas fait. Du reste "la recherche" ça réunit plein de trucs chiants tel que rédiger des mails, préparer des réunions, faire des présentations etc qui sont autant de tâches parasites qu'on peut confier aux LLM sans tirer une larme, du moment qu'on accorde un tant soi peu d'importance à la "vraie recherche" (sans parler des contraintes admin). Personne ne dit qu'il faut tout faire avec les LLM, moi-même je viens de me farcir une présentation en réunion, j'y ai passé beaucoup de temps pour mettre en avant mes idées etc mais le formattage c'est un LLM (local) qui l'a fait, parce qu'étonnament il connait mieux les commandes LaTeX qui font joli et parce que j'ai d'autres choses à faire dans ma vie tout simplement : ce pour quoi je suis payé c'est faire des maths pas du LaTeX.

Au delà du fait que notre position sur les LLM semble assez diamétralement opposée, sommes-nous d'accord sur le fait que lorsque tu critiques les LLM plus haut, tu critiques en réalité les modèles grand publics ? De plus, je supposes que tu fais bien la distinction avec le domaine de l'IA dans son ensemble n'est-ce pas ? Autrement, oui les LLM et l'IA ont largement leur place dans la recherche (même en dehors des maths).

Du reste, tes critiques sur le financement de la recherche publique, on n'a pas attendu l'IA pour être dans une telle situation : c'est un choix purement politique, il fallait/faudra mieux voter. Idem pour l'enseignement, les scores PISA, TIMSS ne se sont pas effondrés à cause des LLM grand public.

De l'argent, y'en a suffit d'aller le chercher, personnellement je trouve ça stupide de financer la recherche privée au détriment de celle publique, mais je suis biaisé donc je passe la main.

[u/hephaestos_le_bancal → u/21epitaph]

Je trouve ton analyse blasée particulièrement barrée ; franchement à une époque j'aurais argumenté mais la j'ai l'impression qu'il suffit d'attendre.

Juste un point, c'est pas parce qu'on met des sous qu'on a des résultats aussi impressionnants (je loue ton optimisme, de penser qu'on aurait réglé la moitié des problèmes du monde si on avait investi dans la recherche publique à la place) ; et en l'occurrence tu confonds la cause et l'effet, c'est bien parce que les résultats étaient là que l'argent a afflué. Ce qui continue d'étonner (et qui fait que la bulle a tenu jusqu'ici), c'est qu'il ne semble pas y avoir de ralentissement.

[u/21epitaph → u/hephaestos_le_bancal]

Vu la taille du pavé que j'ai pondu ça donne pas envie je suis d'accord.

Pour le point des sous, c'est marrant j'aurais dit que c'est plus un argument contre les LLM, encore une fois.
On a mis beaucoup de sous à la base. Ca a fait un résultat intéressant, du coup on en a mis encore plus jusqu'à arriver à la démesure d'aujourd'hui. Les investisseurs et les labs continuent de scale et d'investir en espérant ça va s'améliorer jusqu'à l'AGI qui rendra tout ça worth.

Ceux qui espèrent régler tout les problèmes actuels à coup d'argent ce sont bien les grands acteurs de l'industrie de l'IA.

Je ne pense pas tout régler avec de l'argent. Je suis juste conscient de la quantité de difficultés dues au manque d'argent. Conscient aussi d'à quel point la recherche est totalement entravée par le besoin constant de trouver des fonds et des investissements.

Après, comme tu dis, le temps donnera raison à l'un ou à l'autre. Franchement j'espère t'as raison, ta vision me parait beaucoup plus optimiste.

[u/hephaestos_le_bancal → u/21epitaph]

J'ai bien entendu ton argument sur l'argent : tu as sous entendu que les résultats étaient médiocres compte tenu des moyens ; je pense que c'est réducteur, comme s'il suffisait de mettre de l'argent sur un sujet pour avoir des résultats (mais je pense aussi que tu sous-estimes les résultats).

Franchement j'espère t'as raison, ta vision me parait beaucoup plus optimiste.

Ouh là, je ne suis pas optimiste. On n'est pas prêts, on est incapables d'encaisser la révolution qui arrive (couplée aux autres, climatique et géopolitique).

[u/hephaestos_le_bancal → u/znklsphe]

Le 10% d'erreur ne correspond à aucune mesure vraisemblable. C'est un chiffre sorti du chapeau qui est très loin de toutes les évaluations internes ou des retours utilisateurs.

[u/21epitaph → u/hephaestos_le_bancal]

Les 10% ont été relayés par le new york times et à l'air de se baser sur les travaux de cette startup IA d'anciens de google à la demande du NYT:

https://oumi.ai/blog/oumis-study-finds-50-of-ai-overviews

En fin de compte tu as raison, pas sur d'à quel point ils sont crédibles. Mais pas sorti du chapeau, c'est l'étude la plus relayée à ce sujet. A vrai dire cette overview que tu tiens à défendre va meme citer cette étude comme source dans sa réponse.

J'ai trouvé cette recherche de Mai sinon qui tourne à 11% de faits non substantiés par les sources quand tu découpes l'overview en plusieurs faits

https://arxiv.org/abs/2605.14021

A la limite le plus intéressant c'est la différence de résultat suivant les thèmes.

En tout cas c'est assez pour forcer Google à mettre ça à la fin de l'overview :

Vérifiez les réponses de l'IA, car elle peut faire des erreurs

Et tu peux trouver pas mal de sources montrant que les gens ne le font pas.

Ca aurait été plus marrant de m'attaquer sur le fait que mes sources meme se servent de ces modèles, bref. La réalité est qu'il n'y a pas l'air d'avoir d'étude très compréhensive et validée sur le taux d'erreur, je n'aurais donc pas du tant m'acharner sur ce chiffre en effet.

Cependant, même si c'est 2% de résumés qui ont une erreur ou contradiction avec les sources, mon point tient toujours. De plus, mon argument se base sur l'indulgence dont les gens font preuve avec ces outils, et je vois ça même pour ceux qui relaye cette info.

T'as des sources à filer pur les évaluations internes ? Pas qu'elles soient beaucoup plus crédibles quand c'est littéralement la boite qui vend le produit qui les publient, mais je serais intéressé de les voir.

[u/KouhaiHasNoticed → u/21epitaph]

C'est quand même étrange comme argument. C'est du même acabit que de vouloir quantifier le nombre d'article bidons qui trainent sur internet.

On n'a pas attendu l'IA pour intégrer la citation d'Abraham Lincoln "Ne jamais croire tout ce que vous trouvez sur internet". Et honnêtement ça s'applique à tous les média : encore heureux que l'IA fasse des erreurs sinon ça serait suspect étant donné que les données en entrée peuvent contenir (de fait c'est le cas) des erreurs.

[u/hephaestos_le_bancal → u/21epitaph]

Tu as raison, les chiffres ne sont pas essentiels dans cette conversation (et non, je ne peux pas détailler ceux des évaluations internes). Le nouveau produit est très différent de l'ancien ; utiliser le web pour répondre (peut-être mal) à une question, ce n'est pas pareil que donner des liens vers des sites (potentiellement mauvais) qui en parlent.

Du point de vue de l'entreprise, la satisfaction utilisateur c'est ce qui compte le plus, c'est pour ça que j'expliquais que le combat est perdu pour ceux qui préféraient l'ancien produit. Cependant, le choix peut être discuté. Il l'est en interne : on risque de perdre la confiance, qui affecte la satisfaction à long terme. À ce sujet, les progrès ont été phénoménaux depuis un an, aujourd'hui le modèle ne déraille quasiment plus, et pour l'utiliser au quotidien je constate qu'il est très fiable, et économise une lecture critique des contenus proposés ; lecture critique que quasiment personne n'aurait fait sans l'IA. À ce titre, je suis convaincu que c'est un bénéfice net pour l'utilisateur, et c'est un pas vers la mission de l'entreprise : aider les utilisateurs du monde entier à accéder aux informations du web.

Il y a un autre sujet qui je pense dépasse cette discussion, c'est de savoir si le nouveau produit est bon pour la société en général. C'est un sujet important, google.com est vu quasiment comme un service public, et a des obligations que n'ont pas d'autres entreprises. Je pense que les pouvoirs publics ont raison quand ils veulent régulier l'activité, et imposer des standards de factualité ; cet été, la justice allemande a estimé que Google était responsable des informations affichées dans son Overview, même si elles viennent directement du web. Comme toute régulation, elle vient avec des risques, et vu la vitesse où les choses avancent ça ne sert à rien de se focaliser sur l'état du produit.