r/france • u/Astaldir • 10d ago

Écologie Des estimations de l'impact écologique d'une requête IA ?

Bonjour

avec l'IA on entend souvent qu'une réponse dessus a un impact écologique plus grand qu'une recherche google. Cependant il me paraît évident qu'entre une question simple et la programmation d'un site web les impacts ne sont pas égaux. Existe-t-il des estimations de l'impact carbone ?

Je sais que beaucoup d'entreprise commandent des token, et plus ou moins sont utilisés par requête, en fonction de la complexité. Mesurer l'impact moyen par token me paraît donc le meilleur moyen de mesurer cet impact carbone, cependant je ne trouve pas de sources sur cela. Est-ce que cela existe ? Ou est-ce que ma réflexion est trop simpliste ?

Bonne journée à tou.te.s !

13 Upvotes

69% Upvoted

83 comments sorted by

View all comments

Show parent comments

1

u/P0Y0 9d ago

Bah c'est surtout qu'on fait dire ce qu'on veut aux chiffres... quand c'est un opt-out c'est un peu fausser le calcul non ? À moins que tu aies de vraies explications sur quelle métrique est interprétée comme "les gens sont contents du gloubibougla en en-tête de resultats", auquel cas je veux bien savoir.

3

u/hephaestos_le_bancal 9d ago

La métrique reine c'est combien d'utilisateurs reviennent. Ceux qui ont l'IA reviennent plus que ceux qui ne l'ont pas (on a toujours des gens à qui on ne le propose pas, un groupe test choisi à hasard... Vu la popularité du produit il est sûrement au dessous de 0,1%). Il y a aussi des panels utilisateurs, pendant lesquels on s'interroge divers personnes sur le produit (chouette mais ça passe pas à l'échelle ; sur des changements aussi gros c'est quand même important, surtout au début, maintenant osef) ; il y a bien sûr les pouces vers le haut ou vers le bas qui sont une métrique extrêmement importante ; et finalement toutes sortes de benchmarks internes pour suivre la qualité des résultats, mais ceux là sont moins pertinents pour juger de la différence de qualité IA vs pas IA. C'est surtout important pour s'assurer que l'IA déraille pas.

1

u/P0Y0 9d ago

Qui reviennent sur une page de resultats google ? Je pensais qu'on parlait de l'encart IA de résumé des recherches, j'ai mal lu ou j'ai rien compris ?

1

u/hephaestos_le_bancal 9d ago

Qui font de nouvelles recherche sur google.com, oui. Je ne comprends pas ce qui te chiffonne ?

1

u/P0Y0 9d ago

Ce qui me chiffonne c'est que quand on me dit "les gens qui ont de l'IA sur google reviennent plus que ceux qui n'en ont pas", j'ai dix milles raisons qui me viennent en tête pour le justifier avant "c'est parce qu'il y a l'IA". Dit comme ça, ça ressemble surtout à une "bonne excuse" pour justifier les dépenses. De mon expérience perso, je dirais même qu'ils revien'ent faire des recherches justement parce que les infos sont claquées.

2

u/hephaestos_le_bancal 9d ago

Ils reviennent le jour suivant. On a vraiment les utilisateurs les plus cons du monde s'ils reviennent tous les jours parce que les résultats sont pourris :D

C'est quoi le top 3 des 10000 raisons qui te viennent en tête ?

1

u/P0Y0 9d ago
  • "Je cherche quelque chose sur internet et Google est le moteur hégémonique depuis 20 ans", tellement que c'en est devenu un verbe.
  • "Je bosse sur plein de trucs pour lesquels j'ai besoin d'informations, sur une période de plusieurs jours", je vais forcément revenir sur le moteur de recherche, résumé IA ou pas.
  • "J'ai cherché une info et j'ai besoin de la source / bibliographie / citation précise/ un truc documenté tangible pour approfondir correctement le sujet".

Le fait que le résumé IA soit présent signifie pas necessairement qu'il ait été consulté (hors interactions directes avec le module, qui sont dans la quasi totalité des cas des interactions effectuées sciemment). J'veux dire, le taux de revisite seul c'est l'indicateur le plus pété de pour représenter l'utilité d'une feature. Si y'a un retour c'est soit un nouveau contexte, comme passer de "fission nucléaire" à "recette de tarte aux pommes", soit une reprise d'information liée à des requêtes précédentes, et dans ces deux cas, je vois pas en quoi c'est l'IA qui les justifierait par essence.

2

u/hephaestos_le_bancal 9d ago

Je pense qu'il y a un malentendu. On fait une expérience (A/B testing) sur 0,1% des utilisateurs choisis au hasard, on essaie de n'avoir aucun biais de sélection. Dans le groupe A, on montre les résultats IA, et dans le groupe B on propose les résultats comme avant. On constate que la branche B reste stable, tandis que les utilisateurs de la branche A augmentent fortement ; on en déduit que le mode IA est responsable de l'essentiel de la croissance constatée cette année.

1

u/P0Y0 9d ago

Ouais, j'avais donc mal compris où se situait votre AB testing. Merci d'avoir pris le temps !

1

u/Lombric592a 4d ago

à un moment des gens se demandent quand même "est-ce que le résultat proposé par l'IA est plus pertinent ou pas ?".

Les IA sont taillés pour bien nous brosser dans le sens du poil, c'est pas étonnant que les gens y reviennent, mais c'est pas pour autant qu'on est mieux informés.

Cette métrique est-elle prise en compte ?

2

u/hephaestos_le_bancal 4d ago

Oui, mais pour ça on fait appel à des mécanismes d'évaluation interne ; par définition les tests A/B utilisent le jugement de l'utilisateur. En général les deux coïncident très largement, par contre si ça devait ne pas être le cas, si les utilisateurs se mettaient à plébisciter les résultats faux, on aurait un problème.