LePartisan.info À propos Podcasts Fil web Écologie Blogs REVUES Médias
Souscrire à ce flux
Réseau d'éducation populaire au Libre.

ACCÈS LIBRE

▸ les 20 dernières parutions

14.05.2025 à 10:02

FramIActu n°4 — La revue mensuelle sur l’actualité de l’IA

Framasoft

Semaine après semaine, l'actualité autour de l'Intelligence Artificielle défile, et si pour autant nous ne voyons pas plus clairement le cap que nous devons suivre, nous percevons de mieux en mieux les remous qui nous entourent. Préparez votre boisson préférée et installez-vous confortablement : c'est l'heure de la FramIActu !
Texte intégral (2932 mots)

Bienvenue à toutes et tous pour ce quatrième numéro de la FramIActu !

Semaine après semaine, l’actualité autour de l’Intelligence Artificielle défile, et si pour autant nous ne voyons pas plus clairement le cap que nous devons suivre, nous percevons de mieux en mieux les remous qui nous entourent.

Préparez votre boisson préférée et installez-vous confortablement : c’est l’heure de la FramIActu !

 

Le dessin d'un perroquet Ara, avec un remonteur mécanique dans son dos, comme pour les jouets ou les montres. Celui si est assis et semble parler.

Stokastik, la mascotte de FramamIA, faisant référence au perroquet stochastique. Illustration de David Revoy – Licence : CC-By 4.0

Une dépendance trop forte aux modélisations par IA est mauvaise pour la science

Dans un article paru le 07 avril 2025 dans Nature (accès payant, malheureusement), des chercheureuses démontrent que la dépendance excessive aux modélisations par IA nuit à la recherche scientifique.
Dans cette étude, nous apprenons que de nombreux champs de recherche (au moins une trentaine sont concernés, allant de la psychiatrie à la biologie moléculaire) sont affectés par des études basées sur des modélisations faites par IA dont les résultats sont erronés.

À titre d’exemple, les chercheureuses indiquent que durant la pandémie du COVID-19, 415 études ont avancé qu’une radiographie de la poitrine ou une tomodensitométrie pourraient diagnostiquer la maladie. Or, seulement 62 de ces études respectaient un standard de qualité suffisant et même parmi celles-ci, des défauts étaient très répandus, incluant des méthodes d’évaluation bancales, des données dupliquées et un manque de clarté concernant les cas « positifs », certaines études ne précisant pas si ces cas provenaient bien de personnes ayant un diagnostic médical confirmé.

Les auteurices de l’étude se plaignent aussi de la difficulté à reproduire les résultats des études (la reproductibilité étant une condition essentielle à la méthode scientifique) utilisant des IA basées sur de grands modèles de langage. Ces modèles sont très sensibles aux entrées : de tous petits changements de formulations lors de la requête peut générer une réponse très différente.
De plus, les modèles appartenant le plus souvent à des compagnies privées, il est très difficile de pouvoir y accéder rendant des études basées sur ceux-ci difficiles à reproduire.
D’autant plus que des mises à jour des modèles surviennent régulièrement, sans que les chercheureuses n’aient été notifié·es.

Mème. À gauche, une carte Uno avec marqué « Fais des études reproductibles ou pioche 25 cartes ». À droite, un personnage tagué « Le monde de la recherche » a pioché 25 cartes.

Le monde de recherche et l’IA. Mème généré via Framamèmes. Licence : CC0

Les chercheureuses appuient donc sur la nécessité d’être vigilant·es concernant l’augmentation de recherches scientifiques liées au boom de l’IA. Même si celles-ci étaient sans erreur, elles ne sont pas forcément synonymes de réelles avancées scientifiques.
Bien que certaines modélisations trouvées par des recherches basées sur de l’IA peuvent être utiles, en tirer une conclusion scientifique permettant de mieux comprendre le réel est bien plus difficile et les chercheureuses invitent leurs collègues à ne pas se tromper.
Les boites à outils composées d’IA basées sur de l’apprentissage machine permettent de construire plus facilement des modélisations mais ne rendent pas nécessairement plus faciles l’extraction des savoirs sur le monde et peuvent même rendre celle-ci plus difficile.
Le risque est donc de produire plus mais de comprendre moins.

Les auteurices invitent en conclusion à séparer la production de résultats individuels du progrès scientifique. Pour cela, celleux-ci indiquent qu’il est nécessaire de rédiger des synthèses avec un discours moins systématique et plus critique qui questionne les méthodes acceptées, adopte différentes formes de preuves, se confronte à des affirmations supposément incompatibles et théorise les découvertes existantes.
Aussi, une prudence bien plus forte doit être apportée aux recherches basées sur des modèles d’IA, jusqu’à ce que les résultats de celles-ci puissent être rigoureusement reproduits.
Enfin, les chercheureuses encouragent les financeurs à financer des recherches de qualité plutôt que de se focaliser sur la quantité.

L’IA rate les diagnostics médicaux de femmes et personnes noires.

Dans une étude parue dans Science Advances, un groupe de chercheureuses dévoile (sans grande surprise, avouons-le) qu’un des modèles d’IA les plus utilisés pour faire de la radiologie des poitrines à la recherche de maladies ne détecte pas correctement certain·es maladies potentiellement mortelles pour les groupes marginalisés (dont les femmes et les personnes noires).

Judy Gichoya, une informaticienne et radiologiste qui n’est pas impliquée dans l’étude, appuie sur la difficulté de réduire ces biais. Elle propose de s’appuyer sur des jeux de données plus petits mais plus diversifiés et de résoudre leurs défauts petit à petit.

L’étude s’inscrit dans un contexte où l’utilisation dans des contextes médicaux s’accélère et appuie ainsi sur la nécessité de toujours garder un regard humain sur les diagnostics et de ne jamais faire aveuglément confiance en les résultats fournis par une IA.

L'IA qui rend son diagnostique.Généré avec Framamemes. CC-0

L’IA rend son diagnostic.
Généré avec Framamemes. Licence : CC-0

De notre point de vue, la grande difficulté de la résolution des biais dans l’IA est liée à une volonté politique et financière : si ce genre de méthode se généralise, il faudrait très certainement investir massivement dans la numérisation des réalités des minorités et faire un immense travail de fond pour en éliminer le maximum de biais.
Cela semble malheureusement aller à contre-courant de la tendance actuelle.

 

Des expert·es en sécurité informatique dévoilent comment l’IA « malveillante » impacte le domaine

Lors de la conférence RSA, dédiée à la sécurité informatique, des expert·es du domaine ont dévoilé la puissance d’outils comme WormGPT pour découvrir des failles de sécurité et concevoir des attaques les exploitant.

WormGPT est un agent conversationnel ressemblant à ChatGPT mais n’ayant pas de modération. Celui-ci est aussi taillé pour la cybersécurité. On peut donc lui demander de fournir des réponses à tout, même à des choses illégales et/ou dangereuses.

Dans leur présentation, les informaticien·nes décrivent l’outil et ses capacités.
Celui-ci leur a permis de trouver rapidement des failles de sécurité dans un logiciel open source connu, mais aussi d’en générer des instructions claires permettant d’exploiter ces failles.

Les expert·es ont aussi cherché à faire générer directement le code par l’IA mais celui-ci n’était pas fonctionnel.
Ce dernier point sera très certainement amélioré au fil des prochains mois.

L’automatisation de l’analyse de failles informatiques a ainsi fait un bond conséquent en avant tout comme les capacités à les exploiter. Si des groupes de pirates se mettent à automatiser le processus, l’ensemble des systèmes informatiques risquent fort d’en pâtir.

D’un autre côté, si nous pouvons découvrir automatiquement des failles de sécurité dans nos logiciels, nous pouvons aussi chercher à les corriger avant qu’un·e attaquant·e ne les exploite.
L’utilisation de l’IA dans l’infrastructure entourant un logiciel semble donc presque inévitable de ce point de vue.

Enfin, nous pourrons aussi questionner ce que cela implique pour les développeur·euses modestes, notamment celleux partageant le code source de leur logiciel. Est-ce que la situation va ajouter encore plus de poids sur leurs épaules, leur demandant d’alourdir leur charge de travail (souvent bénévole) en mettant en place une infrastructure analysant les failles de sécurité et leur demandant de les résoudre au plus vite pour protéger leurs utilisateurices ?

L'image montre des briques reposant les unes sur les autres. L'ensemble de ces briques est taguée "All modern digital infrastructure". Une brique, sur laquelle repose tout l'équilibre de l'ensemble, est taguée "A project some random person in Nebraska has been Thanklessly maintaining since 2005".

Dependency – xkcd.
Licence : CC-BY-NC 2.5
Le célèbre xkcd représentant l’infrastructure du numérique moderne reposant entièrement sur une seule personne.

ChatGPT induit des psychoses à certain·es utilisateurices via ses réponses.

Dans un article de Rolling Stone, nous apprenons que des utilisateurices du média social Reddit décrivent comment l’IA a poussé leurs proches à adopter des délires, souvent basés sur des folies spirituelles ou des fantasmes surnaturels.

ChatGPT semble renforcer des psychoses chez certaines personnes, le plus souvent celles ayant déjà des tendances.
Interviewée par Rolling Stone, Erin Westgate, chercheuse en cognition, indique que certaines personnes utilisent ChatGPT comme « thérapie miroir ». Sauf que ChatGPT n’a pas pour préoccupation les intérêts de ces personnes.
Elle indique que des personnes utilisent ChatGPT pour trouver un sens à leur vie et ChatGPT leur recrache n’importe quelle explication trouvée un peu partout sur internet.

 

« Les explications sont puissantes, même si elles sont fausses » – Erin Westgate

Rappelons donc encore une fois que toute Intelligence Artificielle n’a aucune compréhension du réel et est surtout un système probabiliste. Une IA ne donnera jamais une réponse qu’elle considère être « vraie », c’est une notion inconnue pour elle. Elle donnera toujours une réponse qu’elle considère être « la plus probable » au regard de la manière dont elle a été entraînée et de l’historique de ses interactions avec l’utilisateur·ice.

Le dessin d'un perroquet Ara, avec un remonteur mécanique dans son dos, comme pour les jouets ou les montres. Accroché à son aile gauche, un ballon de baudruche.

Stokastik, la mascotte de FramamIA, faisant référence au perroquet stochastique. Illustration de David Revoy – Licence : CC-By 4.0

C’est tout pour ce mois-ci !

 

Cependant, si vous avez trouvé cette FramIActu trop courte et que vous êtes resté·e sur votre faim, vous pouvez vous mettre d’autres actualités sous la dent en consultant notre site de curation dédié au sujet, mais aussi et surtout FramamIA, notre site partageant des clés de compréhension sur l’IA !

Si nous pouvons vous proposer cette nouvelle revue mensuelle, c’est grâce à vos dons, Framasoft vivant presque exclusivement grâce à eux !
Pour nous soutenir et si vous en avez les moyens, vous pouvez nous faire un don via le formulaire dédié  !

Dans tous les cas, nous nous retrouverons le mois prochain pour un nouveau numéro de FramIActu ! 👋

PDF

12.05.2025 à 07:42

Khrys’presso du lundi 12 mai 2025

Khrys

Comme chaque lundi, un coup d’œil dans le rétroviseur pour découvrir les informations que vous avez peut-être ratées la semaine dernière. Tous les liens listés ci-dessous sont a priori accessibles librement. Si ce n’est pas le cas, pensez à activer … Lire la suite­­
Texte intégral (9069 mots)

Comme chaque lundi, un coup d’œil dans le rétroviseur pour découvrir les informations que vous avez peut-être ratées la semaine dernière.


Tous les liens listés ci-dessous sont a priori accessibles librement. Si ce n’est pas le cas, pensez à activer votre bloqueur de javascript favori ou à passer en “mode lecture” (Firefox) ;-)

Brave New World

Spécial nouveau pape

Spécial IA

Spécial Palestine et Israël

Spécial femmes dans le monde

Spécial France

Spécial femmes en France

Spécial médias et pouvoir

Spécial emmerdeurs irresponsables gérant comme des pieds (et à la néolibérale)

Spécial recul des droits et libertés, violences policières, montée de l’extrême-droite…

Spécial résistances

Spécial outils de résistance

  • Operator, I need an exit. (transworldexpress.org)

    This is an information resource mainly written for trans US citizens considering emigrating to another country, although we hope it is useful beyond that.

Spécial GAFAM et cie

Les autres lectures de la semaine

Les BDs/graphiques/photos de la semaine

Les vidéos/podcasts de la semaine

Les trucs chouettes de la semaine

Retrouvez les revues de web précédentes dans la catégorie Libre Veille du Framablog.

Les articles, commentaires et autres images qui composent ces « Khrys’presso » n’engagent que moi (Khrys).

PDF

11.05.2025 à 09:00

Vivre dans l’utopie algorithmique

Framasoft

L’utopie algorithmique des puissants est la dystopie algorithmique des démunis.
Texte intégral (1620 mots)

Cet article est une republication, avec l’accord de l’auteur, Hubert Guillaud. Il a été publié en premier le 03 février 2025 sur le site Dans Les Algorithmes sous licence CC BY-NC-SA.


L’utopie algorithmique des puissants est la dystopie algorithmique des démunis.

 

 

 

 

 

 

 

Dans un article de recherche de 2021, intitulé « Vivre dans leur utopie : pourquoi les systèmes algorithmiques créent des résultats absurdes », l’anthropologue et data scientist américain, Ali Alkhatib pointait le décalage existant entre la promesse technicienne et sa réalité, qui est que ces systèmes déploient bien plus de mauvaises décisions que de bonnes. La grande difficulté des populations  à s’opposer à des modèles informatiques défectueux condamne même les systèmes bien intentionnés, car les modèles défaillants sèment le doute partout autour d’eux. Pour lui, les systèmes algorithmiques tiennent d’une bureaucratisation pour elle-même et promeuvent un Etat administratif automatisé, autorisé à menacer et accabler ses populations pour assurer sa propre optimisation.

La raison de ces constructions algorithmiques pour trier et gérer les populations s’expliquent par le fait que la modernité produit des versions abrégées du monde qui ne sont pas conformes à sa diversité, à l’image des ingénieurs du XVIIIᵉ siècle, raconté par l’anthropologue James C. Scott dans L’Oeil de l’Etat, qui, en voulant optimiser la forêt pour son exploitation, l’ont rendue malade. Nos modèles sont du même ordre, ils produisent des versions du monde qui n’y sont pas conformes et qui peuvent être extrêmement nuisibles. « Les cartes abrégées conceptuelles que les forestiers ont créées et utilisées sont des artefacts qui résument le monde, mais elles transforment également le monde ». Nous sommes cernés par la croyance que la science et la technologie vont nous permettre de gérer et transformer la société pour la perfectionner. Ce qui, comme le dit Scott, a plusieurs conséquences : d’abord, cela produit une réorganisation administrative transformationnelle. Ensuite, cette réorganisation a tendance à s’imposer d’une manière autoritaire, sans égards pour la vie – les gens qui n’entrent pas dans les systèmes ne sont pas considérés. Et, pour imposer son réductionnisme, cette réorganisation nécessite d’affaiblir la société civile et la contestation.

La réorganisation administrative et informatique de nos vies et les dommages que ces réorganisations causent sont déjà visibles. L’organisation algorithmique du monde déclasse déjà ceux qui sont dans les marges du modèle, loin de la moyenne et d’autant plus éloignés que les données ne les ont jamais représentés correctement. C’est ce que l’on constate avec les discriminations que les systèmes renforcent. « Le système impose son modèle au monde, jugeant et punissant les personnes qui ne correspondent pas au modèle que l’algorithme a produit dans l’intérêt d’un objectif apparemment objectif que les concepteurs insistent pour dire qu’il est meilleur que les décisions que les humains prennent de certaines ou de plusieurs manières ; c’est la deuxième qualité. Leur mépris pour la dignité et la vie des gens – ou plutôt, leur incapacité à conceptualiser ces idées en premier lieu – les rend finalement aussi disposés que n’importe quel système à subjuguer et à nuire aux gens ; c’est la troisième qualité. Enfin, nos pratiques dans la façon dont les éthiciens et autres universitaires parlent de l’éthique et de l’IA, sapant et contrôlant le discours jusqu’à ce que le public accepte un engagement rigoureux avec « l’algorithme » qui serait quelque chose que seuls les philosophes et les informaticiens peuvent faire, agit comme une dépossession du public ; c’est la quatrième et dernière qualité. »

Comme les forestiers du XVIIIᵉ, les informaticiens imposent leur utopie algorithmique sur le monde, sans voir qu’elle est d’abord un réductionnisme. Le monde réduit à des données, par nature partiales, renforce sa puissance au détriment des personnes les plus à la marge de ces données et calculs. Les modélisations finissent par se détacher de plus en plus de la réalité et sont de plus en plus nuisibles aux personnes exclues. Ali Alkhatib évoque par exemple un système d’admission automatisé mis en place à l’université d’Austin entre 2013 et 2018, « Grade », abandonné car, comme tant d’autres, il avait désavantagé les femmes et les personnes de couleur. Ce système, conçu pour diminuer le travail des commissions d’admission ne tenait aucun compte de l’origine ou du genre des candidats, mais en faisant cela, valorisait de fait les candidats blancs et masculins. Enfin, le système n’offrait ni voie de recours ni même moyens pour que les candidats aient leur mot à dire sur la façon dont le système les évaluait.

L’IA construit des modèles du monde qui nous contraignent à nous y adapter, explique Ali Alkhatib. Mais surtout, elle réduit le pouvoir de certains et d’abord de ceux qu’elle calcule le plus mal. En cherchant à créer un « monde plus rationnel », les algorithmes d’apprentissage automatique créent les « façons d’organiser la stupidité » que dénonçait David Graeber dans Bureaucratie (voir notre lecture) et ces modèles sont ensuite projetés sur nos expériences réelles, niant celles qui ne s’inscrivent pas dans cette réduction. Si les IA causent du tort, c’est parce que les concepteurs de ces systèmes leur permettent de créer leurs propres mondes pour mieux transformer le réel. « Les IA causent du tort, parce qu’elles nous exhortent à vivre dans leur utopie ». Lorsque les concepteurs de systèmes entraînent leurs modèles informatiques en ignorant l’identité transgenre par exemple, ils exigent que ces personnes se débarrassent de leur identité, ce qu’elles ne peuvent pas faire, comme le montrait Sasha Constanza-Chock dans son livre, Design Justice, en évoquant les blocages qu’elle rencontrait dans les aéroports. Même chose quand les systèmes de reconnaissance faciales ont plus de mal avec certaines couleurs de peau qui conduisent à renforcer les difficultés que rencontrent déjà ces populations. Pour Ali Alkhatib, l’homogénéisation que produit la monoculture de l’IA en contraignant, en effaçant et en opprimant ceux qui ne correspondent pas déjà au modèle existant, se renforce partout où l’IA exerce un pouvoir autoritaire, et ces préjudices s’abattent systématiquement et inévitablement sur les groupes qui ont très peu de pouvoir pour résister, corriger ou s’échapper des calculs. D’autant qu’en imposant leur réduction, ces systèmes ont tous tendance à limiter les contestations possibles.

En refermant les possibilités de contestation de ceux qui n’entrent pas dans les cases du calcul, l’utopie algorithmique des puissants devient la dystopie algorithmique des démunis.

PDF
20 / 20
  GÉNÉRALISTES
Ballast
Fakir
Interstices
Lava
La revue des médias
Le Grand Continent
Le Monde Diplo
Le Nouvel Obs
Lundi Matin
Mouais
Multitudes
Politis
Regards
Smolny
Socialter
The Conversation
UPMagazine
Usbek & Rica
Le Zéphyr
 
  Idées ‧ Politique ‧ A à F
Accattone
Contretemps
A Contretemps
Alter-éditions
CQFD
Comptoir (Le)
Déferlante (La)
Esprit
Frustration
 
  Idées ‧ Politique ‧ i à z
L'Intimiste
Jef Klak
Lignes de Crêtes
NonFiction
Nouveaux Cahiers du Socialisme
Période
Philo Mag
Terrestres
Vie des Idées
 
  ARTS
Villa Albertine
 
  THINK-TANKS
Fondation Copernic
Institut La Boétie
Institut Rousseau
 
  TECH
Dans les algorithmes
Framablog
Goodtech.info
Quadrature du Net
 
  INTERNATIONAL
Alencontre
Alterinfos
CETRI
ESSF
Inprecor
Journal des Alternatives
Guitinews
 
  MULTILINGUES
Kedistan
Quatrième Internationale
Viewpoint Magazine
+972 mag
 
  PODCASTS
Arrêt sur Images
Le Diplo
LSD
Thinkerview
 
Fiabilité 3/5
Slate
Ulyces
 
Fiabilité 1/5
Contre-Attaque
Issues
Korii
Positivr
Regain
🌓