LePartisan.info À propos Podcasts Fil web
Flux grenoblois
Fr3 Alpes Fr.Bleu Isère Infos épinglées Agendas Ressources Assos Webcams
Écologie BLOGS Revues Médias
KHRYS

Revue hebdomadaire du web

▸ les 20 dernières parutions

30.06.2025 à 07:42

Khrys’presso du lundi 30 juin 2025

Khrys

Comme chaque lundi, un coup d’œil dans le rétroviseur pour découvrir les informations que vous avez peut-être ratées la semaine dernière. Tous les liens listés ci-dessous sont a priori accessibles librement. Si ce n’est pas le cas, pensez à activer … Lire la suite­­
Texte intégral (8401 mots)

Comme chaque lundi, un coup d’œil dans le rétroviseur pour découvrir les informations que vous avez peut-être ratées la semaine dernière.

Tous les liens listés ci-dessous sont a priori accessibles librement. Si ce n’est pas le cas, pensez à activer votre bloqueur de javascript favori ou à passer en “mode lecture” (Firefox) ;-)

Brave New World

Spécial IA

Spécial Palestine et Israël

Spécial Iran et Israël

Spécial femmes dans le monde

Spécial France

Spécial femmes en France

Spécial médias et pouvoir

Spécial emmerdeurs irresponsables gérant comme des pieds (et à la néolibérale)

Spécial recul des droits et libertés, violences policières, montée de l’extrême-droite…

Spécial résistances

Spécial outils de résistance

Spécial GAFAM et cie

Les autres lectures de la semaine

Les BDs/graphiques/photos de la semaine

Les vidéos/podcasts de la semaine

Les trucs chouettes de la semaine

Retrouvez les revues de web précédentes dans la catégorie Libre Veille du Framablog.

Les articles, commentaires et autres images qui composent ces « Khrys’presso » n’engagent que moi (Khrys).

PDF

23.06.2025 à 07:42

Khrys’presso du lundi 23 juin 2025

Khrys

Comme chaque lundi, un coup d’œil dans le rétroviseur pour découvrir les informations que vous avez peut-être ratées la semaine dernière. Tous les liens listés ci-dessous sont a priori accessibles librement. Si ce n’est pas le cas, pensez à activer … Lire la suite­­
Texte intégral (9223 mots)

Comme chaque lundi, un coup d’œil dans le rétroviseur pour découvrir les informations que vous avez peut-être ratées la semaine dernière.

Tous les liens listés ci-dessous sont a priori accessibles librement. Si ce n’est pas le cas, pensez à activer votre bloqueur de javascript favori ou à passer en “mode lecture” (Firefox) ;-)

Brave New World

Spécial IA

Spécial Palestine et Israël

Spécial Iran et Israël

Spécial femmes dans le monde

Spécial France

Spécial femmes en France

Spécial médias et pouvoir

Spécial emmerdeurs irresponsables gérant comme des pieds (et à la néolibérale)

Spécial recul des droits et libertés, violences policières, montée de l’extrême-droite…

Spécial résistances

Spécial GAFAM et cie

Les autres lectures de la semaine

Les BDs/graphiques/photos de la semaine

Les vidéos/podcasts de la semaine

Les trucs chouettes de la semaine

Retrouvez les revues de web précédentes dans la catégorie Libre Veille du Framablog.

Les articles, commentaires et autres images qui composent ces « Khrys’presso » n’engagent que moi (Khrys).

PDF

22.06.2025 à 09:00

L’IA est une technologie comme les autres

Framasoft

L’IA ne sera pas la révolution que l’on pense. Son déploiement concret va prendre du temps. Elle ne sera pas non plus la menace existentielle qu’on imagine, parce qu’elle ne se développera pas là où les risques de défaillances sont trop importants. L’IA va rester sous contrôle malgré sa diffusion, estiment les chercheurs Arvind Narayanan et Sayash Kapoor dans une mise en perspective stimulante de notre avenir.
Texte intégral (5114 mots)

Cet article est une republication, avec l’accord de l’auteur, Hubert Guillaud. Il a été publié en premier le 03 mars 2025 sur le site Dans Les Algorithmes sous licence CC BY-NC-SA.

Après une vingtaine d’articles republiés tous les dimanches depuis plusieurs mois, nous prenons une pause estivale ! Vous pouvez néanmoins toujours consulter, chaque semaine, les articles proposés par Hubert Guillaud sur le site de Dans Les Algorithmes !

Avatar de Hubert Guillaud

Hubert Guillaud

L’IA ne sera pas la révolution que l’on pense. Son déploiement concret va prendre du temps. Elle ne sera pas non plus la menace existentielle qu’on imagine, parce qu’elle ne se développera pas là où les risques de défaillances sont trop importants. L’IA va rester sous contrôle malgré sa diffusion, estiment les chercheurs Arvind Narayanan et Sayash Kapoor dans une mise en perspective stimulante de notre avenir.

 

 

 

 

 

 

Les chercheurs Arvind Narayanan et Sayash Kapoor – dont nous avions chroniqué le livre, AI Snake Oil – signent pour le Knight un long article pour démonter les risques existentiels de l’IA générale. Pour eux, l’IA est une « technologie normale ». Cela ne signifie pas que son impact ne sera pas profond, comme l’électricité ou internet, mais cela signifie qu’ils considèrent « l’IA comme un outil dont nous pouvons et devons garder le contrôle, et nous soutenons que cet objectif ne nécessite ni interventions politiques drastiques ni avancées technologiques ». L’IA n’est pas appelée à déterminer elle-même son avenir, expliquent-ils. Les deux chercheurs estiment que « les impacts économiques et sociétaux transformateurs seront lents (de l’ordre de plusieurs décennies) ».

Selon eux, dans les années à venir « une part croissante du travail des individus va consister à contrôler l’IA ». Mais surtout, considérer l’IA comme une technologie courante conduit à des conclusions fondamentalement différentes sur les mesures d’atténuation que nous devons y apporter, et nous invite, notamment, à minimiser le danger d’une superintelligence autonome qui viendrait dévorer l’humanité.

La vitesse du progrès est plus linéaire qu’on le pense

« Comme pour d’autres technologies à usage général, l’impact de l’IA se matérialise non pas lorsque les méthodes et les capacités s’améliorent, mais lorsque ces améliorations se traduisent en applications et se diffusent dans les secteurs productifs de l’économie  » , rappellent les chercheurs, à la suite des travaux de Jeffrey Ding dans son livre, Technology and the Rise of Great Powers : How Diffusion Shapes Economic Competition (Princeton University Press, 2024, non traduit). Ding y rappelle que la diffusion d’une innovation compte plus que son invention, c’est-à-dire que l’élargissement des applications à d’innombrables secteurs est souvent lent mais décisif. Pour Foreign Affairs, Ding pointait d’ailleurs que l’enjeu des politiques publiques en matière d’IA ne devraient pas être de s’assurer de sa domination sur le cycle d’innovation, mais du rythme d’intégration de l’IA dans un large éventail de processus productifs. L’enjeu tient bien plus à élargir les champs d’application des innovations qu’à maîtriser la course à la puissance, telle qu’elle s’observe actuellement.

En fait, rappellent Narayanan et Kapoor, les déploiements de l’IA seront, comme dans toutes les autres technologies avant elle, progressifs, permettant aux individus comme aux institutions de s’adapter. Par exemple, constatent-ils, la diffusion de l’IA dans les domaines critiques pour la sécurité est lente. Même dans le domaine de « l’optimisation prédictive », c’est-à-dire la prédiction des risques pour prendre des décisions sur les individus, qui se sont multipliées ces dernières années, l’IA n’est pas très présente, comme l’avaient pointé les chercheurs dans une étude. Ce secteur mobilise surtout des techniques statistiques classiques, rappellent-ils. En fait, la complexité et l’opacité de l’IA font qu’elle est peu adaptée pour ces enjeux. Les risques de sécurité et de défaillance font que son usage y produit souvent de piètres résultats. Sans compter que la réglementation impose déjà des procédures qui ralentissent les déploiements, que ce soit la supervision des dispositifs médicaux ou l’IA Act européen. D’ailleurs, “lorsque de nouveaux domaines où l’IA peut être utilisée de manière significative apparaissent, nous pouvons et devons les réglementer ».

Même en dehors des domaines critiques pour la sécurité, l’adoption de l’IA est plus lente que ce que l’on pourrait croire. Pourtant, de nombreuses études estiment que l’usage de l’IA générative est déjà très fort. Une étude très commentée constatait qu’en août 2024, 40 % des adultes américains utilisaient déjà l’IA générative. Mais cette percée d’utilisation ne signifie pas pour autant une utilisation intensive, rappellent Narayanan et Kapoor – sur son blog, Gregory Chatonksy ne disait pas autre chose, distinguant une approche consumériste d’une approche productive, la seconde était bien moins maîtrisée que la première. L’adoption est une question d’utilisation du logiciel, et non de disponibilité, rappellent les chercheurs. Si les outils sont désormais accessibles immédiatement, leur intégration à des flux de travail ou à des habitudes, elle, prend du temps. Entre utiliser et intégrer, il y a une différence que le nombre d’utilisateurs d’une application ne suffit pas à distinguer. L’analyse de l’électrification par exemple montre que les gains de productivité ont mis des décennies à se matérialiser pleinement, comme l’expliquait Tim Harford. Ce qui a finalement permis de réaliser des gains de productivité, c’est surtout la refonte complète de l’agencement des usines autour de la logique des chaînes de production électrifiées.

Les deux chercheurs estiment enfin que nous sommes confrontés à des limites à la vitesse d’innovation avec l’IA. Les voitures autonomes par exemple ont mis deux décennies à se développer, du fait des contraintes de sécurité nécessaires, qui, fort heureusement, les entravent encore. Certes, les choses peuvent aller plus vite dans des domaines non critiques, comme le jeu. Mais très souvent, “l’écart entre la capacité et la fiabilité” reste fort. La perspective d’agents IA pour la réservation de voyages ou le service clients est moins à risque que la conduite autonome, mais cet apprentissage n’est pas simple à réaliser pour autant. Rien n’assure qu’il devienne rapidement suffisamment fiable pour être déployé. Même dans le domaine de la recommandation sur les réseaux sociaux, le fait qu’elle s’appuie sur des modèles d’apprentissage automatique n’a pas supprimé la nécessité de coder les algorithmes de recommandation. Et dans nombre de domaines, la vitesse d’acquisition des connaissances pour déployer de l’IA est fortement limitée en raison des coûts sociaux de l’expérimentation. Enfin, les chercheurs soulignent que si l’IA sait coder ou répondre à des examens, comme à ceux du barreau, mieux que des humains, cela ne recouvre pas tous les enjeux des pratiques professionnelles réelles. En fait, trop souvent, les indicateurs permettent de mesurer les progrès des méthodes d’IA, mais peinent à mesurer leurs impacts ou l’adoption, c’est-à-dire l’intensité de son utilisation. Kapoor et Narayanan insistent : les impacts économiques de l’IA seront progressifs plus que exponentiels. Si le taux de publication d’articles sur l’IA affiche un doublement en moins de deux ans, on ne sait pas comment cette augmentation de volume se traduit en progrès. En fait, il est probable que cette surproduction même limite l’innovation. Une étude a ainsi montré que dans les domaines de recherche où le volume d’articles scientifiques est plus élevé, il est plus difficile aux nouvelles idées de percer.

L’IA va rester sous contrôle

Le recours aux concepts flous d’« intelligence » ou de « superintelligence » ont obscurci notre capacité à raisonner clairement sur un monde doté d’une IA avancée. Assez souvent, l’intelligence elle-même est assez mal définie, selon un spectre qui irait de la souris à l’IA, en passant par le singe et l’humain. Mais surtout, “l’intelligence n’est pas la propriété en jeu pour analyser les impacts de l’IA. C’est plutôt le pouvoir – la capacité à modifier son environnement – ​​qui est en jeu”. Nous ne sommes pas devenus puissants du fait de notre intelligence, mais du fait de la technologie que nous avons utilisée pour accroître nos capacités. La différence entre l’IA et les capacités humaines reposent surtout dans la vitesse. Les machines nous dépassent surtout en termes de vitesse, d’où le fait que nous les ayons développées surtout dans les domaines où la vitesse est en jeu.

“Nous prévoyons que l’IA ne sera pas en mesure de surpasser significativement les humains entraînés (en particulier les équipes humaines, et surtout si elle est complétée par des outils automatisés simples) dans la prévision d’événements géopolitiques (par exemple, les élections). Nous faisons la même prédiction pour les tâches consistant à persuader les gens d’agir contre leur propre intérêt”. En fait, les systèmes d’IA ne seront pas significativement plus performants que les humains agissant avec l’aide de l’IA, prédisent les deux chercheurs.

Mais surtout, insistent-ils, rien ne permet d’affirmer que nous perdions demain la main sur l’IA. D’abord parce que le contrôle reste fort, des audits à la surveillance des systèmes en passant par la sécurité intégrée. “En cybersécurité, le principe du « moindre privilège » garantit que les acteurs n’ont accès qu’aux ressources minimales nécessaires à leurs tâches. Les contrôles d’accès empêchent les personnes travaillant avec des données et des systèmes sensibles d’accéder à des informations et outils confidentiels non nécessaires à leur travail. Nous pouvons concevoir des protections similaires pour les systèmes d’IA dans des contextes conséquents. Les méthodes de vérification formelle garantissent que les codes critiques pour la sécurité fonctionnent conformément à leurs spécifications ; elles sont désormais utilisées pour vérifier l’exactitude du code généré par l’IA.” Nous pouvons également emprunter des idées comme la conception de systèmes rendant les actions de changement d’état réversibles, permettant ainsi aux humains de conserver un contrôle significatif, même dans des systèmes hautement automatisés. On peut également imaginer de nouvelles idées pour assurer la sécurité, comme le développement de systèmes qui apprennent à transmettre les décisions aux opérateurs humains en fonction de l’incertitude ou du niveau de risque, ou encore la conception de systèmes agents dont l’activité est visible et lisible par les humains, ou encore la création de structures de contrôle hiérarchiques dans lesquelles des systèmes d’IA plus simples et plus fiables supervisent des systèmes plus performants, mais potentiellement peu fiables. Pour les deux chercheurs, “avec le développement et l’adoption de l’IA avancée, l’innovation se multipliera pour trouver de nouveaux modèles de contrôle humain”.

Pour eux d’ailleurs, à l’avenir, un nombre croissant d’emplois et de tâches humaines seront affectés au contrôle de l’IA. Lors des phases d’automatisation précédentes, d’innombrables méthodes de contrôle et de surveillance des machines ont été inventées. Et aujourd’hui, les chauffeurs routiers par exemple, ne cessent de contrôler et surveiller les machines qui les surveillent, comme l’expliquait Karen Levy. Pour les chercheurs, le risque de perdre de la lisibilité et du contrôle en favorisant l’efficacité et l’automatisation doit toujours être contrebalancée. Les IA mal contrôlées risquent surtout d’introduire trop d’erreurs pour rester rentables. Dans les faits, on constate plutôt que les systèmes trop autonomes et insuffisamment supervisés sont vite débranchés. Nul n’a avantage à se passer du contrôle humain. C’est ce que montre d’ailleurs la question de la gestion des risques, expliquent les deux chercheurs en listant plusieurs types de risques.

La course aux armements par exemple, consistant à déployer une IA de plus en plus puissante sans supervision ni contrôle adéquats sous prétexte de concurrence, et que les acteurs les plus sûrs soient supplantés par des acteurs prenant plus de risques, est souvent vite remisée par la régulation. “De nombreuses stratégies réglementaires sont mobilisables, que ce soient celles axées sur les processus (normes, audits et inspections), les résultats (responsabilité) ou la correction de l’asymétrie d’information (étiquetage et certification).” En fait, rappellent les chercheurs, le succès commercial est plutôt lié à la sécurité qu’autre chose. Dans le domaine des voitures autonomes comme dans celui de l’aéronautique, “l’intégration de l’IA a été limitée aux normes de sécurité existantes, au lieu qu’elles soient abaissées pour encourager son adoption, principalement en raison de la capacité des régulateurs à sanctionner les entreprises qui ne respectent pas les normes de sécurité”. Dans le secteur automobile, pourtant, pendant longtemps, la sécurité n’était pas considérée comme relevant de la responsabilité des constructeurs. Mais petit à petit, les normes et les attentes en matière de sécurité se sont renforcées. Dans le domaine des recommandations algorithmiques des médias sociaux par contre, les préjudices sont plus difficiles à mesurer, ce qui explique qu’il soit plus difficile d’imputer les défaillances aux systèmes de recommandation. “L’arbitrage entre innovation et réglementation est un dilemme récurrent pour l’État régulateur”. En fait, la plupart des secteurs à haut risque sont fortement réglementés, rappellent les deux chercheurs. Et contrairement à l’idée répandue, il n’y a pas que l’Europe qui régule, les États-Unis et la Chine aussi ! Quant à la course aux armements, elle se concentre surtout sur l’invention des modèles, pas sur l’adoption ou la diffusion qui demeurent bien plus déterminantes pourtant.

Répondre aux abus. Jusqu’à présent, les principales défenses contre les abus se situent post-formation, alors qu’elles devraient surtout se situer en aval des modèles, estiment les chercheurs. Le problème fondamental est que la nocivité d’un modèle dépend du contexte, contexte souvent absent du modèle, comme ils l’expliquaient en montrant que la sécurité n’est pas une propriété du modèle. Le modèle chargé de rédiger un e-mail persuasif pour le phishing par exemple n’a aucun moyen de savoir s’il est utilisé à des fins marketing ou d’hameçonnage ; les interventions au niveau du modèle seraient donc inefficaces. Ainsi, les défenses les plus efficaces contre le phishing ne sont pas les restrictions sur la composition des e-mails (qui compromettraient les utilisations légitimes), mais plutôt les systèmes d’analyse et de filtrage des e-mails qui détectent les schémas suspects, et les protections au niveau du navigateur. Se défendre contre les cybermenaces liées à l’IA nécessite de renforcer les programmes de détection des vulnérabilités existants plutôt que de tenter de restreindre les capacités de l’IA à la source. Mais surtout, “plutôt que de considérer les capacités de l’IA uniquement comme une source de risque, il convient de reconnaître leur potentiel défensif. En cybersécurité, l’IA renforce déjà les capacités défensives grâce à la détection automatisée des vulnérabilités, à l’analyse des menaces et à la surveillance des surfaces d’attaque”. “Donner aux défenseurs l’accès à des outils d’IA puissants améliore souvent l’équilibre attaque-défense en leur faveur”. En modération de contenu, par exemple, on pourrait mieux mobiliser l’IA peut aider à identifier les opérations d’influence coordonnées. Nous devons investir dans des applications défensives plutôt que de tenter de restreindre la technologie elle-même, suggèrent les chercheurs.

Le désalignement. Une IA mal alignée agit contre l’intention de son développeur ou de son utilisateur. Mais là encore, la principale défense contre le désalignement se situe en aval plutôt qu’en amont, dans les applications plutôt que dans les modèles. Le désalignement catastrophique est le plus spéculatif des risques, rappellent les chercheurs. “La crainte que les systèmes d’IA puissent interpréter les commandes de manière catastrophique repose souvent sur des hypothèses douteuses quant au déploiement de la technologie dans le monde réel”. Dans le monde réel, la surveillance et le contrôle sont très présents et l’IA est très utile pour renforcer cette surveillance et ce contrôle. Les craintes liées au désalignement de l’IA supposent que ces systèmes déjouent la surveillance, alors que nous avons développés de très nombreuses formes de contrôle, qui sont souvent d’autant plus fortes et redondantes que les décisions sont importantes.

Les risques systémiques. Si les risques existentiels sont peu probables, les risques systémiques, eux, sont très courants. Parmi ceux-ci figurent “l’enracinement des préjugés et de la discrimination, les pertes d’emplois massives dans certaines professions, la dégradation des conditions de travail, l’accroissement des inégalités, la concentration du pouvoir, l’érosion de la confiance sociale, la pollution de l’écosystème de l’information, le déclin de la liberté de la presse, le recul démocratique, la surveillance de masse et l’autoritarisme”. “Si l’IA est une technologie normale, ces risques deviennent bien plus importants que les risques catastrophiques évoqués précédemment”. Car ces risques découlent de l’utilisation de l’IA par des personnes et des organisations pour promouvoir leurs propres intérêts, l’IA ne faisant qu’amplifier les instabilités existantes dans notre société. Nous devrions bien plus nous soucier des risques cumulatifs que des risques décisifs.

Politiques de l’IA

Narayanan et Kapoor concluent leur article en invitant à réorienter la régulation de l’IA, notamment en favorisant la résilience. Pour l’instant, l’élaboration des politiques publiques et des réglementations de l’IA est caractérisée par de profondes divergences et de fortes incertitudes, notamment sur la nature des risques que fait peser l’IA sur la société. Si les probabilités de risque existentiel de l’IA sont trop peu fiables pour éclairer les politiques, il n’empêche que nombre d’acteurs poussent à une régulation adaptée à ces risques existentiels. Alors que d’autres interventions, comme l’amélioration de la transparence, sont inconditionnellement utiles pour atténuer les risques, quels qu’ils soient. Se défendre contre la superintelligence exige que l’humanité s’unisse contre un ennemi commun, pour ainsi dire, concentrant le pouvoir et exerçant un contrôle centralisé sur l’IA, qui risque d’être un remède pire que le mal. Or, nous devrions bien plus nous préoccuper des risques cumulatifs et des pratiques capitalistes extractives que l’IA amplifie et qui amplifient les inégalités. Pour nous défendre contre ces risques-ci, pour empêcher la concentration du pouvoir et des ressources, il nous faut rendre l’IA puissante plus largement accessible, défendent les deux chercheurs.

Ils recommandent d’ailleurs plusieurs politiques. D’abord, améliorer le financement stratégique sur les risques. Nous devons obtenir de meilleures connaissances sur la façon dont les acteurs malveillants utilisent l’IA et améliorer nos connaissances sur les risques et leur atténuation. Ils proposent également d’améliorer la surveillance des usages, des risques et des échecs, passant par les déclarations de transparences, les registres et inventaires, les enregistrements de produits, les registres d’incidents (comme la base de données d’incidents de l’IA) ou la protection des lanceurs d’alerte… Enfin, ils proposent que les “données probantes” soient un objectif prioritaire, c’est-à-dire d’améliorer l’accès de la recherche.

Dans le domaine de l’IA, la difficulté consiste à évaluer les risques avant le déploiement. Pour améliorer la résilience, il est important d’améliorer la responsabilité et la résilience, plus que l’analyse de risque, c’est-à-dire des démarches de contrôle qui ont lieu après les déploiements. “La résilience exige à la fois de minimiser la gravité des dommages lorsqu’ils surviennent et la probabilité qu’ils surviennent.” Pour atténuer les effets de l’IA nous devons donc nous doter de politiques qui vont renforcer la démocratie, la liberté de la presse ou l’équité dans le monde du travail. C’est-à-dire d’améliorer la résilience sociétale au sens large.

Pour élaborer des politiques technologiques efficaces, il faut ensuite renforcer les capacités techniques et institutionnelles de la recherche, des autorités et administrations. Sans personnels compétents et informés, la régulation de l’IA sera toujours difficile. Les chercheurs invitent même à “diversifier l’ensemble des régulateurs et, idéalement, à introduire la concurrence entre eux plutôt que de confier la responsabilité de l’ensemble à un seul régulateur”.

Par contre, Kapoor et Narayanan se défient fortement des politiques visant à promouvoir une non-prolifération de l’IA, c’est-à-dire à limiter le nombre d’acteurs pouvant développer des IA performantes. Les contrôles à l’exportation de matériel ou de logiciels visant à limiter la capacité des pays à construire, acquérir ou exploiter une IA performante, l’exigence de licences pour construire ou distribuer une IA performante, et l’interdiction des modèles d’IA à pondération ouverte… sont des politiques qui favorisent la concentration plus qu’elles ne réduisent les risques. “Lorsque de nombreuses applications en aval s’appuient sur le même modèle, les vulnérabilités de ce modèle peuvent être exploitées dans toutes les applications”, rappellent-ils.

Pour les deux chercheurs, nous devons “réaliser les avantages de l’IA”, c’est-à-dire accélérer l’adoption des bénéfices de l’IA et atténuer ses inconvénients. Pour cela, estiment-ils, nous devons être plus souples sur nos modalités d’intervention. Par exemple, ils estiment que pour l’instant catégoriser certains domaines de déploiement de l’IA comme à haut risque est problématique, au prétexte que dans ces secteurs (assurance, prestation sociale ou recrutement…), les technologies peuvent aller de la reconnaissance optique de caractères, relativement inoffensives, à la prise de décision automatisées dont les conséquences sont importantes. Pour eux, il faudrait seulement considérer la prise de décision automatisée dans ces secteurs comme à haut risque.

Un autre enjeu repose sur l’essor des modèles fondamentaux qui a conduit à une distinction beaucoup plus nette entre les développeurs de modèles, les développeurs en aval et les déployeurs (parmi de nombreuses autres catégories). Une réglementation insensible à ces distinctions risque de conférer aux développeurs de modèles des responsabilités en matière d’atténuation des risques liés à des contextes de déploiement particuliers, ce qui leur serait impossible en raison de la nature polyvalente des modèles fondamentaux et de l’imprévisibilité de tous les contextes de déploiement possibles.

Enfin, lorsque la réglementation établit une distinction binaire entre les décisions entièrement automatisées et celles qui ne le sont pas, et ne reconnaît pas les degrés de surveillance, elle décourage l’adoption de nouveaux modèles de contrôle de l’IA. Or de nombreux nouveaux modèles sont proposés pour garantir une supervision humaine efficace sans impliquer un humain dans chaque décision. Il serait imprudent de définir la prise de décision automatisée de telle sorte que ces approches engendrent les mêmes contraintes de conformité qu’un système sans supervision. Pour les deux chercheurs, “opposer réglementation et diffusion est un faux compromis, tout comme opposer réglementation et innovation”, comme le disait Anu Bradford. Pour autant, soulignent les chercheurs, l’enjeu n’est pas de ne pas réguler, mais bien de garantir de la souplesse. La législation garantissant la validité juridique des signatures et enregistrement électroniques promulguée en 2000 aux Etats-Unis a joué un rôle déterminant dans la promotion du commerce électronique et sa diffusion. La législation sur les petits drones mise en place par la Federal Aviation Administration en 2016 a permis le développement du secteur par la création de pilotes certifiés. Nous devons trouver pour l’IA également des réglementations qui favorisent sa diffusion, estiment-ils. Par exemple, en facilitant “la redistribution des bénéfices de l’IA afin de les rendre plus équitables et d’indemniser les personnes qui risquent de subir les conséquences de l’automatisation. Le renforcement des filets de sécurité sociale contribuera à atténuer l’inquiétude actuelle du public face à l’IA dans de nombreux pays”. Et les chercheurs de suggérer par exemple de taxer les entreprises d’IA pour soutenir les industries culturelles et le journalisme, mis à mal par l’IA. En ce qui concerne l’adoption par les services publics de l’IA, les gouvernements doivent trouver le juste équilibre entre une adoption trop précipitée qui génère des défaillances et de la méfiance, et une adoption trop lente qui risque de produire de l’externalisation par le secteur privé.

PDF

16.06.2025 à 07:42

Khrys’presso du lundi 16 juin 2025

Khrys

Comme chaque lundi, un coup d’œil dans le rétroviseur pour découvrir les informations que vous avez peut-être ratées la semaine dernière. Tous les liens listés ci-dessous sont a priori accessibles librement. Si ce n’est pas le cas, pensez à activer … Lire la suite­­
Texte intégral (11027 mots)

Comme chaque lundi, un coup d’œil dans le rétroviseur pour découvrir les informations que vous avez peut-être ratées la semaine dernière.

Tous les liens listés ci-dessous sont a priori accessibles librement. Si ce n’est pas le cas, pensez à activer votre bloqueur de javascript favori ou à passer en “mode lecture” (Firefox) ;-)

Brave New World

Spécial IA

Spécial Palestine et Israël

Spécial Iran et Israël

Spécial femmes dans le monde

Spécial France

Spécial femmes en France

Spécial médias et pouvoir

Spécial emmerdeurs irresponsables gérant comme des pieds (et à la néolibérale)

Spécial recul des droits et libertés, violences policières, montée de l’extrême-droite…

Spécial résistances

Spécial outils de résistance

Spécial GAFAM et cie

Les autres lectures de la semaine

Les BDs/graphiques/photos de la semaine

Les vidéos/podcasts de la semaine

Les trucs chouettes de la semaine

Retrouvez les revues de web précédentes dans la catégorie Libre Veille du Framablog.

Les articles, commentaires et autres images qui composent ces « Khrys’presso » n’engagent que moi (Khrys).

PDF

15.06.2025 à 09:00

Recrutements automatisés : défaillances spécifiques, défaillances systémiques

Framasoft

Démontrer les défaillances des systèmes de recrutement automatisé demeure compliqué. Les enquêtes et tests des usagers, des chercheurs, des médias… parviennent souvent à pointer des défaillances spécifiques que les entreprises ont beau jeu de rejeter comme n’étant pas représentatifs. Et effectivement, corriger les biais de recrutement nécessite d’être capable de les mesurer. Comment répondre aux défaillances du recrutement automatisé ? C’est le dossier de Dans les algorithmes !
Texte intégral (5809 mots)

Cet article est une republication, avec l’accord de l’auteur, Hubert Guillaud. Il a été publié en premier le 11 juin 2024 sur le site Dans Les Algorithmes sous licence CC BY-NC-SA.

Avatar de Hubert Guillaud

Hubert Guillaud

Démontrer les défaillances des systèmes de recrutement automatisé demeure compliqué. Les enquêtes et tests des usagers, des chercheurs, des médias… parviennent souvent à pointer des défaillances spécifiques que les entreprises ont beau jeu de rejeter comme n’étant pas représentatifs. Et effectivement, corriger les biais de recrutement nécessite d’être capable de les mesurer. Comment répondre aux défaillances du recrutement automatisé ?

 

C’est le dossier de Dans les Algorithmes !

 

 

 

 

 

Le problème auquel nous sommes confrontés dans les systèmes de recrutement automatisés est que ni les postulants ni les départements RH ni les régulateurs ni le grand public ne savent très bien comment les CV sont inspectés et scorés (voir la première partie de ce dossier). Les candidats savent rarement si ces outils sont la seule raison pour laquelle les entreprises les rejettent – et aucun de ces systèmes n’explique aux utilisateurs comment ils ont été évalués. Pourtant, les exemples flagrants de défaillances spécifiques sont nombreux, sans qu’il soit toujours possible de prouver leurs défaillances systémiques.

Dans son livre, The Algorithm : How AI decides who gets hired, monitored, promoted, and fired and why we need to fight back now (L’algorithme : comment l’IA décide de qui sera embauché, surveillé, promu et viré et pourquoi nous devons riposter, Hachette, 2024, non traduit), la journaliste Hilke Schellmann donne beaucoup la parole à des individus qui ont bataillé contre des systèmes : une développeuse black très compétente discriminée en continu, un data scientist écarté sans raisons de postes pour lesquels il était plus que compétent… un candidat d’une cinquantaine d’années, excédé qui finit par changer sa date de naissance et se voit magiquement accepté aux candidatures où il était refusé ! Le testing systémique des outils d’embauche automatisés est encore trop rare et trop souvent individuel… Mais il montre bien souvent combien ces systèmes sont défaillants, à l’image de celui initié récemment par Bloomberg : les journalistes ont demandé à ChatGPT de classer des CV dont le seul élément modifié était le prénom et le nom des candidats. Sans surprise, les CV avec des noms à consonance afro-américaine étaient à chaque fois les plus mal classés !

Pourtant, démontrer les dysfonctionnements de ces systèmes demeure compliqué, concède la journaliste. Notamment parce que ces éclairages reposent souvent sur des exemples spécifiques, de simples tests, des études limitées en ampleur, en profondeur et dans le temps… que les entreprises ont beau jeu de les rejeter comme n’étant pas représentatifs. L’accumulation de preuves de défaillances devrait néanmoins être plus que préoccupante.

Les informations sur le fonctionnement de ces systèmes sont rares, la plupart du temps elles ne nous parviennent que quand ces systèmes dysfonctionnent publiquement. En 2018, une enquête de Reuters avait montré que le système de recrutement d’Amazon était fortement biaisé au détriment des femmes : ses données d’entraînement (les CV des gens déjà recrutés par Amazon) comportaient trop peu de femmes et les écartait par défaut. Malgré les tentatives de l’équipe d’Amazon pour réparer le système d’embauche, l’équipe a fini par abandonner le projet, faute d’y parvenir. C’est dire que réparer les défaillances et les biais n’est pas si simple. Les problèmes de discriminations ne se sont pourtant pas arrêtés. La Commission pour l’égalité des chances en matière d’emploi (EEOC, l’agence fédérale américaine chargée de lutter contre la discrimination à l’emploi), poursuit chaque année de nombreuses entreprises qui ont des pratiques d’embauches discriminatoires massives et problématiques.

Vous avez du mal à trouver un emploi ? La faute aux robots recruteurs.
Image extraite d’un article de Hilke Schellmann pour The Guardian.

 

Pour John Jersin, longtemps vice-président de Linkedin, ces problèmes de discrimination invisibles, cachés dans d’autres pratiques ou au fin fond des mots, restent inaperçues des développeurs de systèmes, notamment parce que la réduction des biais évoque d’abord le risque qui affecte certaines catégories de population plutôt que d’autres. Le débiaisage invite à écarter des éléments visibles, comme le genre, les prénoms, les pronoms, les photos… mais n’insiste pas assez sur le fait que les biais peuvent être, par cascade, à plein d’autres endroits. Chez Linkedin, Jersin a construit une équipe d’ingénieurs en IA pour combattre les biais de l’IA. Pour réduire les biais de genre, la solution de Linkedin a été… de mettre encore plus d’IA en utilisant des coefficients de représentativité genrés selon les emplois pour corriger la visibilité des annonces (comme Meta envisage de le faire pour les annonces immobilières). L’exemple montre bien que pour corriger les biais, encore faut-il pouvoir les mesurer, et non seulement mesurer les biais de représentativité, mais également ceux de la diffusion des annonces. Sans compter que ces corrections qui visent à réduire les écarts de performance entre groupes démographiques risquent surtout de produire un “égalitarisme strict par défaut”, qu’une forme d’équité. Le débiaisage laisse ouvertes plusieurs questions : Quelles corrections appliquer ? Comment les rendre visibles ? Jusqu’où corriger ?

Sans compter qu’il faudrait pouvoir corriger toutes les autres formes de discrimination, liées à l’âge ou la couleur de peau… Ou encore des discriminations liées à l’origine géographique des candidats qui permet d’écarter très facilement des candidatures selon leur localisation. Et surtout de la plus prégnante d’entre elles : la discrimination de classe.

Pseudoscience automatisée

Les systèmes d’embauche automatisé reposent principalement sur l’analyse de mots et nous font croire que cette analyse permettrait de prédire la performance au travail, la personnalité des candidats ou l’adéquation entre une offre et un poste. Ces outils de sélection et d’évaluation sont partout promus comme s’ils fournissaient des informations stables, fiables, objectives et équitables, sans jamais se soucier de leur validité scientifique. Pourtant, les vendeurs de ces systèmes n’apportent jamais la moindre preuve de la validité scientifique de leurs solutions.

Pour les chercheurs Mona Sloane, Emanuel Moss et Rumman Chowdhury, ces systèmes reposent surtout sur des pratiques pseudoscientifiques qu’autre chose. Et bien souvent, les évaluations sont prises dans des chaînes de traitement qui impliquent plusieurs types d’outils et de techniques qui rendent leur audit difficile, notamment parce que certains résultats ont des conséquences sur d’autres mesures. Pour les chercheurs, il faudrait revenir aux « racines épistémologiques » des systèmes, c’est-à-dire aux prétentions à la connaissance qu’ils formulent, comme de prétendre que l’analyse des mots d’un CV puisse caractériser la performance au travail. La perspective de déployer des audits pour s’assurer de leur conformité qui ne se limiteraient qu’à des questions d’équité (de genre ou d’âge par exemple) ne peuvent pas corriger les problèmes que génère cette fausse prétention à la connaissance. Or, pour l’instant, sans même parler d’équité, les entreprises ne sont même pas obligées de révéler aux candidats les outils qu’elles mobilisent ni leurs effets. Nous ne connaissons ni la liste des systèmes mobilisés, ni leurs intentions, ni les données utilisées, ni celles utilisées pour la modélisation… L’opacité de l’emploi automatisé s’étend bien plus qu’il ne se résout.

Cambridge Analytica nous a permis de comprendre l’impact du profilage pseudo-psychologique. Dans le domaine du recrutement, on utilise depuis longtemps le profilage psychologique : la graphologie comme les tests psychologiques ont été inventés pour le travail, comme nous l’expliquait le psychologue Alexandre Saint-Jevin. Nombre d’outils tentent de prédire le profil psychologique des candidats, comme Humantic AI ou Crystal. IBM elle-même a longtemps promu une version dédiée de Watson… avant de l’arrêter. L’idée consiste le plus souvent à scanner le profil des candidats pour savoir qui ils sont vraiment, afin de prédire leurs comportements. Le secteur est en plein boom. Il représente quelque 2 milliards de dollars en 2023. Il n’est pourtant rien d’autre que de « l’astrologie de bureau » qui ne produit rien d’autre que de notre propre hallucination.

Pour compléter ces analyses pseudo-psychologiques, de nombreux outils comme Fama, Foley, Ferretly ou Intelligo… aspirent les contenus des médias sociaux (sans demander leur consentement aux candidats) et appliquent sur ces contenus des analyses émotionnelles souvent simplistes, consistant à caractériser positivement ou négativement les mots utilisés, les likes déposés… sans parvenir à distinguer le sarcasme ou l’ironie, comme l’a vécu une employée en recevant 300 pages d’analyse automatisé de son profil par Fama – une pratique qui, en France, rappelle un arrêt de la Cour de cassation, devrait être très encadrée, notamment parce que cette collecte d’informations tiers peut-être déloyale par rapport à l’objet de leur mise en ligne.

Dans ces profilages, les individus sont réduits à des schémas psychologiques simplistes, provenant de personnes qui ont passé ces tests de personnalités et dont les systèmes conservent les profils de réseaux sociaux associés, pour les comparer à ceux de nouveaux candidats dont on ne connaît pas les résultats aux tests de personnalités afin de les déduire par comparaison. Cela conduit bien souvent à produire des corrélations basiques : les fans de Battlestar Galactica sont introvertis, ceux de Lady Gaga extravertis ! Dans son livre, Schellmann teste Humantic sur son profil Twitter et Linked-in. Sur le premier, elle apparaît « autoritaire, énergique et impulsive ». Sur le second, elle est « analytique, prudente et réfléchie » ! Sur le second analysé par Crystal, elle est dite « franche, assurée et agressive » ! Elle fait passer le test à ses étudiants en data science. Ils téléchargent chacun un même CV qui produit des résultats différents ! Contactées suite à ces contradictions, les plateformes ont beau jeu de répondre que l’échantillon est trop faible pour être représentatif… À nouveau, le déni des résultats spécifiques sert toujours à masquer les défaillances systémiques.

Nombre de systèmes usent et abusent de tests psychologiques consistant à faire sens des mots d’un CV. Pourtant, la recherche dans le domaine a montré depuis longtemps que les tests de personnalités peinent à mesurer la performance au travail et que celle-ci a d’ailleurs peu à voir avec la personnalité. 

À défaut de trouver des critères pertinents pour distinguer des candidats souvent assez proches les uns des autres, le recours à la pseudoscience permet d’imaginer des différences ou de recouvrir des discriminations bien réelles d’un vernis socio-culturel.

Schellmann a également testé des outils d’entretiens audio et vidéo comme Hirevue ou Retorio. Ce ne sont déjà plus des outils anodins. 60 des 100 plus grandes entreprises américaines utilisent Hirevue et quelque 50 000 candidats sont auditionnés chaque semaine par le système d’entretien automatisé développé par cette entreprise. Hirevue est peu disert sur le fonctionnement en boîte noire de son système. À ce qu’on en comprend, le système produit plusieurs scores qui tentent d’évaluer la capacité à négocier, à persuader… ou la stabilité émotionnelle. En tentant d’apprécier ce qui est dit et comment il est dit. Mais, comme toujours avec l’analyse émotionnelle, « les outils confondent la mesure avec son interprétation ». Ces outils innovants, démasqués par plusieurs enquêtes, ont pourtant peu à peu coupé certaines de leurs fonctionnalités. Retorio comme Hirevue n’utilisent plus la reconnaissance faciale ni l’analyse du ton de la voix pour analyser l’émotion des candidats, suite à des révélations sur leurs dysfonctionnements (un audit pour Hirevue et une enquête de journalistes allemands pour Retorio qui montrait que le score d’une même personne n’était pas le même selon la manière dont elle était habillée, si elle portait ou non des lunettes ou selon l’arrière-plan qu’elle utilisait). Cela n’empêche pas que leurs réponses, elles, soient scorées sur les mots utilisés selon leur « positivité » ou leur « négativité » (une analyse qui n’est pas sans poser problème non plus, puisque des termes très simples comme juif, féministe ou gay ne sont pas interprétés positivement par ces systèmes d’analyses de langue). Mais le problème n’est pas que là : la retranscription même des propos est parfois déficiente. S’amusant d’obtenir un bon score en anglais sur MyInterview, un système du même type, Schellmann se met alors à parler allemand, sa langue natale… avant de recevoir un transcript généré automatiquement qui transforme son Allemand en pur globish sans grand sens… tout en lui attribuant un très bon score ! De quoi interroger profondément les promesses de tous ces outils qui masquent sous des calculs complexes leurs profondes béances méthodologiques et leurs incapacités à produire autre chose que des leurres. Le problème, c’est que ces leurres peuvent tromper les entreprises qui achètent très chères ces solutions… mais ils trompent d’abord et avant tout les candidats, qui eux, n’ont pas beaucoup de modalités de recours, face à des systèmes bien plus aberrants que fiables.

Les outils automatisés pour l’embauche ne réduisent pas les biais du recrutement. Au mieux, ils les invisibilisent, au pire, ils les amplifient. Derrière leur vernis d’objectivité, ces systèmes produisent surtout une subjectivité cachée, à l’image des innombrables techniques de classements des employés qui ont de plus en plus cours dans les entreprises et que dénonce la journaliste de Marianne, Violaine des Courières, dans son livre, Le management totalitaire (Albin Michel, 2023). Pour assurer une compétition de plus en plus vive, explique-t-elle, on psychiatrise le monde du travail avec du profilage comportemental ou psychique. C’est un peu comme si la course au mérite n’était jamais totalement aboutie, qu’il fallait toujours l’améliorer jusqu’à parvenir à des critères qui ne regardent plus vraiment les compétences mais reposent sur des mesures de plus en plus absconses pour permettre de distinguer des candidats souvent très semblables.

Alors, comment améliorer les choses ?

Selon le chercheur Arvind Narayanan, l’embauche est l’un des pires secteurs pour utiliser l’IA, car ce que ces systèmes doivent prédire n’est pas clair. La productivité, la performance ou la qualité d’un employé ne sont pas des critères faciles à catégoriser. Apporter la preuve que leurs systèmes fonctionnent devrait être la première responsabilité des vendeurs de solutions, en publiant les études scientifiques indépendantes nécessaires, en laissant les entreprises les tester, et en permettant à ceux qui sont calculés d’obtenir des résultats et des explications sur la manière dont ils ont été calculés. Dans le domaine médical, les laboratoires doivent prouver que leurs médicaments fonctionnent avant de pouvoir être mis sur le marché, rappelle-t-il. Ce n’est pas le cas de ces systèmes d’évaluation des candidatures comme de bien des systèmes automatisés utilisés dans le domaine du travail. « Les essais contrôlés randomisés devraient être un standard dans tous les domaines de la prise de décision automatisée », plaide-t-il. Rappelant également la nécessité d’exiger la transparence des données d’entraînement des systèmes. Pas sûr cependant qu’inviter les acteurs du recrutement à inspecter, réformer et transformer leurs pratiques et leurs outils suffise, sans qu’une régulation et une responsabilité plus forte ne s’impose à eux. Sans sanction ni contrôle, les outils du recrutement automatisés ne se réformeront pas d’eux-mêmes. 

Mais encore faut-il pouvoir mieux mesurer et mettre en visibilité leurs défaillances. Pour cela, une autre piste consiste à ce que les recruteurs soient plus transparents sur leurs recrutements et leurs effets : qu’ils produisent des données sur les candidatures et les sélections auxquels ils procèdent, que ce soit sur le genre, l’âge, l’origine ethnique, géographique ou le niveau social. Pour faire reculer les discriminations invisibilisées et amplifiées, il faut que les entreprises soient contraintes à documenter les résultats de leurs sélections comparativement aux candidatures reçues et soient contraintes de documenter le niveau d’exposition et de publicisation de leurs annonces. C’est en ce sens qu’il faut lire les premiers efforts appelant à documenter l’égalité professionnelle… En France, l’index de l’égalité professionnelle n’observe que l’écart de rémunération des hommes et des femmes dans les entreprises de plus de 50 employés (mais sera suivi de la transparence des rémunérations et des salaires d’embauches qui doivent être intégrés par les entreprises d’ici juin 2026). Prolonger cet effort de transparence jusqu’aux systèmes de recrutement en demandant aux entreprises de produire des métriques sur leurs sélections à l’embauche et en automatisant les malus pour les entreprises dont les recrutements sont les plus discriminants par rapport au niveau de candidature reçu, pourrait être un puissant levier pour produire une transparence là où il n’y en a pas. Reste, comme le soulignait la CGT vis-à-vis d’un récent projet de loi contre la discrimination à l’embauche, la simple exposition des entreprises qui ont des pratiques discriminantes et les amendes ne suffiront pas à régler le problème des discriminations systématiques à l’embauche.

Reste que pour en prendre le chemin, il faudrait pourtant inverser la logique à l’œuvre aujourd’hui, où le contrôle s’exerce bien plus sur les candidats à l’emploi, notamment les chômeurs, que sur les pratiques des recruteurs. Celles-ci ne sont pourtant pas sans critiques, comme le soulignait une étude sur les offres d’emploi non pourvues menée par le Comité national CGT des travailleurs privés d’emploi et précaires, dénonçant la désorganisation des offres d’emploi, leur redondance voire le fait que nombres d’entre elles sont légalement problématiques.

Imposer la transparence et auditer les systèmes de recrutement, c’est la politique qu’a tenté d’initier la ville de New York l’année dernière… sans succès. Un article de recherche signé Lara Groves, Jacob Metcalf, Alayna Kennedy, Briana Vecchione et Andrew Strait explique justement pourquoi cette tentative de régulation n’a pas marché ! En juillet 2023, la ville de New York a mis en œuvre un règlement local imposant aux employeurs new-yorkais qui utilisent des outils de recrutement automatisés de les soumettre à des audits indépendants. Cet audit consiste en un audit de biais sur les discriminations raciales et de genres (mais pas sur l’âge ou le handicap) qui doit être publié sur le site web de l’employeur sous forme de ratio d’impact. Le ratio d’impact consiste à mesurer le taux de sélection des candidats selon les différents groupes démographiques, de genre et racial. L’idée est de mesurer la différence entre le niveau de sélection d’un groupe vis-à-vis de celui du groupe le plus sélectionné. Un ratio d’impact de 1,0 signifie que le taux de sélection est parfaitement égal entre les groupes, un ratio d’impact inférieur indique un résultat discriminatoire à l’encontre du groupe le moins sélectionné : plus le résultat est faible et plus il est discriminatoire, donc. Si le taux est inférieur à 0,8 selon les conventions juridiques américaines anti-discrimination, on estime qu’il y a une discrimination de fait (mais cette estimation tient plus d’un compromis arbitraire, car cette limite n’a jamais été concrètement questionnée ou évaluée). Enfin, même si elle prévoit des sanctions, la loi n’impose aucune obligation à un employeur qui découvrirait un impact discriminatoire, celui-ci devant uniquement publier un audit annuel de ses recrutements et de leurs effets.

Dans le tableau, plusieurs colonnes :* Race/Ethnicity Categories * Number Of Applicants * Scoring Rate * Impact Ratio Le contenu du tableau, ligne par ligne : * Hispanic or Latino - 470904 45% 0.89 * White 1457444 46% 0.9 * Black or African American 796447 48% 0.96 * Native Hawaiian or Pacific Islander 14904 45% 0.9 Asian 941554 50% 1.00 Native American or Alaska Native 29612 43% 0.85 Two or More Races 216700 46% 0.92

Dans le tableau ci-dessus, le ratio d’impact publié par une entreprise new-yorkaise montre par exemple que c’est la catégorie des populations autochtones qui sont le plus discriminées par le système de recrutement utilisé par l’entreprise. Image tirée de l’étude Auditing Work.

 

Les chercheurs ont constaté que très peu d’audits ont été rendus publics et aucun référentiel central n’a été créé par le Département de la protection des consommateurs et des travailleurs de la ville de New-York. Les chercheurs ont réussi à collecter seulement 19 audits, ce qui semble bien peu vu le nombre d’entreprises new-yorkaises. L’interview des cabinets chargés d’auditer les systèmes pointe que la loi proposée comportait trop d’imprécisions et laissait trop de marges de manœuvre aux employeurs (ceux-ci pouvant ne pas publier de rapport s’ils évaluaient que les systèmes automatisés n’aidaient pas « substantiellement » leur entreprise à embaucher). Pire, cette transparence ne permet pas vraiment aux candidats non recrutés et potentiellement discriminés d’agir à l’encontre des discriminations qu’ils auraient pu subir. Les chercheurs soulignent également la grande difficulté des auditeurs, à accéder aux données des services qu’utilisent les entreprises, pouvant rendre les audits peu fiables, voire tronqués. Les chercheurs en tirent quelques recommandations. La transparence (bien relative puisqu’elle se limitait ici à des tableaux de chiffres !) sur les discriminations à l’embauche ne suffit pas à produire du changement. Aucun candidat à l’embauche n’a semble-t-il tiré bénéfice de ces informations, et rien n’obligeait les entreprises prises en défaut à prendre des mesures correctives. Les chercheurs recommandent d’élargir le principe aux plateformes et fournisseurs d’outils de recrutement, que les documents de transparence soient collectés centralement et mieux accessibles aux candidats à l’emploi. Pour les chercheurs, les lois sur l’audit doivent également proposer des mesures et des définitions claires et précises. La loi doit également éclaircir les normes qui s’appliquent aux auditeurs plutôt que de leur laisser définir les bonnes pratiques. Enfin, la collecte de données doit être rendue plus fluide d’autant que l’enquête va un peu à l’encontre des principes de confidentialité. Elle doit permettre aux auditeurs de pouvoir mener des évaluations indépendantes, approfondies et significatives.

L’échec de la politique new-yorkaise montre en tout cas que la perspective d’un index de la discrimination automatisée à l’embauche doit être un peu plus organisé qu’il n’a été pour être rendu fonctionnel.

Passer des logiciels de recrutement… aux logiciels de candidature !

Quand on s’intéresse aux défaillances spécifiques et systémiques des outils de recrutement automatisé, le plus étonnant finalement, c’est de constater qu’en tant que société, nous soyons capables d’adopter des outils qui ne fonctionnent pas, des outils foncièrement contraire à l’éthique, profondément discriminants… sans provoquer de réaction de rejet forte du corps social. Cela est certainement lié au fait que les plus discriminés sont habitués à l’être. Ce n’est pas une raison pour s’y résigner ! La zone du recrutement reste un espace sans beaucoup de pouvoir pour les candidats. A ce jour, ils n’ont ni le droit de recevoir des explications ni celui de contester les décisions.

L’AI Act européen promet pourtant d’améliorer le niveau de responsabilité des systèmes de recrutement automatisés, puisque nombre d’entre eux devraient faire partie des systèmes à risque élevé. On verra à l’usage s’il fait progresser la transparence des systèmes, mais, sans règles plus claires, il est probable que les choses évoluent peu, autrement que sous les coups de scandales publics de dysfonctionnements visibles, comme cela a été le cas jusqu’à présent.

Peut-être que la solution pour contrer les défaillances fonctionnelles du recrutement consisterait plutôt à en inverser radicalement la logique à l’œuvre. Et c’est peut-être là que nous pourrions trouver les meilleures perspectives d’évolution.

Jusqu’à présent le monde du recrutement est façonné par une logique qui bénéficie totalement aux recruteurs. Ce n’est pas pour rien qu’on parle d’ailleurs de logiciels de recrutements. Alors peut-être que la solution consiste à passer aux logiciels de candidatures !  Et cette perspective, avec l’arrivée de l’IA générative et des agents intelligents est peut-être plus proche de se réaliser que jamais. Alors que les recruteurs disposent de tout pouvoir, il est possible que les candidats puissent en reconquérir. Comment ?

C’est la piste qu’explore le développeur Hussein Jundi sur Towards Data Science, en imaginant un robot logiciel capable de chercher des postes à sa place – ce qui ne serait déjà pas une mauvaise option tant la recherche sur les sites d’emploi est restée fruste et défaillante (oui, vous aussi, vous recevez des propositions de stages à Paris alors que vous avez une alerte pour des CDI à Nantes !). Mais on pourrait aller plus loin et imaginer un robot capable de candidater à notre place, d’adapter les termes de son CV aux mots clefs des annonces, de démultiplier de façon autonome ses candidatures en produisant des micro-variations sur les termes des compétences recherchées… Hussein Jundi nous suggère finalement une piste très stimulante pour finir de casser un recrutement déficient : doter les utilisateurs de robots capables d’adapter leurs candidatures aux systèmes de tris automatisés que les entreprises utilisent. Il ne propose rien d’autre que d’exploiter et d’amplifier les faiblesses du recrutement automatisé… pour le faire imploser.

Des agents robotiques pour candidater à notre place — Hussein Jundi.

 

Ce que dessine cette perspective, c’est que dans cette course sans fin à l’automatisation, il n’est pas sûr que les entreprises profitent de leurs avantages encore longtemps. À force de ne pas vouloir inspecter et réguler leurs pratiques, il est possible qu’à terme, les utilisateurs les subvertissent. Des logiciels capables de modifier votre profil Linked-in selon l’origine de celui qui le regarde. Des logiciels capables d’adapter vos CV aux annonces, de multiplier les candidatures à un même poste avec des variations de termes de son CV, des logiciels capables d’aller puiser dans les API des systèmes de recrutements pour informer des critères retenus… afin d’améliorer le matching. On pourrait même imaginer des systèmes capables d’inonder de candidatures les systèmes de recrutement pareils à des attaques de déni de services.

Incapable de réformer ses pratiques, le recrutement se moque des candidats. Il est temps que les candidats prennent les recruteurs à leur propre jeu et qu’ils retrouvent du pouvoir d’agir ! Chiche ? On lance une startup ! 😊

MAJ du 14/10/2024 : Les logiciels de candidatures, nous y sommes !

PDF

13.06.2025 à 10:10

Développement d’application en Flutter : retours d’expérience (2/2)

Framasoft

Au cours du développement de l’application PeerTube, nous avons acquis certaines expériences dans le choix des technologies employées et les freins que certaines décisions ont entraîné. Nous les partageons ici. Si vous ne l’avez pas déjà lu, nous vous conseillons … Lire la suite­­
Texte intégral (3107 mots)

Au cours du développement de l’application PeerTube, nous avons acquis certaines expériences dans le choix des technologies employées et les freins que certaines décisions ont entraîné. Nous les partageons ici.

Si vous ne l’avez pas déjà lu, nous vous conseillons de commencer par l’article précédent.

Publication sur les magasins d’application

Publier une application de streaming vidéo issue du fediverse sur les différents magasins d’applications a été un vrai parcours du combattant.

Entre les politiques parfois très strictes des stores, et la sensibilité autour des contenus vidéo — notamment ceux générés ou diffusés par des tiers — il a fallu redoubler de prudence. Apple et Google considèrent en effet qu’en tant qu’éditeur de l’application nous serions responsables de tout le contenu auquel l’application permet d’accéder, et sont particulièrement virulents sur la question dans le cas des formats vidéos (bien davantage que pour une application de podcasts ou même un navigateur internet, assez curieusement). Voici donc un retour sur les différentes étapes, de la toute première soumission à la mise en production.

Les précautions prises

Pour maximiser nos chances d’être acceptés sur les stores, nous avons pris plusieurs précautions dès le départ.

Filtrage des plateformes accessibles

Première mesure : restreindre l’accès aux plateformes via un système de filtrage utilisant des identifiants spécifiques à chaque magasin. Cet identifiant permet de maintenir une liste d’autorisation (allowlist) de plateformes de confiance adaptée à chaque store :

  • Sur le Play Store (Android), seule une allowlist restreinte de plateformes est accessible afin de répondre aux exigences de Google.
  • Sur l’App Store (iOS), l’allowlist est encore plus limitée, Apple imposant des critères de validation particulièrement élevés.
  • Sur F-Droid, en revanche, toutes les plateformes listées dans notre index (qui est modéré) sont accessibles sans filtrage supplémentaire.

L’avantage de ce système basé sur des tags, c’est qu’il est entièrement déporté côté serveur. Autrement dit, si nous devons retirer une plateforme problématique ou en ajouter une nouvelle, cela peut être fait sans mettre à jour l’application elle-même. Ce fonctionnement offre une grande souplesse et réactivité en cas de besoin.

Pas d’ajout manuel de plateformes au début

Pour garantir une validation rapide lors de la première soumission, nous avons volontairement désactivé la possibilité d’ajouter manuellement une plateforme dans l’application. Ainsi, seuls les serveurs autorisés par notre filtre, dont le nombre était très réduit, étaient disponibles.

Une fois l’application validée et disponible sur le Play Store, nous avons réactivé cette fonctionnalité manuelle côté Android, en observant attentivement si cela posait problème. Après plusieurs mois sans retour négatif, nous avons ensuite ouvert cette possibilité sur iOS également.

Présentation et stratégie de déploiement

Par ailleurs, pour mettre toutes les chances de notre côté, un soin particulier a été apporté à l’interface utilisateur de l’application ainsi qu’aux fiches des stores (miniatures, descriptions, mots-clés, captures d’écran, etc.), les stores étant également très sensibles à l’apparence, à la qualité perçue et au respect des bonnes pratiques UX/UI.

Nous avons décidé d’y aller étape par étape :

  1. D’abord le Play Store, plus rapide et souple.
  2. Puis l’App Store, plus exigeant mais incontournable.
  3. Et enfin F-Droid, qui demande une approche différente essentielle pour le public libriste.

Google Play Store, une validation sans accroc

Pour la publication sur le Google Play Store, la documentation officielle Flutter a été suivie : https://docs.flutter.dev/deployment/android

Le Play Store permet plusieurs types de déploiement, utiles pour tester différentes étapes de l’application :

  • Test interne : permet de distribuer l’application à un petit groupe de testeurs internes (jusqu’à 100).
  • Test fermé : permet de cibler un groupe restreint plus large via une liste d’adresses email ou un groupe Google.
  • Test ouvert : permet à n’importe quel utilisateur de rejoindre le programme de test via un lien public.
  • Production : c’est la version stable, publiée pour tous les utilisateurs sur le Play Store.

Les étapes de validation

Chaque type de déploiement est validé automatiquement par Google, avec des délais très courts :

  • Les tests internes et fermés sont généralement disponibles en moins d’une heure.
  • Les tests ouverts et la mise en production peuvent prendre quelques heures, rarement plus.

Google a toujours accepté l’application dès la première soumission, sans demander de modifications ou poser de questions. Aucun échange, aucun retour de leur part : uniquement la validation après envoi et un changelog bien rédigé.
À croire que les précautions mises en place en amont ont été suffisantes… voire qu’on aurait pu être un peu plus détendus !

Apple App Store, les complications…

Une fois l’étape Google franchie haut la main, direction Apple — réputé pour être nettement plus exigeant.

Comme pour Android, j’ai suivi la documentation officielle Flutter pour le déploiement iOS :
👉 Flutter iOS Deployment

Sur iOS, les applications peuvent être distribuées via deux canaux principaux :

  • TestFlight : pour partager des versions bêta avec un groupe de testeurs (jusqu’à 10 000). Le processus est plus souple que pour la production, mais reste soumis à validation.
  • Production : la version stable et publique de l’app, visible sur l’App Store.

Les étapes de validation

L’avertissement de Gabe

Avant de soumettre PeerTube sur iOS, nous avons échangé avec Gabe, développeur du projet OwnCast, qui avait essuyé plusieurs refus de la part d’Apple. Il nous a transmis ses précieux retours et stratégies pour répondre aux fameuses App Store Guidelines. Voici un résumé :

  • Guideline 1.2 – Safety – User Generated Content
    ➤ Solution : intégrer un système de signalement côté client, qui envoie un email à un modérateur capable de retirer une instance si besoin.
  • Guideline 5.2.3 – Legal
    ➤ Problème : Apple considère que l’app pourrait donner accès à des contenus vidéo ou audio tiers sans autorisation, ce qui pose un risque légal.
    ➤ Solution : fournir un document PDF listant chaque serveur vidéo préconfiguré dans l’app, avec la mention “Authorized” pour chacun. Apple ne se satisfait pas d’une simple déclaration : ils veulent des preuves tangibles.
  • Guideline 3.1.1 – Business – Payments – In-App Purchase
    ➤ Problème : l’app permettait de faire des dons via des liens comme PayPal, OpenCollective, KoFi, etc.
    ➤ Solution : supprimer toute interaction liée au paiement dans l’app. Tous les liens renvoyant vers des dons doivent ouvrir une page dans un navigateur externe (Safari, Chrome…). Aucun lien de paiement ne doit être affiché dans une WebView interne.
  • Guideline 5.2.3 – Legal (bis)
    ➤ Solution : fournir un maximum de documents, liens et preuves que les catalogues et services de découverte intégrés sont bien opérés par nous, et non une tierce partie non autorisée.

Merci encore à Gabe pour ces conseils précieux !

On se lance… et ça coince.

Notre plan était pourtant sans accros !

Malgré l’application rigoureuse des conseils de Gabe, Apple n’a pas fait de cadeau.

Entre Lokas et PeerTube, les deux apps que nous tentions de publier fin 2024, nous avons essuyé 8 refus pour Lokas avant d’obtenir la validation, et 3 refus pour PeerTube.

Dès qu’un reviewer Apple trouvait un souci (même mineur), la demande était rejetée, et il fallait corriger point par point avant de pouvoir espérer passer à l’étape suivante.

Voici les principales guidelines qui nous ont posées problème :

Guideline 5.2.3 – Legal

Votre application contient du contenu ou des fonctionnalités susceptibles de porter atteinte aux droits d’un ou plusieurs tiers. Plus précisément, votre application fournit un accès potentiellement non autorisé à des services tiers de streaming audio ou vidéo, à des catalogues et à des services de découverte.

Malgré l’envoi d’un document listant les plateformes autorisées dans l’app iOS, cela n’a pas suffi à convaincre Apple. Nous avons donc répondu :

Les plateformes répertoriées dans l’application PeerTube ont accordé à l’application PeerTube le droit de répertorier et d’accéder à leur contenu vidéo.

Ces autorisations sont répertoriées dans le document « Plateformes autorisées pour l’application PeerTube ».

Pouvez-vous expliquer quel type de preuve nous devons fournir pour démontrer que nous avons le droit d’accéder à ce contenu ?

Le document joint était rigoureusement le même que celui soumis lors du dépôt de l’application.

Guideline 3.1.1 – Business – Payments – In-App Purchase

Apple nous a signalé un lien vers le site joinpeertube.org dans l’app, qui contient… un bouton de don. Ce simple lien externe a suffi à justifier un rejet.

Nous avons alors tenté une première réponse, en expliquant que tous les liens de dons ouvraient désormais une page externe dans le navigateur, et qu’aucune collecte n’était réalisée dans l’application elle-même. Nous avons souligné que cette approche respectait les guidelines de l’App Store, puisque le processus de don était totalement séparé des fonctionnalités de l’app. Malgré cette clarification, Apple n’a pas été convaincu.

En replongeant dans les App Store Guidelines, j’ai repéré un paragraphe en notre faveur :

Section 3.2.2 (iv) : Les applications qui ne sont pas approuvées en tant qu’organisations à but non lucratif ou autrement autorisées en vertu de la section 3.2.1 (vi) peuvent collecter des dons caritatifs en dehors de l’application, par exemple via Safari ou SMS.

J’ai donc renvoyé un message à l’équipe de validation, en expliquant que l’application ne collecte aucun don en interne : tous les liens de soutien ouvrent une page externe dans le navigateur (Safari), conformément à la section 3.2.2 (iv) des App Store Guidelines qui autorise ce fonctionnement pour les apps non caritatives. J’ai ainsi demandé une réévaluation de la décision ou des précisions si d’autres points posaient problème.

🎉 Résultat : l’application PeerTube a officiellement été publiée sur iOS !

Depuis, j’ai soumis 5 mises à jour successives de PeerTube, toutes validées sans accroc — y compris celle qui introduisait la fonctionnalité de connexion.
Chaque mise à jour a été validée en quelques heures, au plus sous 24h.

L’App Store, ce n’est jamais simple… mais avec de la patience et une bonne lecture des guidelines, ça passe.

F-Droid, une autre aventure

Une fois l’étape Apple validée, je me suis attaqué à la soumission sur F-Droid.
Ici, ce n’est pas un problème de guidelines, mais plutôt de processus.

La documentation officielle est plutôt éparse, et j’ai eu du mal à trouver une ressource exhaustive pour un projet Flutter. Je me suis donc appuyé sur :

S’adapter au fonctionnement de F-Droid

F-Droid a des exigences particulières :

  • Le build doit être reproductible et entièrement libre.
  • Toute dépendance externe doit pouvoir être vérifiée ou supprimée.
  • Il faut déclarer les anti-features, c’est-à-dire des limitations qui ne correspondent pas aux idéaux du libre.

Exemple : TetheredNet

L’application PeerTube utilise par défaut deux services maintenus par Framasoft :

Ces services ne sont pas configurables par l’utilisateur, ce qui a été considéré comme une “anti-feature” du type TetheredNet (connexion à un service centralisé sans possibilité de le changer).

Cette mention a donc été ajoutée lors de la soumission initiale.
Bonne nouvelle : depuis, cette anti-feature a été retirée, car nous avons rendu ces services personnalisables dans l’app.

Dépasser le blocage d’une dépendance obsolète

Avant de parvenir à la validation, nous avons rencontré un obstacle lié à une dépendance utilisée pour la gestion de la base de données locale. Cette bibliothèque, pourtant populaire au moment du choix initial, n’était plus maintenue et ne proposait pas de version compatible avec la dernière version de Flutter requise par F-Droid pour garantir la reproductibilité des builds. Ce blocage a empêché la compilation de l’application sur l’infrastructure F-Droid, rendant impossible sa publication.

Après analyse, il est apparu que la meilleure solution, pour des raisons de pérennité et de sécurité, était de remplacer cette dépendance obsolète par une alternative maintenue et compatible avec les exigences de F-Droid. Ce changement a nécessité une réécriture partielle de la gestion des données locales, mais a permis de débloquer la situation et d’assurer la stabilité du projet sur le long terme.

Le merge request de soumission

Après plusieurs itérations, nous avons enfin pu soumettre notre app sur F-Droid.
Vous pouvez consulter la MR ici : https://gitlab.com/fdroid/fdroiddata/-/merge_requests/17235

Et pour voir la configuration finale de l’application PeerTube sur F-Droid (fichier metadata/*.yml) : https://gitlab.com/fdroid/fdroiddata/-/blob/master/metadata/org.framasoft.peertube.yml

F-Droid demande rigueur et patience, mais l’expérience permet aussi de mieux comprendre les enjeux du libre et de la décentralisation.

C’était un vrai défi, mais on est fier·es de faire partie du catalogue officiel.

 

Nous en profitons pour vous rappeler que le financement participatif pour le développement de l’application PeerTube est en cours jusqu’au 17 juin 2025 !

PDF

11.06.2025 à 16:48

FramIActu n°5 — La revue mensuelle sur l’actualité de l’IA

Framasoft

Alors que les chaleurs estivales arrivent, l'actualité de l'Intelligence Artificielle s'est elle aussi réchauffée ce dernier mois avec des avancées techniques majeures. Préparez votre boisson préférée et installez-vous confortablement : c'est l'heure de la FramIActu !
Texte intégral (4272 mots)

Alors que les chaleurs estivales arrivent, l’actualité de l’Intelligence Artificielle s’est elle aussi réchauffée ce dernier mois avec des avancées techniques majeures.

Préparez votre boisson préférée et installez-vous confortablement : c’est l’heure de la FramIActu !

Le dessin d'un perroquet Ara, avec un remonteur mécanique dans son dos, comme pour les jouets ou les montres. Celui si est assis et semble parler.

Stokastik, la mascotte de FramamIA, faisant référence au perroquet stochastique. Illustration de David Revoy – Licence : CC-By 4.0

Pourquoi est-ce que Grok se met à parler de « génocide blanc » ?

Le 14 mai dernier, Grok, l’IA générative de xAI (société mère de X, ex-Twitter), a été détournée par un individu afin d’orienter les réponses de l’IA.
Celle-ci a, pendant plusieurs heures, parlé d’un génocide anti-blanc fictif qui aurait eu lieu en Afrique du Sud.
Outre le fait que l’événement ait surpris les utilisateurices de l’outil d’Elon Musk (patron de l’entreprise), celui-ci démontre qu’il est aujourd’hui possible d’orienter et d’influencer massivement les réponses des IA génératives.
Pour ce faire, la personne mal-intentionnée a exploité un outil fréquent des systèmes d’IA générative : le prompt système.

Plutôt que de ré-entraîner les IA génératives sur des éléments spécifiques ajoutés au fil de l’eau, les entreprises d’IA générative indiquent des instructions à l’Intelligence Artificielle au moment où l’utilisateurice fait sa propre demande. Cette instruction permet, par exemple, d’indiquer des règles de modération de contenu et de les adapter au fil de l’eau, en fonction des besoins.
Or, ces instructions ne sont pas communiquées publiquement. Nous ne savons jamais quand elles changent ni leur contenu exact.
C’est ce point qui a permis à l’attaquant·e de pouvoir modifier le prompt système discrètement.

xAI s’est engagé à publier les prompts systèmes sur la forge logicielle Github afin que tout le monde puisse consulter ceux-ci. Cela devrait aider à limiter une éventuelle récidive… même si rien ne peut le garantir.
Aussi, rien n’indique que la concurrence suivra ce mouvement et publiera aussi ses prompts systèmes.

Enfin, nous voyons encore une fois que les systèmes d’IA génératives sont plus complexes qu’ils n’y paraissent pour l’utilisateurice et manquent de transparence. Même si les prompts systèmes sont publiés, les données d’entraînement des IA génératives sont très opaques et nous manquons toujours énormément d’informations pour comprendre réellement ce qu’il se passe quand nous envoyons une instruction à une IA.

Source : 404 Media — https://www.404media.co/why-did-grok-start-talking-about-white-genocide/

Est-ce que Google vient d’enterrer la recherche sur le web ?

Le 20 mai dernier, à l’occasion de la conférence Google I/O, Google a annoncé l’arrivée de nouvelles innovations biberonnées à l’Intelligence Artificielle.

Parmi celles-ci, vous avez peut-être déjà entendu parler de Veo 3, le nouveau générateur de vidéos ultra-réaliste de l’entreprise. Si, deux ans en arrière, nous pouvions nous moquer des images générées par IA, car nous pouvions facilement compter les 7 doigts présents sur les mains des personnes générées artificiellement, nous ne pouvons presque plus faire la différence entre un contenu réel et fictif aujourd’hui… et pas seulement pour les images mais pour les vidéos aussi.
Certain·es artistes s’amusent même à surfer sur la vague de popularité des vidéos générées par Veo 3 en indiquant que leurs propres clips vidéos, réalisés entièrement sans IA, seraient générés à l’aide de l’outil de Google.

Mais Veo 3 n’est pas la seule prouesse technique présentée par Google lors de l’événement. L’entreprise a dévoilé différentes nouveautés pour faire évoluer leur moteur de recherche et la manière dont les utilisateurices explorent (ou consomment) le Web.
Parmi les évolutions, et celle-ci est déjà accessible et utilisée par de nombreuses personnes, l’AI Overview, la fonctionnalité du moteur de recherche pour résumer l’essentiel d’un site web ou apporter une réponse à votre question… directement dans le moteur de recherche. Nous n’avons (ou n’aurons bientôt) plus besoin de sortir de Google pour obtenir réponse à nos questions.

Dans son article, Numerama rappelle :

Reste que Google n’a pas évoqué, encore, comment il compte rémunérer les contenus parcourus par son IA et répondre à la question que tout le monde se pose : à partir de quelles données l’IA répondra-t-elle quand aucun humain ne pourra être rémunéré pour les produire ?

Autre évolution importante et uniquement disponible aux états-unis pour le moment, les achats par IA.
Cette fonctionnalité nous permet de demander à l’IA de chiner pour nous sur les sites d’achats en fonction de critères choisis puis nous permet d’automatiser entièrement le processus d’achat via Google Pay.
Cette fonctionnalité, nommée « Buy for me » (« Achète pour moi » en français), permet de définir le prix auquel nous souhaitons acheter un article et le fera automatiquement dès que celui-ci sera trouvé.

Enfin, la dernière nouveauté rapportée dans l’article de Numerama n’est pas des moindres : celle-ci s’appelle sobrement AI Mode.
L’outil AI Mode permet, entre autres, de faire des « recherches profondes ».
Dans l’exemple présenté par Google, l’utilisateurice demande à l’AI Mode de trouver deux billets pour un match de baseball avec des places situées vers le bas. L’outil essaye différents mots-clés pour sa recherche, puis compare 15 sites afin de trouver les places souhaitées. Les options trouvées sont alors triées du moins cher au plus cher avec une description de la vue obtenue sur le terrain à partir des sièges…

En quelques secondes, l’outil explore pour nous des dizaines de sites et en extrait les éléments qui pourraient nous intéresser. C’est (techniquement) absolument bluffant.
Pour réaliser toutes ces opérations, nous pouvons aujourd’hui imaginer (bien que de manière extrêmement floue) la quantité d’énergie nécessaire à avoir la qualité de ces résultats de recherche.

Google détient ~90 % du marché mondial de la recherche en ligne. Cela représente 5 billions (5 000 000 000 000) de requêtes annuelles soit ~14 milliards de requêtes journalières.
Si Google décide de banaliser l’AI Mode et de l’intégrer directement dans son moteur de recherche, quelle quantité d’énergie sera nécessaire pour permettre ces 14 millions de requêtes ? Et même si grâce à cette nouvelle manière de rechercher celles-ci étaient réduites à (un chiffre totalement au pif) 5 millions de requêtes journalières, l’énergie requise semble rester totalement démesurée.

Aussi, nous en parlions dans une précédente FramIActu, mais le Web subit déjà aujourd’hui une pression monstre liée au « pillage » permanent de son contenu par les robots indexeurs des IA. Quels efforts les petits sites vont-ils encore devoir réaliser pour faire face à une augmentation drastique du trafic automatisé sur leur infrastructure ? Pourront-ils seulement y parvenir ?

Ici encore, nous observons un des mouvements récents de Google : le lancement d’une application mobile pour tester des modèles d’IA fonctionnant uniquement sur le téléphone de l’utilisateurice.

Si cela peut sembler anodin, il nous a semblé important de faire le lien avec la news citée plus haut.
Il paraît évident que Google a besoin de mettre en place des solutions pour réduire largement les coûts de l’inférence (en gros, le coût lié à l’utilisation de l’IA).

Un des moyens de réduire ces coûts est de déporter le travail de l’inférence vers la machine de l’utilisateurice, ici le smartphone.

Ainsi, en proposant une application permettant aux utilisateurices de tester les différents modèles d’IA, Google peut collecter de nombreuses données sur les capacités des smartphones actuels à faire tourner des modèles d’IA plus ou moins puissants.

Bien sûr, rien ne prouve que Google ira dans ce sens, cependant, il ne nous paraît pas totalement farfelu d’imaginer Google reproduire, dans un futur plus ou moins proche, une stratégie similaire à celle de Microsoft avec Windows 11 : forcer les utilisateurices à acheter du matériel neuf pour faire tourner l’IA dessus, accélérant de fait l’obsolescence des périphériques incompatibles.

Finalement, ces deux articles traitant des avancées de Google dans le domaine soulignent que Google tend à inverser le rapport de force avec OpenAI (l’entreprise derrière ChatGPT, la plus en vogue actuellement). Les futurs changements que Google apporteront seront sans doute déterminants dans l’évolution de nos usages.

Mème : un homme tagué « #LesGENS » regarde d'un œil intéressé une femme taguée « Google », pendant que sa compagne taguée « OpenAI » lui lance un regard noir.

Le rapport de force entre OpenAI et Google.
Généré avec https://framamemes.org – CC-0

Source : Next — https://next.ink/brief_article/google-lance-une-application-mobile-pour-tester-localement-des-modeles-dia/

OpenAI rachète l’entreprise de matériel de Jony Ivy

En mai dernier, nous apprenions que OpenAI a racheté l’entreprise io, spécialisée dans la conception de matériel informatique fondée par l’ancien designer en chef d’Apple, Jony Ive.
Ive ne rejoindra pas OpenAI et sa compagnie spécialisée dans le design, LoveFrom, restera indépendant, mais elle prendra désormais en charge l’ensemble de la conception des designs pour OpenAI, dont ses logiciels.

À travers l’article de The Verge, nous découvrons que le travail sur de nouveaux appareils, dédiés à l’IA, sont en phase de conception. Plusieurs pistes ont été considérées, comme des écouteurs ou des appareils disposant de caméras, mais ce ne sera pas des lunettes type Google Glass.
L’appareil rentrerait dans une poche, « tiendrait compte du contexte » et ne posséderait pas d’écran.

Nous nous questionnons particulièrement sur la notion de « tenir compte du contexte ». Qu’est-ce que cela signifiera concrètement ? Serait-ce encore un dispositif qui « écoutera » ou « observera » en permanence, sous prétexte de pouvoir nous répondre immédiatement quel temps il fera demain quand nous poserons la question à nos proches ?
Pour le moment, nous n’en savons trop rien.

Il est difficile de dire si le pari (à 6.5 milliards de dollars, tout de même) de OpenAI portera ses fruits, cependant, si OpenAI affirme que l’objectif n’est pas de remplacer le smartphone, il semble y avoir une réelle volonté à suivre la piste de celui-ci : construire un appareil ergonomique qui s’impose comme un nouveau besoin pour la société. Et dans le même temps, imposer toujours plus l’IA dans nos quotidiens.

Source : The Verge — https://www.theverge.com/news/671838/openai-jony-ive-ai-hardware-apple
Le dessin d'un perroquet Ara, avec un remonteur mécanique dans son dos, comme pour les jouets ou les montres. Accroché à son aile gauche, un ballon de baudruche.

Stokastik, la mascotte de FramamIA, faisant référence au perroquet stochastique. Illustration de David Revoy – Licence : CC-By 4.0

C’est tout pour cette FramIActu ! Nous espérons que vous l’avez appréciée !

Vous pouvez poursuivre votre lecture sur le sujet en consultant les articles de notre site de curation dédié au sujet, mais aussi et surtout FramamIA, notre site partageant des clés de compréhension sur l’IA !

Si nous pouvons vous proposer cette nouvelle revue mensuelle, c’est grâce à vos dons, Framasoft vivant presque exclusivement grâce à eux !
Pour nous soutenir et si vous en avez les moyens, vous pouvez nous faire un don via le formulaire dédié  !

Enfin, notez que le rythme de parution de la FramIActu risque de changer dans les prochains mois. Nous constatons en effet une diminution du rythme de parutions d’informations « intéressante pour le grand public » sur l’IA. Il y a certes des avancées techniques, et toujours énormément de recherches sur le sujet… mais nous percevons tout de même une forme de baisse de régime. Attendez-vous donc à d’éventuels changements autour de la FramIActu pour refléter tout ça !

À bientôt ! 👋

PDF

11.06.2025 à 12:10

Développement d’application en Flutter : retours d’expérience (1/2)

Framasoft

Au cours du développement de l’application PeerTube, nous avons acquis certaines expériences dans le choix des technologies employées et les freins que certaines décisions ont entraîné. Nous les partageons ici. Pourquoi Flutter ? Le développement d’applications mobiles pose rapidement la question … Lire la suite­­
Texte intégral (3063 mots)

Au cours du développement de l’application PeerTube, nous avons acquis certaines expériences dans le choix des technologies employées et les freins que certaines décisions ont entraîné. Nous les partageons ici.

Pourquoi Flutter ?

Le développement d’applications mobiles pose rapidement la question du choix des technologies : faut-il créer une application distincte pour chaque plateforme, ou adopter une approche permettant de mutualiser les efforts ? C’est là qu’intervient le cross-platform : une méthode qui consiste à développer une seule base de code pour cibler plusieurs systèmes d’exploitation, principalement Android et iOS.

Le développement cross-platform présente ainsi de nombreux avantages. Il permet avant tout de réduire considérablement les coûts et les efforts de maintenance, puisqu’une seule base de code est nécessaire, limitant ainsi les corrections de bugs et les mises à jour multiples. Il offre aussi un déploiement plus large et plus rapide, en touchant un public plus vaste sans avoir à développer des applications distinctes.

Comme notre développeur n’était pas initialement spécialisé dans le développement mobile, il a dû se former pour maîtriser les outils nécessaires. Deux technologies principales se sont imposées dans notre réflexion : React Native et Flutter.

Nous avons donc mené une étude comparative afin de choisir la solution la plus adaptée à nos besoins. Après analyse, notre choix s’est porté sur Flutter. Pour plus de détails, vous pouvez consulter l’étude complète en suivant ce lien : https://framagit.org/wicklow/peertube-prototypes

Suite à ce choix, notre développeur s’est lancé dans l’apprentissage et la maîtrise de Flutter. Il vous partage son expérience à travers la suite de cet article.

Logo Flutter – Domaine public – Wikicommons.

 

Apprendre Dart et Flutter

La première étape a été d’apprendre le fonctionnement de Flutter. Les applications Flutter sont écrites en Dart, un langage orienté objet. J’ai donc commencé par explorer la documentation officielle de Dart et Flutter pour comprendre les bases.

Voici les différentes ressources que j’ai utilisées pour m’initier :

Choisir son architecture

Une fois ces bases acquises, je me suis penché sur la structure idéale pour le projet. Après avoir exploré différentes approches, j’ai opté pour une architecture “Feature First”. Cette méthode consiste à organiser le code par fonctionnalités plutôt que par type de fichier (comme les modèles, les vues, ou les contrôleurs).

L’approche “Feature First” offre de nombreux avantages. Elle apporte une clarté accrue au projet en isolant chaque fonctionnalité dans son propre dossier, ce qui simplifie la navigation et la compréhension de la structure du code. De plus, cette méthode favorise la modularité en rendant les fonctionnalités indépendantes, permettant ainsi leur réutilisation ou leur modification sans affecter les autres parties du projet. Enfin, dans le cadre d’un projet libre, cette organisation facilite la contribution des développeurs externes, qui peuvent se concentrer sur des fonctionnalités spécifiques sans interférer avec le reste du code.

Choisir ses dépendances

Chaque bibliothèque intégrée dans le projet doit être remise en question dans le but de s’assurer qu’elles répondent aux exigences fonctionnelles, qu’elles soient maintenables à long terme et qu’elles n’introduisent pas de risques techniques. Flutter étant une technologie encore jeune, il est important d’être prudent dans le choix des dépendances. Certaines bibliothèques peuvent manquer de maturité ou de soutien communautaire, ce qui pourrait entraîner des bogues ou des problèmes de mises à jour futures.

Voici quelques critères généraux pour choisir une dépendance sur pub.dev :

  • Vérifiez le nombre de personnes contribuant activement au projet sur GitHub. Une équipe de contributeur⋅rices plus importante indique souvent un projet plus robuste à long terme.
  • Assurez-vous que le projet est actif, avec des commits récents et des demandes régulières, de préférence de la part d’utilisateur⋅rices différent⋅es.
  • Regardez le score global sur pub.dev, qui mesure la qualité des paquets.
  • Vérifiez la fréquence des publications.
  • Donnez la préférence aux paquets publiés par un⋅e éditeur⋅rice vérifié⋅e.

Les dépendances choisies

En prenant en compte ces critères, j’ai soigneusement sélectionné les bibliothèques nécessaires pour le développement de l’application mobile PeerTube.

Voici les principales bibliothèques retenues pour le projet, accompagnées des réflexions qui ont guidé leur sélection :

Le gestionnaire d’état

Un gestionnaire d’état (ou “state management” en anglais) est une approche ou un outil utilisé pour gérer l’état d’une application. Dans le contexte de Flutter, l’état fait référence aux données dynamiques ou aux informations qui peuvent changer au cours de l’exécution de l’application, comme l’entrée utilisateur, les données récupérées d’une API, ou encore l’état d’une animation.

Plusieurs approches et bibliothèques sont disponibles pour la gestion des états dans les applications Flutter, chacune avec ses propres avantages et limitations.

Approches de gestion d’état

  • StatefulWidget : le mécanisme intégré le plus simple pour gérer l’état local.
  • InheritedWidget : une solution native qui permet de partager l’état entre les widgets.
  • Variables globales : une approche où l’état est stocké dans des variables globales qui sont accessibles dans toute l’application.

Les bibliothèques populaires

Provider :

  • Pour : simple, léger et largement utilisé par la communauté Flutter.
  • Contre : nécessite un code standard et manque de fonctionnalités avancées.

Bloc :

  • Pour : hautement structuré, il favorise la séparation des préoccupations et est idéal pour gérer une logique d’application complexe.
  • Contre : courbe d’apprentissage abrupte. Nécessite plus de code de base que les autres solutions.

Riverpod :

  • Pour : une alternative moderne à Provider avec une API plus simple, une meilleure testabilité et la prise en charge de l’injection de dépendances. Elle supprime les contraintes de l’arbre des widgets de Flutter, ce qui la rend plus flexible.
  • Contre : elle est plus récente que les autres bibliothèques, mais son développement est très actif.

Riverpod a été choisi pour sa simplicité, sa flexibilité et son évolutivité, offrant une gestion globale de l’état indépendante de l’arbre des widgets. L’approche de Riverpod avec des variables globales me convient. En outre, l’intégration de la génération de code dans le projet promet d’améliorer les performances à l’avenir. Cependant, il est important de choisir une solution qui correspond à vos préférences et à vos besoins spécifiques.

Le routeur

Un routeur est un composant essentiel qui gère la navigation entre les différents écrans d’une application, permettant de définir les itinéraires, de gérer les transitions, de transmettre des paramètres via les URL, et de prendre en charge les liens profonds.

Plusieurs bibliothèque sont disponibles pour gérer la navigation dans les applications Flutter :

  • Navigator : inclus dans le SDK Flutter mais manque de fonctionnalités telles que les liens profonds.
  • AutoRoute : permet de générer du code pour simplifier la gestion des itinéraires, mais peut être difficile à configurer.
  • GoRouter : une bibliothèque officielle soutenue par l’équipe Flutter, combinant la facilité d’utilisation avec un support avancé de liens profonds.

Après analyse, GoRouter s’est avéré être le meilleur choix pour ce projet, en particulier pour :

  • Un support actif de l’équipe Flutter et une documentation complète, garantissant un choix fiable à long terme.
  • La prise en charge des liens profonds, essentielle pour rediriger les utilisateurs entre les pages web des plateformes PeerTube et l’application.
  • Basé sur l’API Navigator 2.0 incluse dans le SDK Flutter.

Le lecteur vidéo

Le lecteur vidéo est un composant essentiel pour l’application PeerTube, car il constitue le cœur de l’expérience utilisateur. Il était crucial pour nous de faire le bon choix de bibliothèque dès le début pour garantir une lecture fluide, une compatibilité avec différents formats vidéo, et une intégration harmonieuse avec les fonctionnalités de l’application.

Plusieurs bibliothèques sont disponibles et utilisées par la communauté Flutter pour implémenter la fonctionnalité de lecture vidéo :

  • video_player : une bibliothèque officielle soutenue par l’équipe Flutter qui fournit des fonctionnalités de lecture vidéo de base, mais nécessite une personnalisation importante pour les fonctionnalités avancées.
  • Chewie : une puissante surcouche autour de video_player soutenue par la communauté Flutter qui fournit une interface de lecteur pré-construite et hautement personnalisable et prend en charge les commandes de base telles que lecture/pause, le plein écran et les sous-titres.
  • BetterPlayer : un lecteur vidéo avancé construit au-dessus de Chewie, avec des fonctionnalités supplémentaires, mais pas très bien maintenu.
  • MediaKit : un ensemble plus récent qui vise à fournir une expérience de lecture vidéo cohérente et riche en fonctionnalités sur toutes les plateformes, bien que son écosystème et le soutien de la communauté soient encore en cours de maturation.

Après analyse, Chewie s’est avéré être notre premier choix en raison de son équilibre entre simplicité et fonctionnalité :

  • Facile à intégrer, il fournit une interface de lecture prête à l’emploi avec une configuration minimale.
  • Personnalisable, permettant aux développeurs d’adapter l’interface utilisateur et le comportement aux besoins de l’application.
  • Maintenu par la communauté Flutter, il garantissait sa fiabilité.

Cependant, après plusieurs mois d’utilisation, nous avons constaté que la maintenance de Chewie était plus faible que prévu. Certaines fonctionnalités et corrections de bugs présentes dans des merge requests n’étaient pas intégrées, ce qui a limité notre capacité à répondre rapidement aux besoins de l’application.

En conséquence, nous avons décidé de migrer vers video_player. Bien que cette bibliothèque nécessite plus de temps pour mettre en place une interface utilisateur personnalisée et des fonctionnalités avancées, elle offre un contrôle plus granulaire et une stabilité accrue. Cette transition nous a permis de concevoir une expérience utilisateur sur mesure tout en garantissant une meilleure fiabilité à long terme.

Les flavors

Nous avions besoin de deux applications distinctes :

  • stable : la version en production, destinée à être déployée sur les stores publics.
  • nightly : la version intégrant les derniers changements, basée sur la branche de développement.

Les flavors permettent de gérer ces deux versions de manière distincte, en créant deux applications séparées. Pour mettre cela en place, il est nécessaire de configurer les flavors sur chaque plateforme native ciblée (Android et iOS). De plus, chaque application doit être signée séparément pour chaque flavor. Enfin, le code Dart partagé par toutes les plateformes peut être configuré en fonction de l’environnement grâce à l’argument --dart-define-from-file, qui permet de fournir un fichier .env contenant les variables nécessaires.

Exemple de commande pour construire l’environnement stable :

flutter build apk --flavor stable --dart-define-from-file=env-stable.json

Pour plus de détails sur la configuration des flavors et la signature des applications, consultez ce rapport dans lequel nous détaillons comment nous avons mis en place ce système de flavor.

Les erreurs commises

Écrire des tests trop tôt

L’une des erreurs que j’ai commises au début du projet a été de vouloir écrire des tests unitaires et d’intégration dès les premières étapes du développement. Bien que les tests soient essentiels pour garantir la qualité et la stabilité du code, les écrire trop tôt peut s’avérer contre-productif, surtout lorsque l’architecture et les fonctionnalités de l’application ne sont pas encore clairement définies. En effet, au début du projet, de nombreux changements ont été apportés à la structure du code et aux fonctionnalités, rendant ainsi les tests obsolètes rapidement.

De cette expérience, j’ai retenu la leçon suivante : il faut accorder la priorité à la stabilité de l’architecture. Avant d’écrire des tests, il est crucial de s’assurer que l’architecture de l’application est bien définie et stable. Cela permet de réduire le nombre de modifications fréquentes des tests.

Sous-estimer la complexité des dépendances

Nous avons initialement intégré plusieurs bibliothèques sans évaluer pleinement leur maturité et leur compatibilité avec notre projet. Certaines dépendances se sont avérées instables ou mal maintenues, ce qui a entraîné des problèmes imprévus et des retards. Une analyse plus approfondie des dépendances aurait permis d’éviter ces écueils.

Ce parcours d’apprentissage de Flutter m’a ainsi permis de poser des bases solides pour développer l’application mobile PeerTube.

Dans le prochain article, nous aborderons une étape cruciale : la publication de l’application sur les stores (Google Play, App Store et F-Droid). Nous y détaillerons les démarches, les bonnes pratiques et les pièges à éviter pour réussir la mise en ligne d’une application mobile telle que PeerTube.

Nous en profitons pour vous rappeler que le financement participatif pour le développement de l’application PeerTube est en cours jusqu’au 17 juin 2025 !

PDF

09.06.2025 à 07:42

Khrys’presso du lundi 9 juin 2025

Khrys

Comme chaque lundi, un coup d’œil dans le rétroviseur pour découvrir les informations que vous avez peut-être ratées la semaine dernière. Tous les liens listés ci-dessous sont a priori accessibles librement. Si ce n’est pas le cas, pensez à activer … Lire la suite­­
Texte intégral (11048 mots)

Comme chaque lundi, un coup d’œil dans le rétroviseur pour découvrir les informations que vous avez peut-être ratées la semaine dernière.

Tous les liens listés ci-dessous sont a priori accessibles librement. Si ce n’est pas le cas, pensez à activer votre bloqueur de javascript favori ou à passer en “mode lecture” (Firefox) ;-)

Brave New World

L’info popcorn de la semaine

Spécial IA

Spécial Palestine et Israël

Spécial femmes dans le monde

Spécial France

Spécial femmes en France

RIP

Spécial médias et pouvoir

Spécial emmerdeurs irresponsables gérant comme des pieds (et à la néolibérale)

Spécial recul des droits et libertés, violences policières, montée de l’extrême-droite…

Spécial résistances

Spécial outils de résistance

Spécial GAFAM et cie

Les autres lectures de la semaine

Les rapports de la semaine

Les BDs/graphiques/photos de la semaine

Les vidéos/podcasts de la semaine

Les trucs chouettes de la semaine

Retrouvez les revues de web précédentes dans la catégorie Libre Veille du Framablog.

Les articles, commentaires et autres images qui composent ces « Khrys’presso » n’engagent que moi (Khrys).

PDF

08.06.2025 à 09:00

L’IA ne va pas vous piquer votre job : elle va vous empêcher d’être embauché !

Framasoft

L’IA ne sera pas la révolution que l’on pense. Son déploiement concret va prendre du temps. Elle ne sera pas non plus la menace existentielle qu’on imagine, parce qu’elle ne se développera pas là où les risques de défaillances sont trop importants. L’IA va rester sous contrôle malgré sa diffusion, estiment les chercheurs Arvind Narayanan et Sayash Kapoor dans une mise en perspective stimulante de notre avenir.
Texte intégral (4319 mots)

Cet article est une republication, avec l’accord de l’auteur, Hubert Guillaud. Il a été publié en premier le 28 mars 2025 sur le site Dans Les Algorithmes sous licence CC BY-NC-SA.

Avatar de Hubert Guillaud

Hubert Guillaud

Dans le monde du recrutement, les CV ne sont plus vraiment lus par des humains. Le problème, c’est que les scores produits sur ceux-ci pour les trier sont profondément problématiques. Les logiciels de tris de candidatures cherchent à produire des correspondances entre les compétences des candidats et ceux des employés et à prédire les personnalités… sans grand succès. Bien souvent, ils produisent surtout des approximations généralisées masquées sous des scores qui semblent neutres et objectifs. Problèmes : ces systèmes peinent à favoriser la diversité plutôt que la similarité. Ils répliquent, amplifient et obfusquent les discriminations plutôt que de réduire les biais de décisions des recruteurs.

 

 

 

 

 

 

« Les dégâts qu’un responsable du recrutement humain partial peut causer sont réels, mais limités. Un algorithme utilisé pour évaluer des centaines de milliers de travailleurs pour une promotion ou de candidats à l’emploi, s’il est défectueux, peut nuire à bien plus de personnes que n’importe quel être humain », affirmait dans Wired la journaliste américaine Hilke Schellmann. Après avoir publié depuis plusieurs années de nombreuses enquêtes sur les défaillances des systèmes automatisés appliqués à l’emploi, elle vient de faire paraître un livre permettant de faire le point sur leurs limites : The Algorithm : How AI decides who gets hired, monitored, promoted, and fired and why we need to fight back now (L’algorithme : comment l’IA décide de qui sera embauché, surveillé, promu et viré et pourquoi nous devons riposter, Hachette, 2024, non traduit). Son constat est sans appel : dans l’industrie technologique des ressources humaines (la « HRTech » comme on l’appelle), rien ne marche ! Pour elle, l’IA risque bien plus de vous empêcher d’être embauché que de vous piquer votre job !

La couverture du livre de Hilke Schellmann, The Algorithm.Il est écrit : How AI can hijack your career and steal your future

La couverture du livre de Hilke Schellmann, The Algorithm.

 

Dans le domaine des ressources humaines, beaucoup trop de décisions sont basées sur de la « mauvaise camelote algorithmique », explique-t-elle. Des systèmes d’évaluation qui produisent déjà des préjudices bien réels pour nombre d’employés comme pour nombre de candidats à l’emploi. Dans son livre, la journaliste passe en revue les innombrables systèmes que les entreprises utilisent pour sélectionner des candidats et évaluer leurs employés… que ce soit les entretiens automatisés, les évaluations basées sur les jeux, les outils qui parcourent les publications sur les réseaux sociaux et surtout ceux qui examinent les CV en ligne… Tous cherchent à produire des correspondances entre les compétences des candidats et ceux des employés et à prédire les personnalités… sans grand succès.

Ce qu’elle montre avant tout, c’est que les entreprises qui ont recours à ces solutions ne sont pas suffisamment critiques envers leurs défaillances massives. En guise de calculs, ces systèmes produisent surtout des approximations généralisées. Sous l’apparence de scientificité des scores et des chiffres qu’ils déterminent se cache en fait beaucoup de pseudo-science, de comparaisons mots à mots peu efficaces. Quand on s’intéresse au fonctionnement concret de ces outils, on constate surtout que leur caractéristique principale, ce n’est pas tant qu’ils hallucinent, mais de nous faire halluciner, c’est-à-dire de nous faire croire en leurs effets.

Les algorithmes et l’intelligence artificielle que ces systèmes mobilisent de plus en plus promettent de rendre le travail des ressources humaines plus simple. En l’absence de régulation forte, souligne la journaliste, ni les vendeurs de solutions ni leurs acheteurs n’ont d’obligation à se conformer au moindre standard. Or, poser des questions sur le fonctionnement de ces outils, les valider, demande beaucoup de travail. Un travail que les départements RH ne savent et ne peuvent pas faire. Nous aurions besoin d’un index pour mesurer la qualité des outils proposés, propose la journaliste… tout en constatant que nous n’en prenons pas le chemin. L’industrie RH se contente parfaitement de la situation, souligne-t-elle. Les avocats américains recommandent d’ailleurs aux services RH des entreprises de ne pas enquêter sur les outils qu’ils utilisent pour ne pas être tenu responsables de leurs dysfonctionnements ! À croire que la responsabilité sociale fonctionne mieux avec des œillères !

De l’automatisation des recrutements : tous scorés !

L’automatisation s’est imposée pour répondre aux innombrables demandes que recevaient les plus grandes entreprises et notamment les grandes multinationales de la Tech. Comment traiter les millions de CV que reçoivent IBM ou Google chaque année ? Qu’ils soient déposés sur les grands portails de candidatures et d’offres d’emplois que sont Indeed, Monster, Linkedin ou ZipRecruiter comme sur les sites d’entreprises, l’essentiel des CV sont désormais lus par des logiciels plutôt que par des humains. Les plateformes développées d’abord pour l’intérim puis pour les employés de la logistique, de la restauration rapide et du commerce de détail sont désormais massivement utilisées pour recruter dans tous les secteurs et pour tous types de profils. Mais elles se sont particulièrement développées pour recruter les cols blancs, notamment en entrée de tous les grands secteurs professionnels, comme l’informatique ou la finance. Si ces plateformes ont permis aux candidats de démultiplier facilement leurs candidatures, c’est au détriment de leur compréhension à savoir comment celles-ci seront prises en compte. Les fonctionnalités de tri massifs et automatisés restent encore l’apanage des grandes entreprises, notamment parce qu’elles nécessitent souvent d’accéder à des logiciels dédiés, comme les « systèmes de suivis de candidatures » (ATS, Applicant Tracking Systems) qui permettent de trier et gérer les candidats. Une grande majorité des employeurs y ont recours. Ces logiciels sont moins connus que les grandes plateformes de candidatures avec lesquelles ils s’interfacent. Ils s’appellent Workday, Taleo, Greenhouse, Lever, Phenom, Pintpoint, Recruitee, Jobvite… Sans compter les plus innovants parmi ces interfaces du recrutement, comme Sapia ou Hirevue, qui proposent d’automatiser jusqu’à l’entretien lui-même en mobilisant reconnaissance faciale, transcription des propos et analyse émotionnelle.

Tous ces systèmes font la même promesse aux entreprises qui les utilisent : minimiser et optimiser le nombre de candidats à un poste et réduire le temps de sélection des candidats. Pour ce faire, ces systèmes lisent les mots des CV selon les paramètres qu’en précisent les entreprises et que rendent disponibles les plateformes. Ils cherchent dans les CV les occurrences des termes qui décrivent le poste depuis l’annonce ou comparent les termes des CV candidats à ceux de personnes déjà en poste. La plupart utilisent des attributs par procuration pour détecter des compétences, comme le fait d’avoir un diplôme du supérieur ou le fait d’avoir des compétences précises formalisées par des mots-clefs littéraux.

Face à l’afflux des candidatures – en 2015, Glassdoor estimait qu’il y avait en moyenne 250 réponses par offre d’emploi pour 4 à 6 sélectionnés pour un entretien ; Jobvite, lui estime que le nombre moyen de candidats par offre tournerait plutôt autour de 29 en 2018, alors qu’il était de 52 en 2016, une baisse qui résulterait d’une meilleure optimisation des offres quand on pourrait questionner plutôt le recul de leur diffusion –, le recrutement automatisé s’est généralisé et ce dans une grande opacité au détriment des candidatures les plus précaires. Car dans ces outils, pour accélérer le tri, il est facile de ne retenir par exemple que ceux qui ont un diplôme du supérieur pour un poste qui n’en nécessite pas nécessairement. Les capacités de réglages sont bien plus conçues pour exclure et rejeter les candidatures que pour intégrer les candidats. Par exemple, comme souvent en informatique, si l’une des compétences exigée n’est pas présente, quelles que soit les qualifications et les qualités des autres compétences évaluées, le candidat va bien souvent être rejeté ou sa note globale dégradée, selon une moyennisation qui lisse les écarts plutôt que de capitaliser sur les forces et faiblesses des candidats. Dans leur livre, The Ordinal Society, les sociologues Marion Fourcade et Kieran Healy, parlent très justement du « lumpenscoretariat » pour qualifier le prolétariat du score dans le capitalisme numérique, pour parler de ceux qui sont toujours mal classés par les systèmes parce que les standards de ceux-ci s’adaptent extrêmement mal à tous les publics.

Ces logiciels de recrutement examinent, évaluent et classent les candidatures en leur attribuant des scores sur un certain nombre de critères définis par les possibilités du système et par l’entreprise qui recrute. Plusieurs scores sur plusieurs attributs sont produits (par exemple un score sur l’expérience requise, un score sur les compétences exigées, etc.) et forment un score unique qui permet de classer les candidatures les unes par rapport aux autres. Un très fort pourcentage de candidatures sont rejetées parce qu’elles ne remplissent pas les critères demandés. Et ce, alors que les employeurs ont tendance à démultiplier les critères pour réduire le nombre de candidats à examiner. Pour un simple emploi de vendeur, le nombre de compétences requises dans les offres d’embauche en ligne est en moyenne de 31 compétences différentes ! De plus en plus d’offres d’emploi demandent d’ailleurs des compétences qui étaient associées à d’autres professions : un vendeur doit savoir vendre, mais doit également désormais savoir utiliser tel ou tel logiciel par exemple ou disposer de compétences transverses, les fameux « soft skills », des aptitudes interpersonnelles qui n’ont pas toujours de liens avec les compétences techniques (qui elles relèvent par exemple de la maîtrise d’une langue étrangère ou de techniques de ventes spécifiques), que ce soient « l’autonomie », la « capacité à négocier » ou la « flexibilité », autant de « talents » dont l’appréciation est bien souvent difficile et subjective et que les calculs promettent de résoudre par des scores dont la formule est suffisamment complexe pour que nul ne regarde leurs défauts.

Bien souvent, les entreprises qui embauchent sont les premières responsables du sur-filtrage qu’elles utilisent. Mais surtout, à force de démultiplier les critères, elles ne parviennent pas à ouvrir leurs canaux de recrutement, comme s’en émouvait le rapport Fuller, Hidden Workers (2021). Joseph Fuller, le chercheur de la business school d’Harvard, montrait que nombre de candidats qualifiés n’étaient pas considérés par ces systèmes de tri automatisés. Nombre de systèmes de recrutement rejettent des candidats qui font de très bons scores sur nombre de critères, mais échouent totalement sur un seul d’entre eux, au profit de candidats qui peuvent être très moyens sur tous les critères. Ainsi, dans la moitié des outils d’analyse automatisés testés par son équipe, avoir un trou de 6 mois dans sa carrière conduit à une exclusion automatique, quelle que soit la raison de ce passage à vide (congé natalité, maladie…) et ce même si la candidature est par ailleurs très bien notée. Cet exemple montre que la qualification n’est pas le seul critère pris en compte. Ces systèmes font d’abord ce pour quoi ils sont programmés : minimiser le temps et le coût passé à recruter ! Pour Hilke Schellmann, ces exemples démontrent que les responsables RH devraient enquêter sur les outils qu’ils utilisent et comprendre les critères de sélection qu’ils mettent en œuvre. Les processus d’embauches automatisés se concentrent bien plus sur la détection de références que sur les capacités des candidats. L’automatisation du recrutement conduit à configurer les systèmes de manière inflexible afin d’en minimiser le nombre. Or, pour Fuller, ces outils devraient surtout permettre d’élargir le recrutement que de le resserrer, ils devraient permettre de s’intéresser aux expériences plus qu’aux compétences, explique-t-il en montrant que nombre de personnes compétentes ne sont pas recrutées parce que leur expérience peut-être sur des compétences similaires, mais dans un autre métier. Les descriptions de postes se complexifient, écartant certains postulants, et notamment les femmes qui ont tendance à postuler que si elles sont convaincues qu’elles satisfont à l’essentiel des exigences d’un poste.

Capture d'écran du jeu Survival of the best fit.

Vous aussi entraînez une IA de recrutement !
Survival of the best fit est un jeu en ligne qui permet de comprendre les limites du recrutement automatisé.

 

Les responsables RH comme les recruteurs savent pertinemment que leurs outils ne sont pas toujours pertinents : 88 % d’entre eux reconnaissent que ces outils excluent du processus d’embauche des candidats hautement qualifiés ou tout à fait qualifiés ! Leur efficacité elle-même est limitée, puisque 50 % des employés embauchés ne sont plus en poste 18 mois après leur arrivée. Au final, comme leurs outils, les responsables RH ont souvent bien plus confiance dans les diplômes, la réputation des écoles que dans l’expérience. Les filtres des systèmes fonctionnent comme des proxys : avoir été embauché dans un rôle similaire à celui de l’annonce dans les derniers mois est souvent plus important que de trouver des personnes qui ont des expériences multiples qui devraient leur permettre de s’épanouir dans le poste. La recherche de l’adéquation empêche bien souvent de chercher l’adaptation. Le recrutement, dans sa logique, cherche à minimiser son coût plutôt que de maximiser le capital humain. Et ces systèmes qui visent d’abord à matcher avec des exigences strictes, peinent à favoriser la diversité plutôt que la similarité, les manières dont les gens ont progressé plutôt que les statuts qu’ils ont acquis.

Discriminations invisibles

Hilke Schellmann n’est pas la seule à s’inquiéter du fonctionnement des systèmes de recrutement. La professeure de droit américaine, Ifeoma Ajunwa, qui a publié l’année dernière The Quantified Worker (Le travailleur quantifié, Cambridge University Press, 2023 non traduit), explique elle aussi que les systèmes d’embauche automatisés réduisent tous les candidats à des scores. Dans ces scores, les pratiques discriminatoires, liées à l’âge, au sexe, à la couleur de peau, au handicap, au niveau social… sont invisibilisées. Or, ces systèmes se déploient sans contrôle, sans régulation, sans audit, sans label de qualité, sans informations aux candidats… Dans une tribune pour Wired, elle demandait à la Fédération du commerce qui régule ces questions aux États-Unis de faire son job : c’est-à-dire contrôler et sanctionner les pires pratiques !

Couverture du livre, The Quantified Worker, de Ifeoma Ajunwa.En sous-titre : Law and Technology in the Modern Workplace

Couverture du livre, The Quantified Worker, de Ifeoma Ajunwa.

 

Les systèmes servent à répliquer, amplifier et obfusquer les discriminations à grande échelle, estime la juriste. Dans l’histoire du développement des plateformes d’embauches depuis les années 1990, qu’elle dresse avec Daniel Greene, la principale raison de leur développement repose sur la promesse de réduire les biais de décisions en utilisant des processus techniques « neutres ». C’est pourtant bien à l’inverse qu’on a assisté : les décisions algorithmiques sont devenues le véhicule d’amplification des biais ! Mais, pour la juriste, la question des biais de ces systèmes est bien plus un problème légal que technique. Le problème, c’est que les biais des systèmes sont démultipliés à un niveau sans précédent. « La recherche d’un meilleur fonctionnement technique nous empêche trop souvent de regarder les limites légales de ces systèmes », explique Ajunwa. Trop de données sont des proxies pour contourner les interdictions légales à la discrimination inscrite dans la loi. Les discriminations de race, de genre, sociales… sont déguisées derrière une « nébuleuse adéquation culturelle » des candidats aux offres. Plus que les compétences ou l’expérience, les recruteurs et leurs machines sont à la recherche d’un « matching socio-culturel » qui masque ses motivations discriminatoires d’un couvert de neutralité, qui occulte combien nos stéréotypes acquis influencent en profondeur nos décisions, comme le fait de préférer certaines écoles à d’autres dans les recrutements, ou le fait que les systèmes de recrutements favorisent certains termes sur d’autres. Les exemples de biais de ce type sont nombreux et se démultiplient quand tous les termes d’un CV peuvent devenir prédictifs. C’est ainsi que parfois des prénoms, des formations ou des hobbies ont pu devenir des paramètres clefs de ces systèmes. Les systèmes d’analyse des CV fonctionnent bien trop sur des mots- clefs qui prennent alors des valeurs qui dépassent leur portée. L’avocat spécialiste des questions de travail Ken Willner a ainsi montré que des termes comme « Afric » ou « Latin », qu’ils soient associés à un travail où à un hobby (comme le fait de pratiquer la danse Afro par exemple) pouvaient dégrader le score d’un CV juste parce que la présence du terme renvoie à des publics afro-américains. Sur les douzaines de systèmes d’embauche que l’avocat a examinés, il a trouvé des variables problématiques dans plus d’un quart ! Pour Willner, les entreprises qui développent ces outils ne font même pas le travail liminaire de contrôle et de non prise en compte de termes potentiellement discriminatoires. Willner en a trouvé bien d’autres, comme la pratique du baseball et du softball, le second surtout joué par des femmes, dont l’occurrence pouvait être prise en compte pour dégrader le score des secondes.

L’autoritarisme de plateforme pour obscurcir les discriminations

Les systèmes d’embauche automatisés permettent d’abord d’obscurcir les discriminations. Par exemple, celles liées à l’âge, alors que la loi les interdit. Plusieurs études ont montré que la discrimination liée à l’âge est exacerbée par l’automatisation. Un audit de la banque of America a montré que les gens de plus de 40 ans avaient un taux de rappel suite à une candidature 30 % moins élevée que les plus jeunes pour des emplois de base et que ce taux s’effondrait plus encore pour les femmes de plus de 40 ans. Le problème, estime Ifeoma Ajunwa c’est que ces discriminations liées à l’âge sont facilitées sur les plateformes, comme l’avait souligné une enquête de CNBC.

Reste, souligne la juriste, que les disparités de traitements sont difficiles à prouver, d’abord et avant tout parce que les plateformes d’emploi ne sont contraintes à aucune transparence statistique sur ce qu’elles font. Une étude a même montré que pour quelque 600 plaintes pour discrimination raciale à l’emploi aux Etats-Unis, la majorité des jugements rendus peinent à reconnaître la discrimination à l’œuvre. Ajunwa parle « d’autoritarisme de plateforme » pour évoquer les contradictions entre les politiques des plateformes et les législations. Cet autoritarisme masque la relation qu’elles entretiennent avec les candidats comme intermédiaires qui bénéficie bien plus aux employeurs et aux plateformes qu’aux utilisateurs. Pas étonnant dès lors que le public soit très critique à l’égard des plateformes d’embauche, comme le montrait un sondage du Pew sur la très vive défiance du grand public à l’encontre de l’embauche automatisée (avec un autre biais récurrent, qui est de croire que le système a plus de conséquences négatives globalement que pour soi personnellement).

Plus que de résoudre les dérives du recrutement, son automatisation a surtout généré un empilement de problèmes, que toute la chaîne de la HR tech tente de mettre sous le tapis, plutôt que de l’affronter. Il n’est pas sûr que ce soit une position longtemps tenable…

(à suivre)

PDF

02.06.2025 à 07:42

Khrys’presso du lundi 2 juin 2025

Khrys

Comme chaque lundi, un coup d’œil dans le rétroviseur pour découvrir les informations que vous avez peut-être ratées la semaine dernière. Tous les liens listés ci-dessous sont a priori accessibles librement. Si ce n’est pas le cas, pensez à activer … Lire la suite­­
Texte intégral (10404 mots)

Comme chaque lundi, un coup d’œil dans le rétroviseur pour découvrir les informations que vous avez peut-être ratées la semaine dernière.

Tous les liens listés ci-dessous sont a priori accessibles librement. Si ce n’est pas le cas, pensez à activer votre bloqueur de javascript favori ou à passer en “mode lecture” (Firefox) ;-)

Brave New World

RIP

Spécial IA

Spécial Palestine et Israël

Spécial femmes dans le monde

Spécial France

Spécial femmes en France

Spécial médias et pouvoir

Spécial emmerdeurs irresponsables gérant comme des pieds (et à la néolibérale)

Spécial recul des droits et libertés, violences policières, montée de l’extrême-droite…

Spécial résistances

  • Appel à cartographie des caméras de vidéosurveillance (bourrasque-info.org)

    Présentation du site Surveillance under Surveillance, un outil permettant de répertorier et cartographier les caméras partout dans le monde.

  • Digital Justice, Now ! A call to action for WSIS+20 and beyond (apc.org)

    Twenty years after the conclusion of the World Summit on the Information Society (WSIS), we find ourselves in a now-or-never moment. The vision of a people-centered, inclusive, and development-oriented digital order has never seemed more elusive, yet so urgent, to claim. The new digital order dictated by corporate greed and state control is, unfortunately, a far cry from the ideals of the WSIS consensus. (See the Global Digital Justice Forum’s Johannesburg Communique for our analysis of what is wrong with the status quo.) The weaponization of data and AI has already seen widespread job precarity, misinformation, war crimes, the climate catastrophe, and more. Our autonomy, agency, shared humanity, and planetary well-being are under siege. We need Digital Justice, Now !

  • « On est là pour enseigner la vérité : un génocide se déroule sous nos yeux » (politis.fr)

    Ce mercredi 28 mai, 250 personnes sont venues apporter leur soutien à une professeure, suspendue après avoir organisé une minute de silence en hommage aux victimes de bombardements à Gaza. Près du ministère de l’Éducation nationale, tou·tes dénoncent la répression de ces sujets dans l’enseignement.

  • « Bientôt, nous enseignerons qu’il y a eu un génocide à Gaza » (politis.fr)

    Aggiornamento, un collectif d’enseignant·es, estime qu’éviter de parler de génocide à Gaza en classe relève d’une posture politique contraire à la « neutralité » demandée aux professeurs par le ministère, alors que le rectorat de Dijon a suspendu une professeure pour un hommage aux victimes gazaouies.

  • Un « bain de sang » dans une fontaine au cœur de Paris pour dénoncer les massacres à Gaza (huffingtonpost.fr)

    « Stop au bain de sang », « Macron doit enfin agir » : une poignée de militants se sont donnés rendez-vous en début de matinée à la fontaine des Innocents, dans la capitale française, où ils ont déversé plusieurs litres de colorant alimentaire rouge sur les marches du bassin et brandi des pancartes appelant les autorités à l’action face au désastre humanitaire à Gaza.

  • L’appel des mères pour les enfants de la Palestine (politis.fr)

    Face au massacre des enfants palestiniens, des mères de France appellent à marcher le 15 juin devant l’Élysée pour exiger des sanctions contre Israël et des actions immédiates de la part d’Emmanuel Macron.

  • « Les enfants palestiniens ne sont-ils pas des enfants ? » (politis.fr)

    L’Assemblée pour des soins antiracistes et populaires, dans une lettre ouverte, demande à la Société française de pédiatrie de faire pression sur les autorités françaises afin d’obtenir une action diplomatique internationale auprès du gouvernement israélien.

  • Action anti-jets privés : des activistes d’Attac et XR à la barre (basta.media)

    Treize activistes ont été jugé·es pour une action de désobéissance civile contre les jets privés. Au-delà des faits reprochés, le procès soulève une question : celle de la légitimité de mener des actions illégales face à l’urgence climatique.

  • L’A69 relancée : la lutte reprend de plus belle (reporterre.net)

    Après l’annonce de l’autorisation de reprise du chantier de l’A69, les opposant·es à cette autoroute ont organisé des rassemblements partout en France.

  • Thomas Brail sur l’A69 : « J’entame une grève de la soif dès la reprise du chantier » (reporterre.net)
  • LGV Lyon-Turin : un convoi à vélo pour alerter les habitant·es des ravages du tracé (reporterre.net)
  • Écologistes, malades du cancer, scientifiques… Ils se rebellent contre la loi Duplomb (reporterre.net)

    De nombreuses voix de la société civile se sont élevées pour dire leur indignation après le vote, le 26 mai, par les députés du centre et de la droite, d’une résolution de rejet « tactique » contre leur propre texte, pour éviter un débat en séance plénière et envoyer le texte décrié directement en commission mixte paritaire.

  • Vers un soulèvement associatif ! (associations-citoyennes.net)

    Le Projet de Loi de Finance 2025 adopté en force par le parlement annonce un véritable « carnage associatif ». Protection et accompagnement des personnes, aide sociale, culture et éducation populaire, défense des droits, solidarité internationale, écologie, sport … le choc est immense dans le monde associatif et solidaire pourtant indispensable à la vitalité démocratique et au tissu social. Amplifié par de nombreuses collectivités locales pratiquant la même politique de la terre brûlée, l’effet domino est terrible et aucune association, aucune initiative citoyenne ne sera épargnée.

  • « Si ArcelorMittal tombe, c’est l’ensemble de l’industrie française qui tombe » (politis.fr)

    Alors qu’ArcelorMittal a annoncé un vaste plan de suppressions de postes, la CGT a décidé d’entamer une « guerre » pour préserver les emplois et éviter le départ du producteur d’acier de l’Hexagone.

  • Sabotages sur la Croisette (lundi.am)

    Ce week-end, en plein 78e Festival de Cannes, trois installations électriques ont été sabotées dans les Alpes-maritimes. Un poste électrique incendié à Tanneron, un pylône scié près de Villeneuve-Loubet, et un transformateur incendié à l’ouest de Nice provocant « une panne d’électricité géante »

    Voir aussi Communiqué sur les sabotages de la Côte d’Azur (lagrappe.info)

  • Restauration : Bondir·e, des professionnels s’engagent contre les violences en cuisine (humanite.fr)

    Alors que plus de 200 000 personnes manquent dans la restauration, les violences qui y règnent expliquent de nombreux départs. L’association Bondir·e, créée en 2020 par des cheffes, sensibilise les futurs professionnels au caractère inacceptable de pratiques trop longtemps tolérées.

  • Prostitution. 50 ans après l’occupation de l’église Saint-Nizier, les parapluies rouges se déploient à Lyon (tribunedelyon.fr)

    Lyon célèbre ce week-end les 50 ans de l’occupation de l’église Saint-Nizier par les travailleurs et travailleuses du sexe (TDS). Une date désormais ancrée dans les mémoires, bien au-delà des frontières, mais qui rappelle que même à Lyon, les droits des TDS restent encore à conquérir.

Spécial outils de résistance

  • Cent ans de sabotage : résister à l’oppression politique et technologique (terrestres.org)
  • Comment et quoi « réparer » après le colonialisme nucléaire ? (terrestres.org)

    une discussion sérieuse sur la réparation commence par la reconnaissance de l’irréparable, c’est-à-dire l’impossibilité de « solutionner » ou de gérer le désastre nucléaire comme un simple paramètre de plus dans l’administration des choses. Parmi les principes fondamentaux de l’ONU concernant le droit à la réparation figure la garantie de non-répétition14 : réparer le passé, c’est déjà garantir que des faits similaires ne se produiront plus dans le futur. Considérant que l’industrie nucléaire, tant civile que militaire, repose sur une chaîne de production et de contaminations coloniales irréversibles, il est antithétique de proclamer une « paix » sans avoir préalablement procédé à une dénucléarisation et à une décolonisation totales des sociétés française et maohi.

Spécial GAFAM et cie

Les autres lectures de la semaine

Les BDs/graphiques/photos de la semaine

Les vidéos/podcasts de la semaine

Soutenir

Les trucs chouettes de la semaine

Retrouvez les revues de web précédentes dans la catégorie Libre Veille du Framablog.

Les articles, commentaires et autres images qui composent ces « Khrys’presso » n’engagent que moi (Khrys).

PDF

01.06.2025 à 09:00

Inférences : comment les outils nous voient-ils ?

Framasoft

Dans le miroir des données inférées, qui sommes-nous ? Et comment arrêter ce délire d’hallucinations ?
Texte intégral (2246 mots)

Cet article est une republication, avec l’accord de l’auteur, Hubert Guillaud. Il a été publié en premier le 18 mars 2025 sur le site Dans Les Algorithmes sous licence CC BY-NC-SA.

Avatar de Hubert Guillaud

Hubert Guillaud

Dans le miroir des données inférées, qui sommes-nous ? Et comment arrêter ce délire d’hallucinations ?

 

 

 

 

 

 

 

Comment les systèmes interprètent-ils les images ? Ente, une entreprise qui propose de chiffrer vos images pour les échanger de manière sécurisée sans que personne d’autres que ceux que vous autorisez ne puisse les voir, a utilisé l’API Google Vision pour montrer comment les entreprises infèrent des informations des images. C’est-à-dire comment ils les voient, comment les systèmes automatisés les décrivent. Ils ont mis à disposition un site pour nous expliquer comment « ILS » voient nos photos, qui permet à chacun d’uploader une image et voir comment Google Vision l’interprète.

Sommes-nous ce que les traitements disent de nous ?

Le procédé rappelle le projet ImageNet Roulette de Kate Crawford et Trevor Paglen, qui renvoyait aux gens les étiquettes stéréotypées dont les premiers systèmes d’intelligence artificielle affublaient les images. Ici, ce ne sont pas seulement des étiquettes dont nous sommes affublés, mais d’innombrables données inférées. Pour chaque image, le système produit des informations sur le genre, l’origine ethnique, la localisation, la religion, le niveau de revenu, les émotions, l’affiliation politique, décrit les habits et les objets, pour en déduire des passe-temps… mais également des éléments de psychologie qui peuvent être utilisés par le marketing, ce qu’on appelle les insights, c’est-à-dire des éléments permettant de caractériser les attentes des consommateurs. Par exemple, sur une des images en démonstration sur le site représentant une famille, le système déduit que les gens priorisent l’esthétique, sont facilement influençables et valorisent la famille. Enfin, l’analyse associe des mots clefs publicitaires comme albums photos personnalisé, produits pour la peau, offre de voyage de luxe, système de sécurité domestique, etc. Ainsi que des marques, qui vont permettre à ces inférences d’être directement opérationnelles (et on peut se demander d’ailleurs, pourquoi certaines plutôt que d’autres, avec le risque que les marques associées démultiplient les biais, selon leur célébrité ou leur caractère international, comme nous en discutions en évoquant l’optimisation de marques pour les modèles génératifs).

Autant d’inférences probables, possibles ou potentielles capables de produire un profil de données pour chaque image pour leur exploitation marketing.

Comme l’explique le philosophe Rob Horning, non seulement nos images servent à former des modèles de reconnaissance d’image qui intensifient la surveillance, mais chacune d’entre elles produit également des données marketing disponibles pour tous ceux qui souhaitent les acheter, des publicitaires aux agences de renseignement. Le site permet de voir comment des significations sont déduites de nos images. Nos photos, nos souvenirs, sont transformés en opportunités publicitaires, identitaires et consuméristes, façonnées par des logiques purement commerciales (comme Christo Buschek et Jer Thorp nous l’avaient montré de l’analyse des données de Laion 5B). L’inférence produit des opportunités, en ouvre certaines et en bloque d’autres, sur lesquelles nous n’avons pas la main. En nous montrant comment les systèmes interprètent nos images, nous avons un aperçu de ce que, pour les machines, les signifiants signifient.

Mais tout n’est pas parfaitement décodable et traduisible, transparent. Les inférences produites sont orientées : elles ne produisent pas un monde transparent, mais un monde translucide. Le site They see your photos nous montre que les images sont interprétées dans une perspective commerciale et autoritaire, et que les représentations qu’elles produisent supplantent la réalité qu’elles sont censées interpréter. Il nous permet de voir les biais d’interprétation et de nous situer dans ceux-ci ou de nous réidentifier sous leur répétition.

Nous ne sommes pas vraiment la description produite de chacune de ces images. Et pourtant, nous sommes exactement la personne au cœur de ces descriptions. Nous sommes ce que ces descriptions répètent, et en même temps, ce qui est répété ne nous correspond pas toujours ou pas du tout.

Capture d'écran montrant le résultat de l'analyse de They See Your Photos sur une photo d'Hubert Guillaud. On voit le visage d'Hubert légèrement souriant. En fond, on devine une manifestation à la foule portant des banderoles vertes.
Autre capture d'écran montrant le résultat de l'analyse de They See Your Photos sur une deuxième photo d'Hubert Guillaud.La photo d'Hubert est sur fond noir, on voit son visage légèrement souriant et son buste. Le résultat de l'analyse change parfois beaucoup comparé à la première photo.

Exemples d’intégration d’images personnelles dans TheySeeYourPhotos qui montrent les données qui sont inférées de deux images. Et qui posent la question qui suis-je ? Gagne-je 40 ou 80 000 euros par mois ? Suis-je athée ou chrétien ? Est-ce que je lis des livres d’histoire ou des livres sur l’environnement ? Suis-je écolo ou centriste ? Est-ce que j’aime les chaussures Veja ou les produits L’Oréal ?

Un monde indifférent à la vérité

L’autre démonstration que permet le site, c’est de nous montrer l’évolution des inférences publicitaires automatisées. Ce que montre cet exemple, c’est que l’enjeu de régulation n’est pas de produire de meilleures inférences, mais bien de les contenir, de les réduire – de les faire disparaître voire de les rendre impossibles. Nous sommes désormais coincés dans des systèmes automatisés capables de produire de nous, sur nous, n’importe quoi, sans notre consentement, avec un niveau de détail et de granularité problématique.

Le problème n’est pas l’automatisation publicitaire que ce délire de profilage alimente, mais bien le délire de profilage automatisé qui a été mis en place. Le problème n’est pas la qualité des inférences produites, le fait qu’elles soient vraies ou fausses, mais bien le fait que des inférences soient produites. La prévalence des calculs imposent avec eux leur monde, disions-nous. Ces systèmes sont indifférents à la vérité, expliquait le philosophe Philippe Huneman dans Les sociétés du profilage (Payot, 2023). Ils ne produisent que leur propre renforcement. Les machines produisent leurs propres mèmes publicitaires. D’un portrait, on propose de me vendre du cognac ou des timbres de collection. Mais ce qu’on voit ici n’est pas seulement leurs défaillances que leurs hallucinations, c’est-à-dire leur capacité à produire n’importe quels effets. Nous sommes coincés dans un régime de facticité, comme le dit la philosophe Antoinette Rouvroy, qui finit par produire une vérité de ce qui est faux.

Où est le bouton à cocher pour refuser ce monde ?

Pourtant, l’enjeu n’est pas là. En regardant très concrètement les délires que ces systèmes produisent on se demande surtout comment arrêter ces machines qui ne mènent nulle part ! L’exemple permet de comprendre que l’enjeu n’est pas d’améliorer la transparence ou l’explicabilité des systèmes, ou de faire que ces systèmes soient plus fiables, mais bien de les refuser. Quand on comprend la manière dont une image peut-être interprétée, on comprend que le problème n’est pas ce qui est dit, mais le fait même qu’une interprétation puisse être faite. Peut-on encore espérer un monde où nos photos comme nos mots ne sont tout simplement pas interprétés par des machines ? Et ce alors que la grande interconnexion de celles-ci facilite ce type de production. Ce que nous dit « They see your photos », c’est que pour éviter ce délire, nous n’avons pas d’autres choix que d’augmenter considérablement la confidentialité et le chiffrement de nos échanges. C’est exactement ce que dit Vishnu Mohandas, le développeur de Ente.

Hubert Guillaud

MÀJ du 25/03/2025 : Il reste une dernière inconnue dans les catégorisations problématiques que produisent ces outils : c’est que nous n’observons que leurs productions individuelles sur chacune des images que nous leur soumettons… Mais nous ne voyons pas les catégorisations collectives problématiques qu’ils peuvent produire. Par exemple, combien de profils de femmes sont-ils catalogués comme à « faible estime de soi » ? Combien d’hommes catégorisés « impulsifs » ? Combien d’images de personnes passées un certain âge sont-elles caractérisées avec des mots clés, comme « alcool » ? Y’a-t-il des récurrences de termes selon le genre, l’âge putatif, l’origine ou le niveau de revenu estimé ?… Pour le dire autrement, si les biais individuels semblent innombrables, qu’en est-il des biais démographiques, de genre, de classe… que ces outils produisent ? L’exemple permet de comprendre très bien que le problème des biais n’est pas qu’un problème de données et d’entraînement, mais bien de contrôle de ce qui est produit. Ce qui est tout de suite bien plus problématique encore…

PDF

27.05.2025 à 11:27

Amenons PeerTube dans nos poches !

Framasoft

Grâce à votre soutien, nous (Framasoft, une petite association à but non-lucratif) développons PeerTube depuis sept ans ! D’un projet étudiant à un logiciel d’envergure internationale, notre solution de plateforme vidéo est désormais utilisée et reconnue par de nombreuses institutions ! Bien … Lire la suite­­
Texte intégral (3716 mots)

Grâce à votre soutien, nous (Framasoft, une petite association à but non-lucratif) développons PeerTube depuis sept ans ! D’un projet étudiant à un logiciel d’envergure internationale, notre solution de plateforme vidéo est désormais utilisée et reconnue par de nombreuses institutions !

Bien sûr, nous avons encore beaucoup de chemin à faire, et si la communauté de PeerTube grandit de jour en jour, nous percevons déjà quelques étapes cruciales qui permettraient à PeerTube d’être adopté par un plus grand public !

Avec votre aide, amenons PeerTube dans la poche de toutes et tous  !

 

Soutenir PeerTube

 

Une application pour toutes et tous !

L’année dernière a marqué un tournant important pour PeerTube. En effet, nous avons engagé Wicklow pour travailler sur l’application mobile PeerTube, doublant ainsi notre effectif dédié au développement de PeerTube.

Oui, ça peut sembler un peu dingue, et pourtant, PeerTube n’a été développé jusqu’à présent que par un seul développeur salarié et une poignée de contributeur·ices bénévoles ! (Merci mille fois à vous ! 💖)

Nous réfléchissions depuis longtemps à construire notre propre application mobile, constatant l’utilisation massive des smartphones pour profiter de contenus vidéos. Grâce à vos votes sur notre plateforme dédiée au partage d’idées concernant PeerTube, nous avons été convaincu·es d’entamer ce chantier et souhaitons aujourd’hui mettre des ressources dedans !

Depuis sa sortie en fin d’année dernière en version préliminaire, l’application a beaucoup évolué et vous pouviez il y a quelques semaines découvrir la première version majeure ! Le détail des améliorations apportées par cette version sont consultables dans l’article de blog dédié.

 

 

Une bulle d’autonomie hors du système YouTube-Twitch-Vimeo

Plus qu’une application mobile, PeerTube est un écosystème vibrant : 1300 plateformes recensées, totalisant 300 000 comptes utilisateurices et 756 000 vidéos. 

Outre les nombreuses autres améliorations, la version 7 a apporté un nouveau design, pensé pour être plus moderne, accessible et mieux adapté pour les institutions.

Parmi ces institutions, nous retrouvons notamment le Ministère de l’Éducation Nationale français ou le GARR (réseau informatique des universités italiennes).

Pour toutes ces raisons, nous considérons que PeerTube est désormais un logiciel mature

(même si, oui, il y a toujours moyen de l’améliorer et nous allons œuvrer dans ce sens ! 😛)

 

Nous voyons en PeerTube un logiciel émancipateur, permettant un partage non-marchand des vidéos.

Que vous souhaitiez partager vos vidéos avec vos élèves, publier vos tutoriels de jardinage facile, ou avoir une plateforme vidéo autonome pour votre structure, tout est possible avec PeerTube !

 

Popularisons les vidéos et lives partagées par des humain·es, pour des humain·es !

Pour permettre à encore plus de personnes d’accéder à PeerTube, nous sommes ravi·es d’annoncer le lancement d’une campagne de financement participatif ! 🎉

Notre feuille de route pour la partie Web de PeerTube étant déjà financée, nous voulons concentrer sur l’amélioration de l’application mobile. Nous aimerions y apporter des fonctionnalités clés pour qu’elle facilite l’apport de contenus.

Ensemble, allons plus loin en amenant PeerTube dans les poches de tout le monde !

 

Quatre objectifs collectifs

PeerTube est pensé comme un commun, un outil appropriable par toutes et tous. Nous souhaitons développer l’application dans ce sens et avons donc pensé à quatre objectifs-clés nous permettant de nous en rapprocher.

Contrairement à la plupart des financements participatifs, nous ne proposons pas de « contrepartie » pour votre don. En soutenant PeerTube, votre récompense, c’est d’avoir contribué à un Commun, qui sert à toutes et appartient à tous.

Cependant, nous avons joué avec le concept, et vous proposons différentes « contributions » possibles, pour vous montrer le travail que votre soutien nous permet de réaliser.

 

15 000€ – Un PeerTube « Premium » gratuit pour toustes

Cet objectif permet de débloquer un « PeerTube Premium »… mais gratuit et pour tout le monde !
Sepia, la mascotte de PeerTube, qui porte un plateau sur lequel il y a du popcorn. Il y a une serviette blanche sur le tentacule qui porte le plateau. Ses yeux sont fermés et sa tête orientée vers le bas.

Sepia apporte le popcorn. CC-BY-SA David Revoy

  • Lisez la vidéo en fond pour pouvoir continuer d’écouter une conférence ou un cours sans interruption, même si vous avez besoin d’aller jeter un coup d’œil rapide à un document
  • Diffusez les vidéos sur votre télévision et montrez à vos ami·es le tutoriel vidéo super utile pour votre association
  • Recevez des notifications sur les nouveaux contenus publiés afin de ne plus manquer les sorties de votre vidéaste préféré·e
  • Changez la définition de la vidéo et économisez ainsi votre forfait data
Tout ça, sans publicité ! La magie d’une application pensée pour vous servir, pas pour vous pister ! 🪄

 

35 000€ – Partager des vidéos depuis votre poche

Parfois, vous n’avez pas de grosse édition à faire sur vos vidéos et souhaitez juste les téléverser rapidement sans passer par votre ordinateur.

C’est ce que vous permettra cet objectif !
Sepia, la mascotte de PeerTube, qui édite une pellicule de film à coups de ciseaux.

Sepia fait de l’édition. CC-BY-SA David Revoy

  • Gérez toutes les chaînes de votre compte, directement dans l’application
  • Modifiez les chapitres, sous-titres et autres informations de vos vidéos
  • Consultez les statistiques détaillées de votre contenu : combien de personnes regardent vos vidéos, pendant combien de temps, à partir d’où, etc.
  • Téléversez de nouvelles vidéos avec votre téléphone
Est-ce qu’il faut que l’application réponde aux besoins des vidéastes… ? À vous de nous le dire, car nous avons bien envie de développer ces fonctionnalités d’ici à la fin de l’année.

 

55 000€ – Diffuser en live depuis votre téléphone

Pour que vous puissiez aussi bien partager en direct un mouvement social ou votre découverte de Séoul !
Sepia, la mascotte de PeerTube, fait un live via son smartphone. Elle fait le cul de poule avec sa bouche.

Sepia tourne un vlog. CC-BY-SA David Revoy

  • Configurez et gérez vos diffusions en direct sur votre téléphone, sans passer par OBS ! 😎
  • Utilisez votre périphérique et sa connexion, pas de matériel supplémentaire requis
  • Diffusez en live du bout des doigts, sans avoir besoin d’ordinateur
  • Plus besoin d’application secondaire dédiée aux lives, retrouvez tous vos besoins au même endroit !
Nous imaginons déjà les directs partagés depuis une manifestation, une conférence, un débat associatif. Néanmoins, si cet objectif est financé, nous n’envisageons pas le finir avant fin de l’année, et tablons sur une publication en 2026.

 

75 000€ – Soutenir Framasoft & PeerTube

PeerTube est un projet majeur dans l’histoire de Framasoft, mais il n’est pas le seul. Si Framasoft a pu développer PeerTube, c’est parce que notre association a été soutenue pour ses autres actions, par des dons.

Soutenir Framasoft, c’est ainsi contribuer à la construction d’un numérique solidaire, émancipateur et non-marchand.

 

Sepia, la mascotte de PeerTube, sur les épaules de Pinchot, la mascotte de Framasoft. Pinchot court. Les deux ont une expression joyeuse.

Sepia et Pinchot. CC-BY-SA David Revoy.

  • Nous ne faisons pas de profit  : nous fournissons des Communs
  • Tous les dons financent tous nos projets, à la fois PeerTube mais aussi des dizaines d’autres
  • Nous maintenons PeerTube, avec un support gratuit et de qualité — ce travail de l’ombre, quotidien, se fait en plus des nouveaux développements
  • Nous dégooglisons plus de 2M de personnes par mois, en leur fournissant des services web qui permettent de s’émanciper des géants du numérique


Nous détaillerons chacun de ces objectifs dans des articles de blog dédiés, très prochainement ! Comme on dit dans le Bouchonnois  : Stay Tuned !

Contribuer aux communs : un cercle vertueux !

En contribuant, vous ne donnez pas seulement pour l’application mobile PeerTube, mais pour l’ensemble des projets de Framasoft !


Voici un graphique montrant, dans le détail, la manière dont nous utilisons cet argent. Si vous souhaitez plus de détails, vous pouvez aussi consulter notre rapport financier.

Graphique sur la répartition de l'argent de Framasoft. Ressources humaines : 73 % Serveurs et domaines : 7 % Frais de fonctionnement : 5 % Interventions et projets ext. : 4 % Communication : 1,5 % Prestations projets : 6 % Frais bancaires et impôts : 3,5 %

Graphique sur la répartition de l’argent de Framasoft.



Ce financement participatif est vraiment important pour nous car non seulement il nous permet de sécuriser l’argent nécessaire au développement du projet, mais aussi d’estimer l’enthousiasme du public pour l’application mobile et le projet PeerTube en général !

Cependant, soyons clair·es ! Nous chercherons à réaliser les améliorations proposées dans cette collecte que nous parvenions à nos objectifs ou non !
Si les objectifs de collecte ne sont pas remplis, nous devrons piocher dans les dons faits par la communauté francophone en fin d’année dernière pour l’ensemble des projets de Framasoft. Cela nous signifiera que notre enthousiasme pour PeerTube et son application n’est pas partagé. (Ça arrive, parfois ! 🤷‍♀️)
Nous nous demanderons alors s’il faut vraiment ajouter l’envoi de vidéos (ou les live) dans l’application, mais surtout s’il faut lever le pied dans notre stratégie de populariser l’écosystème PeerTube.

Votre soutien est notre boussole : à vous ne nous dire si vous partagez notre enthousiasme !

 

Soutenir PeerTube

 

Soutenez l’écosystème PeerTube en partageant votre attention…

L’écosystème de PeerTube dépasse le seul giron de Framasoft. Mois après mois, de plus en plus de personnes ou structures s’approprient le projet et le font vivre !

Grâce à un système d’extensions puissant, des développeurs et développeuses volontaires ne cessent d’étendre les fonctionnalités du logiciel. Le catalogue d’extensions de PeerTube comporte plus de 200 extensions, chacune permettant d’ajouter des fonctionnalités de PeerTube ou de modifier son apparence !

Côté communauté, celle-ci s’enrichit de différentes initiatives inspirantes !

C’est le cas, par exemple, du compte Mastodon Fedi.Video qui, depuis des années, aide à visibiliser les vidéastes publiant sur PeerTube !

Capture d'écran d'un message de Fedi.Video. Le pouet dit : « The excellent artist and libre fan David Revoy has an official PeerTube account full of art, art tutorials, reviews of art-related hardware etc. You can follow at: ➡️ @shichimi There are already more than 80 videos uploaded. If these haven't federated to your server yet, you can browse them all at https://peertube.touhoppai.moe/a/shichimi/videos You can also follow Revoy's general account at @davidrevoy »

Un des nombreux messages de promotion de Fedi.Video.

 

Aussi, des plateformes spécialisées se développent, à l’image de MakerTube, dédiée à celles et ceux « qui font ».

 

Nous ne pouvons évidemment lister dans cet article toutes les initiatives géniales que nous repérons, mais nous tenons à vous dire un immense bravo à toustes pour votre travail formidable. Merci d’enrichir PeerTube de vos couleurs ! 🫶

Si vous souhaitez en savoir d’avantage sur l’écosystème PeerTube, vous pouvez vous inscrire sur la newsletter PeerTube. Vous recevrez ainsi des informations concernant les avancées du projet mais aussi sur les initiatives de la communauté !

Vous pouvez aussi suivre le compte PeerTube (et Framasoft) sur les médias sociaux (Mastodon et BlueSky) :

En plus des informations ponctuelles, nous y publions chaque semaine des astuces pour utiliser PeerTube !

Message du compte Framasoft promouvant une astuce PeerTube : « Dans #PeerTube, vous pouvez ajouter des sous-titres à vos vidéos, que ce soit manuellement ou en les générant automatiquement ! Mais saviez-vous que vous pouvez utiliser le widget de transcription pour chercher dans ces sous-titres ? 👉 https://docs.joinpeertube.org/use/watch-video#transcription-widget »

Exemple d’astuce PeerTube partagée sur Mastodon chaque semaine.

 

 

…et en nous aidant à récolter les fonds !

Nous nous donnons 3 semaines pour, collectivement, financer nos actions pour populariser PeerTube.

Nous croyons sincèrement que nous pouvons y parvenir car nous sommes convaincu·es que PeerTube est un Commun qui vous importe autant qu’à nous !

Alors si vous aussi souhaitez voir advenir un monde où PeerTube est utilisé par toutes et tous, soutenez-nous en faisant un don (si vous le pouvez) et en diffusant le site de la campagne autour de vous !

 

Ensemble, ré-approprions nous les plateformes vidéos !

Soutenir PeerTube

PDF

26.05.2025 à 07:42

Khrys’presso du lundi 26 mai 2025

Khrys

Comme chaque lundi, un coup d’œil dans le rétroviseur pour découvrir les informations que vous avez peut-être ratées la semaine dernière. Tous les liens listés ci-dessous sont a priori accessibles librement. Si ce n’est pas le cas, pensez à activer … Lire la suite­­
Texte intégral (11359 mots)

Comme chaque lundi, un coup d’œil dans le rétroviseur pour découvrir les informations que vous avez peut-être ratées la semaine dernière.

Tous les liens listés ci-dessous sont a priori accessibles librement. Si ce n’est pas le cas, pensez à activer votre bloqueur de javascript favori ou à passer en “mode lecture” (Firefox) ;-)

Brave New World

Spécial IA

Spécial Palestine et Israël

Spécial femmes dans le monde

Spécial France

Spécial femmes en France

Spécial médias et pouvoir

Spécial emmerdeurs irresponsables gérant comme des pieds (et à la néolibérale)

Spécial recul des droits et libertés, violences policières, montée de l’extrême-droite…

Spécial résistances

Spécial outils de résistance

  • Que boycotter ? (bdsfrance.org)

    La campagne BDS est une campagne de citoyens, c’est à chacun de s’en emparer pour affirmer son pouvoir d’opposition à l’apartheid pratiqué par Israël. Par le boycott économique d’abord, le plus simple, à la portée de chacun quand il achète un produit ou utilise un service, mais aussi, en fonction de vos activités, le boycott culturel, universitaire, sportif…

  • Face à l’urgence à Gaza, votre courage politique est attendu (speakout.lemouvement.ong)

    Pour interpeller l’Élysée en quelques secondes :
    1/ cliquez sur le bouton envoyer
    2/ une fois le mail envoyé, cliquez sur c’est fait !

  • Soutenir la Palestine (soutenirpalestine.wordpress.com)

    Un site pour répertorier de manière simple et synthétique des moyens à ta portée pour soutenir la Palestine

  • Festivals, concerts, artistes : comment des milliardaires s’accaparent l’industrie musicale (streetpress.com)

    Après la presse et l’édition, une poignée de grandes fortunes mettent la main sur la musique et les festivals. Le syndicat des musiques actuelles (SMA) publie une cartographie pour alerter sur la concentration en cours en France.

Spécial GAFAM et cie

Les autres lectures de la semaine

Les BDs/graphiques/photos de la semaine

Les vidéos/podcasts de la semaine

Les trucs chouettes de la semaine

Retrouvez les revues de web précédentes dans la catégorie Libre Veille du Framablog.

Les articles, commentaires et autres images qui composent ces « Khrys’presso » n’engagent que moi (Khrys).

PDF

25.05.2025 à 09:00

La reconnaissance faciale : un projet politique

Framasoft

Dans son livre, « Your face belongs to us », Kashmir Hill nous permet de comprendre que la reconnaissance faciale n’est pas un projet technologique. Elle est un projet idéologique, soutenue et financée par des gens qui ont un projet politique radical pour la société. Elle est un outil qui vise à contourner le droit pour faire advenir une autre société.
Texte intégral (3160 mots)

Cet article est une republication, avec l’accord de l’auteur, Hubert Guillaud. Il a été publié en premier le 17 février 2025 sur le site Dans Les Algorithmes sous licence CC BY-NC-SA.

Avatar de Hubert Guillaud

Hubert Guillaud

Dans son livre, « Your face belongs to us », Kashmir Hill nous permet de comprendre que la reconnaissance faciale n’est pas un projet technologique. Elle est un projet idéologique, soutenue et financée par des gens qui ont un projet politique radical pour la société. Elle est un outil qui vise à contourner le droit pour faire advenir une autre société.

 

 

 

 

 

 

Suite de notre plongée dans le livre de Kashmir Hill, « Your face belongs to us ». Après avoir observé l’histoire du développement de la reconnaissance faciale, retour sur l’enquête sur le développement de Clearview, la startup de la reconnaissance faciale. 2ᵉ partie.

Clearview, un outil d’investissement idéologique

Le cœur du livre de Kashmir Hill, Your face belongs to us, est consacré à l’histoire de l’entreprise Clearview. Hill rappelle que lorsqu’elle entend parler de cette entreprise jusqu’alors inconnue, face au silence qu’elle reçoit de ses fondateurs, elle contacte alors des policiers qui lui en font immédiatement les louanges : Clearview parvient à identifier n’importe qui, lui expliquent-ils ! Pourtant, quand ils entrent une photo de la journaliste dans le moteur, celui-ci ne fournit aucune réponse, alors que de nombreuses images d’elle sont disponibles en ligne, ce qui devrait permettre de la réidentifier facilement. En fait, ce n’est pas que la journaliste n’est pas dans la base, mais que toute recherche sur elle est protégée et déclenche même une alerte quand quelqu’un s’y essaye.

Cette anecdote permet de montrer, très concrètement, que ceux qui maintiennent la base disposent d’un pouvoir discrétionnaire immense, pouvant rendre des personnes totalement invisibles à la surveillance. Les constructeurs de Clearview peuvent voir qui est recherché par qui, mais également peuvent contrôler qui peut être retrouvé. Cet exemple est vertigineux et souligne que les clefs d’un tel programme et d’un tel fichier sont terribles. Que se passera-t-il quand le suspect sera le supérieur d’un agent ? Qui pour garantir l’incorruptibilité d’un tel système ? On comprend vite que dans une société démocratique, un tel outil ne peut pas être maintenu par une entreprise privée, hormis si elle est soumise à des contrôles et des obligations des plus rigoureux – et le même problème se pose si cet outil est maintenu par une entité publique. Ce qui n’est absolument pas le cas de Clearview.

Hill raconte longuement l’histoire de la rencontre des cofondateurs de Clearview. Elle souligne le fait que ceux-ci se rencontrent du fait de leurs opinions politiques, lors de réunions et de meetings en soutien à la candidature de Donald Trump à l’été 2016. Hoan Ton-That, le développeur et confondateur de Clearview, fasciné par le candidat républicain, prend alors des positions politiques racistes que ses amis ne lui connaissaient pas. C’est via les réseaux républicains qu’il rencontre des personnages encore plus radicaux que lui, comme Peter Thiel, le milliardaire libertarien qui sera le premier financeur du projet, ou encore Richard Schwartz, qui deviendra son associé. Si les deux cofondateurs de Clearview ne sont pas des idéologues, le produit qu’ils vont imaginer correspond néanmoins aux convictions politiques de l’extrême-droite américaine dont ils se revendiquent à cette époque. L’entreprise va d’ailleurs particulièrement attirer (et aller chercher) des investisseurs au discours politique problématique, comme Paul Nehlen, tenant du nationalisme blanc.

C’est en voyant fonctionner l’application russe de reconnaissance faciale FindFace, qui permet de retrouver les gens inscrits sur VKontakte, le réseau social russe, que Ton-That a l’idée d’un produit similaire. En novembre 2016, il enregistre le site web smartcherckr.com. Le projet se présente alors comme un système de réidentification depuis une adresse mail ou une image, permettant d’inférer les opinions politiques des gens… dans le but « d’éradiquer les gauchistes » !

Si depuis les discours des fondateurs se sont policés, nous avons là des gens très conservateurs, qui tiennent des propos d’extrême-droite et qui vont concevoir un outil porteur de ces mêmes valeurs. La reconnaissance faciale et ceux qui la portent sont bien les révélateurs d’une idéologie : ils relèvent tout à fait du technofascisme que dénonce le journaliste Thibault Prévost dans son livre, Les prophètes de l’IA. Et nul ne peut faire l’économie du caractère fasciste que porte la possibilité de réidentifier n’importe qui, n’importe quand pour n’importe quelle raison. C’est d’ailleurs là l’héritage de la reconnaissance faciale, inspirée des théories racistes de Francis Galton, qui va donner naissance à la police scientifique d’Alphonse Bertillon, comme à l’eugénisme et à la phrénologie d’un Cesare Lombroso. L’analyse des traits distinctifs des êtres humains est d’abord et reste le moyen de masquer le racisme sous le vernis d’une rigueur qui se veut scientifique. Hill suggère (sans jamais le dire) que Clearview est un projet politique.

Clearview, un outil de contournement du droit

Hill souligne un autre point important. Elle n’est pas tendre avec l’arrivisme du jeune informaticien australien Hoan Ton-That qui se fait un nom en créant des outils de phishing via des quizz pour Facebook et des jeux pour iPhone. Elle montre que celui-ci n’a pas beaucoup de conscience morale et que le vol des données, comme pour bien de porteurs de projets numériques, n’est qu’un moyen de parvenir à ses fins. Dès l’origine, Ton-That mobilise le scraping pour construire son produit. Derrière ce joli mot, la pratique consiste à moissonner des contenus en ligne, sauf que cette récolte consiste à ramasser le blé qui a poussé sur les sites web des autres, sans le consentement des sites que l’on pille ni celui des utilisateurs dont on vole les données. En juin 2017, une première version de l’outil de recherche de visage est lancée, après avoir pillé quelque 2,1 millions de visages provenant de plusieurs services en ligne, comme Tinder. À la fin 2018, elle comportera plus de 2 milliards d’images. L’entreprise qui a changé de nom pour Clearview, dispose alors d’un produit robuste. Seuls Facebook et Google disposent de plus de portraits que lui.

Certes, Clearview a volé toutes les images disponibles. Facebook, Google ou Linked-in vont officiellement protester et demander l’effacement des images volées. Reste que les géants n’intentent aucun procès à la startup. Il faut dire que les entreprises de la Tech sont en effet refroidies par les échecs de Linked-in à lutter contre le scraping. Dans un bras de fer avec une entreprise qui a moissonné les données du réseau social, Linked-in a été débouté en 2017 par un jugement confirmé en appel en 2019. Le tribunal de Californie a déclaré qu’il était légal de collecter des informations publiques disponibles sur le net. Le jugement a gelé les ardeurs des géants à lutter contre un phénomène… qu’ils pratiquent eux-mêmes très largement.

Hill pointe également que Ton-That n’est pas un génie du développement. Comme nombre d’ingénieurs, non seulement il vole les données, mais il a recours à des outils existants pour développer son application, comme OpenFace. Ton-That n’a pas d’états d’âme. Si les géants de la Tech refusent de sortir un produit de réidentification, c’est parce qu’ils ont peur des retombées désastreuses d’un tel outil, en termes d’image. Ce n’est pas le cas de Ton-That.

Reste que c’est bien la qualité de l’application qui va convaincre. Clearview permet d’identifier des gens dans la foule quelles que soient les conditions (ou presque). Pour tous ceux qui l’essayent, l’application semble magique. C’est à ce moment que les investisseurs et les clients se précipitent… D’abord et avant tout des investisseurs libertariens, très marqués politiquement. Pourtant, ceux-ci sont conscients que l’application risque d’avoir des problèmes avec les régulateurs et va s’attirer des poursuites en justice. Mais le risque semble plutôt les convaincre d’investir. Hill sous-entend par là un autre enjeu majeur : l’investissement s’affole quand les produits technologiques portent des enjeux de transformation légale. Si les capitaux-risqueurs ont tant donné à Uber, c’est certainement d’abord parce que l’entreprise permettait d’agir sur le droit du travail, en le contournant. C’est l’enjeu de modification des règles et des normes que promettent les outils qui muscle l’investissement. C’est parce que ces technologies promettent un changement politique qu’elles sont financées. Pour les investisseurs de Clearview, « pénétrer dans une zone de flou juridique constitue un avantage commercial ». Hill suggère une fois encore une règle importante. L’investissement technologique est bien plus politique qu’on ne le pense. 

Mais, il n’y a pas que les investisseurs qui vont voir dans Clearview un outil pour contourner les normes. Ses clients également. 

Après avoir tenté d’élargir le recrutement de premiers clients, Clearview va le resserrer drastiquement. Au-delà du symbole, son premier client va être la police de New York. Mais là encore, Clearview ne rencontre pas n’importe quels policiers. L’entreprise discute avec des officiers qui ont soutenu les théories problématiques de la vitre brisée, des officiers qui ont promu le développement du Big data dans la police et notamment les systèmes tout aussi problématiques de police prédictive. C’est donc par l’entremise de policiers radicaux, eux aussi très marqués à droite, que Clearview signe, en décembre 2018, un contrat avec la police de New York. Le contrat demande que l’entreprise prenne des engagements en matière de sécurité et de contrôle des agents qui l’utilisent. Le nombre de requêtes sur l’application décolle. Pourtant, après 6 mois de tests et plus de ² requêtes, la police de New York renonce à poursuivre le contrat. Elle aussi est inquiète de la perception par l’opinion publique. Sa direction a plus de pudeurs que les officiers qui ont permis le rapprochement entre la startup et la police. D’autres départements de police n’auront pas ces pudeurs. L’Indiana, la Floride, le Tennessee vont se mettre à utiliser Clearview. Viendront Londres puis le Département américain de la sécurité intérieure. Des agences du monde entier testent l’outil et l’adoptent : Interpol, la police australienne, canadienne… Clearview multiplie les contrats alors que l’entreprise est encore totalement inconnue du grand public. Malgré ces contrats publics, l’entreprise reste sous les radars. Assurément, parce que son usage permet là aussi pour ses clients de s’affranchir des règles, des normes et des modalités d’examen public en vigueur. Alors que la reconnaissance faciale est une technologie sulfureuse, l’abonnement discret à Clearview permet de le rendre invisible. La zone de flou de légalité profite à tous.

Discrètement, la reconnaissance faciale est advenue

En 2017, un militant de l’ACLU entend parler de Rekognition, l’outil de reconnaissance faciale développé par Amazon et lance une campagne à son encontre. L’ACLU lance l’outil sur les photos de 535 membres du Congrès et en identifie faussement 28 comme des criminels connus des services de police. L’ACLU lance sa campagne pour interdire la surveillance des visages, que quelques villes adopteront, comme San Francisco ou Oakland. Pour Clearview, ces controverses sont préjudiciables. La startup va alors utiliser le même test sur son propre produit qui ne déclenche aucune erreur et identifie parfaitement les 535 membres du Congrès. D’ailleurs, quand on met une photo provenant du site This Person Does not exist dans Clearview, l’application ne produit aucun résultat !

Bien sûr, Kashmir Hill rappelle que des Américains qui ont été et continuent d’être indûment arrêtés à cause de la reconnaissance faciale. Mais ces rares exemples semblent n’avoir plus grand poids. Le Nist qui a testé quelque 200 algorithmes de reconnaissance faciale a montré qu’il y avait de fortes variations selon les produits.

En décembre 2021, Clearview a soumis son algorithme au NIST pour évaluation. Son logiciel de reconnaissance facial a obtenu parmi les meilleurs résultats.

Pour les médias, ces variations dans les résultats des outils de reconnaissance faciale montrent que la reconnaissance faciale est biaisée, mais elles montrent plutôt qu‘il y a de bons algorithmes et de mauvais. Le NIST dispose de 2 sortes de tests, le premier pour comparer deux images et déterminer si le système est capable d’identifier une même personne et le second pour chercher un visage particulier dans une base de données remplie de visages. Contrairement à ce que l’on pense, les pires biais se trouvent plutôt dans le premier cas, où les systèmes ont du mal avec à reconnaître les sujets féminin, noirs ou asiatiques. « Reste que, aussi précis qu’ils soient, les algorithmes de reconnaissance faciale déployés dans des sociétés inégalitaires et structurellement racistes vont produire des résultats racistes ». Les personnes faussement arrêtées par la reconnaissance faciale étaient toutes noires, rappelle Hill. Ce qui est une preuve supplémentaire, non seulement de ses défauts, mais plus encore de son ancrage idéologique.

L’exemple du développement de Clearview nous rappelle en tout cas qu’il n’y a pas de neutralité technologique. Les outils ne sont pas des outils qui dépendent des usages qu’on en fait, comme le dit l’antienne. Ils ont des fonctionnalités spécifiques qui embarquent des idéologies. L’essor de Clearview nous montre très bien qu’il est un instrument au service d’un projet politique. Et que quels que soient ses défauts ou ses qualités, la reconnaissance faciale sert des objectifs qui ne sont pas que ceux, financiers, d’une classe sociale qui a intérêt à son succès, mais bien avant tout, ceux, politiques, d’idéologues qui ont un projet. Et ce projet, on l’a vu, n’est pas celui de construire une société apaisée, mais son exact contraire : faire avancer, dans l’ombre, les technologies nécessaires à l’avènement de la dissolution de l’Etat de droit.

(à suivre)

PDF

19.05.2025 à 07:42

Khrys’presso du lundi 19 mai 2025

Khrys

Comme chaque lundi, un coup d’œil dans le rétroviseur pour découvrir les informations que vous avez peut-être ratées la semaine dernière. Tous les liens listés ci-dessous sont a priori accessibles librement. Si ce n’est pas le cas, pensez à activer … Lire la suite­­
Texte intégral (10059 mots)

Comme chaque lundi, un coup d’œil dans le rétroviseur pour découvrir les informations que vous avez peut-être ratées la semaine dernière.

Tous les liens listés ci-dessous sont a priori accessibles librement. Si ce n’est pas le cas, pensez à activer votre bloqueur de javascript favori ou à passer en “mode lecture” (Firefox) ;-)

Brave New World

Spécial IA

Spécial Palestine et Israël

Spécial femmes dans le monde

Spécial France

Spécial femmes en France

RIP

Le rapport de la semaine

Spécial médias et pouvoir

Spécial emmerdeurs irresponsables gérant comme des pieds (et à la néolibérale)

Spécial recul des droits et libertés, violences policières, montée de l’extrême-droite…

Spécial résistances

Spécial outils de résistance

Spécial GAFAM et cie

Les autres lectures de la semaine

Les BDs/graphiques/photos de la semaine

Les vidéos/podcasts de la semaine

Les trucs chouettes de la semaine

Retrouvez les revues de web précédentes dans la catégorie Libre Veille du Framablog.

Les articles, commentaires et autres images qui composent ces « Khrys’presso » n’engagent que moi (Khrys).

PDF

18.05.2025 à 09:00

La reconnaissance faciale, l’enjeu du siècle

Framasoft

« Le plus grand danger de la reconnaissance faciale vient du fait qu’elle fonctionne plutôt très bien ».
Texte intégral (4346 mots)

Cet article est une republication, avec l’accord de l’auteur, Hubert Guillaud. Il a été publié en premier le 10 février 2025 sur le site Dans Les Algorithmes sous licence CC BY-NC-SA.

Avatar de Hubert Guillaud

Hubert Guillaud

« Le plus grand danger de la reconnaissance faciale vient du fait qu’elle fonctionne plutôt très bien ».

 

 

 

 

 

 

 

 

Avec cet article, nous nous lançons dans un dossier que nous allons consacrer à la reconnaissance faciale et au continuum sécuritaire. Première partie.

Your face belongs to us (Random House, 2023), le livre que la journaliste du New York Times, Kashmir Hill, a consacré à Clearview, l’entreprise leader de la reconnaissance faciale, est une plongée glaçante dans la dystopie qui vient.

Jusqu’à présent, j’avais tendance à penser que la reconnaissance faciale était problématique d’abord et avant tout parce qu’elle était défaillante. Elle est « une technologie qui souvent ne marche pas », expliquaient Mark Andrejevic et Neil Selwyn (Facial Recognition, Wiley, 2022), montrant que c’est souvent dans son implémentation qu’elle défaille. La juriste, Clare Garvie, faisait le même constat. Si l’authentification (le fait de vérifier qu’une personne est la même que sur une photo) fonctionne mieux que l’identification (le fait de retrouver une personne dans une banque d’image), les deux usages n’ont cessé ces dernières années de montrer leurs limites.

Mais les choses évoluent vite.

La couverture du livre de Kashmir Hill.Le titre est « Your face belongs to us ». Son sous-titre : « A secretive startup's quest to end privacy as we know it ». Le fond de la couverture est une photo d'une partie des visages de deux personnes, floutées.

L’une des couvertures du livre de Kashmir Hill.

« Le plus grand danger de la reconnaissance faciale vient du fait qu’elle fonctionne plutôt très bien »

Dans leur livre, AI Snake Oil, les spécialistes de l’intelligence artificielle, Arvind Narayanan et Sayash Kapoor, soulignent pourtant que le taux d’erreur de la reconnaissance faciale est devenu négligeable (0,08 % selon le NIST, l’Institut national des normes et de la technologie américain). « Quand elle est utilisée correctement, la reconnaissance faciale tend à être exacte, parce qu’il y a peu d’incertitude ou d’ambiguïté dans la tâche que les machines doivent accomplir ». Contrairement aux autres formes d’identification (identifier le genre ou reconnaître une émotion, qui sont bien plus sujettes aux erreurs), la différence cruciale c’est que l’information requise pour identifier des visages, pour les distinguer les uns des autres, est présente dans les images elles-mêmes. « Le plus grand danger de la reconnaissance faciale vient du fait qu’elle fonctionne plutôt très bien » et c’est en cela qu’elle peut produire énormément de dommages.

Le risque que porte la reconnaissance faciale repose tout entier dans la façon dont elle va être utilisée. Et de ce côté-là, les dérives potentielles sont innombrables et inquiétantes. Gouvernements comme entreprises peuvent l’utiliser pour identifier des opposants, des personnes suspectes mais convaincues d’aucuns délits. Certes, elle a été utilisée pour résoudre des affaires criminelles non résolues avec succès. Certes, elle est commode quand elle permet de trier ou d’organiser ses photos… Mais si la reconnaissance faciale peut-être hautement précise quand elle est utilisée correctement, elle peut très facilement être mise en défaut dans la pratique. D’abord par ses implémentations qui peuvent conduire à y avoir recours d’une manière inappropriée et disproportionnée. Ensuite quand les images ne sont pas d’assez bonnes qualités, au risque d’entraîner tout le secteur de la sécurité dans une course sans limites à toujours plus de qualité, nécessitant des financements disproportionnés et faisant peser un risque totalitaire sur les libertés publiques. Pour Narayanan et Kapoor, nous devons avoir un débat vigoureux et précis pour distinguer les bons usages des usages inappropriés de la reconnaissance faciale, et pour développer des gardes-fous pour prévenir les abus et les usages inappropriés tant des acteurs publics que privés.

Certes. Mais cette discussion plusieurs fois posée n’a pas lieu. En 2020, quand la journaliste du New York Times a commencé ses révélations sur Clearview, « l’entreprise qui pourrait mettre fin à la vie privée », le spécialiste de la sécurité, Bruce Schneier avait publié une stimulante tribune pour nous inviter à réglementer la ré-identification biométrique. Pour lui, nous devrions en tant que société, définir des règles pour déterminer « quand une surveillance à notre insu et sans notre consentement est permise, et quand elle ne l’est pas », quand nos données peuvent être combinées avec d’autres et quand elles ne peuvent pas l’être et enfin savoir quand et comment il est permis de faire de la discrimination biométrique et notamment de savoir si nous devons renforcer les mesures de luttes contre les discriminations qui vont se démultiplier avec cette technologie et comment. En France, à la même époque, le sociologue Laurent Mucchielli qui avait fait paraître son enquête sur la vidéosurveillance (Vous êtes filmés, Dunod, 2018 – voir notre compte-rendu de l’époque, désabusé), posait également sur son blog des questions très concrètes sur la reconnaissance faciale : « Quelle partie de la population serait fichée ? Et qui y aurait accès ? Voilà les deux problèmes. » Enfin, les deux professeurs de droit, Barry Friedman (auteur de Unwarranted : policing without permission, 2017) et Andrew Guthrie Ferguson, (auteur de The Rise of Big Data policing, 2017) condamnaient à leur tour, dans une tribune pour le New York Times, « la surveillance des visages » (c’est-à-dire, l’utilisation de la reconnaissance faciale en temps réel pour trouver où se trouve quelqu’un) mais reconnaissaient que l’identification faciale (c’est-à-dire la réidentification d’un criminel, uniquement pour les crimes les plus graves), elle, pourrait être autorisée. Ils y mettaient néanmoins une condition : la réidentification des visages ne devrait pas être autorisée sans décision de justice et sans sanction en cas d’utilisation abusive. Mais, à nouveau, ce n’est pas ce qui s’est passé. La reconnaissance faciale s’est déployée sans contraintes et sans limites.

Les dénonciations comme les interdictions de la reconnaissance faciale sont restées éparses. Les associations de défense des libertés publiques ont appelé à des moratoires et mené des campagnes pour l’interdiction de la reconnaissance faciale, comme Ban Facial Recognition aux Etats-Unis ou Reclaim your face en Europe. Souvent, ces interdictions restent circonscrites à certains types d’usages, notamment les usages de police et de surveillance d’État, oubliant les risques que font courir les outils de surveillance privée.

Reste que le débat public sur son implémentation et ses modalités est inexistant. Au lieu de débats de sociétés, nous avons des « expérimentations » qui dérogent au droit, des déploiements épars et opaques (plus de 200 autorités publiques par le monde sont clientes de Clearview qui n’est qu’un outil parmi une multitude de dispositifs plus ou moins efficaces, allant de la reconnaissance faciale, à la vidéosurveillance algorithmique), et surtout, un immense déni sur les enjeux de ces technologies. Au final, nous ne construisons aucune règle morale sur son utilité ou son utilisation. Nous faisons collectivement l’autruche et son utilisation se déploie sans cadres légaux clairs dans un continuum de technologies sécuritaires et problématiques, allant des drones aux technologies de contrôle de l’immigration.

Une histoire de la reconnaissance faciale : entre amélioration par à-coups et paniques morales à chaque amélioration

Dans son livre, Your face belongs to us, Kashmir Hill alterne à la fois une histoire de l’évolution de la technologie et une enquête sur le développement de Clearview.

Sur cette histoire, Hill fait un travail qui met en exergue des moments forts. Elle rappelle d’abord que le terme de vie privée, définit à l’origine comme le droit d’être laissé tranquille par les juristes américains Samuel Warren et Louis Brandeis, était inspiré par la création de la pellicule photographique par Kodak, qui promettait de pouvoir sortir l’appareil photo des studios où il était jusqu’alors confiné par son temps de pause très long. Dans cette longue histoire de la reconnaissance faciale, Hill raconte notamment l’incroyable histoire du contrôle des tickets de trains américains dans les années 1880, où les contrôleurs poinçonnaient les tickets selon un codage réduit (de 7 caractéristiques physiques dont le genre, l’âge, la corpulence…) permettant aux contrôleurs de savoir si le billet contrôlé correspondait bien à la personne qui l’avait déjà présenté. Bien évidemment, cette reconnaissance humaine et basique causa d’innombrables contestations, tant ces appréciations d’un agent à un autre pouvaient varier. Mais la méthode aurait inspiré Herman Hollerith, qui va avoir l’idée de cartes avec des perforations standardisées et va adapter la machine pour le recensement américain, donnant naissance à l’entreprise qui deviendra IBM.

Hill surfe sur l’histoire de l’IA, des Perceptrons de Marvin Minsky, à Panoramic, l’entreprise lancée dans les années 60 par Woody Bledsoe, qui va être la première, à la demande de la CIA, à tenter de créer un outil de reconnaissance des visages simplifié, en créant une empreinte de visages comme autant de points saillants. Elle raconte que les améliorations dans le domaine vont se faire avec l’amélioration de la qualité et de la disponibilité des images et de la puissance des ordinateurs, à l’image des travaux de Takeo Kanade (dans les années 70, pour l’entreprise japonaise NEC), puis de Matthew Turk qui va bénéficier de l’amélioration de la compression des images. Accusé d’être à la tête d’un programme Orwellien, Turk s’en défendra pourtant en soulignant qu’enregistrer les informations sur les gens qui passent devant une caméra est surtout bénin. À croire que notre déni sur les conséquences de cette technologie remonte à loin.

En 2001, lors du Super Bowl, plusieurs entreprises, dont Viisage Technology et Raytheon, communiquent sur le fait qu’elles ont sécurisé l’accès au stade grâce à la reconnaissance faciale, identifiant 19 spectateurs avec un passé criminel. Viisage a récupéré la technologie de Turk et l’a commercialisé pour des badges d’identification pour entreprises. Ces déploiements technologiques, financés par les agences fédérales, commencent à inquiéter, notamment quand on apprend que des entreprises y ont recours, comme les casinos. Reste que la technologie est encore largement défaillante et peine bien souvent à identifier quiconque.

Mais le 11 septembre a changé la donne. Le Patriot Act permet aux agences du gouvernement d’élargir leurs accès aux données. Joseph Atick, cofondateur de Visionics, une autre entreprise du secteur, propose sa technologie aux aéroports pour rassurer les voyageurs. Il sait que celle-ci n’est pas au point pour identifier les terroristes, mais il a besoin des données pour améliorer son logiciel. Bruce Schneider aura beau dénoncer le « théâtre de la sécurité » , l’engrenage sécuritaire est lancé… Face à ses déploiements, les acteurs publics ont besoin d’évaluer ce qu’ils achètent. Jonathon Philips du National Institute of Standards and Technology (Nist) créée une base de données de visages de très bonne qualité sous différents angles, « Feret », pour tester les outils que vendent les entreprises. Il inaugure un concours où les vendeurs de solutions sont invités à montrer qui parvient à faire le mieux matcher les visages aux photos. En 2001, le premier rapport du Nist montre surtout qu’aucune entreprise n’y parvient très bien. Aucune entreprise n’est capable de déployer un système efficace, mais cela ne va pas les empêcher de le faire. Les meilleures entreprises, comme celle d’Atick, parviennent à faire matcher les photos à 90 %, pour autant qu’elles soient prises dans des conditions idéales. Ce qui tient surtout de l’authentification faciale fonctionne également mieux sur les hommes que sur les femmes, les personnes de couleurs ou les jeunes. En 2014, le FBI lance à son tour un concours pour rendre sa base d’images de criminels cherchable, mais là encore, les résultats sont décevants. La technologie échoue dès qu’elle n’est pas utilisée dans des conditions idéales.

En 2006, le juriste de l’ACLU James Ferg-Cadima découvre dans une grande surface la possibilité de payer depuis son empreinte digitale. Face à de tels dispositifs, s’inquiète-t-il, les consommateurs n’ont aucun moyen de protéger leurs empreintes biométriques. Quand son mot de passe est exposé, on peut en obtenir un nouveau, mais nul ne peut changer son visage ou ses empreintes. Le service « Pay by Touch », lancé en 2002 fait faillite en 2007, avec le risque que sa base d’empreintes soit vendue au plus offrant ! Avec l’ACLU, Ferg-Cadima œuvre alors à déployer une loi qui oblige à recevoir une permission pour collecter, utiliser ou vendre des informations biométriques : le Biometric Information Privacy Act (Bipa) que plusieurs Etats vont adopter.

En 2009, Google imagine des lunettes qui permettent de lancer une recherche en prenant une photo, mais s’inquiète des réactions, d’autant que le lancement de Street View en Europe a déjà terni son image de défenseur de la vie privée. La fonctionnalité de reconnaissance faciale existe déjà dans Picasa, le service de stockage d’images de Google, qui propose d’identifier les gens sur les photos et que les gens peuvent labelliser du nom de leurs amis pour aider le logiciel à progresser. En 2011, la fonctionnalité fait polémique. Google l’enterre.

À la fin des années 90, l’ingénieur Henry Schneiderman accède à Feret, mais trouve que la base de données est trop parfaite pour améliorer la reconnaissance faciale. Il pense qu’il faut que les ordinateurs soient d’abord capables de trouver un visage dans les images avant qu’ils puissent les reconnaître. En 2000, il propose d’utiliser une nouvelle technique pour cela qui deviendra en 2004, PittPatt, un outil pour distinguer les visages dans les images. En 2010, le chercheur Alessandro Acquisti, fasciné par le paradoxe de la vie privée, lance une expérience en utilisant PittPatt et Facebook et montre que ce croisement permet de ré-identifier tous les étudiants qui se prêtent à son expérience, même ceux qui n’ont pas de compte Facebook, mais qui ont été néanmoins taggés par leurs amis dans une image. Acquisti prédit alors la « démocratisation de la surveillance » et estime que tout le monde sera demain capable d’identifier n’importe qui. Pour Acquisti, il sera bientôt possible de trouver le nom d’un étranger et d’y associer alors toutes les données disponibles, des sites web qu’il a visité à ses achats en passant par ses opinions politiques… et s’inquiète du fait que les gens ne pourront pas y faire grand-chose. Pour le professeur, d’ici 2021 il sera possible de réidentifer quelqu’un depuis son visage, prédit-il. Acquisti s’est trompé : la fonctionnalité a été disponible bien plus tôt !

En 2011, PittPatt est acquise par Google qui va s’en servir pour créer un système pour débloquer son téléphone. En décembre 2011, à Washington se tient la conférence Face Facts, sponsorisée par la FTC qui depuis 2006 s’est doté d’une petite division chargée de la vie privée et de la protection de l’identité, quant, à travers le monde, nombre d’Etats ont créé des autorités de la protection des données. Si, suite à quelques longues enquêtes, la FTC a attaqué Facebook, Google ou Twitter sur leurs outils de réglages de la vie privée défaillants, ces poursuites n’ont produit que des arrangements amiables. À la conférence, Julie Brill, fait la démonstration d’un produit de détection des visages que les publicitaires peuvent incorporer aux panneaux publicitaires numériques urbains, capable de détecter l’âge où le genre. Daniel Solove fait une présentation où il pointe que les Etats-Unis offrent peu de protections légales face au possible déploiement de la reconnaissance faciale. Pour lui, la loi n’est pas prête pour affronter le bouleversement que la reconnaissance faciale va introduire dans la société. Les entreprises se défendent en soulignant qu’elles ne souhaitent pas introduire de systèmes pour dé-anonymiser le monde, mais uniquement s’en servir de manière inoffensive. Cette promesse ne va pas durer longtemps…

En 2012, Facebook achète la startup israélienne Face.com et Zuckerberg demande aux ingénieurs d’utiliser Facebook pour « changer l’échelle » de la reconnaissance faciale. Le système de suggestions d’étiquetage de noms sur les photos que les utilisateurs chargent sur Facebook est réglé pour n’identifier que les amis, et pas ceux avec qui les utilisateurs ne sont pas en relation. Facebook assure que son outil ne sera jamais ouvert à la police et que le réseau social est protégé du scraping. On sait depuis que rien n’a été moins vrai. Après 5 ans de travaux, en 2017, un ingénieur de Facebook provenant de Microsoft propose un nouvel outil à un petit groupe d’employés de Facebook. Il pointe la caméra de son téléphone en direction d’un employé et le téléphone déclame son nom après l’avoir reconnu.

À Stanford, des ingénieurs ont mis au point un algorithme appelé Supervision qui utilise la technologie des réseaux neuronaux et qui vient de remporter un concours de vision par ordinateur en identifiant des objets sur des images à des niveaux de précision jamais atteints. Yaniv Taigman va l’utiliser et l’améliorer pour créer DeepFace. En 2014, DeepFace est capable de faire matcher deux photos d’une même personne avec seulement 3 % d’erreurs, même si la personne est loin dans l’image et même si les images sont anciennes. En 2015, DeepFace est déployé pour améliorer l’outil d’étiquetage des images de Facebook.

En 2013, les révélations d’Edward Snowden changent à nouveau la donne. D’un coup, les gens sont devenus plus sensibles aux incursions des autorités à l’encontre de la vie privée. Pourtant, malgré les efforts de militants, le Congrès n’arrive à passer aucune loi à l’encontre de la reconnaissance faciale ou de la protection de la vie privée. Seules quelques villes et États ont musclé leur législation. C’est le cas de l’Illinois où des avocats vont utiliser le Bipa pour attaquer Facebook accusé d’avoir créé une empreinte des visages des 1,6 millions d’habitants de l’Etat.

Cette rapide histoire, trop lacunaire parfois, semble s’arrêter là pour Hill, qui oriente la suite de son livre sur le seul Clearview. Elle s’arrête effectivement avec le déploiement de l’intelligence artificielle et des réseaux de neurones qui vont permettre à la reconnaissance faciale de parvenir à l’efficacité qu’elle espérait.

Reste que cette rapide histoire, brossée à grands traits, souligne néanmoins plusieurs points dans l’évolution de la reconnaissance faciale. D’abord que la reconnaissance faciale progresse par vague technologique, nécessitant l’accès à de nouvelles puissances de calcul pour progresser et surtout l’accès à des images en quantité et en qualité.

Ensuite, que les polémiques et paniques nourrissent les projets et les relancent plutôt que de les éteindre. Ceux qui les développent jouent souvent un jeu ambivalent, minimisant et dissimulant les capacités des programmes qu’ils déploient.

Enfin, que les polémiques ne permettent pas de faire naître des législations protectrices, comme si la législation était toujours en attente que la technologie advienne. Comme si finalement, il y avait toujours un enjeu à ce que la législation soit en retard, pour permettre à la technologie d’advenir.

(à suivre)

PDF

14.05.2025 à 10:02

FramIActu n°4 — La revue mensuelle sur l’actualité de l’IA

Framasoft

Semaine après semaine, l'actualité autour de l'Intelligence Artificielle défile, et si pour autant nous ne voyons pas plus clairement le cap que nous devons suivre, nous percevons de mieux en mieux les remous qui nous entourent. Préparez votre boisson préférée et installez-vous confortablement : c'est l'heure de la FramIActu !
Texte intégral (2932 mots)

Bienvenue à toutes et tous pour ce quatrième numéro de la FramIActu !

Semaine après semaine, l’actualité autour de l’Intelligence Artificielle défile, et si pour autant nous ne voyons pas plus clairement le cap que nous devons suivre, nous percevons de mieux en mieux les remous qui nous entourent.

Préparez votre boisson préférée et installez-vous confortablement : c’est l’heure de la FramIActu !

 

Le dessin d'un perroquet Ara, avec un remonteur mécanique dans son dos, comme pour les jouets ou les montres. Celui si est assis et semble parler.

Stokastik, la mascotte de FramamIA, faisant référence au perroquet stochastique. Illustration de David Revoy – Licence : CC-By 4.0

Une dépendance trop forte aux modélisations par IA est mauvaise pour la science

Dans un article paru le 07 avril 2025 dans Nature (accès payant, malheureusement), des chercheureuses démontrent que la dépendance excessive aux modélisations par IA nuit à la recherche scientifique.
Dans cette étude, nous apprenons que de nombreux champs de recherche (au moins une trentaine sont concernés, allant de la psychiatrie à la biologie moléculaire) sont affectés par des études basées sur des modélisations faites par IA dont les résultats sont erronés.

À titre d’exemple, les chercheureuses indiquent que durant la pandémie du COVID-19, 415 études ont avancé qu’une radiographie de la poitrine ou une tomodensitométrie pourraient diagnostiquer la maladie. Or, seulement 62 de ces études respectaient un standard de qualité suffisant et même parmi celles-ci, des défauts étaient très répandus, incluant des méthodes d’évaluation bancales, des données dupliquées et un manque de clarté concernant les cas « positifs », certaines études ne précisant pas si ces cas provenaient bien de personnes ayant un diagnostic médical confirmé.

Les auteurices de l’étude se plaignent aussi de la difficulté à reproduire les résultats des études (la reproductibilité étant une condition essentielle à la méthode scientifique) utilisant des IA basées sur de grands modèles de langage. Ces modèles sont très sensibles aux entrées : de tous petits changements de formulations lors de la requête peut générer une réponse très différente.
De plus, les modèles appartenant le plus souvent à des compagnies privées, il est très difficile de pouvoir y accéder rendant des études basées sur ceux-ci difficiles à reproduire.
D’autant plus que des mises à jour des modèles surviennent régulièrement, sans que les chercheureuses n’aient été notifié·es.

Mème. À gauche, une carte Uno avec marqué « Fais des études reproductibles ou pioche 25 cartes ». À droite, un personnage tagué « Le monde de la recherche » a pioché 25 cartes.

Le monde de recherche et l’IA. Mème généré via Framamèmes. Licence : CC0

Les chercheureuses appuient donc sur la nécessité d’être vigilant·es concernant l’augmentation de recherches scientifiques liées au boom de l’IA. Même si celles-ci étaient sans erreur, elles ne sont pas forcément synonymes de réelles avancées scientifiques.
Bien que certaines modélisations trouvées par des recherches basées sur de l’IA peuvent être utiles, en tirer une conclusion scientifique permettant de mieux comprendre le réel est bien plus difficile et les chercheureuses invitent leurs collègues à ne pas se tromper.
Les boites à outils composées d’IA basées sur de l’apprentissage machine permettent de construire plus facilement des modélisations mais ne rendent pas nécessairement plus faciles l’extraction des savoirs sur le monde et peuvent même rendre celle-ci plus difficile.
Le risque est donc de produire plus mais de comprendre moins.

Les auteurices invitent en conclusion à séparer la production de résultats individuels du progrès scientifique. Pour cela, celleux-ci indiquent qu’il est nécessaire de rédiger des synthèses avec un discours moins systématique et plus critique qui questionne les méthodes acceptées, adopte différentes formes de preuves, se confronte à des affirmations supposément incompatibles et théorise les découvertes existantes.
Aussi, une prudence bien plus forte doit être apportée aux recherches basées sur des modèles d’IA, jusqu’à ce que les résultats de celles-ci puissent être rigoureusement reproduits.
Enfin, les chercheureuses encouragent les financeurs à financer des recherches de qualité plutôt que de se focaliser sur la quantité.

L’IA rate les diagnostics médicaux de femmes et personnes noires.

Dans une étude parue dans Science Advances, un groupe de chercheureuses dévoile (sans grande surprise, avouons-le) qu’un des modèles d’IA les plus utilisés pour faire de la radiologie des poitrines à la recherche de maladies ne détecte pas correctement certain·es maladies potentiellement mortelles pour les groupes marginalisés (dont les femmes et les personnes noires).

Judy Gichoya, une informaticienne et radiologiste qui n’est pas impliquée dans l’étude, appuie sur la difficulté de réduire ces biais. Elle propose de s’appuyer sur des jeux de données plus petits mais plus diversifiés et de résoudre leurs défauts petit à petit.

L’étude s’inscrit dans un contexte où l’utilisation dans des contextes médicaux s’accélère et appuie ainsi sur la nécessité de toujours garder un regard humain sur les diagnostics et de ne jamais faire aveuglément confiance en les résultats fournis par une IA.

L'IA qui rend son diagnostique.Généré avec Framamemes. CC-0

L’IA rend son diagnostic.
Généré avec Framamemes. Licence : CC-0

De notre point de vue, la grande difficulté de la résolution des biais dans l’IA est liée à une volonté politique et financière : si ce genre de méthode se généralise, il faudrait très certainement investir massivement dans la numérisation des réalités des minorités et faire un immense travail de fond pour en éliminer le maximum de biais.
Cela semble malheureusement aller à contre-courant de la tendance actuelle.

 

Des expert·es en sécurité informatique dévoilent comment l’IA « malveillante » impacte le domaine

Lors de la conférence RSA, dédiée à la sécurité informatique, des expert·es du domaine ont dévoilé la puissance d’outils comme WormGPT pour découvrir des failles de sécurité et concevoir des attaques les exploitant.

WormGPT est un agent conversationnel ressemblant à ChatGPT mais n’ayant pas de modération. Celui-ci est aussi taillé pour la cybersécurité. On peut donc lui demander de fournir des réponses à tout, même à des choses illégales et/ou dangereuses.

Dans leur présentation, les informaticien·nes décrivent l’outil et ses capacités.
Celui-ci leur a permis de trouver rapidement des failles de sécurité dans un logiciel open source connu, mais aussi d’en générer des instructions claires permettant d’exploiter ces failles.

Les expert·es ont aussi cherché à faire générer directement le code par l’IA mais celui-ci n’était pas fonctionnel.
Ce dernier point sera très certainement amélioré au fil des prochains mois.

L’automatisation de l’analyse de failles informatiques a ainsi fait un bond conséquent en avant tout comme les capacités à les exploiter. Si des groupes de pirates se mettent à automatiser le processus, l’ensemble des systèmes informatiques risquent fort d’en pâtir.

D’un autre côté, si nous pouvons découvrir automatiquement des failles de sécurité dans nos logiciels, nous pouvons aussi chercher à les corriger avant qu’un·e attaquant·e ne les exploite.
L’utilisation de l’IA dans l’infrastructure entourant un logiciel semble donc presque inévitable de ce point de vue.

Enfin, nous pourrons aussi questionner ce que cela implique pour les développeur·euses modestes, notamment celleux partageant le code source de leur logiciel. Est-ce que la situation va ajouter encore plus de poids sur leurs épaules, leur demandant d’alourdir leur charge de travail (souvent bénévole) en mettant en place une infrastructure analysant les failles de sécurité et leur demandant de les résoudre au plus vite pour protéger leurs utilisateurices ?

L'image montre des briques reposant les unes sur les autres. L'ensemble de ces briques est taguée "All modern digital infrastructure". Une brique, sur laquelle repose tout l'équilibre de l'ensemble, est taguée "A project some random person in Nebraska has been Thanklessly maintaining since 2005".

Dependency – xkcd.
Licence : CC-BY-NC 2.5
Le célèbre xkcd représentant l’infrastructure du numérique moderne reposant entièrement sur une seule personne.

ChatGPT induit des psychoses à certain·es utilisateurices via ses réponses.

Dans un article de Rolling Stone, nous apprenons que des utilisateurices du média social Reddit décrivent comment l’IA a poussé leurs proches à adopter des délires, souvent basés sur des folies spirituelles ou des fantasmes surnaturels.

ChatGPT semble renforcer des psychoses chez certaines personnes, le plus souvent celles ayant déjà des tendances.
Interviewée par Rolling Stone, Erin Westgate, chercheuse en cognition, indique que certaines personnes utilisent ChatGPT comme « thérapie miroir ». Sauf que ChatGPT n’a pas pour préoccupation les intérêts de ces personnes.
Elle indique que des personnes utilisent ChatGPT pour trouver un sens à leur vie et ChatGPT leur recrache n’importe quelle explication trouvée un peu partout sur internet.

 

« Les explications sont puissantes, même si elles sont fausses » – Erin Westgate

Rappelons donc encore une fois que toute Intelligence Artificielle n’a aucune compréhension du réel et est surtout un système probabiliste. Une IA ne donnera jamais une réponse qu’elle considère être « vraie », c’est une notion inconnue pour elle. Elle donnera toujours une réponse qu’elle considère être « la plus probable » au regard de la manière dont elle a été entraînée et de l’historique de ses interactions avec l’utilisateur·ice.

Le dessin d'un perroquet Ara, avec un remonteur mécanique dans son dos, comme pour les jouets ou les montres. Accroché à son aile gauche, un ballon de baudruche.

Stokastik, la mascotte de FramamIA, faisant référence au perroquet stochastique. Illustration de David Revoy – Licence : CC-By 4.0

C’est tout pour ce mois-ci !

 

Cependant, si vous avez trouvé cette FramIActu trop courte et que vous êtes resté·e sur votre faim, vous pouvez vous mettre d’autres actualités sous la dent en consultant notre site de curation dédié au sujet, mais aussi et surtout FramamIA, notre site partageant des clés de compréhension sur l’IA !

Si nous pouvons vous proposer cette nouvelle revue mensuelle, c’est grâce à vos dons, Framasoft vivant presque exclusivement grâce à eux !
Pour nous soutenir et si vous en avez les moyens, vous pouvez nous faire un don via le formulaire dédié  !

Dans tous les cas, nous nous retrouverons le mois prochain pour un nouveau numéro de FramIActu ! 👋

PDF

12.05.2025 à 07:42

Khrys’presso du lundi 12 mai 2025

Khrys

Comme chaque lundi, un coup d’œil dans le rétroviseur pour découvrir les informations que vous avez peut-être ratées la semaine dernière. Tous les liens listés ci-dessous sont a priori accessibles librement. Si ce n’est pas le cas, pensez à activer … Lire la suite­­
Texte intégral (9069 mots)

Comme chaque lundi, un coup d’œil dans le rétroviseur pour découvrir les informations que vous avez peut-être ratées la semaine dernière.

Tous les liens listés ci-dessous sont a priori accessibles librement. Si ce n’est pas le cas, pensez à activer votre bloqueur de javascript favori ou à passer en “mode lecture” (Firefox) ;-)

Brave New World

Spécial nouveau pape

Spécial IA

Spécial Palestine et Israël

Spécial femmes dans le monde

Spécial France

Spécial femmes en France

Spécial médias et pouvoir

Spécial emmerdeurs irresponsables gérant comme des pieds (et à la néolibérale)

Spécial recul des droits et libertés, violences policières, montée de l’extrême-droite…

Spécial résistances

Spécial outils de résistance

  • Operator, I need an exit. (transworldexpress.org)

    This is an information resource mainly written for trans US citizens considering emigrating to another country, although we hope it is useful beyond that.

Spécial GAFAM et cie

Les autres lectures de la semaine

Les BDs/graphiques/photos de la semaine

Les vidéos/podcasts de la semaine

Les trucs chouettes de la semaine

Retrouvez les revues de web précédentes dans la catégorie Libre Veille du Framablog.

Les articles, commentaires et autres images qui composent ces « Khrys’presso » n’engagent que moi (Khrys).

PDF

11.05.2025 à 09:00

Vivre dans l’utopie algorithmique

Framasoft

L’utopie algorithmique des puissants est la dystopie algorithmique des démunis.
Texte intégral (1620 mots)

Cet article est une republication, avec l’accord de l’auteur, Hubert Guillaud. Il a été publié en premier le 03 février 2025 sur le site Dans Les Algorithmes sous licence CC BY-NC-SA.

Avatar de Hubert Guillaud

Hubert Guillaud

L’utopie algorithmique des puissants est la dystopie algorithmique des démunis.

 

 

 

 

 

 

 

Dans un article de recherche de 2021, intitulé « Vivre dans leur utopie : pourquoi les systèmes algorithmiques créent des résultats absurdes », l’anthropologue et data scientist américain, Ali Alkhatib pointait le décalage existant entre la promesse technicienne et sa réalité, qui est que ces systèmes déploient bien plus de mauvaises décisions que de bonnes. La grande difficulté des populations  à s’opposer à des modèles informatiques défectueux condamne même les systèmes bien intentionnés, car les modèles défaillants sèment le doute partout autour d’eux. Pour lui, les systèmes algorithmiques tiennent d’une bureaucratisation pour elle-même et promeuvent un Etat administratif automatisé, autorisé à menacer et accabler ses populations pour assurer sa propre optimisation.

La raison de ces constructions algorithmiques pour trier et gérer les populations s’expliquent par le fait que la modernité produit des versions abrégées du monde qui ne sont pas conformes à sa diversité, à l’image des ingénieurs du XVIIIᵉ siècle, raconté par l’anthropologue James C. Scott dans L’Oeil de l’Etat, qui, en voulant optimiser la forêt pour son exploitation, l’ont rendue malade. Nos modèles sont du même ordre, ils produisent des versions du monde qui n’y sont pas conformes et qui peuvent être extrêmement nuisibles. « Les cartes abrégées conceptuelles que les forestiers ont créées et utilisées sont des artefacts qui résument le monde, mais elles transforment également le monde ». Nous sommes cernés par la croyance que la science et la technologie vont nous permettre de gérer et transformer la société pour la perfectionner. Ce qui, comme le dit Scott, a plusieurs conséquences : d’abord, cela produit une réorganisation administrative transformationnelle. Ensuite, cette réorganisation a tendance à s’imposer d’une manière autoritaire, sans égards pour la vie – les gens qui n’entrent pas dans les systèmes ne sont pas considérés. Et, pour imposer son réductionnisme, cette réorganisation nécessite d’affaiblir la société civile et la contestation.

La réorganisation administrative et informatique de nos vies et les dommages que ces réorganisations causent sont déjà visibles. L’organisation algorithmique du monde déclasse déjà ceux qui sont dans les marges du modèle, loin de la moyenne et d’autant plus éloignés que les données ne les ont jamais représentés correctement. C’est ce que l’on constate avec les discriminations que les systèmes renforcent. « Le système impose son modèle au monde, jugeant et punissant les personnes qui ne correspondent pas au modèle que l’algorithme a produit dans l’intérêt d’un objectif apparemment objectif que les concepteurs insistent pour dire qu’il est meilleur que les décisions que les humains prennent de certaines ou de plusieurs manières ; c’est la deuxième qualité. Leur mépris pour la dignité et la vie des gens – ou plutôt, leur incapacité à conceptualiser ces idées en premier lieu – les rend finalement aussi disposés que n’importe quel système à subjuguer et à nuire aux gens ; c’est la troisième qualité. Enfin, nos pratiques dans la façon dont les éthiciens et autres universitaires parlent de l’éthique et de l’IA, sapant et contrôlant le discours jusqu’à ce que le public accepte un engagement rigoureux avec « l’algorithme » qui serait quelque chose que seuls les philosophes et les informaticiens peuvent faire, agit comme une dépossession du public ; c’est la quatrième et dernière qualité. »

Comme les forestiers du XVIIIᵉ, les informaticiens imposent leur utopie algorithmique sur le monde, sans voir qu’elle est d’abord un réductionnisme. Le monde réduit à des données, par nature partiales, renforce sa puissance au détriment des personnes les plus à la marge de ces données et calculs. Les modélisations finissent par se détacher de plus en plus de la réalité et sont de plus en plus nuisibles aux personnes exclues. Ali Alkhatib évoque par exemple un système d’admission automatisé mis en place à l’université d’Austin entre 2013 et 2018, « Grade », abandonné car, comme tant d’autres, il avait désavantagé les femmes et les personnes de couleur. Ce système, conçu pour diminuer le travail des commissions d’admission ne tenait aucun compte de l’origine ou du genre des candidats, mais en faisant cela, valorisait de fait les candidats blancs et masculins. Enfin, le système n’offrait ni voie de recours ni même moyens pour que les candidats aient leur mot à dire sur la façon dont le système les évaluait.

L’IA construit des modèles du monde qui nous contraignent à nous y adapter, explique Ali Alkhatib. Mais surtout, elle réduit le pouvoir de certains et d’abord de ceux qu’elle calcule le plus mal. En cherchant à créer un « monde plus rationnel », les algorithmes d’apprentissage automatique créent les « façons d’organiser la stupidité » que dénonçait David Graeber dans Bureaucratie (voir notre lecture) et ces modèles sont ensuite projetés sur nos expériences réelles, niant celles qui ne s’inscrivent pas dans cette réduction. Si les IA causent du tort, c’est parce que les concepteurs de ces systèmes leur permettent de créer leurs propres mondes pour mieux transformer le réel. « Les IA causent du tort, parce qu’elles nous exhortent à vivre dans leur utopie ». Lorsque les concepteurs de systèmes entraînent leurs modèles informatiques en ignorant l’identité transgenre par exemple, ils exigent que ces personnes se débarrassent de leur identité, ce qu’elles ne peuvent pas faire, comme le montrait Sasha Constanza-Chock dans son livre, Design Justice, en évoquant les blocages qu’elle rencontrait dans les aéroports. Même chose quand les systèmes de reconnaissance faciales ont plus de mal avec certaines couleurs de peau qui conduisent à renforcer les difficultés que rencontrent déjà ces populations. Pour Ali Alkhatib, l’homogénéisation que produit la monoculture de l’IA en contraignant, en effaçant et en opprimant ceux qui ne correspondent pas déjà au modèle existant, se renforce partout où l’IA exerce un pouvoir autoritaire, et ces préjudices s’abattent systématiquement et inévitablement sur les groupes qui ont très peu de pouvoir pour résister, corriger ou s’échapper des calculs. D’autant qu’en imposant leur réduction, ces systèmes ont tous tendance à limiter les contestations possibles.

En refermant les possibilités de contestation de ceux qui n’entrent pas dans les cases du calcul, l’utopie algorithmique des puissants devient la dystopie algorithmique des démunis.

PDF
20 / 20
 Persos A à L
Mona CHOLLET
Anna COLIN-LEBEDEV
Julien DEVAUREIX
Cory DOCTOROW
Lionel DRICOT (PLOUM)
EDUC.POP.FR
Marc ENDEWELD
Michel GOYA
Hubert GUILLAUD
Gérard FILOCHE
Alain GRANDJEAN
Hacking-Social
Samuel HAYAT
Dana HILLIOT
François HOUSTE
Tagrawla INEQQIQI
Infiltrés (les)
Clément JEANNEAU
Paul JORION
Michel LEPESANT
Frédéric LORDON
 
 Persos M à Z
Henri MALER
Christophe MASUTTI
Jean-Luc MÉLENCHON
Romain MIELCAREK
MONDE DIPLO (Blogs persos)
Richard MONVOISIN
Corinne MOREL-DARLEUX
Timothée PARRIQUE
Thomas PIKETTY
VisionsCarto
Yannis YOULOUNTAS
Michaël ZEMMOUR
LePartisan.info
 
  Numérique
Christophe DESCHAMPS
Louis DERRAC
Olivier ERTZSCHEID
Olivier EZRATY
Framablog
Tristan NITOT
Francis PISANI
Pixel de Tracking
Irénée RÉGNAULD
Nicolas VIVANT
 
  Collectifs
Arguments
Bondy Blog
Dérivation
Dissidences
Mr Mondialisation
Palim Psao
Paris-Luttes.info
ROJAVA Info
 
  Créatifs / Art / Fiction
Nicole ESTEROLLE
Julien HERVIEUX
Alessandro PIGNOCCHI
XKCD
🌓