URL du flux RSS

ACCÈS LIBRE

▸ les 20 dernières parutions

30.06.2025 à 07:42

Khrys’presso du lundi 30 juin 2025

Khrys
Comme chaque lundi, un coup d’œil dans le rétroviseur pour découvrir les informations que vous avez peut-être ratées la semaine dernière. Tous les liens listés ci-dessous sont a priori accessibles librement. Si ce n’est pas le cas, pensez à activer … Lire la suite­­
Texte intégral (8465 mots)

Comme chaque lundi, un coup d’œil dans le rétroviseur pour découvrir les informations que vous avez peut-être ratées la semaine dernière.

Tous les liens listés ci-dessous sont a priori accessibles librement. Si ce n’est pas le cas, pensez à activer votre bloqueur de javascript favori ou à passer en “mode lecture” (Firefox) ;-)

Brave New World

Spécial IA

Spécial Palestine et Israël

Spécial Iran et Israël

Spécial femmes dans le monde

Spécial France

Spécial femmes en France

Spécial médias et pouvoir

Spécial emmerdeurs irresponsables gérant comme des pieds (et à la néolibérale)

Spécial recul des droits et libertés, violences policières, montée de l’extrême-droite…

Spécial résistances

Spécial outils de résistance

Spécial GAFAM et cie

Les autres lectures de la semaine

Les BDs/graphiques/photos de la semaine

Les vidéos/podcasts de la semaine

Les trucs chouettes de la semaine

Retrouvez les revues de web précédentes dans la catégorie Libre Veille du Framablog.

Les articles, commentaires et autres images qui composent ces « Khrys’presso » n’engagent que moi (Khrys).

23.06.2025 à 07:42

Khrys’presso du lundi 23 juin 2025

Khrys
Comme chaque lundi, un coup d’œil dans le rétroviseur pour découvrir les informations que vous avez peut-être ratées la semaine dernière. Tous les liens listés ci-dessous sont a priori accessibles librement. Si ce n’est pas le cas, pensez à activer … Lire la suite­­
Texte intégral (9283 mots)

Comme chaque lundi, un coup d’œil dans le rétroviseur pour découvrir les informations que vous avez peut-être ratées la semaine dernière.

Tous les liens listés ci-dessous sont a priori accessibles librement. Si ce n’est pas le cas, pensez à activer votre bloqueur de javascript favori ou à passer en “mode lecture” (Firefox) ;-)

Brave New World

Spécial IA

Spécial Palestine et Israël

Spécial Iran et Israël

Spécial femmes dans le monde

Spécial France

Spécial femmes en France

Spécial médias et pouvoir

Spécial emmerdeurs irresponsables gérant comme des pieds (et à la néolibérale)

Spécial recul des droits et libertés, violences policières, montée de l’extrême-droite…

Spécial résistances

Spécial GAFAM et cie

Les autres lectures de la semaine

Les BDs/graphiques/photos de la semaine

Les vidéos/podcasts de la semaine

Les trucs chouettes de la semaine

Retrouvez les revues de web précédentes dans la catégorie Libre Veille du Framablog.

Les articles, commentaires et autres images qui composent ces « Khrys’presso » n’engagent que moi (Khrys).

22.06.2025 à 09:00

L’IA est une technologie comme les autres

Framasoft
L’IA ne sera pas la révolution que l’on pense. Son déploiement concret va prendre du temps. Elle ne sera pas non plus la menace existentielle qu’on imagine, parce qu’elle ne se développera pas là où les risques de défaillances sont trop importants. L’IA va rester sous contrôle malgré sa diffusion, estiment les chercheurs Arvind Narayanan et Sayash Kapoor dans une mise en perspective stimulante de notre avenir.
Texte intégral (5129 mots)

Cet article est une republication, avec l’accord de l’auteur, Hubert Guillaud. Il a été publié en premier le 03 mars 2025 sur le site Dans Les Algorithmes sous licence CC BY-NC-SA.

Après une vingtaine d’articles republiés tous les dimanches depuis plusieurs mois, nous prenons une pause estivale ! Vous pouvez néanmoins toujours consulter, chaque semaine, les articles proposés par Hubert Guillaud sur le site de Dans Les Algorithmes !

L’IA ne sera pas la révolution que l’on pense. Son déploiement concret va prendre du temps. Elle ne sera pas non plus la menace existentielle qu’on imagine, parce qu’elle ne se développera pas là où les risques de défaillances sont trop importants. L’IA va rester sous contrôle malgré sa diffusion, estiment les chercheurs Arvind Narayanan et Sayash Kapoor dans une mise en perspective stimulante de notre avenir.

 

 

 

 

 

 

Les chercheurs Arvind Narayanan et Sayash Kapoor – dont nous avions chroniqué le livre, AI Snake Oil – signent pour le Knight un long article pour démonter les risques existentiels de l’IA générale. Pour eux, l’IA est une « technologie normale ». Cela ne signifie pas que son impact ne sera pas profond, comme l’électricité ou internet, mais cela signifie qu’ils considèrent « l’IA comme un outil dont nous pouvons et devons garder le contrôle, et nous soutenons que cet objectif ne nécessite ni interventions politiques drastiques ni avancées technologiques ». L’IA n’est pas appelée à déterminer elle-même son avenir, expliquent-ils. Les deux chercheurs estiment que « les impacts économiques et sociétaux transformateurs seront lents (de l’ordre de plusieurs décennies) ».

Selon eux, dans les années à venir « une part croissante du travail des individus va consister à contrôler l’IA ». Mais surtout, considérer l’IA comme une technologie courante conduit à des conclusions fondamentalement différentes sur les mesures d’atténuation que nous devons y apporter, et nous invite, notamment, à minimiser le danger d’une superintelligence autonome qui viendrait dévorer l’humanité.

La vitesse du progrès est plus linéaire qu’on le pense

« Comme pour d’autres technologies à usage général, l’impact de l’IA se matérialise non pas lorsque les méthodes et les capacités s’améliorent, mais lorsque ces améliorations se traduisent en applications et se diffusent dans les secteurs productifs de l’économie  » , rappellent les chercheurs, à la suite des travaux de Jeffrey Ding dans son livre, Technology and the Rise of Great Powers : How Diffusion Shapes Economic Competition (Princeton University Press, 2024, non traduit). Ding y rappelle que la diffusion d’une innovation compte plus que son invention, c’est-à-dire que l’élargissement des applications à d’innombrables secteurs est souvent lent mais décisif. Pour Foreign Affairs, Ding pointait d’ailleurs que l’enjeu des politiques publiques en matière d’IA ne devraient pas être de s’assurer de sa domination sur le cycle d’innovation, mais du rythme d’intégration de l’IA dans un large éventail de processus productifs. L’enjeu tient bien plus à élargir les champs d’application des innovations qu’à maîtriser la course à la puissance, telle qu’elle s’observe actuellement.

En fait, rappellent Narayanan et Kapoor, les déploiements de l’IA seront, comme dans toutes les autres technologies avant elle, progressifs, permettant aux individus comme aux institutions de s’adapter. Par exemple, constatent-ils, la diffusion de l’IA dans les domaines critiques pour la sécurité est lente. Même dans le domaine de « l’optimisation prédictive », c’est-à-dire la prédiction des risques pour prendre des décisions sur les individus, qui se sont multipliées ces dernières années, l’IA n’est pas très présente, comme l’avaient pointé les chercheurs dans une étude. Ce secteur mobilise surtout des techniques statistiques classiques, rappellent-ils. En fait, la complexité et l’opacité de l’IA font qu’elle est peu adaptée pour ces enjeux. Les risques de sécurité et de défaillance font que son usage y produit souvent de piètres résultats. Sans compter que la réglementation impose déjà des procédures qui ralentissent les déploiements, que ce soit la supervision des dispositifs médicaux ou l’IA Act européen. D’ailleurs, “lorsque de nouveaux domaines où l’IA peut être utilisée de manière significative apparaissent, nous pouvons et devons les réglementer ».

Même en dehors des domaines critiques pour la sécurité, l’adoption de l’IA est plus lente que ce que l’on pourrait croire. Pourtant, de nombreuses études estiment que l’usage de l’IA générative est déjà très fort. Une étude très commentée constatait qu’en août 2024, 40 % des adultes américains utilisaient déjà l’IA générative. Mais cette percée d’utilisation ne signifie pas pour autant une utilisation intensive, rappellent Narayanan et Kapoor – sur son blog, Gregory Chatonksy ne disait pas autre chose, distinguant une approche consumériste d’une approche productive, la seconde était bien moins maîtrisée que la première. L’adoption est une question d’utilisation du logiciel, et non de disponibilité, rappellent les chercheurs. Si les outils sont désormais accessibles immédiatement, leur intégration à des flux de travail ou à des habitudes, elle, prend du temps. Entre utiliser et intégrer, il y a une différence que le nombre d’utilisateurs d’une application ne suffit pas à distinguer. L’analyse de l’électrification par exemple montre que les gains de productivité ont mis des décennies à se matérialiser pleinement, comme l’expliquait Tim Harford. Ce qui a finalement permis de réaliser des gains de productivité, c’est surtout la refonte complète de l’agencement des usines autour de la logique des chaînes de production électrifiées.

Les deux chercheurs estiment enfin que nous sommes confrontés à des limites à la vitesse d’innovation avec l’IA. Les voitures autonomes par exemple ont mis deux décennies à se développer, du fait des contraintes de sécurité nécessaires, qui, fort heureusement, les entravent encore. Certes, les choses peuvent aller plus vite dans des domaines non critiques, comme le jeu. Mais très souvent, “l’écart entre la capacité et la fiabilité” reste fort. La perspective d’agents IA pour la réservation de voyages ou le service clients est moins à risque que la conduite autonome, mais cet apprentissage n’est pas simple à réaliser pour autant. Rien n’assure qu’il devienne rapidement suffisamment fiable pour être déployé. Même dans le domaine de la recommandation sur les réseaux sociaux, le fait qu’elle s’appuie sur des modèles d’apprentissage automatique n’a pas supprimé la nécessité de coder les algorithmes de recommandation. Et dans nombre de domaines, la vitesse d’acquisition des connaissances pour déployer de l’IA est fortement limitée en raison des coûts sociaux de l’expérimentation. Enfin, les chercheurs soulignent que si l’IA sait coder ou répondre à des examens, comme à ceux du barreau, mieux que des humains, cela ne recouvre pas tous les enjeux des pratiques professionnelles réelles. En fait, trop souvent, les indicateurs permettent de mesurer les progrès des méthodes d’IA, mais peinent à mesurer leurs impacts ou l’adoption, c’est-à-dire l’intensité de son utilisation. Kapoor et Narayanan insistent : les impacts économiques de l’IA seront progressifs plus que exponentiels. Si le taux de publication d’articles sur l’IA affiche un doublement en moins de deux ans, on ne sait pas comment cette augmentation de volume se traduit en progrès. En fait, il est probable que cette surproduction même limite l’innovation. Une étude a ainsi montré que dans les domaines de recherche où le volume d’articles scientifiques est plus élevé, il est plus difficile aux nouvelles idées de percer.

L’IA va rester sous contrôle

Le recours aux concepts flous d’« intelligence » ou de « superintelligence » ont obscurci notre capacité à raisonner clairement sur un monde doté d’une IA avancée. Assez souvent, l’intelligence elle-même est assez mal définie, selon un spectre qui irait de la souris à l’IA, en passant par le singe et l’humain. Mais surtout, “l’intelligence n’est pas la propriété en jeu pour analyser les impacts de l’IA. C’est plutôt le pouvoir – la capacité à modifier son environnement – ​​qui est en jeu”. Nous ne sommes pas devenus puissants du fait de notre intelligence, mais du fait de la technologie que nous avons utilisée pour accroître nos capacités. La différence entre l’IA et les capacités humaines reposent surtout dans la vitesse. Les machines nous dépassent surtout en termes de vitesse, d’où le fait que nous les ayons développées surtout dans les domaines où la vitesse est en jeu.

“Nous prévoyons que l’IA ne sera pas en mesure de surpasser significativement les humains entraînés (en particulier les équipes humaines, et surtout si elle est complétée par des outils automatisés simples) dans la prévision d’événements géopolitiques (par exemple, les élections). Nous faisons la même prédiction pour les tâches consistant à persuader les gens d’agir contre leur propre intérêt”. En fait, les systèmes d’IA ne seront pas significativement plus performants que les humains agissant avec l’aide de l’IA, prédisent les deux chercheurs.

Mais surtout, insistent-ils, rien ne permet d’affirmer que nous perdions demain la main sur l’IA. D’abord parce que le contrôle reste fort, des audits à la surveillance des systèmes en passant par la sécurité intégrée. “En cybersécurité, le principe du « moindre privilège » garantit que les acteurs n’ont accès qu’aux ressources minimales nécessaires à leurs tâches. Les contrôles d’accès empêchent les personnes travaillant avec des données et des systèmes sensibles d’accéder à des informations et outils confidentiels non nécessaires à leur travail. Nous pouvons concevoir des protections similaires pour les systèmes d’IA dans des contextes conséquents. Les méthodes de vérification formelle garantissent que les codes critiques pour la sécurité fonctionnent conformément à leurs spécifications ; elles sont désormais utilisées pour vérifier l’exactitude du code généré par l’IA.” Nous pouvons également emprunter des idées comme la conception de systèmes rendant les actions de changement d’état réversibles, permettant ainsi aux humains de conserver un contrôle significatif, même dans des systèmes hautement automatisés. On peut également imaginer de nouvelles idées pour assurer la sécurité, comme le développement de systèmes qui apprennent à transmettre les décisions aux opérateurs humains en fonction de l’incertitude ou du niveau de risque, ou encore la conception de systèmes agents dont l’activité est visible et lisible par les humains, ou encore la création de structures de contrôle hiérarchiques dans lesquelles des systèmes d’IA plus simples et plus fiables supervisent des systèmes plus performants, mais potentiellement peu fiables. Pour les deux chercheurs, “avec le développement et l’adoption de l’IA avancée, l’innovation se multipliera pour trouver de nouveaux modèles de contrôle humain”.

Pour eux d’ailleurs, à l’avenir, un nombre croissant d’emplois et de tâches humaines seront affectés au contrôle de l’IA. Lors des phases d’automatisation précédentes, d’innombrables méthodes de contrôle et de surveillance des machines ont été inventées. Et aujourd’hui, les chauffeurs routiers par exemple, ne cessent de contrôler et surveiller les machines qui les surveillent, comme l’expliquait Karen Levy. Pour les chercheurs, le risque de perdre de la lisibilité et du contrôle en favorisant l’efficacité et l’automatisation doit toujours être contrebalancée. Les IA mal contrôlées risquent surtout d’introduire trop d’erreurs pour rester rentables. Dans les faits, on constate plutôt que les systèmes trop autonomes et insuffisamment supervisés sont vite débranchés. Nul n’a avantage à se passer du contrôle humain. C’est ce que montre d’ailleurs la question de la gestion des risques, expliquent les deux chercheurs en listant plusieurs types de risques.

La course aux armements par exemple, consistant à déployer une IA de plus en plus puissante sans supervision ni contrôle adéquats sous prétexte de concurrence, et que les acteurs les plus sûrs soient supplantés par des acteurs prenant plus de risques, est souvent vite remisée par la régulation. “De nombreuses stratégies réglementaires sont mobilisables, que ce soient celles axées sur les processus (normes, audits et inspections), les résultats (responsabilité) ou la correction de l’asymétrie d’information (étiquetage et certification).” En fait, rappellent les chercheurs, le succès commercial est plutôt lié à la sécurité qu’autre chose. Dans le domaine des voitures autonomes comme dans celui de l’aéronautique, “l’intégration de l’IA a été limitée aux normes de sécurité existantes, au lieu qu’elles soient abaissées pour encourager son adoption, principalement en raison de la capacité des régulateurs à sanctionner les entreprises qui ne respectent pas les normes de sécurité”. Dans le secteur automobile, pourtant, pendant longtemps, la sécurité n’était pas considérée comme relevant de la responsabilité des constructeurs. Mais petit à petit, les normes et les attentes en matière de sécurité se sont renforcées. Dans le domaine des recommandations algorithmiques des médias sociaux par contre, les préjudices sont plus difficiles à mesurer, ce qui explique qu’il soit plus difficile d’imputer les défaillances aux systèmes de recommandation. “L’arbitrage entre innovation et réglementation est un dilemme récurrent pour l’État régulateur”. En fait, la plupart des secteurs à haut risque sont fortement réglementés, rappellent les deux chercheurs. Et contrairement à l’idée répandue, il n’y a pas que l’Europe qui régule, les États-Unis et la Chine aussi ! Quant à la course aux armements, elle se concentre surtout sur l’invention des modèles, pas sur l’adoption ou la diffusion qui demeurent bien plus déterminantes pourtant.

Répondre aux abus. Jusqu’à présent, les principales défenses contre les abus se situent post-formation, alors qu’elles devraient surtout se situer en aval des modèles, estiment les chercheurs. Le problème fondamental est que la nocivité d’un modèle dépend du contexte, contexte souvent absent du modèle, comme ils l’expliquaient en montrant que la sécurité n’est pas une propriété du modèle. Le modèle chargé de rédiger un e-mail persuasif pour le phishing par exemple n’a aucun moyen de savoir s’il est utilisé à des fins marketing ou d’hameçonnage ; les interventions au niveau du modèle seraient donc inefficaces. Ainsi, les défenses les plus efficaces contre le phishing ne sont pas les restrictions sur la composition des e-mails (qui compromettraient les utilisations légitimes), mais plutôt les systèmes d’analyse et de filtrage des e-mails qui détectent les schémas suspects, et les protections au niveau du navigateur. Se défendre contre les cybermenaces liées à l’IA nécessite de renforcer les programmes de détection des vulnérabilités existants plutôt que de tenter de restreindre les capacités de l’IA à la source. Mais surtout, “plutôt que de considérer les capacités de l’IA uniquement comme une source de risque, il convient de reconnaître leur potentiel défensif. En cybersécurité, l’IA renforce déjà les capacités défensives grâce à la détection automatisée des vulnérabilités, à l’analyse des menaces et à la surveillance des surfaces d’attaque”. “Donner aux défenseurs l’accès à des outils d’IA puissants améliore souvent l’équilibre attaque-défense en leur faveur”. En modération de contenu, par exemple, on pourrait mieux mobiliser l’IA peut aider à identifier les opérations d’influence coordonnées. Nous devons investir dans des applications défensives plutôt que de tenter de restreindre la technologie elle-même, suggèrent les chercheurs.

Le désalignement. Une IA mal alignée agit contre l’intention de son développeur ou de son utilisateur. Mais là encore, la principale défense contre le désalignement se situe en aval plutôt qu’en amont, dans les applications plutôt que dans les modèles. Le désalignement catastrophique est le plus spéculatif des risques, rappellent les chercheurs. “La crainte que les systèmes d’IA puissent interpréter les commandes de manière catastrophique repose souvent sur des hypothèses douteuses quant au déploiement de la technologie dans le monde réel”. Dans le monde réel, la surveillance et le contrôle sont très présents et l’IA est très utile pour renforcer cette surveillance et ce contrôle. Les craintes liées au désalignement de l’IA supposent que ces systèmes déjouent la surveillance, alors que nous avons développés de très nombreuses formes de contrôle, qui sont souvent d’autant plus fortes et redondantes que les décisions sont importantes.

Les risques systémiques. Si les risques existentiels sont peu probables, les risques systémiques, eux, sont très courants. Parmi ceux-ci figurent “l’enracinement des préjugés et de la discrimination, les pertes d’emplois massives dans certaines professions, la dégradation des conditions de travail, l’accroissement des inégalités, la concentration du pouvoir, l’érosion de la confiance sociale, la pollution de l’écosystème de l’information, le déclin de la liberté de la presse, le recul démocratique, la surveillance de masse et l’autoritarisme”. “Si l’IA est une technologie normale, ces risques deviennent bien plus importants que les risques catastrophiques évoqués précédemment”. Car ces risques découlent de l’utilisation de l’IA par des personnes et des organisations pour promouvoir leurs propres intérêts, l’IA ne faisant qu’amplifier les instabilités existantes dans notre société. Nous devrions bien plus nous soucier des risques cumulatifs que des risques décisifs.

Politiques de l’IA

Narayanan et Kapoor concluent leur article en invitant à réorienter la régulation de l’IA, notamment en favorisant la résilience. Pour l’instant, l’élaboration des politiques publiques et des réglementations de l’IA est caractérisée par de profondes divergences et de fortes incertitudes, notamment sur la nature des risques que fait peser l’IA sur la société. Si les probabilités de risque existentiel de l’IA sont trop peu fiables pour éclairer les politiques, il n’empêche que nombre d’acteurs poussent à une régulation adaptée à ces risques existentiels. Alors que d’autres interventions, comme l’amélioration de la transparence, sont inconditionnellement utiles pour atténuer les risques, quels qu’ils soient. Se défendre contre la superintelligence exige que l’humanité s’unisse contre un ennemi commun, pour ainsi dire, concentrant le pouvoir et exerçant un contrôle centralisé sur l’IA, qui risque d’être un remède pire que le mal. Or, nous devrions bien plus nous préoccuper des risques cumulatifs et des pratiques capitalistes extractives que l’IA amplifie et qui amplifient les inégalités. Pour nous défendre contre ces risques-ci, pour empêcher la concentration du pouvoir et des ressources, il nous faut rendre l’IA puissante plus largement accessible, défendent les deux chercheurs.

Ils recommandent d’ailleurs plusieurs politiques. D’abord, améliorer le financement stratégique sur les risques. Nous devons obtenir de meilleures connaissances sur la façon dont les acteurs malveillants utilisent l’IA et améliorer nos connaissances sur les risques et leur atténuation. Ils proposent également d’améliorer la surveillance des usages, des risques et des échecs, passant par les déclarations de transparences, les registres et inventaires, les enregistrements de produits, les registres d’incidents (comme la base de données d’incidents de l’IA) ou la protection des lanceurs d’alerte… Enfin, ils proposent que les “données probantes” soient un objectif prioritaire, c’est-à-dire d’améliorer l’accès de la recherche.

Dans le domaine de l’IA, la difficulté consiste à évaluer les risques avant le déploiement. Pour améliorer la résilience, il est important d’améliorer la responsabilité et la résilience, plus que l’analyse de risque, c’est-à-dire des démarches de contrôle qui ont lieu après les déploiements. “La résilience exige à la fois de minimiser la gravité des dommages lorsqu’ils surviennent et la probabilité qu’ils surviennent.” Pour atténuer les effets de l’IA nous devons donc nous doter de politiques qui vont renforcer la démocratie, la liberté de la presse ou l’équité dans le monde du travail. C’est-à-dire d’améliorer la résilience sociétale au sens large.

Pour élaborer des politiques technologiques efficaces, il faut ensuite renforcer les capacités techniques et institutionnelles de la recherche, des autorités et administrations. Sans personnels compétents et informés, la régulation de l’IA sera toujours difficile. Les chercheurs invitent même à “diversifier l’ensemble des régulateurs et, idéalement, à introduire la concurrence entre eux plutôt que de confier la responsabilité de l’ensemble à un seul régulateur”.

Par contre, Kapoor et Narayanan se défient fortement des politiques visant à promouvoir une non-prolifération de l’IA, c’est-à-dire à limiter le nombre d’acteurs pouvant développer des IA performantes. Les contrôles à l’exportation de matériel ou de logiciels visant à limiter la capacité des pays à construire, acquérir ou exploiter une IA performante, l’exigence de licences pour construire ou distribuer une IA performante, et l’interdiction des modèles d’IA à pondération ouverte… sont des politiques qui favorisent la concentration plus qu’elles ne réduisent les risques. “Lorsque de nombreuses applications en aval s’appuient sur le même modèle, les vulnérabilités de ce modèle peuvent être exploitées dans toutes les applications”, rappellent-ils.

Pour les deux chercheurs, nous devons “réaliser les avantages de l’IA”, c’est-à-dire accélérer l’adoption des bénéfices de l’IA et atténuer ses inconvénients. Pour cela, estiment-ils, nous devons être plus souples sur nos modalités d’intervention. Par exemple, ils estiment que pour l’instant catégoriser certains domaines de déploiement de l’IA comme à haut risque est problématique, au prétexte que dans ces secteurs (assurance, prestation sociale ou recrutement…), les technologies peuvent aller de la reconnaissance optique de caractères, relativement inoffensives, à la prise de décision automatisées dont les conséquences sont importantes. Pour eux, il faudrait seulement considérer la prise de décision automatisée dans ces secteurs comme à haut risque.

Un autre enjeu repose sur l’essor des modèles fondamentaux qui a conduit à une distinction beaucoup plus nette entre les développeurs de modèles, les développeurs en aval et les déployeurs (parmi de nombreuses autres catégories). Une réglementation insensible à ces distinctions risque de conférer aux développeurs de modèles des responsabilités en matière d’atténuation des risques liés à des contextes de déploiement particuliers, ce qui leur serait impossible en raison de la nature polyvalente des modèles fondamentaux et de l’imprévisibilité de tous les contextes de déploiement possibles.

Enfin, lorsque la réglementation établit une distinction binaire entre les décisions entièrement automatisées et celles qui ne le sont pas, et ne reconnaît pas les degrés de surveillance, elle décourage l’adoption de nouveaux modèles de contrôle de l’IA. Or de nombreux nouveaux modèles sont proposés pour garantir une supervision humaine efficace sans impliquer un humain dans chaque décision. Il serait imprudent de définir la prise de décision automatisée de telle sorte que ces approches engendrent les mêmes contraintes de conformité qu’un système sans supervision. Pour les deux chercheurs, “opposer réglementation et diffusion est un faux compromis, tout comme opposer réglementation et innovation”, comme le disait Anu Bradford. Pour autant, soulignent les chercheurs, l’enjeu n’est pas de ne pas réguler, mais bien de garantir de la souplesse. La législation garantissant la validité juridique des signatures et enregistrement électroniques promulguée en 2000 aux Etats-Unis a joué un rôle déterminant dans la promotion du commerce électronique et sa diffusion. La législation sur les petits drones mise en place par la Federal Aviation Administration en 2016 a permis le développement du secteur par la création de pilotes certifiés. Nous devons trouver pour l’IA également des réglementations qui favorisent sa diffusion, estiment-ils. Par exemple, en facilitant “la redistribution des bénéfices de l’IA afin de les rendre plus équitables et d’indemniser les personnes qui risquent de subir les conséquences de l’automatisation. Le renforcement des filets de sécurité sociale contribuera à atténuer l’inquiétude actuelle du public face à l’IA dans de nombreux pays”. Et les chercheurs de suggérer par exemple de taxer les entreprises d’IA pour soutenir les industries culturelles et le journalisme, mis à mal par l’IA. En ce qui concerne l’adoption par les services publics de l’IA, les gouvernements doivent trouver le juste équilibre entre une adoption trop précipitée qui génère des défaillances et de la méfiance, et une adoption trop lente qui risque de produire de l’externalisation par le secteur privé.

16.06.2025 à 07:42

Khrys’presso du lundi 16 juin 2025

Khrys
Comme chaque lundi, un coup d’œil dans le rétroviseur pour découvrir les informations que vous avez peut-être ratées la semaine dernière. Tous les liens listés ci-dessous sont a priori accessibles librement. Si ce n’est pas le cas, pensez à activer … Lire la suite­­
Texte intégral (11091 mots)

Comme chaque lundi, un coup d’œil dans le rétroviseur pour découvrir les informations que vous avez peut-être ratées la semaine dernière.

Tous les liens listés ci-dessous sont a priori accessibles librement. Si ce n’est pas le cas, pensez à activer votre bloqueur de javascript favori ou à passer en “mode lecture” (Firefox) ;-)

Brave New World

Spécial IA

Spécial Palestine et Israël

Spécial Iran et Israël

Spécial femmes dans le monde

Spécial France

Spécial femmes en France

Spécial médias et pouvoir

Spécial emmerdeurs irresponsables gérant comme des pieds (et à la néolibérale)

Spécial recul des droits et libertés, violences policières, montée de l’extrême-droite…

Spécial résistances

Spécial outils de résistance

Spécial GAFAM et cie

Les autres lectures de la semaine

Les BDs/graphiques/photos de la semaine

Les vidéos/podcasts de la semaine

Les trucs chouettes de la semaine

Retrouvez les revues de web précédentes dans la catégorie Libre Veille du Framablog.

Les articles, commentaires et autres images qui composent ces « Khrys’presso » n’engagent que moi (Khrys).

15.06.2025 à 09:00

Recrutements automatisés : défaillances spécifiques, défaillances systémiques

Framasoft
Démontrer les défaillances des systèmes de recrutement automatisé demeure compliqué. Les enquêtes et tests des usagers, des chercheurs, des médias… parviennent souvent à pointer des défaillances spécifiques que les entreprises ont beau jeu de rejeter comme n’étant pas représentatifs. Et effectivement, corriger les biais de recrutement nécessite d’être capable de les mesurer. Comment répondre aux défaillances du recrutement automatisé ? C’est le dossier de Dans les algorithmes !
Texte intégral (5845 mots)

Cet article est une republication, avec l’accord de l’auteur, Hubert Guillaud. Il a été publié en premier le 11 juin 2024 sur le site Dans Les Algorithmes sous licence CC BY-NC-SA.

Démontrer les défaillances des systèmes de recrutement automatisé demeure compliqué. Les enquêtes et tests des usagers, des chercheurs, des médias… parviennent souvent à pointer des défaillances spécifiques que les entreprises ont beau jeu de rejeter comme n’étant pas représentatifs. Et effectivement, corriger les biais de recrutement nécessite d’être capable de les mesurer. Comment répondre aux défaillances du recrutement automatisé ?

 

C’est le dossier de Dans les Algorithmes !

 

 

 

 

 

Le problème auquel nous sommes confrontés dans les systèmes de recrutement automatisés est que ni les postulants ni les départements RH ni les régulateurs ni le grand public ne savent très bien comment les CV sont inspectés et scorés (voir la première partie de ce dossier). Les candidats savent rarement si ces outils sont la seule raison pour laquelle les entreprises les rejettent – et aucun de ces systèmes n’explique aux utilisateurs comment ils ont été évalués. Pourtant, les exemples flagrants de défaillances spécifiques sont nombreux, sans qu’il soit toujours possible de prouver leurs défaillances systémiques.

Dans son livre, The Algorithm : How AI decides who gets hired, monitored, promoted, and fired and why we need to fight back now (L’algorithme : comment l’IA décide de qui sera embauché, surveillé, promu et viré et pourquoi nous devons riposter, Hachette, 2024, non traduit), la journaliste Hilke Schellmann donne beaucoup la parole à des individus qui ont bataillé contre des systèmes : une développeuse black très compétente discriminée en continu, un data scientist écarté sans raisons de postes pour lesquels il était plus que compétent… un candidat d’une cinquantaine d’années, excédé qui finit par changer sa date de naissance et se voit magiquement accepté aux candidatures où il était refusé ! Le testing systémique des outils d’embauche automatisés est encore trop rare et trop souvent individuel… Mais il montre bien souvent combien ces systèmes sont défaillants, à l’image de celui initié récemment par Bloomberg : les journalistes ont demandé à ChatGPT de classer des CV dont le seul élément modifié était le prénom et le nom des candidats. Sans surprise, les CV avec des noms à consonance afro-américaine étaient à chaque fois les plus mal classés !

Pourtant, démontrer les dysfonctionnements de ces systèmes demeure compliqué, concède la journaliste. Notamment parce que ces éclairages reposent souvent sur des exemples spécifiques, de simples tests, des études limitées en ampleur, en profondeur et dans le temps… que les entreprises ont beau jeu de les rejeter comme n’étant pas représentatifs. L’accumulation de preuves de défaillances devrait néanmoins être plus que préoccupante.

Les informations sur le fonctionnement de ces systèmes sont rares, la plupart du temps elles ne nous parviennent que quand ces systèmes dysfonctionnent publiquement. En 2018, une enquête de Reuters avait montré que le système de recrutement d’Amazon était fortement biaisé au détriment des femmes : ses données d’entraînement (les CV des gens déjà recrutés par Amazon) comportaient trop peu de femmes et les écartait par défaut. Malgré les tentatives de l’équipe d’Amazon pour réparer le système d’embauche, l’équipe a fini par abandonner le projet, faute d’y parvenir. C’est dire que réparer les défaillances et les biais n’est pas si simple. Les problèmes de discriminations ne se sont pourtant pas arrêtés. La Commission pour l’égalité des chances en matière d’emploi (EEOC, l’agence fédérale américaine chargée de lutter contre la discrimination à l’emploi), poursuit chaque année de nombreuses entreprises qui ont des pratiques d’embauches discriminatoires massives et problématiques.

Vous avez du mal à trouver un emploi ? La faute aux robots recruteurs.
Image extraite d’un article de Hilke Schellmann pour The Guardian.

 

Pour John Jersin, longtemps vice-président de Linkedin, ces problèmes de discrimination invisibles, cachés dans d’autres pratiques ou au fin fond des mots, restent inaperçues des développeurs de systèmes, notamment parce que la réduction des biais évoque d’abord le risque qui affecte certaines catégories de population plutôt que d’autres. Le débiaisage invite à écarter des éléments visibles, comme le genre, les prénoms, les pronoms, les photos… mais n’insiste pas assez sur le fait que les biais peuvent être, par cascade, à plein d’autres endroits. Chez Linkedin, Jersin a construit une équipe d’ingénieurs en IA pour combattre les biais de l’IA. Pour réduire les biais de genre, la solution de Linkedin a été… de mettre encore plus d’IA en utilisant des coefficients de représentativité genrés selon les emplois pour corriger la visibilité des annonces (comme Meta envisage de le faire pour les annonces immobilières). L’exemple montre bien que pour corriger les biais, encore faut-il pouvoir les mesurer, et non seulement mesurer les biais de représentativité, mais également ceux de la diffusion des annonces. Sans compter que ces corrections qui visent à réduire les écarts de performance entre groupes démographiques risquent surtout de produire un “égalitarisme strict par défaut”, qu’une forme d’équité. Le débiaisage laisse ouvertes plusieurs questions : Quelles corrections appliquer ? Comment les rendre visibles ? Jusqu’où corriger ?

Sans compter qu’il faudrait pouvoir corriger toutes les autres formes de discrimination, liées à l’âge ou la couleur de peau… Ou encore des discriminations liées à l’origine géographique des candidats qui permet d’écarter très facilement des candidatures selon leur localisation. Et surtout de la plus prégnante d’entre elles : la discrimination de classe.

Pseudoscience automatisée

Les systèmes d’embauche automatisé reposent principalement sur l’analyse de mots et nous font croire que cette analyse permettrait de prédire la performance au travail, la personnalité des candidats ou l’adéquation entre une offre et un poste. Ces outils de sélection et d’évaluation sont partout promus comme s’ils fournissaient des informations stables, fiables, objectives et équitables, sans jamais se soucier de leur validité scientifique. Pourtant, les vendeurs de ces systèmes n’apportent jamais la moindre preuve de la validité scientifique de leurs solutions.

Pour les chercheurs Mona Sloane, Emanuel Moss et Rumman Chowdhury, ces systèmes reposent surtout sur des pratiques pseudoscientifiques qu’autre chose. Et bien souvent, les évaluations sont prises dans des chaînes de traitement qui impliquent plusieurs types d’outils et de techniques qui rendent leur audit difficile, notamment parce que certains résultats ont des conséquences sur d’autres mesures. Pour les chercheurs, il faudrait revenir aux « racines épistémologiques » des systèmes, c’est-à-dire aux prétentions à la connaissance qu’ils formulent, comme de prétendre que l’analyse des mots d’un CV puisse caractériser la performance au travail. La perspective de déployer des audits pour s’assurer de leur conformité qui ne se limiteraient qu’à des questions d’équité (de genre ou d’âge par exemple) ne peuvent pas corriger les problèmes que génère cette fausse prétention à la connaissance. Or, pour l’instant, sans même parler d’équité, les entreprises ne sont même pas obligées de révéler aux candidats les outils qu’elles mobilisent ni leurs effets. Nous ne connaissons ni la liste des systèmes mobilisés, ni leurs intentions, ni les données utilisées, ni celles utilisées pour la modélisation… L’opacité de l’emploi automatisé s’étend bien plus qu’il ne se résout.

Cambridge Analytica nous a permis de comprendre l’impact du profilage pseudo-psychologique. Dans le domaine du recrutement, on utilise depuis longtemps le profilage psychologique : la graphologie comme les tests psychologiques ont été inventés pour le travail, comme nous l’expliquait le psychologue Alexandre Saint-Jevin. Nombre d’outils tentent de prédire le profil psychologique des candidats, comme Humantic AI ou Crystal. IBM elle-même a longtemps promu une version dédiée de Watson… avant de l’arrêter. L’idée consiste le plus souvent à scanner le profil des candidats pour savoir qui ils sont vraiment, afin de prédire leurs comportements. Le secteur est en plein boom. Il représente quelque 2 milliards de dollars en 2023. Il n’est pourtant rien d’autre que de « l’astrologie de bureau » qui ne produit rien d’autre que de notre propre hallucination.

Pour compléter ces analyses pseudo-psychologiques, de nombreux outils comme Fama, Foley, Ferretly ou Intelligo… aspirent les contenus des médias sociaux (sans demander leur consentement aux candidats) et appliquent sur ces contenus des analyses émotionnelles souvent simplistes, consistant à caractériser positivement ou négativement les mots utilisés, les likes déposés… sans parvenir à distinguer le sarcasme ou l’ironie, comme l’a vécu une employée en recevant 300 pages d’analyse automatisé de son profil par Fama – une pratique qui, en France, rappelle un arrêt de la Cour de cassation, devrait être très encadrée, notamment parce que cette collecte d’informations tiers peut-être déloyale par rapport à l’objet de leur mise en ligne.

Dans ces profilages, les individus sont réduits à des schémas psychologiques simplistes, provenant de personnes qui ont passé ces tests de personnalités et dont les systèmes conservent les profils de réseaux sociaux associés, pour les comparer à ceux de nouveaux candidats dont on ne connaît pas les résultats aux tests de personnalités afin de les déduire par comparaison. Cela conduit bien souvent à produire des corrélations basiques : les fans de Battlestar Galactica sont introvertis, ceux de Lady Gaga extravertis ! Dans son livre, Schellmann teste Humantic sur son profil Twitter et Linked-in. Sur le premier, elle apparaît « autoritaire, énergique et impulsive ». Sur le second, elle est « analytique, prudente et réfléchie » ! Sur le second analysé par Crystal, elle est dite « franche, assurée et agressive » ! Elle fait passer le test à ses étudiants en data science. Ils téléchargent chacun un même CV qui produit des résultats différents ! Contactées suite à ces contradictions, les plateformes ont beau jeu de répondre que l’échantillon est trop faible pour être représentatif… À nouveau, le déni des résultats spécifiques sert toujours à masquer les défaillances systémiques.

Nombre de systèmes usent et abusent de tests psychologiques consistant à faire sens des mots d’un CV. Pourtant, la recherche dans le domaine a montré depuis longtemps que les tests de personnalités peinent à mesurer la performance au travail et que celle-ci a d’ailleurs peu à voir avec la personnalité. 

À défaut de trouver des critères pertinents pour distinguer des candidats souvent assez proches les uns des autres, le recours à la pseudoscience permet d’imaginer des différences ou de recouvrir des discriminations bien réelles d’un vernis socio-culturel.

Schellmann a également testé des outils d’entretiens audio et vidéo comme Hirevue ou Retorio. Ce ne sont déjà plus des outils anodins. 60 des 100 plus grandes entreprises américaines utilisent Hirevue et quelque 50 000 candidats sont auditionnés chaque semaine par le système d’entretien automatisé développé par cette entreprise. Hirevue est peu disert sur le fonctionnement en boîte noire de son système. À ce qu’on en comprend, le système produit plusieurs scores qui tentent d’évaluer la capacité à négocier, à persuader… ou la stabilité émotionnelle. En tentant d’apprécier ce qui est dit et comment il est dit. Mais, comme toujours avec l’analyse émotionnelle, « les outils confondent la mesure avec son interprétation ». Ces outils innovants, démasqués par plusieurs enquêtes, ont pourtant peu à peu coupé certaines de leurs fonctionnalités. Retorio comme Hirevue n’utilisent plus la reconnaissance faciale ni l’analyse du ton de la voix pour analyser l’émotion des candidats, suite à des révélations sur leurs dysfonctionnements (un audit pour Hirevue et une enquête de journalistes allemands pour Retorio qui montrait que le score d’une même personne n’était pas le même selon la manière dont elle était habillée, si elle portait ou non des lunettes ou selon l’arrière-plan qu’elle utilisait). Cela n’empêche pas que leurs réponses, elles, soient scorées sur les mots utilisés selon leur « positivité » ou leur « négativité » (une analyse qui n’est pas sans poser problème non plus, puisque des termes très simples comme juif, féministe ou gay ne sont pas interprétés positivement par ces systèmes d’analyses de langue). Mais le problème n’est pas que là : la retranscription même des propos est parfois déficiente. S’amusant d’obtenir un bon score en anglais sur MyInterview, un système du même type, Schellmann se met alors à parler allemand, sa langue natale… avant de recevoir un transcript généré automatiquement qui transforme son Allemand en pur globish sans grand sens… tout en lui attribuant un très bon score ! De quoi interroger profondément les promesses de tous ces outils qui masquent sous des calculs complexes leurs profondes béances méthodologiques et leurs incapacités à produire autre chose que des leurres. Le problème, c’est que ces leurres peuvent tromper les entreprises qui achètent très chères ces solutions… mais ils trompent d’abord et avant tout les candidats, qui eux, n’ont pas beaucoup de modalités de recours, face à des systèmes bien plus aberrants que fiables.

Les outils automatisés pour l’embauche ne réduisent pas les biais du recrutement. Au mieux, ils les invisibilisent, au pire, ils les amplifient. Derrière leur vernis d’objectivité, ces systèmes produisent surtout une subjectivité cachée, à l’image des innombrables techniques de classements des employés qui ont de plus en plus cours dans les entreprises et que dénonce la journaliste de Marianne, Violaine des Courières, dans son livre, Le management totalitaire (Albin Michel, 2023). Pour assurer une compétition de plus en plus vive, explique-t-elle, on psychiatrise le monde du travail avec du profilage comportemental ou psychique. C’est un peu comme si la course au mérite n’était jamais totalement aboutie, qu’il fallait toujours l’améliorer jusqu’à parvenir à des critères qui ne regardent plus vraiment les compétences mais reposent sur des mesures de plus en plus absconses pour permettre de distinguer des candidats souvent très semblables.

Alors, comment améliorer les choses ?

Selon le chercheur Arvind Narayanan, l’embauche est l’un des pires secteurs pour utiliser l’IA, car ce que ces systèmes doivent prédire n’est pas clair. La productivité, la performance ou la qualité d’un employé ne sont pas des critères faciles à catégoriser. Apporter la preuve que leurs systèmes fonctionnent devrait être la première responsabilité des vendeurs de solutions, en publiant les études scientifiques indépendantes nécessaires, en laissant les entreprises les tester, et en permettant à ceux qui sont calculés d’obtenir des résultats et des explications sur la manière dont ils ont été calculés. Dans le domaine médical, les laboratoires doivent prouver que leurs médicaments fonctionnent avant de pouvoir être mis sur le marché, rappelle-t-il. Ce n’est pas le cas de ces systèmes d’évaluation des candidatures comme de bien des systèmes automatisés utilisés dans le domaine du travail. « Les essais contrôlés randomisés devraient être un standard dans tous les domaines de la prise de décision automatisée », plaide-t-il. Rappelant également la nécessité d’exiger la transparence des données d’entraînement des systèmes. Pas sûr cependant qu’inviter les acteurs du recrutement à inspecter, réformer et transformer leurs pratiques et leurs outils suffise, sans qu’une régulation et une responsabilité plus forte ne s’impose à eux. Sans sanction ni contrôle, les outils du recrutement automatisés ne se réformeront pas d’eux-mêmes. 

Mais encore faut-il pouvoir mieux mesurer et mettre en visibilité leurs défaillances. Pour cela, une autre piste consiste à ce que les recruteurs soient plus transparents sur leurs recrutements et leurs effets : qu’ils produisent des données sur les candidatures et les sélections auxquels ils procèdent, que ce soit sur le genre, l’âge, l’origine ethnique, géographique ou le niveau social. Pour faire reculer les discriminations invisibilisées et amplifiées, il faut que les entreprises soient contraintes à documenter les résultats de leurs sélections comparativement aux candidatures reçues et soient contraintes de documenter le niveau d’exposition et de publicisation de leurs annonces. C’est en ce sens qu’il faut lire les premiers efforts appelant à documenter l’égalité professionnelle… En France, l’index de l’égalité professionnelle n’observe que l’écart de rémunération des hommes et des femmes dans les entreprises de plus de 50 employés (mais sera suivi de la transparence des rémunérations et des salaires d’embauches qui doivent être intégrés par les entreprises d’ici juin 2026). Prolonger cet effort de transparence jusqu’aux systèmes de recrutement en demandant aux entreprises de produire des métriques sur leurs sélections à l’embauche et en automatisant les malus pour les entreprises dont les recrutements sont les plus discriminants par rapport au niveau de candidature reçu, pourrait être un puissant levier pour produire une transparence là où il n’y en a pas. Reste, comme le soulignait la CGT vis-à-vis d’un récent projet de loi contre la discrimination à l’embauche, la simple exposition des entreprises qui ont des pratiques discriminantes et les amendes ne suffiront pas à régler le problème des discriminations systématiques à l’embauche.

Reste que pour en prendre le chemin, il faudrait pourtant inverser la logique à l’œuvre aujourd’hui, où le contrôle s’exerce bien plus sur les candidats à l’emploi, notamment les chômeurs, que sur les pratiques des recruteurs. Celles-ci ne sont pourtant pas sans critiques, comme le soulignait une étude sur les offres d’emploi non pourvues menée par le Comité national CGT des travailleurs privés d’emploi et précaires, dénonçant la désorganisation des offres d’emploi, leur redondance voire le fait que nombres d’entre elles sont légalement problématiques.

Imposer la transparence et auditer les systèmes de recrutement, c’est la politique qu’a tenté d’initier la ville de New York l’année dernière… sans succès. Un article de recherche signé Lara Groves, Jacob Metcalf, Alayna Kennedy, Briana Vecchione et Andrew Strait explique justement pourquoi cette tentative de régulation n’a pas marché ! En juillet 2023, la ville de New York a mis en œuvre un règlement local imposant aux employeurs new-yorkais qui utilisent des outils de recrutement automatisés de les soumettre à des audits indépendants. Cet audit consiste en un audit de biais sur les discriminations raciales et de genres (mais pas sur l’âge ou le handicap) qui doit être publié sur le site web de l’employeur sous forme de ratio d’impact. Le ratio d’impact consiste à mesurer le taux de sélection des candidats selon les différents groupes démographiques, de genre et racial. L’idée est de mesurer la différence entre le niveau de sélection d’un groupe vis-à-vis de celui du groupe le plus sélectionné. Un ratio d’impact de 1,0 signifie que le taux de sélection est parfaitement égal entre les groupes, un ratio d’impact inférieur indique un résultat discriminatoire à l’encontre du groupe le moins sélectionné : plus le résultat est faible et plus il est discriminatoire, donc. Si le taux est inférieur à 0,8 selon les conventions juridiques américaines anti-discrimination, on estime qu’il y a une discrimination de fait (mais cette estimation tient plus d’un compromis arbitraire, car cette limite n’a jamais été concrètement questionnée ou évaluée). Enfin, même si elle prévoit des sanctions, la loi n’impose aucune obligation à un employeur qui découvrirait un impact discriminatoire, celui-ci devant uniquement publier un audit annuel de ses recrutements et de leurs effets.

Dans le tableau, plusieurs colonnes :* Race/Ethnicity Categories * Number Of Applicants * Scoring Rate * Impact Ratio Le contenu du tableau, ligne par ligne : * Hispanic or Latino - 470904 45% 0.89 * White 1457444 46% 0.9 * Black or African American 796447 48% 0.96 * Native Hawaiian or Pacific Islander 14904 45% 0.9 Asian 941554 50% 1.00 Native American or Alaska Native 29612 43% 0.85 Two or More Races 216700 46% 0.92

Dans le tableau ci-dessus, le ratio d’impact publié par une entreprise new-yorkaise montre par exemple que c’est la catégorie des populations autochtones qui sont le plus discriminées par le système de recrutement utilisé par l’entreprise. Image tirée de l’étude Auditing Work.

 

Les chercheurs ont constaté que très peu d’audits ont été rendus publics et aucun référentiel central n’a été créé par le Département de la protection des consommateurs et des travailleurs de la ville de New-York. Les chercheurs ont réussi à collecter seulement 19 audits, ce qui semble bien peu vu le nombre d’entreprises new-yorkaises. L’interview des cabinets chargés d’auditer les systèmes pointe que la loi proposée comportait trop d’imprécisions et laissait trop de marges de manœuvre aux employeurs (ceux-ci pouvant ne pas publier de rapport s’ils évaluaient que les systèmes automatisés n’aidaient pas « substantiellement » leur entreprise à embaucher). Pire, cette transparence ne permet pas vraiment aux candidats non recrutés et potentiellement discriminés d’agir à l’encontre des discriminations qu’ils auraient pu subir. Les chercheurs soulignent également la grande difficulté des auditeurs, à accéder aux données des services qu’utilisent les entreprises, pouvant rendre les audits peu fiables, voire tronqués. Les chercheurs en tirent quelques recommandations. La transparence (bien relative puisqu’elle se limitait ici à des tableaux de chiffres !) sur les discriminations à l’embauche ne suffit pas à produire du changement. Aucun candidat à l’embauche n’a semble-t-il tiré bénéfice de ces informations, et rien n’obligeait les entreprises prises en défaut à prendre des mesures correctives. Les chercheurs recommandent d’élargir le principe aux plateformes et fournisseurs d’outils de recrutement, que les documents de transparence soient collectés centralement et mieux accessibles aux candidats à l’emploi. Pour les chercheurs, les lois sur l’audit doivent également proposer des mesures et des définitions claires et précises. La loi doit également éclaircir les normes qui s’appliquent aux auditeurs plutôt que de leur laisser définir les bonnes pratiques. Enfin, la collecte de données doit être rendue plus fluide d’autant que l’enquête va un peu à l’encontre des principes de confidentialité. Elle doit permettre aux auditeurs de pouvoir mener des évaluations indépendantes, approfondies et significatives.

L’échec de la politique new-yorkaise montre en tout cas que la perspective d’un index de la discrimination automatisée à l’embauche doit être un peu plus organisé qu’il n’a été pour être rendu fonctionnel.

Passer des logiciels de recrutement… aux logiciels de candidature !

Quand on s’intéresse aux défaillances spécifiques et systémiques des outils de recrutement automatisé, le plus étonnant finalement, c’est de constater qu’en tant que société, nous soyons capables d’adopter des outils qui ne fonctionnent pas, des outils foncièrement contraire à l’éthique, profondément discriminants… sans provoquer de réaction de rejet forte du corps social. Cela est certainement lié au fait que les plus discriminés sont habitués à l’être. Ce n’est pas une raison pour s’y résigner ! La zone du recrutement reste un espace sans beaucoup de pouvoir pour les candidats. A ce jour, ils n’ont ni le droit de recevoir des explications ni celui de contester les décisions.

L’AI Act européen promet pourtant d’améliorer le niveau de responsabilité des systèmes de recrutement automatisés, puisque nombre d’entre eux devraient faire partie des systèmes à risque élevé. On verra à l’usage s’il fait progresser la transparence des systèmes, mais, sans règles plus claires, il est probable que les choses évoluent peu, autrement que sous les coups de scandales publics de dysfonctionnements visibles, comme cela a été le cas jusqu’à présent.

Peut-être que la solution pour contrer les défaillances fonctionnelles du recrutement consisterait plutôt à en inverser radicalement la logique à l’œuvre. Et c’est peut-être là que nous pourrions trouver les meilleures perspectives d’évolution.

Jusqu’à présent le monde du recrutement est façonné par une logique qui bénéficie totalement aux recruteurs. Ce n’est pas pour rien qu’on parle d’ailleurs de logiciels de recrutements. Alors peut-être que la solution consiste à passer aux logiciels de candidatures !  Et cette perspective, avec l’arrivée de l’IA générative et des agents intelligents est peut-être plus proche de se réaliser que jamais. Alors que les recruteurs disposent de tout pouvoir, il est possible que les candidats puissent en reconquérir. Comment ?

C’est la piste qu’explore le développeur Hussein Jundi sur Towards Data Science, en imaginant un robot logiciel capable de chercher des postes à sa place – ce qui ne serait déjà pas une mauvaise option tant la recherche sur les sites d’emploi est restée fruste et défaillante (oui, vous aussi, vous recevez des propositions de stages à Paris alors que vous avez une alerte pour des CDI à Nantes !). Mais on pourrait aller plus loin et imaginer un robot capable de candidater à notre place, d’adapter les termes de son CV aux mots clefs des annonces, de démultiplier de façon autonome ses candidatures en produisant des micro-variations sur les termes des compétences recherchées… Hussein Jundi nous suggère finalement une piste très stimulante pour finir de casser un recrutement déficient : doter les utilisateurs de robots capables d’adapter leurs candidatures aux systèmes de tris automatisés que les entreprises utilisent. Il ne propose rien d’autre que d’exploiter et d’amplifier les faiblesses du recrutement automatisé… pour le faire imploser.

Des agents robotiques pour candidater à notre place — Hussein Jundi.

 

Ce que dessine cette perspective, c’est que dans cette course sans fin à l’automatisation, il n’est pas sûr que les entreprises profitent de leurs avantages encore longtemps. À force de ne pas vouloir inspecter et réguler leurs pratiques, il est possible qu’à terme, les utilisateurs les subvertissent. Des logiciels capables de modifier votre profil Linked-in selon l’origine de celui qui le regarde. Des logiciels capables d’adapter vos CV aux annonces, de multiplier les candidatures à un même poste avec des variations de termes de son CV, des logiciels capables d’aller puiser dans les API des systèmes de recrutements pour informer des critères retenus… afin d’améliorer le matching. On pourrait même imaginer des systèmes capables d’inonder de candidatures les systèmes de recrutement pareils à des attaques de déni de services.

Incapable de réformer ses pratiques, le recrutement se moque des candidats. Il est temps que les candidats prennent les recruteurs à leur propre jeu et qu’ils retrouvent du pouvoir d’agir ! Chiche ? On lance une startup ! 😊

MAJ du 14/10/2024 : Les logiciels de candidatures, nous y sommes !

5 / 20

 

  GÉNÉRALISTES
Ballast
Fakir
Interstices
Lava
La revue des médias
Le Grand Continent
Le Monde Diplo
Le Nouvel Obs
Lundi Matin
Mouais
Multitudes
Politis
Regards
Smolny
Socialter
The Conversation
UPMagazine
Usbek & Rica
Le Zéphyr
 
  Idées ‧ Politique ‧ A à F
Accattone
Contretemps
A Contretemps
Alter-éditions
CQFD
Comptoir (Le)
Déferlante (La)
Esprit
Frustration
 
  Idées ‧ Politique ‧ i à z
L'Intimiste
Jef Klak
Lignes de Crêtes
NonFiction
Nouveaux Cahiers du Socialisme
Période
Philo Mag
Terrestres
Vie des Idées
 
  ARTS
Villa Albertine
 
  THINK-TANKS
Fondation Copernic
Institut La Boétie
Institut Rousseau
 
  TECH
Dans les algorithmes
Framablog
Goodtech.info
Quadrature du Net
 
  INTERNATIONAL
Alencontre
Alterinfos
CETRI
ESSF
Inprecor
Journal des Alternatives
Guitinews
 
  MULTILINGUES
Kedistan
Quatrième Internationale
Viewpoint Magazine
+972 mag
 
  PODCASTS
Arrêt sur Images
Le Diplo
LSD
Thinkerview
 
Fiabilité 3/5
Slate
Ulyces
 
Fiabilité 1/5
Contre-Attaque
Issues
Korii
Positivr
Regain
🌞