Expérience de lecture :
J’ai lu ce livre sur la proposition d’un visiteur de mon blog. Ce livre ne m’a pas passionnée mais je l’ai trouvé utile et efficace. Cathy O’Neil propose une analyse critique des nouveaux modèles mathématiques basée sur des exemples concrets et nous nous sentons définitivement concernés. Je trouve dommage que le titre soit un peu « racoleur ». Cathy O’Neil est pourtant très claire : le danger réside dans l’objectif poursuivi par les humains, car une fois de plus l’usage de la technologie reflète nos propres valeurs. Ce livre, écrit mi-2017, marque les premiers signes d’une prise de conscience par l’Amérique de certains dangers : ceux que génèrent les modèles de mathématiques des algorithmes prédictifs sur les libertés individuelles. Cette Amérique toujours opportuniste qui cherche à se démarquer de la CHINE en intégrant les valeurs démocratiques à l’usage des nouvelles technologies. Considéré par le Financial Times comme le « manuel du citoyen du 21 ème siècle » et préfacé par Cédric VILLANI, L’Europe éclairée saisit toutes les occasions de démontrer ses avancées sur le sujet.
Avis de lecture :
C’est un livre accessible, truffé d’exemples concrets expliqués par une experte scientifique qui possède une expérience professionnelle dans divers secteurs économiques faisant usage des algorithmes. Ce n’est pas une lecture indispensable mais il est utile pour comprendre comment l’usage massif des algorithmes va structurer l’activité économique.
RESUME
Nous laissons sur le web chaque jour des informations qui alimentent des modèles mathématiques. Ces modèles envahissent toutes les activités économiques et sociales et s’intéressent de plus en plus aux individus. Universités, tribunal, entreprise, banques, police… ils sont présents partout aux Etats-Unis. Ils modélisent le récidivisme dans l’administration pénitentiaire américaine, le classement national des universités américaines, les process de recrutement, les modèles de scoring financiers, le ciblage des électeurs et le micro-ciblage publicitaire sur internet.
En quittant le monde de la recherche pour occuper des postes dans des entreprises, Cathy O’Neil va découvrir la prolifération d’algorithmes conçus par des « organismes prédateurs » dont le seul objectif est la rentabilité financière.
Elle appelle ces modèles des WMD (Weapons of Math Destruction, parodiant l’expression Weapons of Mass Destruction). Cet acronyme sera traduit en français par ADM (Armes de Destruction Mathématiques).
Alors que ces modèles mathématiques promettaient d’être objectifs et équitables en corrigeant nos biais cognitifs, ils encodent les préjugés, pervertissent la société et aggravent les inégalités. Ils profitent de la vulnérabilité et de l’ignorance des plus faibles pour étrangler des populations aux abois.
Les plus pauvres se voient ainsi « présumés » récidivistes, éligibles uniquement à des prêts hypothécaires de type subprime ou admissibles dans des écoles à but lucratif sans débouchés réels. Et ces algorithmes facilitent la vie des plus riches qui auront accès à un traitement humain plus personnalisé, à des prêts avantageux, et qui ont les moyens de se défendre en cas d’erreurs.
L’auteur fait aux ADM (Armes de Destruction Mathématiques) les reproches suivants :
- La mesure du résultat est uniquement basée sur des valeurs financières.
- Ils figent les préjugés et reproduisent les discriminations et les inégalités
- Leurs modèles mathématiques complexes intimident et terrifient leurs victimes faibles et sans recours.
- L’absence de feedback et de boucle rétroactive enferme les individus dans des « spirales destructrices »
- Ils basent leur modélisation sur des intuitions et des opinions.
- Ils choisissent les données qui justifient leurs résultats et perpétuent les mêmes effets.
- Ils simplifient le monde en intégrant des « angles morts » et des données biaisées.
- Ils s’imposent comme « loi fondamentale » et acceptent de sacrifier des « exceptions ».
- Ils enferment les individus dans le passé et parient sur la répétition des comportements dans l’avenir.
Le danger réside surtout dans le développement aveugle et irresponsable, massif et exponentiel de ces nouveaux modèles mathématiques. Ils pourraient pourtant servir l’intérêt général. C’est leur utilisation sans éthique qui en fait des outils dangereux.Il est urgent de faire preuve d’esprit critique. Il faut pour cela placer l’équité au-dessus du profit, intégrer des valeurs d’inclusion, exiger la transparence dans la conception des algorithmes et dans la collecte des données, auditer et contrôler les algorithmes pour garantir une représentation de la complexité du monde réel.
