Le problème des biais dans l'IA en santé

Le biais dans l’IA en santé n’est pas une préoccupation abstraite que les éthiciens débattent lors de conférences. C’est un problème concret de sécurité des patients qui cause des préjudices mesurables aujourd’hui. Comprendre d’où vient ce biais, comment il se manifeste et ce que l’on peut faire à son sujet est essentiel pour quiconque participe au développement, au déploiement ou à la supervision de l’IA en santé.

Exemples concrets de biais de l’IA en santé

Les exemples sont préoccupants et couvrent presque tous les domaines de la médecine. Les oxymètres de pouls — ces petits dispositifs fixés au bout du doigt dans chaque hôpital — ont démontré qu’ils surestiment systématiquement les niveaux d’oxygène dans le sang chez les patients à peau plus foncée, un biais qui a été encodé dans les modèles d’IA entraînés sur leurs résultats et a contribué à des retards de traitement pendant la pandémie de COVID-19. En dermatologie, les outils de diagnostic par IA entraînés majoritairement sur des images de patients à peau claire sont nettement moins performants pour classer les affections cutanées chez les personnes à carnation plus foncée, créant de fait un système à deux vitesses de précision diagnostique fondé sur la race. Le plus tristement célèbre, peut-être : un algorithme largement utilisé pour l’allocation des ressources de santé s’est avéré déprioriser systématiquement les patients noirs, car il utilisait les dépenses de santé comme indicateur du besoin de soins — or, ces dépenses sont elles-mêmes façonnées par des décennies d’accès inégal. En néphrologie, l’ajustement de la formule eGFR de la fonction rénale en fonction de la race signifiait que les patients noirs devaient être plus malades avant de pouvoir prétendre aux listes d’attente de greffe, un biais qui n’a été corrigé que récemment.

Causes profondes : tout commence avec les données

Les causes profondes du biais de l’IA en santé sont multiples et se renforcent mutuellement. Les données d’entraînement sont la source la plus fréquemment citée : si un algorithme apprend à partir de jeux de données qui sous-représentent certaines populations, il sera peu performant pour ces populations. Mais le problème va plus loin. Les étiquettes cliniques elles-mêmes peuvent être biaisées — si les schémas diagnostiques historiques reflètent le biais des cliniciens (comme l’ont montré des études sur l’évaluation de la douleur), alors une IA entraînée à reproduire ces schémas reproduira fidèlement ce biais. Les variables proxy constituent un autre canal insidieux : un algorithme qui utilise le code postal, le type d’assurance ou la langue préférée comme variables d’entrée peut, de fait, utiliser la race ou le statut socio-économique sans jamais inclure explicitement ces variables. Même le choix des métriques de résultats peut introduire un biais : optimiser pour une « précision moyenne » peut masquer des écarts de performance catastrophiques dans les sous-groupes minoritaires.

Pourquoi il s’agit d’une question de sécurité des patients

Il est tentant de présenter le biais de l’IA comme une préoccupation avant tout d’équité, et c’en est certainement une. Mais le reformuler comme une question de sécurité des patients est à la fois plus exact et plus susceptible de susciter l’action. Lorsqu’un algorithme de diagnostic passe à côté de cancers chez les femmes noires deux fois plus souvent que chez les femmes blanches, il s’agit de diagnostics manqués — la même catégorie de préjudice qu’un radiologue qui ne lit pas correctement un cliché. Lorsqu’un modèle de prédiction du risque sous-estime systématiquement la gravité de l’état des patients hispaniques, ces patients reçoivent des soins moins opportuns — la même catégorie de préjudice qu’une erreur de triage. Les cadres de sécurité des patients, les systèmes de signalement des incidents et les méthodologies d’amélioration de la qualité s’appliquent tous directement au biais de l’IA, et les organisations de santé devraient traiter les algorithmes biaisés avec la même urgence qu’elles accordent aux erreurs médicamenteuses ou aux infections nosocomiales.

Solutions et cadres

S’attaquer au biais exige d’agir à chaque étape du cycle de vie de l’IA. Lors de la collecte des données, les équipes doivent auditer la représentativité des jeux de données d’entraînement et chercher activement à combler les lacunes par des partenariats avec des systèmes de santé diversifiés et des organisations communautaires. Lors du développement, les modèles doivent être évalués non seulement sur leur performance globale, mais aussi sur des métriques stratifiées par sous-groupes démographiques, avec des seuils prédéfinis de disparités de performance acceptables. Les techniques d’apprentissage automatique soucieuses de l’équité — notamment le débiaisage antagoniste, les contraintes de calibration et les stratégies de rééchantillonnage — devraient faire partie de la boîte à outils de chaque équipe de développement. Lors du déploiement, une surveillance continue doit suivre les performances entre les populations en temps réel, avec des alertes automatiques lorsque des disparités apparaissent ou s’aggravent. Des cadres comme le NIST AI Risk Management Framework et les directives de l’OMS sur l’éthique et la gouvernance de l’IA pour la santé proposent des approches structurées, mais ils ne fonctionnent que si les organisations s’engagent à les mettre en œuvre plutôt qu’à les citer dans des supports marketing.

La voie à suivre

Le problème des biais dans l’IA en santé ne sera résolu par aucune intervention unique. Il requiert des équipes de développement diversifiées qui apportent des perspectives différentes au processus de conception. Il requiert des organismes de réglementation qui imposent le signalement des performances démographiques. Il requiert des processus d’approvisionnement qui font des métriques d’équité une condition d’achat. Il requiert des champions cliniques qui refusent de déployer des outils sans preuve d’une performance équitable. Et il requiert des patients et des communautés suffisamment informés pour exiger des comptes. La bonne nouvelle, c’est que l’IA, correctement développée, peut en réalité réduire les biais présents dans la prise de décision clinique humaine. Le chemin vers cet avenir passe directement par le travail difficile et ingrat de mesurer, signaler et éliminer les biais des systèmes actuels.