El sesgo en la IA sanitaria no es una preocupación abstracta para que los especialistas en ética debatan en conferencias. Es un problema concreto de seguridad del paciente que está causando un daño medible hoy. Comprender de dónde proviene este sesgo, cómo se manifiesta y qué se puede hacer al respecto es esencial para cualquier persona involucrada en el desarrollo, despliegue o supervisión de la IA en la atención sanitaria.
Ejemplos reales de sesgo de la IA en la atención sanitaria
Los ejemplos son aleccionadores y abarcan casi todos los dominios de la medicina. Se ha demostrado que los pulsioxímetros —los pequeños dispositivos que se enganchan en las yemas de los dedos en todos los hospitales— sobreestiman sistemáticamente los niveles de oxígeno en sangre en pacientes de piel más oscura, un sesgo que quedó codificado en modelos de IA entrenados con sus salidas y que contribuyó a un tratamiento tardío durante la pandemia de COVID-19. En dermatología, las herramientas diagnósticas de IA entrenadas predominantemente con imágenes de pacientes de piel clara rinden significativamente peor al clasificar afecciones cutáneas en personas con tonos de piel más oscuros, creando de hecho un sistema de dos niveles de precisión diagnóstica basado en la raza. Quizás de la manera más infame, se descubrió que un algoritmo ampliamente utilizado para asignar recursos sanitarios despriorizaba sistemáticamente a los pacientes negros porque usaba el gasto sanitario como proxy de la necesidad sanitaria, y el gasto está moldeado en sí mismo por décadas de acceso desigual. En nefrología, el ajuste basado en la raza de la fórmula del eGFR para la función renal significaba que los pacientes negros tenían que estar más enfermos antes de calificar para las listas de espera de trasplante, un sesgo que solo recientemente se ha abordado.
Causas de fondo: comienza con los datos
Las causas de fondo del sesgo de la IA en la atención sanitaria son múltiples y se refuerzan entre sí. Los datos de entrenamiento son la fuente citada con mayor frecuencia: si un algoritmo aprende de conjuntos de datos que subrepresentan a ciertas poblaciones, rendirá mal en esas poblaciones. Pero el problema es más profundo. Las propias etiquetas clínicas pueden estar sesgadas: si los patrones diagnósticos históricos reflejan el sesgo del clínico (como han demostrado los estudios sobre la evaluación del dolor), entonces una IA entrenada para replicar esos patrones reproducirá fielmente el sesgo. Las variables proxy presentan otro canal insidioso: un algoritmo que usa el código postal, el tipo de seguro o la preferencia de idioma como características de entrada puede estar usando de hecho la raza o el estatus socioeconómico sin incluir nunca explícitamente esas variables. Incluso la elección de las métricas de resultado puede introducir sesgo: optimizar para la “precisión promedio” puede enmascarar brechas catastróficas de rendimiento en subgrupos minoritarios.
Por qué esto es una cuestión de seguridad del paciente
Es tentador enmarcar el sesgo de la IA principalmente como una preocupación de equidad o justicia, y ciertamente lo es. Pero reformularlo como una cuestión de seguridad del paciente es a la vez más preciso y más probable que impulse la acción. Cuando un algoritmo diagnóstico pasa por alto cánceres en mujeres negras al doble de la tasa que lo hace en mujeres blancas, esos son diagnósticos perdidos: la misma categoría de daño que un radiólogo que no lee una radiografía correctamente. Cuando un modelo de predicción de riesgo subestima sistemáticamente la gravedad de los pacientes hispanos, esos pacientes reciben una atención menos oportuna: la misma categoría de daño que un error de triaje. Los marcos de seguridad del paciente, los sistemas de notificación de incidentes y las metodologías de mejora de la calidad se aplican todos directamente al sesgo de la IA, y las organizaciones sanitarias deberían tratar los algoritmos sesgados con la misma urgencia que aportan a los errores de medicación o las infecciones intrahospitalarias.
Soluciones y marcos
Abordar el sesgo requiere acción en cada etapa del ciclo de vida de la IA. Durante la recopilación de datos, los equipos deben auditar los conjuntos de datos de entrenamiento en cuanto a su representatividad y buscar activamente llenar los vacíos a través de asociaciones con sistemas de salud y organizaciones comunitarias diversas. Durante el desarrollo, los modelos deben evaluarse no solo en cuanto al rendimiento general, sino en cuanto a métricas estratificadas a través de subgrupos demográficos, con umbrales predefinidos para disparidades de rendimiento aceptables. Las técnicas de aprendizaje automático conscientes de la equidad —incluyendo el desesgo adversarial, las restricciones de calibración y las estrategias de remuestreo— deberían formar parte del conjunto de herramientas de todo equipo de desarrollo. Durante el despliegue, el monitoreo continuo debe rastrear el rendimiento a través de las poblaciones en tiempo real, con alertas automatizadas cuando surjan o se amplíen disparidades. Marcos como el Marco de Gestión de Riesgos de IA del NIST y la guía de la OMS sobre ética y gobernanza de la IA para la salud proporcionan enfoques estructurados, pero solo funcionan si las organizaciones se comprometen a implementarlos en lugar de citarlos en materiales de marketing.
El camino a seguir
El problema del sesgo en la IA sanitaria no se resolverá con ninguna intervención única. Requiere equipos de desarrollo diversos que aporten diferentes perspectivas al proceso de diseño. Requiere organismos reguladores que exijan la presentación de informes de rendimiento demográfico. Requiere procesos de adquisición que conviertan las métricas de equidad en una condición de compra. Requiere defensores clínicos que se nieguen a desplegar herramientas sin evidencia de un rendimiento justo. Y requiere pacientes y comunidades suficientemente informados como para exigir rendición de cuentas. La buena noticia es que la IA, desarrollada adecuadamente, puede en realidad reducir los sesgos presentes en la toma de decisiones clínicas humanas. El camino hacia ese futuro pasa directamente por el trabajo arduo y poco glamoroso de medir, informar y eliminar los sesgos en los sistemas de hoy.
Lo que opinan nuestros expertos
"El sesgo en la IA sanitaria no es hipotético: está documentado, medido y causando daño ahora mismo. Los datos de la pulsioximetría por sí solos deberían ser una llamada de atención: dispositivos que sobreestiman sistemáticamente los niveles de oxígeno en pacientes de piel oscura contribuyeron a un tratamiento tardío durante la COVID-19. Todo sistema de IA construido sobre datos sesgados hereda y a menudo amplifica estas inequidades."
"Las raíces técnicas del sesgo están bien comprendidas: distribuciones de entrenamiento sesgadas, ruido en las etiquetas derivado de la práctica clínica sesgada, y variables proxy que codifican la raza o el estatus socioeconómico. Las soluciones también se conocen: evaluación estratificada, restricciones de equidad, modelado causal. La brecha no es de conocimiento, es de implementación. La mayoría de los equipos lanzan modelos sin haber ejecutado nunca un análisis por subgrupos."
"Esto es una cuestión de liderazgo, no solo técnica. Si tu proveedor de IA no puede mostrarte métricas de rendimiento desglosadas por raza, edad, sexo y estatus socioeconómico, no compres su producto. Punto. El mercado solo arreglará esto cuando los compradores lo exijan, y los líderes sanitarios deben ser esos compradores exigentes."
"Planteo el sesgo como una cuestión de seguridad del paciente en cada conversación de directorio, porque es exactamente eso. Un algoritmo diagnóstico que funciona bien para hombres blancos y mal para mujeres negras no solo es injusto: es clínicamente peligroso. Cuando los líderes entienden que el sesgo es un defecto de seguridad, no un argumento político, asignan recursos para corregirlo."
¿Listo para Prepararte en IA?
Únete a nuestro Programa de Aprendizaje de IA diseñado específicamente para profesionales de la salud. Desde sesiones de 1 hora hasta inmersiones profundas integrales.