v
Los algoritmos están decidiendo quiénes tendrán oportunidades de vivienda o préstamos financieros. Y el software de pruebas sesgado está obligando a estudiantes de color y estudiantes con discapacidades a lidiar con una mayor ansiedad por temor a que se les excluya de los exámenes o se les señale por hacer trampas. Pero hay otra frontera de la IA y los algoritmos que debería preocuparnos mucho: el uso de estos sistemas en la atención médica y el tratamiento.
El uso de la IA y los sistemas de toma de decisiones algorítmicos en medicina está aumentando, aunque la regulación actual puede ser insuficiente para detectar sesgos raciales perjudiciales en estas herramientas. Los detalles sobre el desarrollo de estas herramientas son en gran parte desconocidos para los médicos y el público, una falta de transparencia que amenaza con automatizar y empeorar el racismo en el sistema de atención médica. La semana pasada, la FDA emitió orientaciones que amplían significativamente el alcance de las herramientas que planea regular. Estas nuevas orientaciones enfatizan que se debe hacer más para combatir los sesgos y promover la equidad en medio del creciente número y el aumento del uso de la IA y las herramientas algorítmicas.
En 2019, un estudio revelador encontró que un algoritmo clínico que muchos hospitales estaban utilizando para decidir qué pacientes necesitaban atención mostraba un sesgo racial: los pacientes negros debían ser considerados mucho más enfermos que los pacientes blancos para ser recomendados para la misma atención. Esto sucedió porque el algoritmo se había entrenado con datos pasados de gastos en atención médica, lo que refleja una historia en la que los pacientes negros tenían menos para gastar en su atención médica en comparación con los pacientes blancos, debido a disparidades de riqueza e ingresos arraigadas. Aunque el sesgo de este algoritmo fue detectado y corregido eventualmente, el incidente plantea la pregunta de cuántas otras herramientas clínicas y médicas pueden ser igualmente discriminatorias.
Otro algoritmo, creado para determinar cuántas horas de ayuda recibirían cada semana los residentes de Arkansas con discapacidades, fue criticado después de realizar recortes extremos en la atención en el hogar. Algunos residentes atribuyeron interrupciones extremas en sus vidas e incluso hospitalizaciones a los recortes repentinos. Una demanda resultante encontró que varios errores en el algoritmo, errores en cómo caracterizaba las necesidades médicas de las personas con ciertas discapacidades, fueron directamente responsables de los recortes inapropiados realizados. A pesar de este clamor, el grupo que desarrolló el algoritmo defectuoso sigue creando herramientas utilizadas en entornos de atención médica en casi la mitad de los estados de EE.UU. y a nivel internacional.
Un estudio reciente encontró que una herramienta de IA entrenada en imágenes médicas, como radiografías y tomografías computarizadas, había aprendido inesperadamente a distinguir la raza autoinformada de los pacientes. Aprendió a hacer esto incluso cuando solo se entrenó con el objetivo de ayudar a los médicos a diagnosticar imágenes de pacientes. La capacidad de esta tecnología para determinar la raza de los pacientes, incluso cuando su médico no puede, podría ser abusada en el futuro, o dirigir inadvertidamente una atención deficiente a las comunidades de color sin ser detectado o intervenido.
Algunos algoritmos utilizados en el ámbito clínico están gravemente subregulados en los Estados Unidos. El Departamento de Salud y Servicios Humanos de los EE.UU. (HHS, por sus siglas en inglés) y su subagencia, la Administración de Alimentos y Medicamentos (FDA, por sus siglas en inglés), tienen la tarea de regular los dispositivos médicos, que van desde un depresor lingual hasta un marcapasos y ahora, sistemas médicos de IA. Si bien algunos de estos dispositivos médicos (incluida la IA) y herramientas que ayudan a los médicos en el tratamiento y diagnóstico están regulados, otras herramientas algorítmicas de toma de decisiones utilizadas en entornos clínicos, administrativos y de salud pública, como las que predicen el riesgo de mortalidad, la probabilidad de readmisión y las necesidades de atención en el hogar, no están obligadas a ser revisadas o reguladas por la FDA ni por ningún organismo regulador.
Esta falta de supervisión puede llevar a que algoritmos sesgados sean ampliamente utilizados por hospitales y sistemas de salud pública estatales, contribuyendo a una mayor discriminación contra pacientes negros y latinos, personas con discapacidades y otras comunidades marginadas. En algunos casos, esta falta de regulación puede llevar a dinero desperdiciado y vidas perdidas. Una herramienta de IA, desarrollada para detectar la sepsis temprano, es utilizada por más de 170 hospitales y sistemas de salud. Pero un estudio reciente reveló que la herramienta no logró predecir esta enfermedad potencialmente mortal en el 67 por ciento de los pacientes que la desarrollaron, y generó falsas alertas de sepsis en miles de pacientes que no la tenían. Reconociendo que este fallo fue el resultado de una subregulación, las nuevas pautas de la FDA señalan a estas herramientas como ejemplos de productos que ahora regulará como dispositivos médicos.
El enfoque de la FDA para regular medicamentos, que implica datos compartidos públicamente que son examinados por paneles de revisión para efectos y eventos adversos, contrasta con su enfoque para regular la IA médica y las herramientas algorítmicas. Regular la IA médica presenta un problema novedoso y requerirá consideraciones diferentes de las aplicables a los dispositivos hardware que la FDA está acostumbrada a regular. Estos dispositivos incluyen oxímetros de pulso, termómetros térmicos y electrodos para el cuero cabelludo, cada uno de los cuales se ha descubierto que refleja un sesgo racial o étnico en su funcionamiento en subgrupos. La noticia de estos sesgos subraya aún más lo crucial que es regular adecuadamente estas herramientas y asegurarse de que no perpetúen el sesgo contra grupos raciales y étnicos vulnerables.
Aunque la FDA sugiere que los fabricantes de dispositivos prueben sus dispositivos en busca de sesgos raciales o étnicos antes de ponerlos en el mercado general, este paso no es obligatorio. Quizás más importante que las evaluaciones después de desarrollar un dispositivo es la transparencia durante su desarrollo. Un estudio de STAT+ News encontró que muchas herramientas de IA aprobadas o autorizadas por la FDA no incluyen información sobre la diversidad de los datos en los que se entrenó la IA, y que el número de estas herramientas que se están autorizando está aumentando rápidamente. Otro estudio encontró que las herramientas de IA “diagnosticaron consistentemente y selectivamente a poblaciones de pacientes desatendidas”, encontrando que la tasa de subdiagnóstico era mayor para las comunidades marginadas que tienen un acceso desproporcionadamente limitado a la atención médica. Esto es inaceptable cuando estas herramientas pueden tomar decisiones que tienen consecuencias de vida o muerte.
El tratamiento equitativo por parte del sistema de atención médica es un problema de derechos civiles. La pandemia de COVID-19 ha puesto al descubierto las muchas formas en que las desigualdades sociales existentes producen inequidades en la atención médica; una realidad compleja que los humanos pueden intentar comprender, pero que es difícil de reflejar con precisión en un algoritmo. La promesa de la IA en la medicina era que podría ayudar a eliminar el sesgo de una institución profundamente sesgada y mejorar los resultados de la atención médica; en cambio, amenaza con automatizar este sesgo.
Se necesitan cambios en las políticas y colaboración entre actores clave, incluidos reguladores estatales y federales, grupos y organizaciones médicas, de salud pública y de defensa clínica, para abordar estas lagunas e ineficiencias. Para empezar, como se detalla en un nuevo documento blanco de la ACLU:
Se debería requerir la divulgación pública de información demográfica.
La FDA debería exigir una evaluación del impacto de cualquier diferencia en el rendimiento del dispositivo por subgrupo racial o étnico como parte del proceso de autorización o aprobación.
Las etiquetas de los dispositivos deberían reflejar los resultados de esta evaluación de impacto.
La FTC debería colaborar con el HHS y otros organismos federales para establecer mejores prácticas que los fabricantes de dispositivos no regulados por la FDA deberían seguir para reducir el riesgo de sesgo racial o étnico en sus herramientas.
En lugar de enterarse de los sesgos raciales y étnicos incrustados en algoritmos y dispositivos clínicos y médicos a través de publicaciones explosivas que revelan lo que equivale a una negligencia médica y clínica, el HHS y la FDA, así como otros actores interesados, deben trabajar para asegurarse de que el racismo médico se convierta en una reliquia del pasado en lugar de una certeza del futuro.
Vía: Hipertextual
Nota del editor: Por eso también hay que supervisar con qué información y qué personal se están programando las inteligencias artificiales :/
