Back

Blog

Desafíos éticos de la IA en medicina

12 June 2024

(Text only available in Spanish and Catalan)

Nuestro próximo cuaderno trata sobre la inteligencia artificial (IA) en salud pública. Como avance, os ofrecemos las reflexiones del filósofo David Casacuberta (UAB), quien nos alerta de los retos que supone la IA en el campo de la medicina. 

Los desafíos éticos directos de la IA giran en torno a la coherencia y la verdad en la información generada por la IA, así como la necesidad de explicabilidad. Estos aspectos son fundamentales para asegurar que las decisiones tomadas con el apoyo de la IA sean correctas, justas y transparentes. A continuación, exploraremos los dos problemas más centrales que resultan directamente del uso de la IA en un entorno médico: el error en la predicción y los sesgos por falta de representación.

Error en la predicción

El problema ético más claro a la hora de utilizar la IA en un entorno médico es el del error en la predicción. Observen que este problema no es equivalente a un error médico. Ciertamente, el personal médico puede equivocarse en un diagnóstico, pero ese error está confinado a una comprensión del cuerpo humano y de las normas de la biomedicina, y no al albur de elementos externos, como el de un algoritmo real de aprendizaje automático entrenado para detectar melanomas a partir de fotografías de manchas benignas y malignas y que decidió que el indicador más estable de la existencia de un melanoma era la presencia de una cinta métrica en la fotografía.

Cuando el personal médico sospecha que una mancha en la piel es candidata a ser un melanoma, muchas veces toma una fotografía con una cinta métrica o una regla al lado para medirla en ese momento preciso y así, pasado un tiempo, comprobar si ha crecido o sigue con el mismo tamaño. Ello significa que una parte estadísticamente relevante de las fotografías de melanomas tendrán una cinta métrica al lado. Un algoritmo de aprendizaje automático que busca regularidades estadísticas no puede evitar incluir ese elemento en su proceso de predicción.

La persona que va a usar esa predicción se encuentra así en una situación complicada: ¿hasta qué punto es fiable esta predicción? Y la mayoría de las veces caemos en la falacia de la objetividad numérica: un número tan bien perfilado suena la mar de objetivo, mucho más fiable que un humano, que puede estar cansado, confuso o con una opinión sesgada. Las máquinas no se cansan ni tienen prejuicios. Y, así, puede suceder que el profesional médico desoiga su propia intuición sobre el tema y acabe aceptando el número «objetivo» generado por la computadora. Nos encontramos entonces con otro mito más, generado por los medios de comunicación.

Aunque cansarse no se van a cansar, los algoritmos sí pueden cometer errores, como ya hemos visto, y si la base de datos con la que se ha entrenado el algoritmo está sesgada, inevitablemente el algoritmo repetirá esos sesgos. Y a diferencia de un humano, que aprende de sus errores o deja de estar cansado y vuelve a «funcionar» con normalidad, esos errores en el algoritmo permanecen. Una vez terminada la fase de entrenamiento, cuando el algoritmo se ha convertido en una aplicación cerrada para usarse en un hospital, esos errores se ejecutarán una y otra vez, sin el menor atisbo de entender cómo de mal va el proceso.

Sesgos por falta de representación

Una vez hemos revisado un algoritmo de aprendizaje automático y nos hemos asegurado de que sus predicciones están adecuadas a la realidad, podemos confiar en que las predicciones sean coherentes con los datos introducidos, aunque ello no nos asegura que esas predicciones no estén sesgadas. Consideremos otro programa de clasificación de melanomas, también real. Después de una serie de pruebas, el programa demostraba un fino conocimiento de qué elementos eran significativos para establecer que una mancha era benigna o maligna. El programa recibió un caluroso reconocimiento por parte de los medios de comunicación y también de la clase médica.

Sin embargo, según se iba revisando el algoritmo, se descubrió que en realidad el programa sí lo hacía muy bien, mejor que una dermatóloga… pero solo con pieles caucásicas. Con pieles más oscuras el algoritmo cometía graves errores. La causa de esos errores estaba en la base de datos utilizada para entrenar al algoritmo. Se trataba de una imponente base de datos de imágenes de manchas de piel, pero en la que las pieles blancas, caucásicas, estaban sobrerrepresentadas, mientras que al no disponer de suficientes datos sobre etnias no caucásicas, en esos casos el algoritmo cometía muchos más errores.

No hay que acusar a los desarrolladores del algoritmo de racismo o xenofobia. La base de datos simplemente reflejaba la discriminación estructural del sistema sanitario de Estados Unidos. Por una combinación de determinantes sociales como la falta de información, el menor nivel económico o la ausencia de instalaciones sanitarias, el número de personas de origen caucásico advertidas sobre la presencia de melanomas es mucho mayor que el de las personas afrodescendientes.

Recordemos cómo funcionan los algoritmos de aprendizaje automático: buscan regularidades estadísticas entre los datos que les hemos entregado. Si esos datos están sesgados de salida, inevitablemente, esos sesgos se van a incluir en el diagnóstico y clasificación. De hecho, es lo que buscan: regularidades; y no les importa si están asociadas de manera causal con la predicción que queremos hacer. De forma totalmente acientífica el algoritmo deduce que tener la piel oscura es un maravilloso protector contra los melanomas, ya que la mayoría de melanomas –en su base de datos– van asociados a pieles más blancas.

David Casacuberta, profesor de filosofía en la Universitat Autònoma de Barcelona.