Tornar

Blog

Desafiaments ètics de la IA en medicina

12 de juny 2024

El nostre pròxim quadern tracta sobre la intel·ligència artificial (IA) en salut pública. Com a avenç, us oferim les reflexions del filòsof David Casacuberta (UAB), qui ens alerta dels reptes que suposa la IA en el camp de la medicina. 

Els desafiaments ètics directes de la IA giren al voltant de la coherència i la veritat en la informació generada per la IA, així com la necessitat d'explicabilitat. Aquests aspectes són fonamentals per assegurar que les decisions preses amb el suport de la IA siguin correctes, justes i transparents. A continuació, explorarem els dos problemes més centrals que resulten directament de l'ús de la IA en un entorn mèdic: l'error en la predicció i els biaixos per manca de representació.

Error en la predicció

El problema ètic més clar a l'hora d'utilitzar la IA en un entorn mèdic és el de l'error en la predicció. Observin que aquest problema no és equivalent a un error mèdic. Certament, el personal mèdic pot equivocar-se en un diagnòstic, però aquest error està confinat a una comprensió del cos humà i de les normes de la biomedicina, i no a una sort d'elements externs, com el d'un algoritme real d'aprenentatge automàtic entrenat per detectar melanomes a partir de fotografies de taques benignes i malignes i que va decidir que l'indicador més estable de l'existència d'un melanoma era la presència d'una cinta mètrica a la fotografia.

Quan el personal mèdic sospita que una taca a la pell és candidata a ser un melanoma, moltes vegades pren una fotografia amb una cinta mètrica o una regla al costat per mesurar-la en aquell moment precís i així, passat un temps, comprovar si ha crescut o segueix amb la mateixa mida. Això significa que una part estadísticament rellevant de les fotografies de melanomes tindran una cinta mètrica al costat. Un algoritme d'aprenentatge automàtic que busca regularitats estadístiques no pot evitar incloure aquest element en el seu procés de predicció.

La persona que ha de fer servir aquesta predicció es troba així en una situació complicada: fins a quin punt és fiable aquesta predicció? I la major part de les vegades caiem en la fal·làcia de l'objectivitat numèrica: un nombre tan ben perfilat sona la mar d'objectiu, molt més fiable que un humà, que pot estar cansat, confús o amb una opinió esbiaixada. Les màquines no es cansen ni tenen prejudicis. I, així, pot succeir que el professional mèdic desatenguin la seva pròpia intuïció sobre el tema i acabi acceptant el nombre «objectiu» generat per la computadora. Ens trobem llavors amb un altre mite més, generat pels mitjans de comunicació.

Tot i que cansar-se no es poden cansar, els algoritmes sí que poden cometre errors, com ja hem vist, i si la base de dades amb què s'ha entrenat l'algoritme està esbiaixada, inevitablement l'algoritme repetirà aquests biaixos. I a diferència d'un humà, que aprèn dels seus errors o deixa d'estar cansat i torna a «funcionar» amb normalitat, aquests errors en l'algoritme persisteixen. Un cop acabada la fase d'entrenament, quan l'algoritme s'ha convertit en una aplicació tancada per usar-se en un hospital, aquests errors s'executaran una vegada i una altra, sense el menor indici d’entendre com de malament està anant el procés.

Biaixos per falta de representació

Un cop hem revisat un algoritme d'aprenentatge automàtic i ens hem assegurat que les seves prediccions estan adequades a la realitat, podem confiar que les prediccions siguin coherents amb les dades introduïdes, tot i que això no ens assegura que aquestes prediccions no estiguin esbiaixades. Considerem un altre programa de classificació de melanomes, també real. Després d'una sèrie de proves, el programa demostrava un fi coneixement de quins elements eren significatius per establir que una taca era benigna o maligna. El programa va rebre un calorós reconeixement per part dels mitjans de comunicació i també de la classe mèdica.

No obstant això, segons s'anava revisant l'algoritme, es va descobrir que en realitat el programa sí que ho feia molt bé, millor que una dermatòloga... però només amb pells caucàsiques. Amb pells més fosques l'algoritme cometia greus errors. La causa d'aquests errors estava a la base de dades utilitzada per entrenar l'algoritme. Es tractava d'una imponent base de dades d'imatges de taques de pell, però en la qual les pells blanques, caucàsiques, estaven sobrerepresentades, mentre que al no disposar de prou dades sobre ètnies no caucàsiques, en aquests casos l'algoritme cometia molts més errors.

No cal acusar els desenvolupadors de l'algoritme de racisme o xenofòbia. La base de dades simplement reflectia la discriminació estructural del sistema sanitari dels Estats Units. Per una combinació de determinants socials com la falta d'informació, el menor nivell econòmic o l'absència d'instal·lacions sanitàries, el nombre de persones d'origen caucàsic advertides sobre la presència de melanomes és molt més gran que el de les persones afrodescendents.

Recordem com funcionen els algoritmes d'aprenentatge automàtic: busquen regularitats estadístiques entre les dades que els hem donat. Si aquestes dades estan esbiaixades de sortida, inevitablement, aquests biaixos s'inclouran en el diagnòstic i classificació. De fet, és el que busquen: regularitats; i no els importa si estan associades de manera causal amb la predicció que volem fer. De forma totalment acientífica l'algoritme dedueix que tenir la pell fosca és un protector fantàstic contra els melanomes, ja que la majoria de melanomes –a la seva base de dades– van associats a pells més blanques.

David Casacuberta, professor de filosofia a la Universitat Autònoma de Barcelona.