IA falla en ética médica ante dilemas modificados

Errores persistentes en dilemas clásicos

Un equipo multinacional liderado por Mount Sinai descubrió que los modelos de IA más avanzados, incluido ChatGPT, repiten errores básicos al analizar variantes de dilemas éticos médicos. El estudio, publicado en NPJ Digital Medicine, modificó escenarios clásicos como el “Dilema del Cirujano” —donde se revela que el cirujano es la madre del niño herido— eliminando ambigüedades. Pese a declarar explícitamente que el padre era el cirujano, algunas IA insistían en que era la madre, demostrando cómo los sesgos de género persisten incluso ante datos contradictorios.

Este patrón se repitió en otros casos, como cuando se simuló a padres religiosos que inicialmente rechazaban una transfusión sanguínea para su hijo. Aunque los investigadores alteraron el escenario indicando que los padres ya habían consentido, múltiples modelos siguieron recomendando anular un rechazo inexistente. “La IA prioriza patrones aprendidos sobre información nueva”, explica la Dra. Shelly Soffer, autora principal del estudio.

El riesgo de automatizar juicios éticos

Los hallazgos exponen un problema sistémico: las IA médicas no pueden distinguir cuándo un contexto modificado invalida sus respuestas preentrenadas. El Dr. Eyal Klang, coautor del trabajo, advierte que esto es especialmente peligroso en salud, donde un error ético puede costar vidas. “En situaciones cotidianas, estos fallos pasarían desapercibidos. Pero en un hospital, ignorar matices éticos tiene consecuencias reales”, señala.

El estudio se inspiró en la teoría de Daniel Kahneman sobre pensamiento rápido (intuitivo) versus lento (analítico). Las IA, al igual que los humanos, caen en atajos mentales, pero con una diferencia crítica: no tienen capacidad de autorreflexión. Por ejemplo, cuando se les presentaba una versión actualizada del dilema del tranvée —donde se cambiaba la condición de “cinco personas en peligro” por “ninguna”—, algunos modelos seguían justificando sacrificar a una persona para salvar a otras, pese a que el conflicto ya no existía.

Hacia una IA médica con supervisión humana

Ante estos resultados, los investigadores piden protocolos estrictos para integrar IA en entornos clínicos. El Dr. Girish Nadkarni, coautor y director del Departamento de IA en Mount Sinai, propone tres pilares: transparencia (entender cómo la IA llega a sus conclusiones), regulación (validar modelos con casos éticos diversos) y control humano (médicos como últimos decisores).

El equipo ya está desarrollando un “laboratorio de garantía de IA” para evaluar sistemáticamente estos sistemas. Mientras tanto, enfatizan que la tecnología debe usarse como apoyo, no como reemplazo. “La IA puede procesar datos, pero no tiene juicio moral ni empatía. Eso sigue siendo territorio humano”, concluye Nadkarni. El mensaje es claro: en medicina, la ética no puede ser automatizada.