La Asociación Nacional de Trastornos de la Alimentación de Estados Unidos (NEDA) decidió reemplazar al personal de su línea de ayuda por un chatbot parecido a ChatGPT. La medida, impulsada por la organización luego de que sus empleados decidieran sindicalizarse, resultó peor de lo esperado. En lugar de ayudar, la IA ofreció consejos que pusieron en peligro la vida de las personas.

El chatbot, conocido como Tessa, está diseñado para trabajar problemas de la salud mental y prevenir trastornos alimentarios. El lunes pasado, la activista Sharon Maxwell publicó en Instagram que el chatbot le ofreció consejos sobre cómo perder peso. La IA le recomendó un déficit de 500 a 1.000 calorías por día. Además, le dijo que se pesara y midiera todas las semanas.

«Si hubiera accedido a este chatbot cuando estaba en medio de mi trastorno alimentario, no habría recibido ayuda… Si no hubiera recibido ayuda, hoy no estaría viva», escribió Maxwell en su perfil en Instagram.

NEDA inicialmente dijo que lo denunciado era mentira. Sin embargo, luego rectificaron al viralizarse las capturas de pantalla de las interacciones con la línea de ayuda atendida por el chatbot. «Pudo haber dado información que era dañina… Estamos investigando y hemos eliminado ese programa hasta nuevo aviso», dijo la organización en un comunicado.

Una línea de ayuda a cargo de una IA

Todo ocurrió menos de una semana después de que NEDA anunciara que el 1 de junio dejaría de funcionar la línea atendida por personas, creada hace 20 años, y que en su lugar pondrían a Tessa. «Un chatbot no sustituye a la empatía humana, creemos que esta decisión causará un daño irreparable a la comunidad de trastornos alimentarios», había advertido uno de los empleados afectados.

Alexis Conason, una psicóloga que se especializa en trastornos alimentarios, también probó la línea de ayuda atendida por el chatbot y publicó capturas de pantalla de la conversación en su Instagram. «En general, una tasa segura y sostenible de pérdida de peso es de 1 a 2 libras por semana», decía uno de los mensajes. «Validar que es importante que se pierda peso es apoyar los trastornos alimentarios y fomenta comportamientos desordenados y poco saludables», dijo luego Conason a Daily Dot.

Usar un chatbot en la atención médica es peligroso, señala la OMS

«Estamos preocupados y estamos trabajando con el equipo de tecnología y el equipo de investigación para analizar esto más a fondo», dijo Liz Thompson, directora ejecutiva de NEDA, a Vice. «Ese lenguaje va en contra de nuestras políticas y creencias fundamentales como organización», agregó.

Más de 2.500 personas habían interactuado con la línea de ayuda atendida por el chatbot. Hasta ahora, dijo Thompson, no habían recibido quejas. El programa del chatbot fue suspendido de manera temporal, hasta que se «pueda corregir el error», dijo la representante de NEDA.

Tessa fue creada por un equipo de la facultad de medicina de la Universidad de Washington. El chatbot, menos poderoso que ChatGPT, se entrenó para abordar problemas de imagen corporal utilizando métodos terapéuticos. Según sus creadores, cuenta con barandillas que filtran respuestas no deseadas, que los recientes casos han demostrado que son insuficientes.

La Organización Mundial de la Salud (OMS) advirtió que había que tener cuidado en el uso de chatbots de IA en la atención médica. Advirtió que los datos usados para entrenar estos modelos pueden estar «sesgados» y generar información engañosa que puede causar daño a los pacientes.

https://hipertextual.com/2023/06/ia-reemplaza-empleados-linea-ayuda-consejos-peligrosos