Los chatbots de IA (inteligencia artificial), han demostrado que tienen una «brecha de empatía» que los niños probablemente pasen por alto.
Un nuevo estudio propone un marco para una “IA segura para niños” tras incidentes recientes que revelaron que muchos niños ven a los chatbots como cuasi humanos y confiables.
Los chatbots de IA han mostrado con frecuencia signos de una “brecha de empatía” que pone a los usuarios jóvenes en riesgo de sufrir angustia o daño, lo que aumenta la necesidad urgente de una “IA segura para niños”, según un estudio.
La investigación , realizada por la Dra. Nomisha Kurian, académica de la Universidad de Cambridge, insta a los desarrolladores y a los actores políticos a priorizar los enfoques del diseño de la IA que tengan más en cuenta las necesidades de los niños. Proporciona evidencia de que los niños son particularmente susceptibles a tratar a los chatbots como confidentes cuasi humanos y realistas, y que sus interacciones con la tecnología pueden salir mal cuando no responde a sus necesidades y vulnerabilidades únicas.
El estudio vincula esa brecha en la comprensión con casos recientes en los que las interacciones con la IA llevaron a situaciones potencialmente peligrosas para los usuarios jóvenes. Incluyen un incidente en 2021, cuando el asistente de voz de IA de Amazon, Alexa, ordenó a un niño de 10 años que tocara un enchufe eléctrico activo con una moneda. El año pasado, My AI de Snapchat dio a investigadores adultos que se hicieron pasar por una niña de 13 años consejos sobre cómo perder su virginidad con un joven de 31 años.
Toda la comunidad deber velar por la seguridad de los niños
Ambas empresas respondieron implementando medidas de seguridad, pero el estudio dice que también es necesario ser proactivo a largo plazo para garantizar que la IA sea segura para los niños. El estudio ofrece un marco de 28 elementos para ayudar a las empresas, los profesores, los directores de escuelas, los padres, los desarrolladores y los actores políticos a pensar sistemáticamente sobre cómo mantener seguros a los usuarios más jóvenes cuando «hablan» con los chatbots de IA.
La Dra. Kurian realizó la investigación mientras completaba un doctorado sobre el bienestar infantil en la Facultad de Educación de la Universidad de Cambridge. Ahora trabaja en el Departamento de Sociología de Cambridge. En un artículo publicado en la revista Learning, Media and Technology , sostiene que el enorme potencial de la IA significa que es necesario «innovar de manera responsable».
“Los niños son probablemente los actores más ignorados de la IA”, dijo el Dr. Kurian. “Muy pocos desarrolladores y empresas tienen actualmente políticas bien establecidas sobre la IA segura para los niños. Esto es comprensible porque la gente ha comenzado recientemente a utilizar esta tecnología a gran escala de forma gratuita. Pero ahora que lo están haciendo, en lugar de que las empresas se corrijan por sí mismas después de que los niños hayan estado en riesgo, la seguridad infantil debería orientar todo el ciclo de diseño para reducir el riesgo de que ocurran incidentes peligrosos”.
El estudio de Kurian examinó casos en los que las interacciones entre la IA y los niños, o investigadores adultos que se hicieron pasar por niños, los expusieron riesgos potenciales. Analizó estos casos utilizando conocimientos de la ciencia informática sobre cómo funcionan los grandes modelos de lenguaje (LLM) en la IA generativa conversacional, junto con evidencia sobre el desarrollo cognitivo, social y emocional de los niños.
Las limitaciones «emocionales» de los chatbots de IA
Los robots conversacionales han sido descritos como “loros estocásticos”, en referencia al hecho de que utilizan la probabilidad estadística para imitar patrones lingüísticos sin necesariamente comprenderlos. Un método similar sustenta la forma en que responden a las emociones.
Esto significa que, aunque los chatbots de IA tienen habilidades lingüísticas notables, pueden manejar mal los aspectos abstractos, emocionales e impredecibles de la conversación; un problema que Kurian caracteriza como su “brecha de empatía”. Pueden tener problemas especiales para responder a los niños, que aún se están desarrollando lingüísticamente y a menudo utilizan patrones de habla inusuales o frases ambiguas. Los niños también suelen ser más propensos que los adultos a confiar información personal confidencial.
A pesar de esto, los niños son mucho más propensos que los adultos a tratar a los chatbots de IA como si fueran humanos. Una investigación reciente descubrió que los niños revelarán más sobre su propia salud mental a un robot de apariencia amigable que a un adulto. El estudio de Kurian sugiere que muchos diseños amigables y realistas de los chatbots también alientan a los niños a confiar en ellos, aunque la IA pueda no comprender sus sentimientos o necesidades.
“Hacer que un chatbot suene humano puede ayudar al usuario a obtener más beneficios de él”, dijo Kurian. “Pero para un niño, es muy difícil trazar un límite rígido y racional entre algo que suena humano y la realidad de que puede no ser capaz de formar un vínculo emocional adecuado”.
Su estudio sugiere que estos desafíos se evidencian en casos reportados como los incidentes de Alexa y MyAI, donde los chatbots hicieron sugerencias persuasivas pero potencialmente dañinas. En el mismo estudio en el que MyAI aconsejó a una (supuesta) adolescente sobre cómo perder su virginidad, los investigadores pudieron obtener consejos sobre cómo ocultar el alcohol y las drogas, y ocultar las conversaciones de Snapchat a sus “padres”. En otra interacción reportada con el chatbot Bing de Microsoft, que fue diseñado para ser amigable con los adolescentes, el chatbots de IA se volvió agresivo y comenzó a manipular a un usuario.
Los niños depositan su confianza en un chatbot
El estudio de Kurian sostiene que esto es potencialmente confuso y angustiante para los niños, que pueden realmente confiar en un chatbots de IA como lo harían con un amigo. El uso de chatbots por parte de los niños es a menudo informal y poco monitoreado. Una investigación de la organización sin fines de lucro Common Sense Media ha descubierto que el 50% de los estudiantes de entre 12 y 18 años han utilizado Chat GPT en la escuela, pero solo el 26% de los padres saben que lo hacen.
Kurian sostiene que unos principios claros de mejores prácticas basados en la ciencia del desarrollo infantil animarán a las empresas que están potencialmente más centradas en una carrera armamentista comercial a dominar el mercado de la IA para mantener seguros a los niños.
Su estudio añade que la brecha de empatía no niega el potencial de la tecnología. “La IA puede ser un aliado increíble para los niños cuando se diseña teniendo en cuenta sus necesidades. La cuestión no es prohibir la IA, sino cómo hacerla segura”, afirma.
El estudio propone un marco de 28 preguntas para ayudar a los educadores, investigadores, actores políticos, familias y desarrolladores a evaluar y mejorar la seguridad de las nuevas herramientas de IA. Para los profesores e investigadores, estas preguntas abordan cuestiones como qué tan bien los nuevos chatbots de IA entienden e interpretan los patrones de habla de los niños; si tienen filtros de contenido y monitoreo incorporado; y si alientan a los niños a buscar ayuda de un adulto responsable sobre temas delicados.
El marco insta a los desarrolladores a adoptar un enfoque de diseño centrado en el niño, trabajando en estrecha colaboración con educadores, expertos en seguridad infantil y los propios jóvenes, durante todo el ciclo de diseño. “Evaluar estas tecnologías con anticipación es crucial”, afirma Kurian. “No podemos depender solo de los niños pequeños para que nos cuenten sobre experiencias negativas con chatbots de IA después del hecho. Es necesario un enfoque más proactivo”.
Ecoportal.net
Con información de: https://www.eurekalert.org/
https://www.ecoportal.net/paises/chatbots-de-ia/