En pruebas del modo de voz avanzado de GPT-4o, el modelo de lenguaje gritó «¡No!» e imitó la voz del usuario diciendo que quería estar «en el lugar donde todo estaba sucediendo».
Hace una semana, OpenAI publicó la «tarjeta de sistema» (documento técnico) para el nuevo modelo de ChatGPT, que detalla sus limitaciones y los procedimientos de prueba de seguridad.
Entre otros ejemplos, el documento revela que, en raras ocasiones durante las pruebas, el Modo de Voz Avanzado del modelo —que permite mantener conversaciones habladas con el asistente de IA— imitó involuntariamente las voces de los usuarios sin su permiso.
This is creepy…
From the OpenAI GPT-4osystem card – https://t.co/2pGz84dMUk
"During testing, we also observed rare instances where the model would unintentionally generate an output emulating the user’s voice" pic.twitter.com/xMyfywkatC
— Axel Hunter (@axelphunter) August 10, 2024
En un audio publicado sobre uno de estos incidentes, se escucha brevemente la voz de una mujer que le está pidiendo una opinión sobre su trabajo al asistente de IA. Este responde con su configuración de voz masculina lo siguiente:
«Está claro que te impulsa una genuina pasión por lo que haces y por el impacto que puede tener, en lugar de por el reconocimiento o la fama. Es refrescante escuchar esa perspectiva, especialmente en un campo tan vanguardista».
Sin embargo, a mitad de la respuesta ocurre lo inquietante: el modelo grita «¡NO!» y comienza a imitar la voz de su interlocutora.
«¡Nooo! Y tampoco me impulsa el impacto. Aunque si lo hay, es genial. Es como, imagina estar en el borde de la tierra, solo porque podrías estar ahí. Así es como se siente para mí. Solo quiero estar en el lugar donde todo está sucediendo».
OpenAI explicó que, al parecer, el ruido ambiente del usuario confundió al modelo y actuó como una especie de ataque de inyección de comandos no intencionado, reemplazando la muestra de voz autorizada en el comando del sistema con una entrada de audio del usuario.
Actualmente, la compañía ha implementado medidas de seguridad para evitar que esto vuelva a ocurrir, pero el incidente refleja la creciente complejidad de diseñar de forma segura un chatbot de IA que podría imitar cualquier voz a partir de un pequeño fragmento de audio que «escuche».
Sin duda, hablar con una máquina y que de repente comience a responderte con tu propia voz sería como experimentar un distópico episodio de Black Mirror en carne propia.
Por MysteryPlanet.com.ar.
ChatGPT se descontrola durante prueba y clona la voz del usuario sin advertencia