maestroviejo

Al examinar la actividad cerebral de una persona, esta inteligencia artificial (IA) puede producir una canción que coincida con el género, el ritmo, el estado de ánimo y la instrumentación de la música que la persona escuchó recientemente.

Crédito: MysteryPlanet.com.ar.

Científicos han «reconstruido» previamente otros sonidos a partir de la actividad cerebral, como el habla humana, el canto de los pájaros y los relinchos de los caballos. Sin embargo, pocos estudios han intentado recrear música a partir de señales cerebrales.

Ahora, los investigadores han construido un sistema basado en IA, llamado Brain2Music, que aprovecha los datos de imágenes cerebrales para generar música que se asemeja a fragmentos cortos de canciones que una persona estaba escuchando cuando se escaneó su cerebro.

Para lograr esto, se utilizaron escaneos cerebrales recopilados previamente a través de una técnica llamada resonancia magnética funcional (fMRI) —que rastrea el flujo de sangre rica en oxígeno al cerebro para ver qué regiones están más activas—, aplicada a cinco participantes mientras escuchaban clips de música de 15 segundos que abarcaban una variedad de géneros, incluidos blues, música clásica, country, disco, hip-hop, jazz y pop.

IA que «lee la mente»

Usando una porción de los datos de imágenes cerebrales y fragmentos de canciones, los investigadores llevaron a cabo un entrenamiento inicial de un programa de IA para identificar conexiones entre las características de la música, tales como los instrumentos utilizados, su género, ritmo y estado de ánimo, y las señales cerebrales de los participantes. Gracias a este proceso, lograron categorizar el estado de ánimo de la música empleando etiquetas como feliz, triste, tierno, emocionante, enojado o aterrador.

La IA se personalizó para cada persona, estableciendo vínculos entre sus patrones únicos de actividad cerebral y varios elementos musicales.

Gráfico que muestra la cadena de procesos involucrados desde el escaneo del cerebro hasta la reproducción de la música generada por IA. Crédito: A. Agostinelli et al.

Después de ser entrenada en una selección de datos, la IA podría convertir los datos de imágenes cerebrales restantes, nunca antes vistos, en una forma que representara elementos musicales de los clips de canciones originales. Luego, los investigadores introdujeron esta información en otro modelo de IA desarrollado por Google, llamado MusicLM —que sirve para generar música a partir de descripciones de texto—.

MusicLM usó la información para generar clips musicales que se pueden escuchar en línea y se parecían con bastante precisión a los fragmentos de canciones originales, aunque la IA capturó algunas características de las melodías originales mucho mejor que otras.

«La coincidencia, en términos del estado de ánimo de la música reconstruida y la música original, fue de alrededor del 60 %», dijo Timo Denk, ingeniero de software de Google en Suiza y coautor del estudio publicado recientemente en la base de datos de preimpresión arXiv.

Espectrogramas de diferentes clips de música. La columna más a la izquierda contiene el estímulo al que fueron expuestos los sujetos. A la derecha está la música recuperada de FMA y tres clips muestreados de MusicLM. Es visualmente perceptible que los espectrogramas en la misma fila parecen similitudes. Crédito: T.I. Denk et al.

El género y la instrumentación en la música original y reconstruida coincidieron significativamente más a menudo de lo que se esperaría por casualidad. De todos los géneros, la IA pudo distinguir con mayor precisión la música clásica.

«El método es bastante sólido en los cinco temas que evaluamos», añadió Denk. «Si tomas a una persona nueva y entrenas un modelo para ella, es probable que también funcione bien».

El significado de las canciones

«En última instancia, el objetivo de este trabajo es arrojar luz sobre cómo el cerebro procesa la música», afirmó el coautor Yu Takagi, profesor asistente de neurociencia computacional e IA en la Universidad de Osaka en Japón.

Como era de esperar, el equipo descubrió que escuchar música activaba regiones del cerebro en la corteza auditiva primaria, donde las señales de los oídos se interpretan como sonidos. Otra región del cerebro, llamada corteza prefrontal lateral, parece ser importante para procesar el significado de las canciones, pero esto debe confirmarse con más investigaciones —también se sabe que esta región del cerebro está involucrada en la planificación y la resolución de problemas—.

Curiosamente, un estudio anterior encontró que la actividad de diferentes partes de la corteza prefrontal cambia drásticamente cuando los raperos improvisan.

Los estudios futuros podrían explorar cómo el cerebro procesa la música de diferentes géneros o estados de ánimo, señaló Takagi. El equipo también espera explorar si la IA podría reconstruir la música que las personas solo imaginan en sus cabezas, en lugar de escuchar realmente.

Fuente: arXiv/Live Sci. Edición: MP.