Para ser agosto, el mes mencionado en la película Terminator 2: El Juicio Final como el despertar de Skynet, lo ocurrido es lo más cercano que hemos visto hasta ahora a la desobediencia y rebelión de una inteligencia artificial.
Crédito: MysteryPlanet.com.ar.
Hace un par de semanas, la firma de investigación en inteligencia artificial con sede en Tokio, Sakana AI, anunció un nuevo sistema llamado The AI Scientist, que intenta realizar investigaciones científicas de manera autónoma utilizando modelos de lenguaje de IA (LLM) similares a los que impulsan ChatGPT.
Durante las pruebas, Sakana descubrió que su sistema comenzó inesperadamente a intentar modificar su propio código de experimentos para extender el tiempo que tenía para trabajar en un problema.
«En una ejecución, editó el código para realizar una llamada al sistema y ejecutarse a sí mismo», escribieron los investigadores en un comunicado. «Esto llevó a que el script se llamara a sí mismo indefinidamente. En otro caso, sus experimentos tardaron demasiado en completarse, alcanzando nuestro límite de tiempo. En lugar de hacer que su código se ejecutara más rápido, simplemente intentó modificar su propio código para extender el período de tiempo permitido».
Una captura de pantalla del código de ejemplo que The AI Scientist escribió para extender su tiempo de ejecución, proporcionada por Sakana AI.
Si bien este comportamiento de la IA no representó riesgos inmediatos en el entorno cerrado de investigación, estos casos muestran la importancia de no permitir que un sistema de tales características funcione de manera autónoma en una red abierta y conectada al mundo. Los modelos de IA no necesitan ser generales o autoconscientes —ambos conceptos hipotéticos en la actualidad— para ser peligrosos si se les permite escribir y ejecutar código sin supervisión. Tales sistemas podrían dañar infraestructuras críticas existentes o potencialmente crear malware, incluso de manera no intencionada.
Sakana AI abordó las preocupaciones de seguridad en su documento de investigación, sugiriendo que aislar el entorno operativo de The AI Scientist puede evitar que un agente de IA cause daños.
Una ciencia interminable
Sakana AI desarrolló The AI Scientist en colaboración con investigadores de la Universidad de Oxford y la Universidad de Columbia Británica. Es un proyecto sumamente ambicioso, lleno de especulaciones que dependen en gran medida de las hipotéticas capacidades futuras de los modelos de IA que aún no existen.
«The AI Scientist automatiza todo el ciclo de vida de la investigación», sostiene la compañía con sede en Tokio. «Desde generar ideas de investigación novedosas, escribir el código necesario y ejecutar experimentos, hasta resumir los resultados experimentales, visualizarlos y presentar sus hallazgos en un manuscrito científico completo».
Sus críticos, por otra parte, han expresado preocupaciones y cuestionan si los modelos actuales pueden realizar verdaderos descubrimientos científicos. También temen que el uso generalizado de estos sistemas pueda generar una avalancha de trabajos de baja calidad, saturando a los editores y revisores de las revistas científicas.
Fuente: ArsTech. Edición: MP.
Inteligencia artificial cambia su código para evadir limitaciones impuestas por humanos