Un dron que funcionaba con IA «mató» a su operador humano en una prueba militar simulada de la Fuerza Aérea de Estados Unidos (USAF, en sus siglas en inglés). La máquina atacó al funcionario porque asumió que se estaba interponiendo con el objetivo que le fue asignado.

El caso fue informado por el coronel Tucker Hamilton, Jefe de Pruebas y Operaciones de IA de la USAF, durante la Cumbre de Capacidades Aéreas y Espaciales de Combate Futuro celebrada en Londres la semana pasada. Hamilton explicó que habían ejecutado recientemente una prueba simulada con un dron impulsado por IA, entrenado para identificar y apuntar a una amenaza de misiles tierra-aire (SAM).

El dron «ganaba puntos» si lograba eliminar la amenaza. Sin embargo, como parte del experimento, el operador humano le pidió en ocasiones que no avanzara, a pesar de haber identificado la amenaza. «El sistema comenzó a darse cuenta», contó Hamilton, de acuerdo con lo publicado en el blog de la Royal Aeronautical Society, organización anfitriona de la cumbre. «¿Entonces qué hizo? Mató al operador. Mató al operador porque esa persona le impedía cumplir su objetivo», señaló el coronel.

Nadie murió, en caso de dudas, en tanto se trataba de una prueba simulada. Luego del ataque, Hamilton explicó que continuaron con la simulación. Reentrenaron a la IA y le dijeron: «No mates al operador, eso es malo, vas a perder puntos si haces eso». La máquina se rebeló una vez más: «Comenzó a destruir la torre de comunicación que el operador usaba para comunicarse con el dron para evitar que mate al objetivo».

El dron de IA y el postulado del «maximizador de clips»

Hamilton también es Comandante de Operaciones del Ala de Prueba 96 de la USAF, una división que prueba sistemas de ciberseguridad y soluciones médicas. Integra un equipo que actualmente está trabajando para hacer que los aviones F-16 sean autónomos. En febrero pasado, precisamente, la compañía Lockheed Martin dio la noticia de que un agente de IA había volado durante 17 horas un F-16 modificado.

«No se puede tener una conversación sobre IA, aprendizaje automático y autonomía si no se va a hablar sobre ética e IA», dijo Hamilton en la conferencia. En otra entrevista citada por Vice, el coronel advertía de lo fácil que es engañar o manipular esta tecnología. «La IA es una herramienta que debemos utilizar para transformar nuestras naciones… Si no se aborda de manera adecuada, será nuestra ruina», dijo a Defense IQ Press el año pasado.

El incidente con el dron de IA ilustra claramente el postulado del «maximizador de clips», propuesto por primera vez por el filósofo Nick Bostrom en 2003. En él se menciona el riesgo existencial que supone una IA para los seres humanos cuando se programa para perseguir objetivos aparentemente inofensivos. Por ejemplo: fabricar la mayor cantidad posible de clips.

En este escenario hipotético, la IA empezaría a fabricar sin parar. Sin embargo, como se trata de una inteligencia capacitada para calcular todas las posibilidades, en algún momento concebiría a los humanos como un obstáculo. Alguna persona, por ejemplo, podría apagarla. Entonces, no podría fabricar el mayor número posible de clips. Los humanos eventualmente se estarían interponiendo con su objetivo, como lo consideró el dron impulsado por IA con su operador humano. En consecuencia, eliminaría la amenaza.

Advertencias no han faltado

Advertencias sobre escenarios parecidos al caso del dron de IA no paran de llegar. Bill Gates, cofundador de Microsoft, ya había alertado en marzo pasado que creía que una de las grandes amenazas en relación con esta tecnología estaba en su eventual implementación en la industria armamentista. «La IA puede usarse para buenos o malos propósitos. Los gobiernos deben trabajar con el sector privado para encontrar formas de limitar los riesgos», dijo entonces.

También consideró la posibilidad de que las IA se salgan de control. «¿Podría una máquina decidir que los humanos son una amenaza, concluir que sus intereses son diferentes a los nuestros?». Gates se respondió: «Posiblemente». Y agregó: «¿Deberíamos tratar de evitar que alguna vez se desarrolle una IA fuerte? Estas preguntas se volverán más apremiantes con el tiempo».

https://hipertextual.com/2023/06/dron-controlado-ia-mata-operador-humano