El algoritmo autodidacta SKYNET usado para identificar a “probables terroristas” en Pakistán tiene una lógica errada y podría causar muerte de personas inocentes, afirma Patrick Ball, analista de datos y fundador del Grupo del Análisis de Datos para los Derechos Humanos (HRDAG, por sus siglas en inglés) entrevistado por el portal Ars Technica.
Los datos sobre SKYNET surgieron en 2015 en los documentos filtrados por Edward Snowden. El algoritmo vigila la red de teléfonos móviles, recolectando unos 80 parámetros de cerca de 55 millones de pakistaníes. El sistema analiza posteriormente estos datos y los compara con los ejemplos confirmados de comportamiento de terroristas para medir si una persona posee los mismos hábitos y costumbres «sospechosas».
Si el sistema califica a una persona de «terrorista», la NSA puede enviar un dron de combate o una unidad de las fuerzas especiales para eliminarla.
Los fallos de la lógica
Un análisis detallado de la lógica de SKYNET hecho por Patrick Ball concluyó que la fundación científica del modelo autónomo de SKYNET es escasa, y que es «demasiado optimista» confiar en sus deducciones.
La cosa más importante en cualquier sistema autónomo es determinar la base para el análisis. La NSA considera que los hábitos de los terroristas son muy diferentes a los de los ciudadanos regulares, entonces, para educar al algoritmo, se necesita «mostrarle» ejemplos de comportamientos normales y «sospechosos».Aquí surge el problema, dice Ball. Los ejemplos de base para el algoritmo son escasos. De hecho, la NSA utilizó a 7 terroristas conocidos dentro del grupo de 100 mil civiles para «entrenar» el sistema. Introdujeron en el algoritmo a seis sospechosos «de base» y pidieron que el sistema encontrará al séptimo.
Como el algoritmo analizó en una finita cantidad de ejemplos y no fue aprobado de manera independiente debido a la escasez de terroristas reales, SKYNET inherentemente posee una alta tasa de error, opina Ball.
Aunque la NSA trata de disminuir la cantidad de errores, omitiendo la mitad de todos los resultados «positivos» —es decir, personas calificados de terroristas por el algoritmo-, la tasa de falsos positivos sigue resultando de entre 0.008 y 0.18 por ciento.
Tal porcentaje no es nada para un sistema civil: un único error resultaría, por ejemplo, en mostrar una advertencia inútil para un usuario de la red. Pero en el área de la seguridad y dentro de un grupo de 55 mil personas, incluso el resultado más «seguro» de 0.008 por ciento equivale a unas 15 mil personas, cada una de las cuales puede ser tachada de «terrorista» erróneamente.
Además, por la escasez de ejemplos el modelo no toma en cuenta varios tipos de comportamiento de los terroristas, quedando «en ciego» ante los extremistas que cambiaron su modus operandi.Desde el año 2004, los drones de EEUU mataron entre 2.500 y 4.000 personas en Pakistán. Cada una fue calificada de terrorista. El algoritmo SKYNET está operativo desde el 2007, y puede ser responsable de al menos una parte de las decisiones de la NSA.
«No digo que usar SKYNET equivale a un crimen de guerra. Pero si uno tiene que condenar a otro a la muerte, tiene que tener un estándar de ‘sin duda razonable’ en vez de una ‘probabilidad de que sea terrorista'», opina Ball.
Lea más en http://mundo.sputniknews.com/seguridad/20160221/1056996182/nsa-algoritmo-errores.html#ixzz40p3OSkPq