La Paradoja de Polanyi o el problema de la Caja Negra
Brian Subirana, director de Inteligencia Artificial del Massachusetts Institute of Technology (MIT), explicaba en 2019 que, cuando su equipo desarrollaba una aplicación de IA, esta requería mucha actividad de prueba y error hasta conseguir que funcionara razonablemente bien; hasta el punto de que, una vez se obtenía ese buen funcionamiento, el equipo no podía explicar “por qué ahora funciona, y antes no lo hacía”.
La paradoja de Polanyi2 se refiere a que los humanos somos capaces de hacer cosas que no sabemos explicar.
El saxofonista que ejecuta una maravillosa improvisación; el futbolista que, regateando de forma increíble a cinco defensas, completa su proeza marcando un gol; el conductor que cambia de carril en la autopista porque adivina que el camionero que va por su derecha va a hacerlo sin usar el intermitente… Son habilidades que se adquieren con la práctica, y no a partir de un aprendizaje metódico o unas instrucciones muy concretas, y que no son fácilmente explicables a posteriori.
En el ámbito de la IA, este fenómeno recibe el apelativo de caja negra: algunas aplicaciones de IA aprenden en base a los datos que se les proporciona, toman sus conclusiones y ofrecen sus resultados, sin explicar cómo lo han hecho. Y ello puede representar algunos problemas para la compañía que toma y ejecuta decisiones basadas en el uso de aplicaciones de IA.
Porque, en el mundo empresarial, así como en otros entornos, el rendimiento de cuentas es algo esencial. En algunas situaciones, especialmente en aquellas en las que algo ha salido mal, puede resultar muy comprometido pretender explicar que tal decisión fue aconsejada –o incluso, tomada– por una aplicación de IA en base a… algo desconocido.
La red social china Tencent tuvo que retirar un chatbot en 2017, denominado BabyQ y desarrollado por Turing Robot, porque respondía con un seco “no” a la pregunta ¿te gusta el Partido Comunista Chino? Curiosidades aparte, especialmente en las actividades reguladas (banca, seguros, energía y otras), el fenómeno caja negra puede ser especialmente problemático, por razones obvias.
Pero este fenómeno también tiene su parte buena: nos recuerda que la IA no ha venido para sustituir al factor humano, sino para apoyarlo, y que este sigue siendo esencial en la toma de decisiones, su ejecución y el seguimiento de sus resultados. Aun así, algunos científicos y corporaciones tecnológicas (entre ellas, Google) están desplegando la denominada inteligencia artificial explicable (explanaible AI).
En el caso de Google, los desarrolladores crearon una herramienta de este tipo (y la están ofreciendo actualmente a terceros) porque querían saber, una vez funcionaba, cómo lo hacían las aplicaciones de IA que desarrollaban y utilizaban en sus motores de búsqueda y en sus sistemas operativos para dispositivos móviles.