La empresa de investigación de inteligencia artificial de Alphabet, DeepMind, ha lanzado la próxima generación de su modelo de lenguaje, y dice que se aproxima mucho a la comprensión lectora de un estudiante de secundaria —una afirmación sorprendente—.
Crédito: Andrea De Santis.
Dice que el modelo de lenguaje, llamado Gopher, pudo mejorar significativamente su comprensión de lectura al ingerir repositorios masivos de textos en línea.
DeepMind se jacta de que su algoritmo, un «modelo de lenguaje ultra grande», tiene 280 mil millones de parámetros, que son una medida de tamaño y complejidad. Eso significa que se encuentra entre el GPT-3 de OpenAI (175 mil millones de parámetros) y el Megatron de Microsoft y NVIDIA, que cuenta con 530 mil millones de parámetros, señala The Verge.
Dicho sistema podría permitirnos «resumir información de manera segura y eficiente, brindar asesoramiento de expertos y seguir instrucciones a través del lenguaje natural», según un comunicado.
En una prueba, el modelo pudo obtener una puntuación lo suficientemente alta de comprensión de lectura de la escuela secundaria como para acercarse al rendimiento a nivel humano. Sin embargo, sus habilidades matemáticas y de razonamiento dejaron algo que desear, mostrando «una mejora menor».
Uno de los hallazgos clave fue que, cuando Gopher es impulsado hacia una interacción de diálogo (como en un chat), el modelo a veces puede proporcionar una coherencia sorprendente.
Cuantos más parámetros, más precisos, en términos generales. Pero hay otros problemas, como la comprensión lectora o la perpetuación de estereotipos dañinos, que están resultando más difíciles de superar, a pesar del enorme tamaño de las modelos.
En el pasado, se han utilizado algoritmos como Gopher para productos comerciales como asistentes digitales y traductores. En una prueba, Gopher pudo tener un diálogo completo con un humano con un nivel «sorprendente» de coherencia, de acuerdo a lo reportado.
Pero DeepMind no busca comercializar su algoritmo.
«Ese no es el enfoque en este momento», dijo a Fortune Koray Kavukcuoglo, vicepresidente de investigación de DeepMind.
En un intento por adelantarse a las críticas de que su algoritmo regurgitaba estereotipos étnicos o de género, a menudo un producto de los textos que se alimentaban con estos algoritmos, DeepMind publicó un artículo adjunto sobre los pasos que tomaron los investigadores para mantener la integridad ética.
Por ejemplo, el equipo creó una herramienta llamada Retrieval-Enhanced Transformer, una enorme base de datos de dos billones de palabras para hacer referencias cruzadas de sus fuentes.
Pero incluso entonces, el equipo de DeepMind admitió que la investigación sobre cómo los modelos de lenguaje perpetúan estereotipos dañinos «aún se encuentra en las primeras etapas».
A medida que las herramientas de inteligencia artificial mejoran cada vez más en la interpretación de texto, los investigadores recurren cada vez más a problemas más difíciles, como la posibilidad de difundir información errónea o propaganda.
Incluso con todos los textos en Internet, ayudar a los modelos de lenguaje como Gopher a leer entre líneas está resultando mucho más difícil de lo que a muchos investigadores de IA les gusta admitir.
Fuente: Futurism. Edición: MP.
Nueva inteligencia artificial tiene casi la comprensión lectora de un estudiante de secundaria