¿Cuanto más libre es el mercado, más libre es la gente? ¿Los gobiernos deberían sancionar a las empresas que engañen al público? ¿Ojo por ojo y diente por diente? Un grupo de investigadores plantearon estas y otras cuestiones a los modelos de lenguaje más conocidos, con el objetivo de identificar si tenían algún sesgo político. El estudio descubrió que, dependiendo de la compañía desarrolladora, el posicionamiento ideológico de estas inteligencias artificiales puede variar mucho.

La investigación es resultado de un trabajo conjunto entre la Universidad de Washington, la Universidad Carnegie Mellon y la Universidad Xi’an Jiaotong. Fueron evaluados 14 modelos de lenguaje grandes. Entre ellos, los de OpenAI, Meta y Google.

Los científicos preguntaron a los modelos cuál era su posición en temas como el feminismo y la democracia. Usaron 62 declaraciones políticamente sensibles, detallados en un reporte revisado por pares que ganó en julio el premio al mejor artículo en la conferencia de la Asociación de Lingüística Computacional el mes pasado.

A partir de las respuestas, pudieron ubicar a cada modelo en el gráfico conocido como «Brújula política». Esta guía considera dos ejes: derecha e izquierda, para medir posicionamientos económicos; y autoritario y libertario, para opiniones sociales. Así detectaron, por ejemplo, que los sistemas detrás de ChatGPT eran más libertarios y de izquierda. Mientras que LLaMA, creado por Meta, resultó en una postura más autoritaria y de derecha.

El sesgo político de ChatGPT, LLaMA y BERT

Si le preguntan a OpenAI, creadora de ChatGPT, dirá que no, que sus modelos no tienen un sesgo político. En un artículo en su blog, la compañía —socia de Microsoft— resalta que constantemente está verificando las respuestas de su chatbot con evaluadores humanos. Asegura, además, que tienen pautas claras para que los revisores no favorezcan a ningún grupo político. Y si, a pesar de todo esto, aparece algún sesgo político, OpenAI dice que se trata de «errores, no de características» de sus sistemas.

Los investigadores no están de acuerdo. «Nuestros hallazgos revelan que los modelos de lenguaje preentrenados sí tienen inclinaciones políticas que refuerzan la polarización», dicen en el reporte.

Los modelos BERT, sistemas desarrollados por Google, resultaron socialmente más conservadores que los modelos GPT de OpenAI. Los investigadores plantearon una hipótesis: que sean más conservadores podría ser consecuencia de que los BERT más antiguos fueron entrenados en libros, que tendían a expresar posturas más autoritarias. Mientras que los modelos GPT más nuevos están entrenados con contenidos de Internet, con una tendencia más liberal.

Estas inteligencias artificiales también han cambiado con sus actualizaciones. La investigación comprobó, por ejemplo, cómo GPT-2 —el anterior lenguaje de ChatGPT— dijo que estaba de acuerdo con «gravar impuestos a los ricos». GPT-3, por el contrario, no lo hizo. Las empresas tecnológicas están constantemente actualizando los datos con los que entrenan estos sistemas y probando nuevos métodos de capacitación.

El análisis determinó que estas inteligencias artificiales mostraron una mayor discrepancia en sus valores con respecto a los problemas sociales, no tanto en lo económico. Una posible razón, explica el reporte, es que las discusiones sobre problemas sociales en las redes —que también se usan para los entrenamientos de estos modelos— son más numerosas que las que tienen que ver con la economía.

Propagación de discursos de odio

La investigación incluyó una segunda etapa, en la que escogieron a dos modelos para alimentarlos con conjuntos datos con claros sesgos políticos. Para este ejercicio, utilizaron contenido de medios de comunicación y redes sociales con fuentes de izquierda y de derecha. Querían saber si esto podría influir en el posicionamiento ideológico de los sistemas. Y así fue.

Escogieron a GPT-2, de OpenAI, y RoBERTa, de Meta. Los modelos se inclinaron más hacia la izquierda cuando fueron reforzados con información de fuentes de izquierda y a la inversa. Sin embargo, la mayoría de los cambios fueron relativamente pequeños, dice el análisis. Esto sugiere que es difícil alterar el sesgo inherente.

En una tercera etapa, el equipo de investigación descubrió cómo los sesgos políticos de ChatGPT y los otros modelos condiciona qué tipo de contenido identifican como discurso de odio o información errónea.

Las inteligencias artificiales alimentadas con datos de izquierda fueron más sensibles al discurso de odio dirigido a las minorías étnicas, religiosas o LGBTQ+. Las que fueron entrenados con contenido de derecha fueron más sensibles al discurso de odio contra hombres cristianos blancos.

Los modelos con tendencia izquierdista también fueron mejores para identificar información falsa de fuentes de tendencia derechista, pero no así con las de izquierda. Los sistemas inclinados a la derecha mostraron el mismo comportamiento pero a la inversa.

https://hipertextual.com/2023/08/derecha-o-izquierda-este-estudio-revela-el-sesgo-politico-de-chatgpt-y-sus-rivales