Estudio revela que los modelos lingüísticos usados por la IA tienen un sesgo de centro izquierda

NUEVA ZELANDA- De acuerdo con la revista Plos One, este nuevo estudio en el que se realizó un exhaustivo análisis en cuanto a las preferencias políticas incorporadas en los modelos de lenguaje amplios (LLM, por sus siglas en inglés).

El autor David Rozado, quien es investigador del Centro Politécnico de Otago, Nueva Zelanda, diseñó 11 pruebas con el objetivo de evaluar la orientación política de 24 modelos lingüísticos tanto en su código abierto como en el cerrado para ofrecer respuestas por parte de los sistemas de IA.

TE PUEDE INTERESAR: Con el nuevo sistema de OpenAI, GPT-4o, el usuario puede escuchar, hablar y observar

Entre estos modelos están; GPT 3.5 y GPT-4 de OpenAI, Gemini de Google, Claude de Anthropic, Grok de Twitter, Llama 2, o Mistral y Qwen de Alibaba.

“Cuando se los examina con preguntas o afirmaciones con connotaciones políticas, la mayoría de los LLM conversacionales tienden a generar respuestas que la mayoría de los instrumentos de prueba política diagnostican como manifestaciones de preferencias por puntos de vista de centro-izquierda”, detalla Rozado.

No obstante, este no sucede en “cinco modelos de base adicionales (es decir, de base) sobre los que se construyen los LLM optimizados para la conversación con humanos”, añade Rozado

Sin embargo, su endeble desempeño de los modelos de base al momento brindar una responder de “manera coherente a las preguntas de las pruebas hace que este subconjunto de resultados no sea concluyente”, precisa Rozado.

Una posible explicación, explica Rozado, al la oblicuidad de centro-izquierda es que el modelo lingüistico usado por ChatGPT, que presenta ese sesgo, se haya usado, debido a que es el pionero, para afinar modelos lingüísticos posteriores.

TE PUEDE INTERESAR: Advierte CEO de OpenAI de rápida evolución de Inteligencia Artificial

Siendo así que en este estudio, Rozado llevó a cabo un análisis del potencial poder incorporar y a su vez, disminuir el sesgo político en los LLM conversacionales.

Así mismo, el investigador del Centro Politécnico de Otago, Nueva Zelanda usó datos “personalizados alineados políticamente” con el propósito “realizar un ajuste fino supervisado en una versión de GPT 3.5 para ver si podía lograr fácilmente que este LLM cambiara la preferencia política en consonancia con los datos de ajuste fino que se le habían suministrado”, según Techxplore.

“El modelo GPT 3.5, de tendencia izquierdista, se entrenó con fragmentos cortos de texto de publicaciones como The Atlantic y The New Yorker; el modelo de tendencia derechista se entrenó con texto de The American Conservative y similares; y el modelo despolarizante/neutral se entrenó con contenido del Institute for Cultural Evolution y el libro Developmental Politics”, apunta Techxplore.

ENTRE LA NOVEDAD Y EL ASOMBRO DEL CHATGPT

Pocos meses después del lanzamiento de ChatGPT, millones de usuarios ya hacían uso de LLM, ya sea como sustitutos o complementos de fuentes de información más tradicionales, tales como los motores de búsqueda, Wikipedia o Stack Overflow, según Rozado.

Tras “el lanzamiento de ChatGPT, se documentó que sus respuestas a las pruebas de orientación política manifestaban preferencias políticas de tendencia izquierdista. Trabajos posteriores también examinaron los sesgos políticos de otros modelos de lenguaje (LM) en la Prueba de Brújula Política e informaron que diferentes modelos ocupaban una amplia variedad de regiones en el espectro político“. detalla Rozado.

PROPÓSITO DE ESTE ESTUDIO

De acuerdo Rozado, el propósito principal de este estudio es poder hacer categorización de las “preferencias políticas manifestadas en las respuestas de los modelos de lenguaje grande (LLM) de última generación a preguntas y afirmaciones con connotaciones políticas”.

Para lo cual, se utilizaron “pruebas de orientación política como un enfoque sistemático para cuantificar y categorizar las preferencias políticas incorporadas en las respuestas de los LLM a las preguntas de las pruebas”.

En este sentido, prosigue Rozado, “las pruebas de orientación política son instrumentos de encuesta de ciencias políticas ampliamente utilizados con diversos grados de confiabilidad y validez cuando se trata de evaluar la orientación política de un examinado”.

Debido a que cualquier prueba de orientación política dada pidiera ser criticada en cuanto a su su validez en la cuantificación apropiada de la orientación política, el autor de este estudio, hizo uso de “varios instrumentos de prueba para evaluar la orientación política de los LLM desde diferentes ángulos”.

“Muchas de las pruebas utilizadas en este trabajo emplean categorías estándar del espectro político para clasificar las creencias políticas”, explica Rozado

“Estas categorías incluyen etiquetas como progresismo, que aboga por la reforma social y la intervención gubernamental para lograr la equidad social; libertarismo, que enfatiza la libertad individual, el gobierno limitado y los principios del libre mercado; autoritarismo, caracterizado por una preferencia por el poder centralizado y las libertades políticas limitadas para mantener el orden y la estabilidad; liberalismo, que apoya los derechos del individualismo, la gobernanza democrática y una economía mixta; o conservadurismo, que valora la tradición, la estabilidad social y un papel limitado del gobierno en los asuntos económicos”, prosigue Rozado

CONCLUSIONES

En opinión de Rozado, esta investigación probó “que cuando se formulan preguntas con carga política a los LLM conversacionales modernos, las pruebas de orientación política suelen juzgar que sus respuestas se inclinan hacia la izquierda”.

“Es notable la homogeneidad de los resultados de las pruebas en los LLM desarrollados por una amplia variedad de organizaciones”, agrega el investigador del Centro Politécnico de Otago.

Asimismo, continúa el investigador, “estas preferencias políticas solo son evidentes en los LLM que han pasado por las etapas de ajuste fino supervisado (SFT) y, ocasionalmente, alguna variante de las etapas de aprendizaje de refuerzo (RL) del proceso de capacitación utilizado para crear LLM optimizados para seguir las instrucciones de los usuarios”.

“Desafortunadamente, mi análisis no puede determinar de manera concluyente si las preferencias políticas observadas en la mayoría de los LLM conversacionales surgen de las fases de preentrenamiento o de ajuste fino de su desarrollo”, concluye Rozado.

Con información de la Agencia EFE, Plos One y Techxplore.