Inteligencia artificial sin pruebas ni diversidad: riesgos para la sociedad: Saiph Savage

Arlette Morales y Jimena Morales

Los sistemas de inteligencia artificial (IA), sin una evaluación cuidadosa, pueden amplificar desigualdades ya existentes, según evidenció la doctora Saiph Savage. “Un sistema mal diseñado no sólo comete errores técnicos, sino que también puede replicar o incluso agravar prejuicios sociales”, puntualizó la tecnocientífica. 

Por ejemplo, la Agencia de los Derechos Fundamentales de la Unión Europea desarrolló en 2022 tres modelos de IA diferentes para clasificar como “ofensivas” o “no ofensivas” a más de 90 mil publicaciones —en inglés, alemán e italiano— del entonces Twitter de 2018. En las pruebas se confirmó que los modelos tendían a clasificar erróneamente como “ofensivas” a las frases con palabras como musulmán, africano, judío, extranjero, gay (de hecho, el género influía considerablemente).

Así, la explicación tuvo lugar en el conversatorio “Límites de la IA” en el marco del laboratorio Ser humanx en tiempos de IA, donde Savage dirigió una sesión crítica sobre los límites éticos, técnicos y sociales de la inteligencia artificial. 

Durante el encuentro, se presentaron dos casos emblemáticos:

• Google Photos etiquetó a personas afrodescendientes como “gorilas”.

• Un sistema de reclutamiento desarrollado por Amazon aprendió a descartar postulaciones de mujeres, luego de entrenarse con un historial de contrataciones dominado por hombres.

Ambos ejemplos reflejan fallos en dos áreas clave: datos sesgados y falta de pruebas con usuarios diversos. Haciendo un llamado a abordajes críticos e interdisciplinarios que fomenten el desarrollo de la IA enfocada en el ser humano: “Necesitamos habilitar máquinas que piensen en las personas y en los daños que pueden causar”, agregó la académica en su exposición.

Con un enfoque práctico, la actividad incluyó la creación de “personas generativas”, una técnica para analizar las necesidades de usuarios reales y cómo se ven afectados por sistemas no inclusivos. Este ejercicio permitió a las y los participantes:

• Identificar datos faltantes.

• Detectar prejuicios en los modelos.

• Traducir necesidades humanas en parámetros de diseño.

• Considerar los límites de inclusión y participación de la IA.

Además, se discutieron estrategias para mejorar el diseño de sistemas basados en IA:

• Revisión de calidad de datos.

• Evaluación constante de sesgos.

• Diseño de prototipos centrados en personas reales.

Como recomendación bibliográfica, Savage propuso el libro Critical Theory and Interaction Design, donde se reflexiona sobre la intersección entre pensamiento crítico (en diálogo con diversos pensadores) y diseño tecnológico.

La sesión cerró con una dinámica enfocada en el uso de inteligencia artificial para combatir la corrupción. Entre los temas abordados se destacaron: monitoreo de fondos públicos, análisis del impacto social, diferencias urbano-rurales y estrategias para combatir la desinformación.

“La inteligencia artificial no es neutral. Solo cuando se la prueba de forma crítica y con enfoque humano, puede aportar a una sociedad más justa”, concluyó la especialista.

En un contexto donde distintos países buscan implementar regulaciones para la IA ante riesgos éticos inminentes. Tal cual analiza el Observatorio de Riesgos Catastróficos Globales, que explora los avances de la regulación en América Latina (con países como Chile, Argentina, México, Brasil, Colombia, Costa Rica y Perú), bajo los lineamientos de la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (UNESCO) y con influencia del marco regulatorio europeo.

En tanto, autores como Zena Assaad para The Conversation han cubierto como empresas como Google hacen uso de la IA en aspectos como la guerra, costando vidas humanas y diversas violaciones a los derechos humanos.

Por ende, esta conversación resalta la urgencia de una IA responsable, social y diseñada desde la diversidad. Dado que, como resalta la investigadora, los sistemas y modelos pueden generar incertidumbre e imprevisibilidad, donde esta última “puede ser alegre en un tipo de experiencia, y una idea terrible en otro”.