¿Qué es el sesgo en la IA? Formas prácticas de mejorar la equidad

Puntos clave

• El sesgo en la IA se produce cuando un sistema genera resultados sistemáticamente distorsionados, lo que puede perjudicar injustamente a personas o grupos.
• La equidad no depende solo de los datos de entrenamiento: también importan los objetivos, las etiquetas, las decisiones de diseño y el uso en el mundo real.
• Reduce los sesgos perjudiciales revisando los datos, comparando los errores entre grupos, involucrando a las personas afectadas y supervisando los resultados tras el lanzamiento.

El sesgo en la IA es una distorsión sistemática en los resultados o las decisiones de un sistema de IA que puede generar consecuencias injustas para determinadas personas o grupos. Reducirlo requiere mejores datos, objetivos explícitos de equidad, pruebas rigurosas y una supervisión efectiva, no simplemente eliminar información sensible.

Cómo funciona

Los sistemas de IA aprenden patrones a partir de ejemplos. Si esos ejemplos reflejan discriminación histórica, excluyen a determinadas poblaciones o contienen etiquetas engañosas, el sistema puede aprender patrones que repitan o amplifiquen esos problemas.

El sesgo puede introducirse en varias etapas:

• Recopilación de datos: Un conjunto de datos puede representar bien a algunos grupos y apenas incluir a otros.
• Etiquetado: Los juicios humanos utilizados como «respuestas correctas» pueden contener estereotipos o criterios inconsistentes.
• Definición de objetivos: Un modelo optimizado únicamente para la velocidad, los ingresos o la exactitud general puede pasar por alto daños que afectan de forma desigual a distintos grupos.
• Implementación: Un sistema entrenado en un entorno puede funcionar mal con una población o un idioma diferentes.
• Retroalimentación: Las decisiones de la IA pueden influir en los datos futuros y reforzar errores anteriores.

Por ejemplo, un modelo de contratación entrenado con decisiones de selección anteriores podría aprender a favorecer a candidatos similares a las personas contratadas previamente. Eso no determina quién podría realmente desempeñar bien el puesto; puede limitarse a reproducir preferencias históricas.

Eliminar atributos como el género o el origen étnico no resuelve automáticamente el problema. Otras variables, como la ubicación o el historial laboral, pueden actuar como indicadores indirectos: señales asociadas con esos atributos.

La equidad también necesita una definición clara. ¿Significa tasas de selección similares, tasas de error similares o un acceso comparable a un servicio? Las distintas definiciones pueden entrar en conflicto, por lo que los equipos deben elegir y justificar medidas adecuadas para la decisión y sus consecuencias.

Ejemplos del mundo real

Estos escenarios ilustrativos muestran cómo puede aparecer el sesgo en el uso cotidiano de la IA.

Contratación y selección de personal

Una herramienta de preselección podría clasificar peor a los candidatos con interrupciones en su trayectoria profesional porque sus datos de entrenamiento asocian el empleo ininterrumpido con haber sido contratado en el pasado. Esto podría perjudicar a quienes cuidan de otras personas o a quienes dejaron de trabajar durante un tiempo por motivos de salud.

Un enfoque mejor consiste en comprobar si cada señal predice el desempeño relevante para el puesto, comparar los resultados entre los grupos pertinentes y ofrecer una vía para impugnar las decisiones.

Reconocimiento de voz

Un sistema de transcripción puede cometer más errores con acentos o dialectos poco representados en los datos de entrenamiento. Al tomar notas de forma rutinaria, esto genera trabajo adicional de edición. En la atención sanitaria o los servicios de emergencia, las consecuencias podrían ser más graves.

Las pruebas deben abarcar las voces y los entornos previstos en el uso real, en lugar de basarse únicamente en una puntuación media de exactitud.

Concesión de préstamos

Un modelo de concesión de préstamos podría utilizar información relacionada con la ubicación que refleje estrechamente la desigualdad histórica. Incluso sin un campo explícito de origen étnico, sus recomendaciones podrían perjudicar a determinadas comunidades.

Revisar las variables de entrada, los patrones de decisión y los errores puede ayudar a identificar problemas. Cualquier medida de mitigación también debe ajustarse a los requisitos aplicables en materia de préstamos y lucha contra la discriminación.

IA generativa

Un asistente de escritura con IA puede describir a líderes utilizando estereotipos de género o producir respuestas menos útiles en idiomas menos representados. Las pruebas repetidas con instrucciones comparables pueden revelar patrones que una sola demostración no detectaría.

Beneficios y limitaciones

Reducir los sesgos perjudiciales de la IA puede mejorar la fiabilidad, ampliar el acceso y prevenir daños evitables. También puede revelar problemas de calidad más amplios, como registros ausentes, etiquetas inconsistentes o una falta de correspondencia entre los datos de entrenamiento y los usuarios actuales.

Para las organizaciones, las comprobaciones de equidad permiten tomar decisiones mejor fundamentadas sobre dónde conviene utilizar la IA y dónde no debería decidir por sí sola.

Sin embargo, existen limitaciones importantes:

• Ninguna puntuación por sí sola demuestra la equidad. Un buen rendimiento general puede ocultar malos resultados para un grupo más pequeño.
• Las muestras pequeñas generan incertidumbre. Las diferencias aparentes pueden requerir más investigación, mientras que la falta de datos puede ocultar problemas reales.
• Los objetivos de equidad pueden entrar en conflicto. No siempre es posible lograr simultáneamente tasas de selección iguales y tasas de error iguales.
• La revisión humana no es automáticamente justa. Quienes revisan pueden compartir sesgos o aceptar las recomendaciones de la IA sin examinarlas.
• Los modelos y las poblaciones cambian. Un sistema que supera una comprobación inicial puede desarrollar nuevos problemas más adelante.

El objetivo práctico no es declarar que un sistema está «libre de sesgos». Es identificar riesgos, reducir los daños prevenibles, documentar las limitaciones restantes y volver a evaluar cuando cambien las condiciones.

Cómo empezar

1. Define la decisión y el daño potencial

Anota qué hace la IA, a quién afecta y qué ocurre cuando se equivoca.

Una recomendación de producto y una sugerencia de triaje médico requieren salvaguardas muy diferentes. Prioriza las decisiones relacionadas con el empleo, el dinero, la salud, la educación o el acceso a servicios esenciales.

2. Examina los datos

Comprueba de dónde proceden los datos, quién falta, cómo se crearon las etiquetas y si los registros reflejan las condiciones actuales.

Cuando sea legal y apropiado, examina la representación de los grupos pertinentes y de sus combinaciones. Maneja los atributos sensibles con cuidado, con controles de acceso y medidas de protección de la privacidad.

Snowflake Copilot puede ayudar a redactar consultas SQL a partir de solicitudes en lenguaje natural para almacenes de datos en la nube. Esto puede facilitar comprobaciones como el recuento de valores ausentes o la representación de grupos, pero alguien debe verificar la lógica de las consultas y sus resultados.

3. Elige medidas de equidad relevantes

Empieza por los errores que más importan. En la detección de fraude, por ejemplo, compara con qué frecuencia se señala incorrectamente una actividad legítima, junto con la frecuencia con la que el fraude pasa inadvertido.

Mide el rendimiento por grupo pertinente, no solo de forma global. Registra los tamaños de las muestras y la incertidumbre para no confundir pequeñas diferencias con conclusiones firmes.

4. Prueba los cambios y documenta las compensaciones

Las posibles intervenciones incluyen mejorar la cobertura, corregir las etiquetas, eliminar entradas injustificadas o cambiar el objetivo de entrenamiento del modelo.

Weights & Biases permite hacer un seguimiento de las ejecuciones de entrenamiento de aprendizaje automático. Los equipos pueden utilizarlo para comparar experimentos y registrar las métricas de evaluación que calculen, incluidas las relacionadas con la equidad. No decide qué definición de equidad es la adecuada.

Conserva un conjunto de datos de evaluación intacto siempre que sea posible y comprueba si una mejora para un grupo genera nuevos problemas en otros.

5. Añade supervisión y seguimiento continuo

Asigna a alguien la responsabilidad de revisar las reclamaciones, investigar los fallos y suspender los usos inseguros. Ofrece a las personas afectadas una explicación comprensible y una forma práctica de solicitar una revisión.

Tableau Pulse proporciona seguimiento automatizado de métricas e información en lenguaje natural. Puede ayudar a los equipos a seguir las medidas pertinentes una vez configuradas las métricas y los datos subyacentes; no sustituye una evaluación de equidad.

Preguntas frecuentes

¿Todos los sesgos de la IA se deben a datos sesgados?

No. Los datos son una fuente importante, pero también influyen los objetivos, las etiquetas, los métodos de evaluación, el diseño de la interfaz y las decisiones de implementación. Ni siquiera un conjunto de datos representativo puede compensar la elección de un resultado inadecuado para predecir.

¿Se puede eliminar por completo el sesgo de la IA?

No existe un método universal que garantice una IA libre de sesgos. La equidad depende del contexto y las medidas pueden entrar en conflicto. Aun así, los equipos pueden reducir sustancialmente los daños mediante pruebas, mejores datos, decisiones de diseño justificadas y supervisión continua.

¿Cómo puede una pequeña empresa comprobar la equidad de una herramienta de IA?

Empieza con ejemplos realistas que abarquen distintos usuarios, idiomas y circunstancias. Compara los errores, pregunta al proveedor por la evaluación y las limitaciones, y mantén la responsabilidad humana en las decisiones con consecuencias importantes. Si no puedes evaluar adecuadamente los riesgos, limita la herramienta a tareas de menor impacto.