El Profesor AI detalla los peligros en el mundo real del sesgo del algoritmo [corregido]
Problemas de pareja Misexologo
No importa cuán rápidamente evolucione la inteligencia artificial, por más que se integre en nuestras vidas, en salud , cumplimiento de la ley , sexo , etc., no puede superar los prejuicios de sus creadores, los humanos. Kate Crawford, investigadora de Microsoft y cofundadora de AI Now , un instituto de investigación que estudia el impacto social de la inteligencia artificial, pronunció un increíble discurso de apertura, titulado "The Trouble with Bias", en la Conferencia del Sistema de Procesamiento de Información Neural el martes. En la presentación principal de Crawford, ella presentó un desglose fascinante de diferentes tipos de daños hechos por sesgos algorítmicos.
Como ella explicó, la palabra "parcialidad" tiene una definición matemáticamente específica en el aprendizaje automático, generalmente se refiere a errores en la estimación o sobre / debajo de las poblaciones que representan al momento del muestreo. Menos discutido es el sesgo en términos del impacto desigual que puede tener el aprendizaje automático en diferentes poblaciones. Existe un peligro real de ignorar el último tipo de sesgo. Crawford detalla dos tipos de daños: el daño asignativo y el daño representacional.
"Un daño asignado es cuando un sistema asigna o retiene una cierta oportunidad o recurso", comenzó. Es cuando AI se utiliza para tomar una decisión determinada, digamos solicitudes de hipoteca, pero injusta o erróneamente las niega a un determinado grupo. Ella ofreció el ejemplo hipotético de la IA de un banco que niega continuamente las solicitudes de hipoteca a las mujeres. Luego ofreció un sorprendente ejemplo del mundo real: una evaluación de riesgos. La IA descubrió rutinariamente que los delincuentes negros tenían un riesgo mayor que los delincuentes blancos. (Los delincuentes negros fueron remitidos a prisión preventiva más a menudo debido a esta decisión).
Los daños a la representación "ocurren cuando los sistemas refuerzan la subordinación de algunos grupos a lo largo de las líneas de la identidad", dijo, esencialmente, cuando la tecnología refuerza los estereotipos o disminuye los grupos específicos. "Este tipo de daño puede producirse independientemente de si se retienen los recursos". Los ejemplos incluyen Google Photos etiquetando a las personas negras como "gorilas" (un estereotipo dañino que históricamente se ha usado para decir que los negros no son humanos ) o AI que asume que los asiáticos orientales parpadean cuando sonríen .
Crawford relacionó la compleja relación entre los dos daños citando un informe de 2013 de LaTanya Sweeney . Sweeney notó notablemente el patrón algorítmico en los resultados de búsqueda mediante el cual se busca en Google un anuncio con el nombre "negro que suena" para revisar los antecedentes penales. En su artículo, Sweeney argumentó que este daño representacional de asociar la negritud con la criminalidad puede tener una consecuencia asignada: los empleadores, al buscar los nombres de los solicitantes, pueden discriminar a los empleados negros porque los resultados de búsqueda están vinculados a los delincuentes.
"La perpetuación de los estereotipos de la criminalidad negra es problemática incluso si está fuera de un contexto de contratación", explicó Crawford. "Está produciendo un daño sobre cómo las personas negras son representadas y entendidas socialmente. Entonces, en lugar de solo pensar en el aprendizaje automático que contribuye a la toma de decisiones en, digamos, la contratación o la justicia penal, también debemos pensar sobre el papel del aprendizaje automático en las representaciones dañinas de la identidad ".
Los resultados de los motores de búsqueda y los anuncios en línea representan el mundo que nos rodea e influyen en él. La representación en línea no se mantiene en línea. Puede tener consecuencias económicas reales, como argumentó Sweeney. Tampoco se originó en línea: estos estereotipos de criminalidad / inhumanidad tienen siglos de antigüedad.
A medida que el discurso de Crawford continuaba, ella pasó a detallar varios tipos de daños representacionales, sus conexiones con los daños a la asignación y, lo más interesante, las formas de disminuir su impacto. Como se sugiere a menudo, parece una solución rápida romper las asociaciones de palabras problemáticas o eliminar datos problemáticos, lo que a menudo se denomina "restregar a neutral". Cuando se mostró que la búsqueda de imágenes de Google tenía un patrón de sesgo de género en 2015, mostrando casi Totalmente hombres cuando los usuarios buscaron términos como "CEO" o "ejecutivo", eventualmente reelaboró ??el algoritmo de búsqueda para que sea más equilibrado. Pero esta técnica tiene sus propias preocupaciones éticas.
"¿Quién puede decidir qué términos se deben eliminar y por qué esos en particular?", Preguntó Crawford. "Y una pregunta aún más grande es ¿de quién es la idea de la neutralidad? ¿Asumimos que neutral es lo que tenemos en el mundo de hoy? Si es así, ¿cómo explicamos los años de discriminación contra subpoblaciones particulares?
Crawford opta por enfoques interdisciplinarios sobre cuestiones de parcialidad y neutralidad, utilizando la lógica y el razonamiento de la ética, la antropología, los estudios de género, la sociología, etc., y reconsiderando la idea de que existe una respuesta fácil y cuantificable.
"Creo que este es precisamente el momento en que la informática tiene que hacer preguntas mucho más grandes porque se le pide que haga cosas mucho más grandes".
Corrección: el título se actualizó para reflejar mejor las funciones respectivas de Crawford en Microsoft y AI Now.
Ver y consultar a centros
