Uso de algoritmos para comprender los sesgos en su organización
Por Jennifer M. Logg
Toma de decisiones
Harvard Business Review
Los algoritmos han tomado mucho calor recientemente para producir decisiones sesgadas. La gente está indignada por un algoritmo de reclutamiento desarrollado por Amazon que pasó por alto a las solicitantes de empleo. Del mismo modo, están indignados por la vigilancia predictiva y las sentencias predictivas que penalizan desproporcionadamente a las personas de color. Es importante destacar que la raza y el género no se incluyeron como entradas en ninguno de estos algoritmos.
¿Deberíamos estar indignados por el sesgo reflejado en la salida algorítmica? Sí. Pero la forma en que las organizaciones responden a sus algoritmos determina si hacen grandes progresos al debatir sus decisiones o si perpetúan aún más su toma de decisiones sesgada.
Hasta ahora, la respuesta típica es que los medios de comunicación hagan de chivo expiatorio el algoritmo mientras la compañía vuelve a la toma de decisiones humanas. Pero este es el enfoque incorrecto para identificar y abordar el sesgo. Más bien, las organizaciones deberían usar algoritmos estadísticos para las lupas que son: los algoritmos pueden agregar puntos de datos individuales con el propósito de desenterrar patrones que las personas tienen dificultades para detectar. Cuando los algoritmos muestran sesgos, las empresas deben aprovechar este "fracaso" como una oportunidad para aprender cuándo y cómo ocurre el sesgo. De esta forma, están mejor equipados para debias sus prácticas actuales y mejorar su toma de decisiones en general.
El problema con los algoritmos de culpa
Los algoritmos de llamada sesgados los antropomorfizan. Considere, por ejemplo, titulares como: "Por qué no es sorprendente que la IA de reclutamiento de Amazon esté sesgada contra las mujeres", "Amazon desecha la herramienta secreta de reclutamiento de IA que mostró parcialidad contra las mujeres" y "El algoritmo de contratación sexista de Amazon aún podría ser mejor que un humano ". Incluso los investigadores imparten agencia a los algoritmos al preguntar:" ¿Por qué discrimina la inteligencia artificial? "y etiquetar el resultado como" sesgo de la máquina "y" sesgo algorítmico ". Esta simple elección de redacción puede parecer irrelevante, pero los algoritmos antropomorfizantes culpan al herramienta, en última instancia, aliviando a los tomadores de decisiones reales de su responsabilidad. (En el aprendizaje automático, "sesgo" tiene un significado diferente; el problema está en la aplicación más coloquial del término).
Los tomadores de decisiones reales son las personas que toman las decisiones de contratación. Dirigir mal nuestra indignación significa que estos tomadores de decisiones y sus gerentes no son responsables de resolver los problemas descubiertos por el procesamiento algorítmico. Los datos de entrada a los algoritmos de Amazon consistieron en datos históricos: decisiones de contratación anteriores tomadas por personas; Aquí es donde se originó el sesgo y donde las organizaciones deberían centrar los esfuerzos en debias. Culpar a un algoritmo para producir una salida sesgada es tan contraproducente como culpar a un espejo por reflejar un hematoma en la frente. Destrozar el espejo no cura el hematoma, pero podría prolongar el tiempo que lleva solucionar el problema y detectar los futuros.
Volver al juicio humano no resuelve el problema
Cuando las empresas descartan estos algoritmos en respuesta a la reacción violenta, vuelven a sus procesos de toma de decisiones originales y defectuosos. Para la mayoría de las decisiones, las organizaciones han dependido históricamente del juicio humano. Años de investigación muestran que el juicio humano a menudo está predispuesto de manera predecible.
No solo las personas son inconsistentes (lo que los investigadores consideran “baja confiabilidad”), sino que también nos distraemos con información irrelevante (que con “baja validez predictiva”). Tome la contratación y las promociones: incluso después de controlar por género y edad, los investigadores descubrieron que las personas más altas ganan más dinero. Una pulgada de altura vale $ 789 adicionales por año de salario. Es poco probable que los gerentes tengan la intención de contratar o promover en función de la altura, pero esta información parece influir en sus juicios. Además, nos cansamos a medida que procesamos más información, lo que aumenta la probabilidad de cometer estos errores.
Si eso no fuera suficiente, el proceso de pensamiento humano también es frustrantemente opaco. Pídale a un gerente que describa cómo reclutan empleados de alto rendimiento y le pueden explicar que buscan "jugadores de equipo". Pero, ¿qué significa eso exactamente? Pueden decir que buscan a alguien que trabaje bien con otros. Pero, ¿qué información buscan en un currículum o durante una entrevista para señalar eso? Las personas pueden confiar en criterios subjetivos para tomar decisiones y ni siquiera darse cuenta hasta que intentan explicar su proceso de pensamiento. Esto hace que sea difícil crear un proceso de decisión transparente, haciendo que la consistencia sea casi imposible. Por eso es peligroso alejarse de los algoritmos en favor del juicio humano. En última instancia, entierra nuestros prejuicios más profundamente, haciéndolos más difíciles de detectar.
El caso de los algoritmos
La gente se cansa y se distrae. Los algoritmos no. Por definición, las ecuaciones matemáticas llevan a cabo reglas creadas para ellos. Se mantienen consistentes. Es por eso que incluso el algoritmo más simple, la regresión, a menudo es más preciso que los expertos.
Mientras que a las personas a menudo les resulta difícil explicar sus procesos de pensamiento, la mayoría de los algoritmos son transparentes, al menos para su creador. Para regresiones lineales simples, una persona necesita especificar cuánto peso o importancia recibe cada variable de entrada en la ecuación. La ecuación requiere variables de entrada y salida que sean lo suficientemente objetivas para cuantificar. Por lo tanto, los números introducen transparencia en un proceso de decisión. (Ciertas formas de aprendizaje automático son excepciones. Aunque una persona decide qué conjunto de datos se utiliza, las reglas de decisión utilizadas por el algoritmo entrenado no son fácilmente explicables).
Por supuesto, existe una preocupación legítima por seguir ciegamente todos los resultados algorítmicos, independientemente de las circunstancias específicas, porque los algoritmos pueden aumentar de manera eficiente el sesgo que está presente en los datos de entrada. Un algoritmo aumentará cualquier patrón en los datos de entrada, por lo que si hay sesgo, el algoritmo también aumentará ese sesgo.
No es sorprendente que esta preocupación sea particularmente relevante cuando las organizaciones dan poca consideración a las variables de datos utilizadas como entrada. Y aún más preocupante es cuando las organizaciones no logran poner el algoritmo a través de iteraciones de pruebas. El juicio humano es necesario para evaluar la precisión del resultado algorítmico, y los algoritmos necesitan retroalimentación para mejorar. La disposición de una organización a invertir en algoritmos sin incluir comentarios como parte del proceso ha estimulado un llamado a una auditoría algorítmica.
De hecho, Amazon verificó la salida de sus algoritmos. Y, afortunadamente, compartieron su "fracaso". Ese resultado nos dijo algo sorprendentemente específico acerca de cómo el sesgo se infiltró en los procesos de contratación de la empresa. Amazon utilizó 500 modelos para identificar qué señales predecían el éxito, definidas como si alguien había sido contratado en la empresa. Al descubrir la existencia de prejuicios, la compañía también descubrió pistas sobre dónde se originó. Ciertas palabras en los currículums vitae de las personas se asociaron con ser contratados: verbos que expresan confianza y describen cómo se llevaron a cabo las tareas, incluyendo "ejecutados" y "capturados". estadísticamente, esas señales se correlacionaron con el género.
Esta conclusión permitió a Amazon identificar sesgos en sus decisiones de contratación pasadas. Los gerentes de contratación probablemente no sabían que este lenguaje en particular los influenciaba. O tal vez percibieron ese lenguaje como una señal de la confianza de alguien. Es posible que hayan confiado más en eso que en otra información en el currículum, pensando que la confianza es un indicador de competencia más útil de lo que realmente es.
Descubrir este tipo de asociación le permite a una empresa mejorar sus prácticas de contratación actuales. Por ejemplo, Amazon puede redactar estas palabras irrelevantes en los currículums antes de que sean revisadas si saben que están asociadas con el género y de lo contrario no son informativas. Además, los programadores pueden explicar estadísticamente esta redacción para que un algoritmo no la use como una señal predictiva.
Usando algoritmos como lupas
Las organizaciones pueden usar algoritmos para aumentar intencionalmente posibles sesgos a fin de identificarlos y abordarlos. La detección es el primer paso para solucionar el problema. Cuando los algoritmos muestran sesgos, las empresas aprenden sobre sus procesos de decisión pasados, qué impulsa los sesgos y qué información irrelevante nos distrae de la información útil. Las empresas pueden aplicar esta estrategia de lupa a cualquier proceso de decisión importante que implique predicciones, desde la contratación hasta las promociones.
Aprovechar los algoritmos como lupas puede ahorrarle tiempo a las organizaciones. Por ejemplo, si un departamento contrata a dos personas cada año, puede llevar un tiempo darse cuenta de que el departamento de diez consistentemente solo incluye a una mujer. Pero cuando un algoritmo agrega decisiones poco frecuentes, encuentra patrones que no habríamos visto en años. Hacer que los prejuicios sean obvios da a las organizaciones la oportunidad de abordar el problema. La alternativa es que las organizaciones continúen los negocios como de costumbre, permitiendo que el sesgo se filtre prácticamente en cada contratación o promoción.
Una vez que se detectan los sesgos, las organizaciones pueden corregir las decisiones sesgadas de tres maneras principales. El primero puede ser el más difícil. Implica crear mejores datos de entrada para el algoritmo, que comienza con el cambio de las prácticas de contratación actuales. En segundo lugar, podemos seguir usando los mismos datos históricos, pero crear nuevas reglas para el algoritmo, como incluir una variable que especifique la diversidad. En tercer lugar, podemos examinar cómo las variables de entrada existentes pueden introducir sesgo o considerar nuevas variables de entrada más apropiadas. Para obtener una lista de verificación detallada sobre cómo aprovechar sus algoritmos como lupas, consulte la sección "Leer más" más arriba.
Pregunte "¿Cuál es la alternativa?"
Ningún algoritmo es perfecto. Pero tampoco lo son los humanos. Si lo fuéramos, sabríamos el futuro. Cuando se enfrentan a resultados algorítmicos menos que perfectos, las personas pueden querer desecharlo reflexivamente.
Durante las discusiones en mi clase, "La psicología de Big Data", los estudiantes leen sobre un algoritmo creado para predecir qué estudiantes tienen más probabilidades de abandonar la universidad. El algoritmo fue preciso aproximadamente el 85% del tiempo. La discusión se centró en si confiar en resultados menos que perfectos. Los animé a considerar la alternativa al pensar en cuánto deberían confiar en el algoritmo. ¿Qué tan bien predeciría una persona el mismo resultado? ¿Serían capaces de alcanzar el 60% de precisión? En comparación con un punto de referencia del 60% de precisión, el 85% comienza a verse mucho mejor.
Cuando la precisión algorítmica y humana se compara directamente, la precisión predictiva de los algoritmos elimina sistemáticamente incluso el juicio experto. Es por eso que debemos considerar la alternativa a los juicios algorítmicos. De hecho, en mi investigación con los colegas Julia Minson de la Universidad de Harvard y Don Moore de la Universidad de California, Berkeley, descubrimos que los expertos que ignoran el consejo del algoritmo hacen predicciones menos precisas en relación con los laicos que están dispuestos a seguir el consejo.
Al final, los algoritmos son herramientas. La gente los construye, determina si su salida es precisa y decide cuándo y cómo actuar sobre esa salida. Los datos pueden proporcionar información, pero las personas son responsables de las decisiones tomadas en función de ellos.
Jennifer M. Logg es profesora asistente de administración en la McDonough School of Business de la Universidad de Georgetown. Anteriormente fue becaria postdoctoral en la Universidad de Harvard y recibió su Ph.D. de la Haas School of Business de la Universidad de California en Berkeley. Su investigación principal utiliza experimentos para evaluar cómo las personas responden a la creciente prevalencia de información producida por algoritmos. Su programa de investigación examina cómo las personas esperan que el juicio algorítmico y humano difiera (investigación que ella llama, Theory of Machine, un giro en la clásica "teoría de la mente").
Toma de decisiones
Harvard Business Review
Los algoritmos han tomado mucho calor recientemente para producir decisiones sesgadas. La gente está indignada por un algoritmo de reclutamiento desarrollado por Amazon que pasó por alto a las solicitantes de empleo. Del mismo modo, están indignados por la vigilancia predictiva y las sentencias predictivas que penalizan desproporcionadamente a las personas de color. Es importante destacar que la raza y el género no se incluyeron como entradas en ninguno de estos algoritmos.
¿Deberíamos estar indignados por el sesgo reflejado en la salida algorítmica? Sí. Pero la forma en que las organizaciones responden a sus algoritmos determina si hacen grandes progresos al debatir sus decisiones o si perpetúan aún más su toma de decisiones sesgada.
Hasta ahora, la respuesta típica es que los medios de comunicación hagan de chivo expiatorio el algoritmo mientras la compañía vuelve a la toma de decisiones humanas. Pero este es el enfoque incorrecto para identificar y abordar el sesgo. Más bien, las organizaciones deberían usar algoritmos estadísticos para las lupas que son: los algoritmos pueden agregar puntos de datos individuales con el propósito de desenterrar patrones que las personas tienen dificultades para detectar. Cuando los algoritmos muestran sesgos, las empresas deben aprovechar este "fracaso" como una oportunidad para aprender cuándo y cómo ocurre el sesgo. De esta forma, están mejor equipados para debias sus prácticas actuales y mejorar su toma de decisiones en general.
El problema con los algoritmos de culpa
Los algoritmos de llamada sesgados los antropomorfizan. Considere, por ejemplo, titulares como: "Por qué no es sorprendente que la IA de reclutamiento de Amazon esté sesgada contra las mujeres", "Amazon desecha la herramienta secreta de reclutamiento de IA que mostró parcialidad contra las mujeres" y "El algoritmo de contratación sexista de Amazon aún podría ser mejor que un humano ". Incluso los investigadores imparten agencia a los algoritmos al preguntar:" ¿Por qué discrimina la inteligencia artificial? "y etiquetar el resultado como" sesgo de la máquina "y" sesgo algorítmico ". Esta simple elección de redacción puede parecer irrelevante, pero los algoritmos antropomorfizantes culpan al herramienta, en última instancia, aliviando a los tomadores de decisiones reales de su responsabilidad. (En el aprendizaje automático, "sesgo" tiene un significado diferente; el problema está en la aplicación más coloquial del término).
Los tomadores de decisiones reales son las personas que toman las decisiones de contratación. Dirigir mal nuestra indignación significa que estos tomadores de decisiones y sus gerentes no son responsables de resolver los problemas descubiertos por el procesamiento algorítmico. Los datos de entrada a los algoritmos de Amazon consistieron en datos históricos: decisiones de contratación anteriores tomadas por personas; Aquí es donde se originó el sesgo y donde las organizaciones deberían centrar los esfuerzos en debias. Culpar a un algoritmo para producir una salida sesgada es tan contraproducente como culpar a un espejo por reflejar un hematoma en la frente. Destrozar el espejo no cura el hematoma, pero podría prolongar el tiempo que lleva solucionar el problema y detectar los futuros.
Volver al juicio humano no resuelve el problema
Cuando las empresas descartan estos algoritmos en respuesta a la reacción violenta, vuelven a sus procesos de toma de decisiones originales y defectuosos. Para la mayoría de las decisiones, las organizaciones han dependido históricamente del juicio humano. Años de investigación muestran que el juicio humano a menudo está predispuesto de manera predecible.
No solo las personas son inconsistentes (lo que los investigadores consideran “baja confiabilidad”), sino que también nos distraemos con información irrelevante (que con “baja validez predictiva”). Tome la contratación y las promociones: incluso después de controlar por género y edad, los investigadores descubrieron que las personas más altas ganan más dinero. Una pulgada de altura vale $ 789 adicionales por año de salario. Es poco probable que los gerentes tengan la intención de contratar o promover en función de la altura, pero esta información parece influir en sus juicios. Además, nos cansamos a medida que procesamos más información, lo que aumenta la probabilidad de cometer estos errores.
Si eso no fuera suficiente, el proceso de pensamiento humano también es frustrantemente opaco. Pídale a un gerente que describa cómo reclutan empleados de alto rendimiento y le pueden explicar que buscan "jugadores de equipo". Pero, ¿qué significa eso exactamente? Pueden decir que buscan a alguien que trabaje bien con otros. Pero, ¿qué información buscan en un currículum o durante una entrevista para señalar eso? Las personas pueden confiar en criterios subjetivos para tomar decisiones y ni siquiera darse cuenta hasta que intentan explicar su proceso de pensamiento. Esto hace que sea difícil crear un proceso de decisión transparente, haciendo que la consistencia sea casi imposible. Por eso es peligroso alejarse de los algoritmos en favor del juicio humano. En última instancia, entierra nuestros prejuicios más profundamente, haciéndolos más difíciles de detectar.
El caso de los algoritmos
La gente se cansa y se distrae. Los algoritmos no. Por definición, las ecuaciones matemáticas llevan a cabo reglas creadas para ellos. Se mantienen consistentes. Es por eso que incluso el algoritmo más simple, la regresión, a menudo es más preciso que los expertos.
Mientras que a las personas a menudo les resulta difícil explicar sus procesos de pensamiento, la mayoría de los algoritmos son transparentes, al menos para su creador. Para regresiones lineales simples, una persona necesita especificar cuánto peso o importancia recibe cada variable de entrada en la ecuación. La ecuación requiere variables de entrada y salida que sean lo suficientemente objetivas para cuantificar. Por lo tanto, los números introducen transparencia en un proceso de decisión. (Ciertas formas de aprendizaje automático son excepciones. Aunque una persona decide qué conjunto de datos se utiliza, las reglas de decisión utilizadas por el algoritmo entrenado no son fácilmente explicables).
Por supuesto, existe una preocupación legítima por seguir ciegamente todos los resultados algorítmicos, independientemente de las circunstancias específicas, porque los algoritmos pueden aumentar de manera eficiente el sesgo que está presente en los datos de entrada. Un algoritmo aumentará cualquier patrón en los datos de entrada, por lo que si hay sesgo, el algoritmo también aumentará ese sesgo.
No es sorprendente que esta preocupación sea particularmente relevante cuando las organizaciones dan poca consideración a las variables de datos utilizadas como entrada. Y aún más preocupante es cuando las organizaciones no logran poner el algoritmo a través de iteraciones de pruebas. El juicio humano es necesario para evaluar la precisión del resultado algorítmico, y los algoritmos necesitan retroalimentación para mejorar. La disposición de una organización a invertir en algoritmos sin incluir comentarios como parte del proceso ha estimulado un llamado a una auditoría algorítmica.
De hecho, Amazon verificó la salida de sus algoritmos. Y, afortunadamente, compartieron su "fracaso". Ese resultado nos dijo algo sorprendentemente específico acerca de cómo el sesgo se infiltró en los procesos de contratación de la empresa. Amazon utilizó 500 modelos para identificar qué señales predecían el éxito, definidas como si alguien había sido contratado en la empresa. Al descubrir la existencia de prejuicios, la compañía también descubrió pistas sobre dónde se originó. Ciertas palabras en los currículums vitae de las personas se asociaron con ser contratados: verbos que expresan confianza y describen cómo se llevaron a cabo las tareas, incluyendo "ejecutados" y "capturados". estadísticamente, esas señales se correlacionaron con el género.
Esta conclusión permitió a Amazon identificar sesgos en sus decisiones de contratación pasadas. Los gerentes de contratación probablemente no sabían que este lenguaje en particular los influenciaba. O tal vez percibieron ese lenguaje como una señal de la confianza de alguien. Es posible que hayan confiado más en eso que en otra información en el currículum, pensando que la confianza es un indicador de competencia más útil de lo que realmente es.
Descubrir este tipo de asociación le permite a una empresa mejorar sus prácticas de contratación actuales. Por ejemplo, Amazon puede redactar estas palabras irrelevantes en los currículums antes de que sean revisadas si saben que están asociadas con el género y de lo contrario no son informativas. Además, los programadores pueden explicar estadísticamente esta redacción para que un algoritmo no la use como una señal predictiva.
Usando algoritmos como lupas
Las organizaciones pueden usar algoritmos para aumentar intencionalmente posibles sesgos a fin de identificarlos y abordarlos. La detección es el primer paso para solucionar el problema. Cuando los algoritmos muestran sesgos, las empresas aprenden sobre sus procesos de decisión pasados, qué impulsa los sesgos y qué información irrelevante nos distrae de la información útil. Las empresas pueden aplicar esta estrategia de lupa a cualquier proceso de decisión importante que implique predicciones, desde la contratación hasta las promociones.
Aprovechar los algoritmos como lupas puede ahorrarle tiempo a las organizaciones. Por ejemplo, si un departamento contrata a dos personas cada año, puede llevar un tiempo darse cuenta de que el departamento de diez consistentemente solo incluye a una mujer. Pero cuando un algoritmo agrega decisiones poco frecuentes, encuentra patrones que no habríamos visto en años. Hacer que los prejuicios sean obvios da a las organizaciones la oportunidad de abordar el problema. La alternativa es que las organizaciones continúen los negocios como de costumbre, permitiendo que el sesgo se filtre prácticamente en cada contratación o promoción.
Una vez que se detectan los sesgos, las organizaciones pueden corregir las decisiones sesgadas de tres maneras principales. El primero puede ser el más difícil. Implica crear mejores datos de entrada para el algoritmo, que comienza con el cambio de las prácticas de contratación actuales. En segundo lugar, podemos seguir usando los mismos datos históricos, pero crear nuevas reglas para el algoritmo, como incluir una variable que especifique la diversidad. En tercer lugar, podemos examinar cómo las variables de entrada existentes pueden introducir sesgo o considerar nuevas variables de entrada más apropiadas. Para obtener una lista de verificación detallada sobre cómo aprovechar sus algoritmos como lupas, consulte la sección "Leer más" más arriba.
Pregunte "¿Cuál es la alternativa?"
Ningún algoritmo es perfecto. Pero tampoco lo son los humanos. Si lo fuéramos, sabríamos el futuro. Cuando se enfrentan a resultados algorítmicos menos que perfectos, las personas pueden querer desecharlo reflexivamente.
Durante las discusiones en mi clase, "La psicología de Big Data", los estudiantes leen sobre un algoritmo creado para predecir qué estudiantes tienen más probabilidades de abandonar la universidad. El algoritmo fue preciso aproximadamente el 85% del tiempo. La discusión se centró en si confiar en resultados menos que perfectos. Los animé a considerar la alternativa al pensar en cuánto deberían confiar en el algoritmo. ¿Qué tan bien predeciría una persona el mismo resultado? ¿Serían capaces de alcanzar el 60% de precisión? En comparación con un punto de referencia del 60% de precisión, el 85% comienza a verse mucho mejor.
Cuando la precisión algorítmica y humana se compara directamente, la precisión predictiva de los algoritmos elimina sistemáticamente incluso el juicio experto. Es por eso que debemos considerar la alternativa a los juicios algorítmicos. De hecho, en mi investigación con los colegas Julia Minson de la Universidad de Harvard y Don Moore de la Universidad de California, Berkeley, descubrimos que los expertos que ignoran el consejo del algoritmo hacen predicciones menos precisas en relación con los laicos que están dispuestos a seguir el consejo.
Al final, los algoritmos son herramientas. La gente los construye, determina si su salida es precisa y decide cuándo y cómo actuar sobre esa salida. Los datos pueden proporcionar información, pero las personas son responsables de las decisiones tomadas en función de ellos.
Jennifer M. Logg es profesora asistente de administración en la McDonough School of Business de la Universidad de Georgetown. Anteriormente fue becaria postdoctoral en la Universidad de Harvard y recibió su Ph.D. de la Haas School of Business de la Universidad de California en Berkeley. Su investigación principal utiliza experimentos para evaluar cómo las personas responden a la creciente prevalencia de información producida por algoritmos. Su programa de investigación examina cómo las personas esperan que el juicio algorítmico y humano difiera (investigación que ella llama, Theory of Machine, un giro en la clásica "teoría de la mente").
No hay comentarios:
Publicar un comentario