¿Quieres decisiones menos sesgadas? Usa Algoritmos
Por Alex P. Miller
Harvard Business Review
Toma de decisiones
Se está produciendo una revolución silenciosa. En contraste con gran parte de la cobertura de la prensa de inteligencia artificial, esta revolución no se trata de la ascendencia de un ejército androide inteligente. Por el contrario, se caracteriza por un aumento constante en la automatización de los procesos de decisión tradicionalmente humanos en todas las organizaciones de todo el país. Mientras que los avances como AlphaGo Zero crean titulares llamativos, es bastante convencional el aprendizaje automático y las técnicas estadísticas (mínimos cuadrados ordinarios, regresión logística, árboles de decisión) que están agregando valor real al resultado final de muchas organizaciones. Las aplicaciones en el mundo real van desde diagnósticos médicos y sentencias judiciales hasta el reclutamiento profesional y la asignación de recursos en agencias públicas.
¿Esta revolución es algo bueno? Parece que hay un grupo creciente de autores, académicos y periodistas que responderían negativamente. Los títulos de libros en este género incluyen Weapons of Math Destruction, Automating Inequality y The Black Box Society. También ha habido una avalancha de artículos largos de estilo exposé como "Sesgo de la máquina", "La austeridad es un algoritmo" y "¿Son los algoritmos que construyen la nueva infraestructura del racismo?" En el corazón de este trabajo está la preocupación de que los algoritmos sean a menudo se manejan herramientas opacas, tendenciosas e irresponsables en beneficio del poder institucional. Entonces, ¿qué tan preocupado deberíamos estar acerca de la ascendencia moderna de los algoritmos?
Estas críticas e investigaciones a menudo son reveladoras e iluminadoras, y han hecho un buen trabajo al desvirtuarnos de la idea de que los algoritmos son puramente objetivos. Pero hay un patrón entre estas críticas, que es que raramente preguntan qué tan bien funcionarían los sistemas que analizan sin algoritmos. Y esa es la pregunta más relevante para los profesionales y los responsables de la formulación de políticas: ¿cómo se comparan el sesgo y el rendimiento de los algoritmos con el status quo? En lugar de simplemente preguntar si los algoritmos son defectuosos, deberíamos preguntarnos cómo estos defectos se comparan con los de los seres humanos.
¿Qué dice la investigación?
Existe un gran cuerpo de investigación sobre la toma de decisiones algorítmicas que data de varias décadas. Y los estudios existentes sobre este tema tienen una conclusión notablemente similar: los algoritmos son menos tendenciosos y más precisos que los humanos a los que reemplazan. A continuación se muestra una muestra de la investigación sobre lo que sucede cuando a los algoritmos se les da el control de las tareas tradicionalmente llevadas a cabo por los humanos (todo el énfasis es mío):
Los seres humanos son notablemente malos tomadores de decisiones
Un secreto no tan oculto detrás de los algoritmos mencionados anteriormente es que en realidad son parciales. Pero los humanos que están reemplazando son significativamente más parciales. Después de todo, ¿de dónde provienen los sesgos institucionales si no los humanos que tradicionalmente han estado a cargo?
Pero los humanos no pueden ser tan malos, ¿verdad? Sí, podemos ser parciales, pero seguramente hay algún tipo de desempeño en el que somos buenos tomadores de decisiones. Desafortunadamente, décadas de investigación psicológica en el juicio y la toma de decisiones han demostrado una y otra vez que los humanos son notablemente malos jueces de la calidad en una amplia gama de contextos. Gracias al trabajo pionero de Paul Meehl (y al trabajo de seguimiento de Robyn Dawes), hemos sabido desde al menos los años 50 que los modelos matemáticos muy simples superan a los supuestos expertos en predecir resultados importantes en entornos clínicos.
En todos los ejemplos mencionados anteriormente, los humanos que solían tomar decisiones eran tan notablemente malos que reemplazarlos con algoritmos aumentaba la precisión y reducía los sesgos institucionales. Esto es lo que los economistas llaman una mejora de Pareto, donde una política supera la alternativa en cada resultado que nos importa. Si bien a muchos críticos les gusta implicar que las organizaciones modernas persiguen la eficiencia operativa y una mayor productividad a expensas de la equidad y la equidad, toda la evidencia disponible en estos contextos sugiere que no existe tal compensación: los algoritmos ofrecen resultados más eficientes y equitativos . Si algo debe alarmarte, debería ser el hecho de que los seres humanos toman tantas decisiones importantes que sabemos que son inconsistentes, tendenciosas y fenomenalmente malas para tomar decisiones.
Mejorando en el status quo
Por supuesto, deberíamos hacer todo lo posible para erradicar el sesgo institucional y su influencia perniciosa en los algoritmos de toma de decisiones. Las críticas a la toma de decisiones algorítmicas han engendrado una ola de investigación rica en aprendizaje automático que toma más en serio las consecuencias sociales y políticas de los algoritmos. Existen nuevas técnicas emergentes en estadística y aprendizaje automático que están diseñadas específicamente para abordar las preocupaciones sobre la discriminación algorítmica. Incluso hay una conferencia académica cada año en la que los investigadores no solo discuten los desafíos éticos y sociales del aprendizaje automático, sino que también presentan nuevos modelos y métodos para garantizar que los algoritmos tengan un impacto positivo en la sociedad. Es probable que este trabajo sea aún más importante a medida que los algoritmos menos transparentes, como el aprendizaje profundo, se vuelvan más comunes.
Pero incluso si la tecnología no puede resolver completamente los males sociales del sesgo institucional y la discriminación perjudicial, la evidencia revisada aquí sugiere que, en la práctica, puede jugar un papel pequeño pero mensurable en la mejora del status quo. Este no es un argumento para el absolutismo algorítmico o la fe ciega en el poder de las estadísticas. Si encontramos en algunos casos que los algoritmos tienen un grado inaceptablemente alto de sesgo en comparación con los procesos actuales de toma de decisiones, entonces no hay daño al seguir la evidencia y mantener el paradigma existente. Pero el compromiso de seguir la evidencia se reduce en ambos sentidos, y debemos estar dispuestos a aceptar que, en algunos casos, los algoritmos serán parte de la solución para reducir los sesgos institucionales. Entonces, la próxima vez que lea un titular sobre los peligros del sesgo algorítmico, recuerde mirarse en el espejo y recordar que los peligros del sesgo humano son aún peores.
Alex P. Miller es un candidato doctoral en sistemas de información y tecnología en la Wharton School de la Universidad de Pensilvania.
Harvard Business Review
Toma de decisiones
Se está produciendo una revolución silenciosa. En contraste con gran parte de la cobertura de la prensa de inteligencia artificial, esta revolución no se trata de la ascendencia de un ejército androide inteligente. Por el contrario, se caracteriza por un aumento constante en la automatización de los procesos de decisión tradicionalmente humanos en todas las organizaciones de todo el país. Mientras que los avances como AlphaGo Zero crean titulares llamativos, es bastante convencional el aprendizaje automático y las técnicas estadísticas (mínimos cuadrados ordinarios, regresión logística, árboles de decisión) que están agregando valor real al resultado final de muchas organizaciones. Las aplicaciones en el mundo real van desde diagnósticos médicos y sentencias judiciales hasta el reclutamiento profesional y la asignación de recursos en agencias públicas.
¿Esta revolución es algo bueno? Parece que hay un grupo creciente de autores, académicos y periodistas que responderían negativamente. Los títulos de libros en este género incluyen Weapons of Math Destruction, Automating Inequality y The Black Box Society. También ha habido una avalancha de artículos largos de estilo exposé como "Sesgo de la máquina", "La austeridad es un algoritmo" y "¿Son los algoritmos que construyen la nueva infraestructura del racismo?" En el corazón de este trabajo está la preocupación de que los algoritmos sean a menudo se manejan herramientas opacas, tendenciosas e irresponsables en beneficio del poder institucional. Entonces, ¿qué tan preocupado deberíamos estar acerca de la ascendencia moderna de los algoritmos?
Estas críticas e investigaciones a menudo son reveladoras e iluminadoras, y han hecho un buen trabajo al desvirtuarnos de la idea de que los algoritmos son puramente objetivos. Pero hay un patrón entre estas críticas, que es que raramente preguntan qué tan bien funcionarían los sistemas que analizan sin algoritmos. Y esa es la pregunta más relevante para los profesionales y los responsables de la formulación de políticas: ¿cómo se comparan el sesgo y el rendimiento de los algoritmos con el status quo? En lugar de simplemente preguntar si los algoritmos son defectuosos, deberíamos preguntarnos cómo estos defectos se comparan con los de los seres humanos.
¿Qué dice la investigación?
Existe un gran cuerpo de investigación sobre la toma de decisiones algorítmicas que data de varias décadas. Y los estudios existentes sobre este tema tienen una conclusión notablemente similar: los algoritmos son menos tendenciosos y más precisos que los humanos a los que reemplazan. A continuación se muestra una muestra de la investigación sobre lo que sucede cuando a los algoritmos se les da el control de las tareas tradicionalmente llevadas a cabo por los humanos (todo el énfasis es mío):
- En 2002, un equipo de economistas estudió el impacto de los algoritmos de suscripción automatizados en la industria de préstamos hipotecarios. Sus hallazgos principales fueron "que los sistemas de suscripción automatizada predicen con mayor precisión el incumplimiento que los suscriptores manuales" y "que esta precisión incrementada da como resultado tasas de aprobación de los prestatarios más altas, especialmente para los solicitantes subatendidos". En lugar de marginar a los compradores en realidad benefició a este segmento de consumidores más.
- Bo Cowgill llegó a una conclusión similar en Columbia Business School cuando estudió el rendimiento de un algoritmo de selección de trabajos en una empresa de software (próxima investigación). Cuando la compañía implementó el algoritmo para decidir qué solicitantes debían obtener entrevistas, el algoritmo en realidad favoreció a los candidatos "no tradicionales" mucho más que los evaluadores humanos. Comparado con los humanos, el algoritmo exhibió significativamente menos prejuicios contra los candidatos que estaban subrepresentados en la empresa (como aquellos sin referencias personales o títulos de universidades prestigiosas).
- En el contexto de las audiencias previas a la audiencia en la ciudad de Nueva York, un equipo de prominentes científicos informáticos y economistas determinó que los algoritmos tienen el potencial de lograr decisiones significativamente más equitativas que los jueces que actualmente toman decisiones sobre fianzas, con "reducciones de la tasa de encarcelamiento [de ] hasta 41.9% sin aumento en las tasas de criminalidad ". También encontraron que en su modelo" todas las categorías de delitos, incluidos los delitos violentos, muestran reducciones [en las tasas de encarcelamiento]; y estos logros se pueden lograr al mismo tiempo que se reducen las disparidades raciales ".
- The New York Times Magazine recientemente informó una historia larga para responder la pregunta: "¿Puede un algoritmo decir cuándo los niños están en peligro?" Resulta que la respuesta es "sí", y que los algoritmos pueden realizar esta tarea con mucha más precisión que los humanos. En lugar de exacerbar los sesgos raciales perniciosos asociados con algunos servicios del gobierno, "la experiencia de Allegheny sugiere que su herramienta de evaluación es menos mala para ponderar los sesgos de lo que han sido los evaluadores humanos".
- Por último, al observar los datos históricos de las empresas que cotizan en bolsa, un equipo de profesores de finanzas se propuso construir un algoritmo para elegir los mejores miembros de la junta para una empresa determinada. Los investigadores no solo descubrieron que las empresas funcionarían mejor con miembros del consejo seleccionados algorítmicamente, sino que, en comparación con su algoritmo propuesto, "descubrieron que las empresas [sin algoritmos] tienden a elegir directores que son mucho más propensos a ser hombres, tienen una gran red , tienen mucha experiencia en la junta, actualmente sirven en más juntas y tienen antecedentes financieros".
Los seres humanos son notablemente malos tomadores de decisiones
Un secreto no tan oculto detrás de los algoritmos mencionados anteriormente es que en realidad son parciales. Pero los humanos que están reemplazando son significativamente más parciales. Después de todo, ¿de dónde provienen los sesgos institucionales si no los humanos que tradicionalmente han estado a cargo?
Pero los humanos no pueden ser tan malos, ¿verdad? Sí, podemos ser parciales, pero seguramente hay algún tipo de desempeño en el que somos buenos tomadores de decisiones. Desafortunadamente, décadas de investigación psicológica en el juicio y la toma de decisiones han demostrado una y otra vez que los humanos son notablemente malos jueces de la calidad en una amplia gama de contextos. Gracias al trabajo pionero de Paul Meehl (y al trabajo de seguimiento de Robyn Dawes), hemos sabido desde al menos los años 50 que los modelos matemáticos muy simples superan a los supuestos expertos en predecir resultados importantes en entornos clínicos.
En todos los ejemplos mencionados anteriormente, los humanos que solían tomar decisiones eran tan notablemente malos que reemplazarlos con algoritmos aumentaba la precisión y reducía los sesgos institucionales. Esto es lo que los economistas llaman una mejora de Pareto, donde una política supera la alternativa en cada resultado que nos importa. Si bien a muchos críticos les gusta implicar que las organizaciones modernas persiguen la eficiencia operativa y una mayor productividad a expensas de la equidad y la equidad, toda la evidencia disponible en estos contextos sugiere que no existe tal compensación: los algoritmos ofrecen resultados más eficientes y equitativos . Si algo debe alarmarte, debería ser el hecho de que los seres humanos toman tantas decisiones importantes que sabemos que son inconsistentes, tendenciosas y fenomenalmente malas para tomar decisiones.
Mejorando en el status quo
Por supuesto, deberíamos hacer todo lo posible para erradicar el sesgo institucional y su influencia perniciosa en los algoritmos de toma de decisiones. Las críticas a la toma de decisiones algorítmicas han engendrado una ola de investigación rica en aprendizaje automático que toma más en serio las consecuencias sociales y políticas de los algoritmos. Existen nuevas técnicas emergentes en estadística y aprendizaje automático que están diseñadas específicamente para abordar las preocupaciones sobre la discriminación algorítmica. Incluso hay una conferencia académica cada año en la que los investigadores no solo discuten los desafíos éticos y sociales del aprendizaje automático, sino que también presentan nuevos modelos y métodos para garantizar que los algoritmos tengan un impacto positivo en la sociedad. Es probable que este trabajo sea aún más importante a medida que los algoritmos menos transparentes, como el aprendizaje profundo, se vuelvan más comunes.
Pero incluso si la tecnología no puede resolver completamente los males sociales del sesgo institucional y la discriminación perjudicial, la evidencia revisada aquí sugiere que, en la práctica, puede jugar un papel pequeño pero mensurable en la mejora del status quo. Este no es un argumento para el absolutismo algorítmico o la fe ciega en el poder de las estadísticas. Si encontramos en algunos casos que los algoritmos tienen un grado inaceptablemente alto de sesgo en comparación con los procesos actuales de toma de decisiones, entonces no hay daño al seguir la evidencia y mantener el paradigma existente. Pero el compromiso de seguir la evidencia se reduce en ambos sentidos, y debemos estar dispuestos a aceptar que, en algunos casos, los algoritmos serán parte de la solución para reducir los sesgos institucionales. Entonces, la próxima vez que lea un titular sobre los peligros del sesgo algorítmico, recuerde mirarse en el espejo y recordar que los peligros del sesgo humano son aún peores.
Alex P. Miller es un candidato doctoral en sistemas de información y tecnología en la Wharton School de la Universidad de Pensilvania.
No hay comentarios:
Publicar un comentario