¿Qué hacemos sobre los prejuicios en la IA?
Por James Manyika, Jake Silberg y Brittany Presten
Tecnología
Harvard Business Review
Los sesgos humanos están bien documentados, desde pruebas de asociación implícitas que demuestran sesgos de los que ni siquiera somos conscientes, hasta experimentos de campo que demuestran cuánto pueden afectar estos sesgos a los resultados. En los últimos años, la sociedad ha comenzado a lidiar con cuánto pueden influir estos prejuicios humanos en los sistemas de inteligencia artificial, con resultados dañinos. En un momento en que muchas empresas buscan implementar sistemas de inteligencia artificial en todas sus operaciones, es una prioridad urgente conocer estos riesgos y trabajar para reducirlos.
El problema no es completamente nuevo. En 1988, la Comisión de Igualdad Racial del Reino Unido declaró culpable de discriminación a una escuela de medicina británica. Se determinó que el programa de computadora que estaba utilizando para determinar qué solicitantes serían invitados a entrevistas era parcial contra las mujeres y aquellas con nombres no europeos. Sin embargo, el programa se había desarrollado para que coincida con las decisiones de admisión humana, con una precisión del 90 al 95 por ciento. Además, la escuela tenía una mayor proporción de estudiantes no europeos admitidos que la mayoría de las otras escuelas de medicina de Londres. El uso de un algoritmo no cura la toma de decisiones humanas sesgadas. Pero el simple hecho de volver a los tomadores de decisiones humanos tampoco resolvería el problema.
Treinta años después, los algoritmos se han vuelto considerablemente más complejos, pero seguimos enfrentando el mismo desafío. La IA puede ayudar a identificar y reducir el impacto de los prejuicios humanos, pero también puede empeorar el problema al incorporar y desplegar sesgos a escala en áreas sensibles de aplicación. Por ejemplo, como descubrió el sitio de noticias de investigación ProPublica, un algoritmo de justicia penal utilizado en Broward Country, Florida, etiquetó erróneamente a los acusados afroamericanos como "de alto riesgo" a casi el doble de la tasa que calificó incorrectamente a los acusados blancos. Otra investigación ha encontrado que entrenar modelos de procesamiento de lenguaje natural en artículos de noticias puede llevarlos a exhibir estereotipos de género.
El sesgo puede arrastrarse a los algoritmos de varias maneras. Los sistemas de IA aprenden a tomar decisiones basadas en datos de capacitación, que pueden incluir decisiones humanas sesgadas o reflejar inequidades históricas o sociales, incluso si se eliminan variables sensibles como el género, la raza o la orientación sexual. Amazon dejó de usar un algoritmo de contratación después de encontrar que favorecía a los solicitantes basados en palabras como "ejecutado" o "capturado" que se encontraban más comúnmente en los currículums de los hombres, por ejemplo. Otra fuente de sesgo es el muestreo de datos defectuoso, en el que los grupos están sobrerrepresentados en los datos de capacitación. Por ejemplo, Joy Buolamwini en el MIT, trabajando con Timnit Gebru, descubrió que las tecnologías de análisis facial tenían tasas de error más altas para las minorías y particularmente para las mujeres minoritarias, posiblemente debido a datos de capacitación no representativos.
El sesgo es toda nuestra responsabilidad. Por supuesto, perjudica a los discriminados, y también perjudica a todos al reducir la capacidad de las personas para participar en la economía y la sociedad. Reduce el potencial de la IA para las empresas y la sociedad al fomentar la desconfianza y producir resultados distorsionados. Los líderes empresariales y organizacionales deben asegurarse de que los sistemas de IA que utilizan mejoren en la toma de decisiones humanas, y tienen la responsabilidad de alentar el progreso en la investigación y los estándares que reducirán el sesgo en la IA.
De la creciente investigación académica sobre el sesgo de IA, surgen dos imperativos para la acción. Primero, debemos aprovechar de manera responsable las diversas formas en que la IA puede mejorar la toma de decisiones humana tradicional. Los sistemas de aprendizaje automático no tienen en cuenta las variables que no predicen con precisión los resultados (en los datos disponibles para ellos). Esto está en contraste con los humanos, que pueden mentir o no darse cuenta de los factores que los llevaron a, por ejemplo, contratar o ignorar a un candidato en particular. También puede ser más fácil sondear algoritmos para detectar sesgos, lo que puede revelar sesgos humanos que pasaron desapercibidos o no se han probado (aunque los modelos de aprendizaje profundo pueden ser inescrutables, un cerebro humano es la "caja negra" definitiva). Finalmente, el uso de IA para mejorar la toma de decisiones puede beneficiar a los grupos tradicionalmente desfavorecidos, como los investigadores Jon Kleinberg, Sendhil Mullainathan y otros llaman los "beneficios dispares de la predicción mejorada".
El segundo imperativo es acelerar el progreso que hemos visto al abordar el sesgo en la IA. Aquí, no hay soluciones rápidas. De hecho, uno de los pasos más complejos es también el más obvio: comprender y medir la "equidad". Los investigadores han desarrollado formas técnicas de definir la equidad, como exigir que los modelos tengan el mismo valor predictivo en todos los grupos o que los modelos tengan el mismo falso positivo y tasas de falsos negativos entre los grupos. Sin embargo, esto lleva a un desafío significativo: las diferentes definiciones de equidad generalmente no se pueden satisfacer al mismo tiempo.
Aun así, incluso a medida que evolucionan las definiciones y las métricas de equidad, los investigadores también han avanzado en una amplia variedad de técnicas que garantizan que los sistemas de inteligencia artificial puedan cumplirlas, procesando los datos de antemano, alterando las decisiones del sistema después o incorporando definiciones de equidad en el proceso de capacitación. Una técnica prometedora es la "equidad contrafactual", que garantiza que las decisiones de un modelo sean las mismas en un mundo contrafactual en el que se cambiaron los atributos considerados sensibles, como la raza, el género o la orientación sexual. Silvia Chiappa, de DeepMind, incluso ha desarrollado un enfoque de ruta específica para la equidad contrafactual que puede manejar casos complicados donde algunas rutas por las cuales los rasgos sensibles afectan los resultados se consideran justas, mientras que otras influencias se consideran injustas. Por ejemplo, el modelo podría usarse para ayudar a asegurar que la admisión a un departamento específico en una universidad no se vea afectada por el sexo del solicitante, mientras que potencialmente todavía permita que la tasa de admisión general de la universidad varíe según el sexo si, por ejemplo, las estudiantes tienden a solicitar más departamentos competitivos
Estas mejoras ayudarán, pero otros desafíos requieren más que soluciones técnicas, incluida la forma de determinar cuándo un sistema es lo suficientemente justo como para ser lanzado, y en qué situaciones debería permitirse la toma de decisiones totalmente automatizada. Estas preguntas requieren perspectivas multidisciplinarias, incluso de especialistas en ética, científicos sociales y otros pensadores de humanidades.
¿Qué pueden hacer los CEO y sus equipos de alta dirección para liderar el camino hacia la parcialidad y la equidad? Entre otros, vemos seis pasos esenciales:
Primero, los líderes empresariales deberán mantenerse actualizados en este campo de investigación en rápido movimiento. Varias organizaciones proporcionan recursos para obtener más información, como los informes anuales del Instituto AI Now, la Asociación sobre IA y el grupo de Equidad, Transparencia y Privacidad del Instituto Alan Turing.
En segundo lugar, cuando su empresa u organización está implementando inteligencia artificial, establezca procesos responsables que puedan mitigar el sesgo. Considere utilizar una cartera de herramientas técnicas, así como prácticas operativas como "equipos rojos" internos o auditorías de terceros. Las compañías tecnológicas están proporcionando ayuda aquí. Entre otros, Google AI ha publicado prácticas recomendadas, mientras que el marco "Fairness 360" de IBM reúne herramientas técnicas comunes.
Tercero, entablar conversaciones basadas en hechos sobre posibles prejuicios humanos. Hemos dependido durante mucho tiempo de los poderes, como las verificaciones de procedimientos, al decidir si las decisiones humanas eran justas. Ahora, con herramientas más avanzadas para detectar sesgos en las máquinas, podemos elevar los estándares a los que mantenemos a los humanos. Esto podría tomar la forma de ejecutar algoritmos junto con los tomadores de decisiones humanos, comparar resultados y usar "técnicas explicables" que ayudan a determinar qué llevó al modelo a tomar una decisión para comprender por qué puede haber diferencias. Es importante destacar que cuando encontramos un sesgo, no es suficiente cambiar un algoritmo: los líderes empresariales también deberían mejorar los procesos impulsados por el ser humano subyacentes.
Cuarto, considere cómo los humanos y las máquinas pueden trabajar juntos para mitigar el sesgo. Algunos sistemas "humanos en el circuito" hacen recomendaciones o brindan opciones que los humanos verifican dos veces o pueden elegir. La transparencia sobre la confianza de estos algoritmos en su recomendación puede ayudar a los humanos a comprender cuánto peso darles.
Quinto, invierta más, proporcione más datos y adopte un enfoque multidisciplinario en la investigación de prejuicios (respetando la privacidad) para continuar avanzando en este campo. Esfuerzos importantes para hacer que las elecciones de los diseñadores sean más transparentes e incorporar la ética en los planes de estudios de informática, entre otros, señalan el camino a seguir en la colaboración. Se necesitará más.
Finalmente, invierta más en diversificar el campo de IA en sí. Una comunidad de IA más diversa estaría mejor equipada para anticipar, revisar y detectar sesgos e involucrar a las comunidades afectadas. Esto requerirá inversiones en educación y oportunidades: trabajo como el de AI4ALL, una organización sin fines de lucro enfocada en desarrollar una cartera diversa e inclusiva de talento de IA en comunidades subrepresentadas a través de la educación y la tutoría.
La IA tiene muchos beneficios potenciales para las empresas, la economía y para abordar los desafíos sociales más apremiantes de la sociedad, incluido el impacto de los prejuicios humanos. Pero eso solo será posible si las personas confían en estos sistemas para producir resultados imparciales. La IA puede ayudar a los humanos con sesgo, pero solo si los humanos están trabajando juntos para abordar el sesgo en la IA.
James Manyika es el presidente del McKinsey Global Institute (MGI), el brazo de investigación de negocios y economía de McKinsey & Company.
Jake Silberg es consultor en la oficina de McKinsey & Company en San Francisco.
Brittany Presten es consultora en la oficina de McKinsey & Company en San Francisco.
Tecnología
Harvard Business Review
Los sesgos humanos están bien documentados, desde pruebas de asociación implícitas que demuestran sesgos de los que ni siquiera somos conscientes, hasta experimentos de campo que demuestran cuánto pueden afectar estos sesgos a los resultados. En los últimos años, la sociedad ha comenzado a lidiar con cuánto pueden influir estos prejuicios humanos en los sistemas de inteligencia artificial, con resultados dañinos. En un momento en que muchas empresas buscan implementar sistemas de inteligencia artificial en todas sus operaciones, es una prioridad urgente conocer estos riesgos y trabajar para reducirlos.
El problema no es completamente nuevo. En 1988, la Comisión de Igualdad Racial del Reino Unido declaró culpable de discriminación a una escuela de medicina británica. Se determinó que el programa de computadora que estaba utilizando para determinar qué solicitantes serían invitados a entrevistas era parcial contra las mujeres y aquellas con nombres no europeos. Sin embargo, el programa se había desarrollado para que coincida con las decisiones de admisión humana, con una precisión del 90 al 95 por ciento. Además, la escuela tenía una mayor proporción de estudiantes no europeos admitidos que la mayoría de las otras escuelas de medicina de Londres. El uso de un algoritmo no cura la toma de decisiones humanas sesgadas. Pero el simple hecho de volver a los tomadores de decisiones humanos tampoco resolvería el problema.
Treinta años después, los algoritmos se han vuelto considerablemente más complejos, pero seguimos enfrentando el mismo desafío. La IA puede ayudar a identificar y reducir el impacto de los prejuicios humanos, pero también puede empeorar el problema al incorporar y desplegar sesgos a escala en áreas sensibles de aplicación. Por ejemplo, como descubrió el sitio de noticias de investigación ProPublica, un algoritmo de justicia penal utilizado en Broward Country, Florida, etiquetó erróneamente a los acusados afroamericanos como "de alto riesgo" a casi el doble de la tasa que calificó incorrectamente a los acusados blancos. Otra investigación ha encontrado que entrenar modelos de procesamiento de lenguaje natural en artículos de noticias puede llevarlos a exhibir estereotipos de género.
El sesgo puede arrastrarse a los algoritmos de varias maneras. Los sistemas de IA aprenden a tomar decisiones basadas en datos de capacitación, que pueden incluir decisiones humanas sesgadas o reflejar inequidades históricas o sociales, incluso si se eliminan variables sensibles como el género, la raza o la orientación sexual. Amazon dejó de usar un algoritmo de contratación después de encontrar que favorecía a los solicitantes basados en palabras como "ejecutado" o "capturado" que se encontraban más comúnmente en los currículums de los hombres, por ejemplo. Otra fuente de sesgo es el muestreo de datos defectuoso, en el que los grupos están sobrerrepresentados en los datos de capacitación. Por ejemplo, Joy Buolamwini en el MIT, trabajando con Timnit Gebru, descubrió que las tecnologías de análisis facial tenían tasas de error más altas para las minorías y particularmente para las mujeres minoritarias, posiblemente debido a datos de capacitación no representativos.
El sesgo es toda nuestra responsabilidad. Por supuesto, perjudica a los discriminados, y también perjudica a todos al reducir la capacidad de las personas para participar en la economía y la sociedad. Reduce el potencial de la IA para las empresas y la sociedad al fomentar la desconfianza y producir resultados distorsionados. Los líderes empresariales y organizacionales deben asegurarse de que los sistemas de IA que utilizan mejoren en la toma de decisiones humanas, y tienen la responsabilidad de alentar el progreso en la investigación y los estándares que reducirán el sesgo en la IA.
De la creciente investigación académica sobre el sesgo de IA, surgen dos imperativos para la acción. Primero, debemos aprovechar de manera responsable las diversas formas en que la IA puede mejorar la toma de decisiones humana tradicional. Los sistemas de aprendizaje automático no tienen en cuenta las variables que no predicen con precisión los resultados (en los datos disponibles para ellos). Esto está en contraste con los humanos, que pueden mentir o no darse cuenta de los factores que los llevaron a, por ejemplo, contratar o ignorar a un candidato en particular. También puede ser más fácil sondear algoritmos para detectar sesgos, lo que puede revelar sesgos humanos que pasaron desapercibidos o no se han probado (aunque los modelos de aprendizaje profundo pueden ser inescrutables, un cerebro humano es la "caja negra" definitiva). Finalmente, el uso de IA para mejorar la toma de decisiones puede beneficiar a los grupos tradicionalmente desfavorecidos, como los investigadores Jon Kleinberg, Sendhil Mullainathan y otros llaman los "beneficios dispares de la predicción mejorada".
El segundo imperativo es acelerar el progreso que hemos visto al abordar el sesgo en la IA. Aquí, no hay soluciones rápidas. De hecho, uno de los pasos más complejos es también el más obvio: comprender y medir la "equidad". Los investigadores han desarrollado formas técnicas de definir la equidad, como exigir que los modelos tengan el mismo valor predictivo en todos los grupos o que los modelos tengan el mismo falso positivo y tasas de falsos negativos entre los grupos. Sin embargo, esto lleva a un desafío significativo: las diferentes definiciones de equidad generalmente no se pueden satisfacer al mismo tiempo.
Aun así, incluso a medida que evolucionan las definiciones y las métricas de equidad, los investigadores también han avanzado en una amplia variedad de técnicas que garantizan que los sistemas de inteligencia artificial puedan cumplirlas, procesando los datos de antemano, alterando las decisiones del sistema después o incorporando definiciones de equidad en el proceso de capacitación. Una técnica prometedora es la "equidad contrafactual", que garantiza que las decisiones de un modelo sean las mismas en un mundo contrafactual en el que se cambiaron los atributos considerados sensibles, como la raza, el género o la orientación sexual. Silvia Chiappa, de DeepMind, incluso ha desarrollado un enfoque de ruta específica para la equidad contrafactual que puede manejar casos complicados donde algunas rutas por las cuales los rasgos sensibles afectan los resultados se consideran justas, mientras que otras influencias se consideran injustas. Por ejemplo, el modelo podría usarse para ayudar a asegurar que la admisión a un departamento específico en una universidad no se vea afectada por el sexo del solicitante, mientras que potencialmente todavía permita que la tasa de admisión general de la universidad varíe según el sexo si, por ejemplo, las estudiantes tienden a solicitar más departamentos competitivos
Estas mejoras ayudarán, pero otros desafíos requieren más que soluciones técnicas, incluida la forma de determinar cuándo un sistema es lo suficientemente justo como para ser lanzado, y en qué situaciones debería permitirse la toma de decisiones totalmente automatizada. Estas preguntas requieren perspectivas multidisciplinarias, incluso de especialistas en ética, científicos sociales y otros pensadores de humanidades.
¿Qué pueden hacer los CEO y sus equipos de alta dirección para liderar el camino hacia la parcialidad y la equidad? Entre otros, vemos seis pasos esenciales:
Primero, los líderes empresariales deberán mantenerse actualizados en este campo de investigación en rápido movimiento. Varias organizaciones proporcionan recursos para obtener más información, como los informes anuales del Instituto AI Now, la Asociación sobre IA y el grupo de Equidad, Transparencia y Privacidad del Instituto Alan Turing.
En segundo lugar, cuando su empresa u organización está implementando inteligencia artificial, establezca procesos responsables que puedan mitigar el sesgo. Considere utilizar una cartera de herramientas técnicas, así como prácticas operativas como "equipos rojos" internos o auditorías de terceros. Las compañías tecnológicas están proporcionando ayuda aquí. Entre otros, Google AI ha publicado prácticas recomendadas, mientras que el marco "Fairness 360" de IBM reúne herramientas técnicas comunes.
Tercero, entablar conversaciones basadas en hechos sobre posibles prejuicios humanos. Hemos dependido durante mucho tiempo de los poderes, como las verificaciones de procedimientos, al decidir si las decisiones humanas eran justas. Ahora, con herramientas más avanzadas para detectar sesgos en las máquinas, podemos elevar los estándares a los que mantenemos a los humanos. Esto podría tomar la forma de ejecutar algoritmos junto con los tomadores de decisiones humanos, comparar resultados y usar "técnicas explicables" que ayudan a determinar qué llevó al modelo a tomar una decisión para comprender por qué puede haber diferencias. Es importante destacar que cuando encontramos un sesgo, no es suficiente cambiar un algoritmo: los líderes empresariales también deberían mejorar los procesos impulsados por el ser humano subyacentes.
Cuarto, considere cómo los humanos y las máquinas pueden trabajar juntos para mitigar el sesgo. Algunos sistemas "humanos en el circuito" hacen recomendaciones o brindan opciones que los humanos verifican dos veces o pueden elegir. La transparencia sobre la confianza de estos algoritmos en su recomendación puede ayudar a los humanos a comprender cuánto peso darles.
Quinto, invierta más, proporcione más datos y adopte un enfoque multidisciplinario en la investigación de prejuicios (respetando la privacidad) para continuar avanzando en este campo. Esfuerzos importantes para hacer que las elecciones de los diseñadores sean más transparentes e incorporar la ética en los planes de estudios de informática, entre otros, señalan el camino a seguir en la colaboración. Se necesitará más.
Finalmente, invierta más en diversificar el campo de IA en sí. Una comunidad de IA más diversa estaría mejor equipada para anticipar, revisar y detectar sesgos e involucrar a las comunidades afectadas. Esto requerirá inversiones en educación y oportunidades: trabajo como el de AI4ALL, una organización sin fines de lucro enfocada en desarrollar una cartera diversa e inclusiva de talento de IA en comunidades subrepresentadas a través de la educación y la tutoría.
La IA tiene muchos beneficios potenciales para las empresas, la economía y para abordar los desafíos sociales más apremiantes de la sociedad, incluido el impacto de los prejuicios humanos. Pero eso solo será posible si las personas confían en estos sistemas para producir resultados imparciales. La IA puede ayudar a los humanos con sesgo, pero solo si los humanos están trabajando juntos para abordar el sesgo en la IA.
James Manyika es el presidente del McKinsey Global Institute (MGI), el brazo de investigación de negocios y economía de McKinsey & Company.
Jake Silberg es consultor en la oficina de McKinsey & Company en San Francisco.
Brittany Presten es consultora en la oficina de McKinsey & Company en San Francisco.
No hay comentarios:
Publicar un comentario