Doxa 1257

La IA puede ayudar a abordar la desigualdad, si las empresas se ganan la confianza de los usuarios

Airbnb creó un algoritmo para cerrar la brecha de ganancias entre los anfitriones blancos y negros. Pero los anfitriones negros fueron significativamente menos propensos a usarlo.

Por Shunyuan Zhang, Kannan Srinivasan, Param Vir Singh y Nitin Mehta 

Algoritmos

Harvard Business Review

#Doxa #algitmos #tecnología #IA #aprendizaje #automático #diversidad #inclusión #ética #empresarial

Resumen. Si bien las empresas pueden pasar mucho tiempo probando modelos antes del lanzamiento, muchas dedican muy poco tiempo a considerar cómo funcionarán en la naturaleza. En particular, no consideran completamente cómo las tasas de adopción pueden alterar la intención de los desarrolladores. Por ejemplo, Airbnb lanzó un algoritmo de precios para cerrar la brecha de ganancias entre los anfitriones blancos y negros. Si bien el algoritmo redujo la disparidad económica entre los adoptantes en un 71,3%, los anfitriones negros tenían un 41% menos de probabilidades de usarlo, por lo que en muchos casos amplió la brecha de ganancias. La compañía necesitaba considerar mejor cómo se percibiría el algoritmo y abordar eso en su implementación para alentar a su público objetivo, los anfitriones negros, a confiar en él. Esto presenta dos lecciones para las empresas: considerar cómo se percibirá una herramienta algorítmica y crear un plan específico para generar confianza.

Las predicciones alcistas sugieren que la inteligencia artificial (IA) podría contribuir hasta con 15,7 billones de dólares a la economía mundial para 2030. Desde automóviles autónomos hasta aprobaciones hipotecarias más rápidas y decisiones publicitarias automatizadas, los algoritmos de inteligencia artificial prometen numerosos beneficios para las empresas y sus clientes.

Desafortunadamente, es posible que estos beneficios no se disfruten por igual. El sesgo algorítmico, cuando los algoritmos producen resultados discriminatorios contra ciertas categorías de personas, generalmente minorías y mujeres, también puede empeorar las desigualdades sociales existentes, particularmente cuando se trata de raza y género. Desde el algoritmo de predicción de la reincidencia utilizado en los tribunales hasta el algoritmo de predicción de la atención médica utilizado por los hospitales, los estudios han encontrado evidencia de sesgos algorítmicos que empeoran las disparidades raciales para los afectados, no mejoran.

Muchas empresas han realizado un esfuerzo considerable para combatir el sesgo algorítmico en su gestión y servicios. A menudo utilizan enfoques impulsados ​​por la ciencia de datos para investigar cuáles serán las predicciones de un algoritmo antes de lanzarlo al mundo. Esto puede incluir examinar diferentes especificaciones del modelo de IA, especificar la función objetivo que el modelo debe minimizar, seleccionar los datos de entrada que se incluirán en el modelo, preprocesar los datos y realizar predicciones del modelo de posprocesamiento.

Sin embargo, el resultado final de la implementación de un algoritmo se basa no solo en las predicciones del algoritmo, sino también en cómo será utilizado en última instancia por las empresas y los clientes, y este contexto crítico de receptividad y adopción del algoritmo a menudo se pasa por alto. Argumentamos que la implementación del algoritmo debe considerar las condiciones del mercado bajo las cuales se utiliza el algoritmo. Tales condiciones de mercado pueden afectar qué / quién y en qué medida las decisiones del algoritmo afectarán y, por lo tanto, influirán en los beneficios obtenidos para los usuarios al usar el algoritmo.

Por ejemplo, para ayudar a sus anfitriones a maximizar sus ingresos (es decir, los ingresos de la propiedad), Airbnb lanzó una herramienta de precios inteligente basada en algoritmos de inteligencia artificial que ajusta automáticamente el precio diario de una lista. Los anfitriones de Airbnb tienen información muy limitada sobre las propiedades de Airbnb de la competencia, las tarifas de los hoteles, la estacionalidad y varios otros choques de demanda que pueden utilizar para fijar el precio correcto de sus propiedades. El algoritmo de precios inteligentes estaba destinado a ayudar con esto, incorporando información relevante sobre el anfitrión, la propiedad y las características del vecindario de las enormes fuentes de información de la compañía para determinar el mejor precio para una propiedad. En nuestro estudio publicado recientemente, los ingresos diarios promedio de los anfitriones que adoptaron precios inteligentes aumentaron en un 8.6%. Sin embargo, después del lanzamiento del algoritmo, la brecha de ingresos raciales aumentó (es decir, los anfitriones blancos ganaron más) a nivel de población, que incluye tanto a los adoptantes como a los no adoptantes, porque los anfitriones negros tenían significativamente menos probabilidades de adoptar el algoritmo que los anfitriones blancos. fueron.

En las pruebas, la herramienta hizo exactamente lo que se suponía que debía hacer. Descubrimos que era perfectamente ciego a la raza, ya que los precios de anuncios similares se reducían en la misma cantidad independientemente de la raza del anfitrión. El algoritmo mejoró los ingresos para los anfitriones negros más que para los anfitriones blancos. Esto se debe a que la curva de demanda de propiedades para los anfitriones negros fue más elástica (es decir, más sensible a los cambios de precios) que la curva de demanda de propiedades equivalentes propiedad de los anfitriones blancos. Como la reducción de precio fue la misma, el número de reservas aumentó más para los anfitriones negros que para los blancos, lo que llevó a un mayor aumento de los ingresos para los anfitriones negros que para los anfitriones blancos. Desde una perspectiva de ciencia de datos, tuvo una implementación perfecta:Este algoritmo bien intencionado, ciego a la raza, tenía como objetivo proporcionar beneficios financieros al mejorar los ingresos de todos los adoptantes y brindar beneficios sociales al reducir la brecha de ingresos raciales entre los adoptantes.

En el mundo real, sin embargo, fue una historia diferente. El lanzamiento del algoritmo terminó ampliando en lugar de reducir la disparidad racial en Airbnb. Esta consecuencia no deseada podría haberse evitado internalizando las condiciones del mercado durante la implementación del algoritmo.

Determinamos que las empresas deben considerar las siguientes condiciones del mercado durante la creación del algoritmo de IA: 1) la receptividad de los usuarios objetivo a un algoritmo de IA, 2) las reacciones de los consumidores a las predicciones del algoritmo, y 3) si el algoritmo debe regularse para abordar los problemas raciales y económicos desigualdades al incorporar el comportamiento estratégico de las empresas en el desarrollo del algoritmo. Airbnb, por ejemplo, debería haber preguntado: 1) ¿Cómo reaccionarán los anfitriones de Airbnb (más específicamente, adoptarán) el algoritmo? y 2) ¿Cómo se puede alentar a los anfitriones negros a adoptarlo? Estas condiciones del mercado determinan el resultado final del mercado (por ejemplo, precio del producto, demanda de propiedades, beneficios para los usuarios) de aplicar un algoritmo de IA y, por lo tanto, deben analizarse y considerarse desde el principio.

¿Cómo percibirán un algoritmo los usuarios objetivo?

El algoritmo de precios inteligentes de Airbnb aumentó los ingresos diarios para todos los que lo usaron. Los anfitriones blancos vieron un aumento de $ 5,20 por día, y los anfitriones negros vieron un aumento de $ 13,9. El nuevo precio redujo la disparidad económica entre los adoptantes en un 71,3%.

Sin embargo, como los hosts negros tenían un 41% menos de probabilidades que los blancos de adoptar el algoritmo, el resultado de la introducción del algoritmo no fue del todo satisfactorio. Para los anfitriones negros que no usaron el algoritmo, la brecha de ganancias en realidad aumentó. Esto lleva a la siguiente pregunta: si usted es el director ejecutivo de una empresa que desea erradicar la desigualdad racial y recibe un informe de algoritmo de este tipo, ¿qué espera sembrar en el equipo de gestión de ciencia e ingeniería?

Para abordar la baja receptividad de los anfitriones negros a la nueva herramienta, Airbnb podría alentar a los anfitriones negros a adoptar el algoritmo, por ejemplo, recompensando a los usuarios negros que lo prueben o compartiendo una descripción detallada y evidencia de los beneficios de usar el algoritmo. También encontramos que la brecha de adopción racial era más significativa entre los anfitriones con un nivel socioeconómico bajo (SES), por lo que apuntar a anfitriones negros en los cuartiles de SES más bajos sería más eficiente.

Sin embargo, para hacer esto, es esencial comprender por qué la gente duda en primer lugar. Hay muchas razones por las que las personas pueden no ser receptivas a ceder el control a un algoritmo. Por ejemplo, se ha descubierto que la educación y los ingresos explican una barrera de adopción de alta tecnología para los usuarios negros, especialmente cuando el uso de la tecnología es (financieramente) costoso. Incluso si la tecnología se ofrece de forma gratuita (por ejemplo, el algoritmo de precios inteligentes de Airbnb), la confianza también juega un papel importante: un documento de trabajo (Shunyuan Zhang en coautoría con Yang Yang) indicó que crear conciencia sobre los prejuicios raciales haría que los grupos desfavorecidos fueran menos confiables y más reacios a adoptar algoritmos en general, incluidos los ciegos a la raza que ofrecen beneficios financieros, de salud o educativos a los usuarios.

En conversaciones con una empresa de comercio electrónico centrada en artículos usados, los autores del estudio se enteraron de que solo el 20% de los vendedores usaban la herramienta de precios gratuita que ofrece la empresa, lo que hace que los precios sean ineficientes y las ventas sean lentas. Una encuesta preliminar sugirió que los vendedores pueden sobrestimar el valor de sus artículos usados ​​y pueden no estar dispuestos a aceptar sugerencias de precios pronosticadas por algoritmos; esto se llama efecto de dotación. Por ejemplo, imagine que un vendedor enumera un vestido de segunda mano que cree que vale $ 15, pero el algoritmo de precios, que se entrenó en un enorme conjunto de datos y modelos, sugiere $ 10 y el vendedor reacciona negativamente. En respuesta a reacciones como esta, la compañía podría explicarle al vendedor cómo se hizo la sugerencia de $ 10 y presentar artículos similares que tenían un precio y se vendían a $ 10.Proporcionar tal explicación aumenta la transparencia de las operaciones comerciales yaumenta la confianza del cliente.

En pocas palabras, al incorporar diferencias en la adopción de algoritmos de inteligencia artificial entre grupos raciales, las empresas deben personalizar sus esfuerzos de promoción de algoritmos y tratar de abordar las preocupaciones de los usuarios que más desean adoptar.

¿Cómo reaccionarán los consumidores a los efectos de un algoritmo de IA?

Es un error ver los algoritmos de IA simplemente como modelos que generan decisiones e impactan a las personas que reciben esas decisiones. El impacto es en ambos sentidos: la forma en que los consumidores (es decir, los destinatarios de las decisiones) reaccionen a las decisiones de la IA determinará el efecto del algoritmo en los resultados del mercado.

El algoritmo de precios inteligentes de Airbnb es un buen ejemplo de este fenómeno. Suponga que es el director ejecutivo de Airbnb y está informando sobre el algoritmo desarrollado por su empresa en una audiencia del Comité de la Cámara sobre IA equitativa. Es posible que esté feliz de que su algoritmo, condicionado a la adopción, pueda combatir la desigualdad racial. Sin embargo, podría hacer más para mitigar la disparidad racial. Debe considerar las siguientes condiciones clave de marketing: 1) Los hosts en blanco y negro pueden enfrentar diferentes curvas de demanda, y 2) Los hosts en negro están menos representados en los datos utilizados para entrenar el algoritmo de IA. Específicamente, la curva de demanda de las propiedades de los anfitriones negros fue más elástica que la de las propiedades similares de los anfitriones blancos. Diferentes curvas de demanda pueden surgir de la discriminación social,lo que lleva a los huéspedes a ser más sensibles a los precios de las propiedades de propiedad de negros que de las de propiedad de blancos.

Dado que los huéspedes respondieron mejor a las reducciones de precios de las propiedades de propiedad de negros, es fundamental incorporar esta condición de mercado al implementar un algoritmo de inteligencia artificial. Puede reducir aún más la brecha de ingresos entre los hosts blancos y negros utilizando directamente la raza o incluyendo indirectamente características cercanas o correlacionadas en el algoritmo. Ignorar las diferencias inherentes en las condiciones del mercado puede llevar a sugerencias de precios que estén más lejos de los precios óptimos para los anfitriones negros que de los precios óptimos para los anfitriones blancos. Esto se debe a que los anfitriones negros representan solo el 9% de las propiedades de Airbnb, mientras que los anfitriones blancos representan el 80%. 

¿Qué deberían hacer las empresas?

Si está en un grupo de trabajo de equidad de IA a nivel corporativo o gubernamental, ¿qué debe hacer al considerar cómo implementar un algoritmo destinado a mitigar las disparidades raciales? Si tuviera que esbozar el ecosistema del algoritmo focal, ¿quiénes serían los creadores, los usuarios objetivo y los receptores de decisiones del algoritmo? ¿Cómo reaccionarían al algoritmo y cómo afectarían sus reacciones al resultado final del algoritmo?

Primero, considere realmente cómo el algoritmo será percibido por los usuarios objetivo. Esto dará forma a su desempeño en el mundo real. Pregunte si los usuarios saben (o pueden ser conscientes) de cómo funciona el algoritmo. Si saben que su empresa está implementando un nuevo algoritmo destinado a abordar una desigualdad, ¿cómo reaccionarán? Si los usuarios subrepresentados pueden sentirse presionados o sentir que el algoritmo puede estar sesgado en su contra, será menos probable que lo utilicen. Tenga en cuenta cómo la discriminación histórica y los problemas recientes con la representación insuficiente en los conjuntos de datos pueden hacer que sus usuarios objetivo sean escépticos (por ejemplo, preocupaciones posiblemente bien fundadas en la atención médica pueden impulsar la desigualdad en la vacunación Covid-19).

En segundo lugar, concéntrese en generar confianza y ayudar a los usuarios a comprender qué debe hacer el algoritmo y cómo funciona. Si la adopción del algoritmo es opcional (como en el caso de Airbnb), este proceso de considerar si los usuarios, en particular los usuarios de grupos subrepresentados, comprenderán, confiarán y adoptarán el algoritmo es aún más importante. Es importante comunicarse claramente con ellos sobre el propósito de introducir el algoritmo y cómo funciona, así como incentivarlos a usar el algoritmo, especialmente cuando es más efectivo para los grupos minoritarios o basados ​​en el género. Explique cómo se lanzó la iniciativa para reducir las desigualdades raciales, y cómo lo hará, parte de su estrategia de implementación.

***

Debido a la escalabilidad y el valor de las predicciones precisas, las empresas desplegarán y aplicarán cada vez más algoritmos en sus operaciones y servicios, y la adopción probablemente solo aumentará. Pero las empresas deben abordar las preocupaciones de que los algoritmos puedan producir resultados sesgados contra los grupos desfavorecidos. Desafortunadamente, los enfoques comunes impulsados ​​por la ciencia de datos, incluido el procesamiento de datos y la calibración de las especificaciones del modelo, son insuficientes e ineficientes. Para que las empresas combatan mejor los problemas de sesgo algorítmico, considerar la percepción y la adopción de algoritmos y las condiciones del mercado como las que hemos descrito debería ser una parte importante del despliegue de herramientas algorítmicas.

Si se hacen correctamente, estas herramientas pueden mitigar los prejuicios humanos y salvar las consecuencias económicas que se derivan de ellos. Si se hace mal, solo con unos pocos algoritmos de empresas establecidas, puede socavar por completo y ralentizar la implementación del algoritmo de IA.

Shunyuan Zhang es profesor asistente en la unidad de marketing de la Harvard Business School. Realiza análisis de datos estructurados y no estructurados generados por las nuevas plataformas de economía colaborativa para abordar cuestiones importantes que surgen en la economía colaborativa. Sus intereses de investigación recientes incluyen el estudio de las implicaciones económicas de las predicciones de algoritmos y el sesgo algorítmico en la receptividad individual de los algoritmos, la equidad entre usuarios heterogéneos y las competencias de plataformas.

Kannan Srinivasan es profesor HJ Heinz II de gestión, marketing y tecnologías empresariales en la Escuela de Negocios Tepper de la Universidad Carnegie Mellon. Anteriormente, enseñó en las escuelas de negocios de Stanford y la Universidad de Chicago. Ha trabajado en la cuantificación del valor económico de datos no estructurados (incluidos texto e imágenes) combinando métodos de aprendizaje profundo y econométricos. Recientemente, ha estado trabajando en áreas como la escalabilidad de la moneda criptográfica, la economía colaborativa, el sesgo del algoritmo en la inteligencia artificial y los efectos beneficiosos de los bloqueadores de anuncios.

Param Vir Singh es el profesor Carnegie Bosch de Tecnologías Empresariales y Marketing en la Escuela de Negocios Tepper de la Universidad Carnegie Mellon. La investigación reciente del profesor Singh se centra en la inteligencia artificial y las implicaciones económicas del sesgo algorítmico, la transparencia y la interpretabilidad para las empresas y la sociedad. Su trabajo ha aparecido en Ciencias del marketing, Ciencias de la gestión, Investigación de sistemas de información y Ciencias de la organización. Es editor senior de Information Systems Research y editor asociado de Management Science.

Nitin Mehta es profesor de marketing y coordinador de área de marketing. Su investigación se centra en modelos estructurales de búsqueda de consumidores, elecciones de múltiples categorías, recuerdo y aprendizaje imperfectos, decisiones de salud de los consumidores, adopción de IA por parte de empresas y consumidores, y el impacto social de la IA. Nitin ha impartido el curso básico de marketing de MBA durante muchos años, y actualmente enseña precios y análisis para la estrategia de marketing. Actualmente se desempeña como editor asociado en Marketing Science e IJRM.