Doxa 1451

Creación de transparencia en los proyectos de IA.

Por Reid Blackman y Beena Ammanath

Ética de negocios

Harvard Business Review

#doxa #IA #ética #negocios #proyectos #algoritmos #demanda #comunicar #riesgo #personas #empresa #transparencia #responsabilidad #tecnología #aprendizaje

Resumen. A medida que los algoritmos y las IA se integran cada vez más en la vida de las personas, también existe una creciente demanda de transparencia sobre cuándo se usa una IA y para qué se usa. Eso significa comunicar por qué se eligió una solución de IA, cómo se diseñó y desarrolló, por qué motivos se implementó, cómo se monitorea y actualiza, y las condiciones bajo las cuales se puede retirar. Hay cuatro efectos específicos de construir en transparencia: 1) disminuye el riesgo de error y mal uso, 2) distribuye la responsabilidad, 3) permite la supervisión interna y externa, y 4) expresa respeto por las personas. Sin embargo, la transparencia no es una propuesta de todo o nada. Las empresas deben encontrar el equilibrio adecuado con respecto a qué tan transparentes deben ser con qué partes interesadas.

En 2018, una de las empresas tecnológicas más grandes del mundo estrenó una IA que llamaba a los restaurantes y se hacía pasar por un ser humano para hacer reservas. Para “probar” que era humano, la empresa entrenó a la IA para insertar “umms” y “ahhs” en su solicitud: por ejemplo, “¿Cuándo me gustaría la reserva? Ummm, a las 8 p. m., por favor”.

La reacción fue inmediata: periodistas y ciudadanos objetaron que se estaba engañando a las personas para que pensaran que estaban interactuando con otra persona, no con un robot. La gente se sintió engañada.

La historia es tanto una advertencia como un recordatorio: a medida que los algoritmos y las IA se integran cada vez más en la vida de las personas, también existe una creciente demanda de transparencia sobre cuándo se usa una IA y para qué se usa. Es fácil entender de dónde viene esto. La transparencia es un elemento esencial para ganarse la confianza de los consumidores y clientes en cualquier ámbito. Y cuando se trata de IA, la transparencia no se trata solo de informar a las personas cuando interactúan con una IA, sino también de comunicarse con las partes interesadas relevantes sobre por qué se eligió una solución de IA, cómo se diseñó y desarrolló, sobre qué bases se implementó, cómo es monitoreado y actualizado, y las condiciones bajo las cuales puede ser retirado.

Visto de esta manera, y contrariamente a las suposiciones sobre la transparencia de muchas organizaciones, la transparencia no es algo que sucede al final de implementar un modelo cuando alguien pregunta al respecto. La transparencia es una cadena que viaja desde los diseñadores hasta los desarrolladores, los ejecutivos que aprueban la implementación, las personas a las que afecta y todos los demás. La transparencia es la transferencia sistemática de conocimiento de una parte interesada a otra: los recopiladores de datos son transparentes con los científicos de datos sobre qué datos se recopilaron y cómo se recopilaron y, a su vez, los científicos de datos son transparentes con los ejecutivos sobre por qué se eligió un modelo en lugar de otro. y los pasos que se tomaron para mitigar el sesgo, por ejemplo.

A medida que las empresas integran e implementan cada vez más IA, deben considerar cómo ser transparentes y qué procesos adicionales podrían necesitar introducir. Aquí es donde las empresas pueden comenzar.

Los impactos de ser transparente

Si bien el objetivo general de ser transparente es generar confianza, tiene al menos cuatro tipos específicos de efectos:

Disminuye el riesgo de error y mal uso. Los modelos de IA son sistemas muy complejos: están diseñados, desarrollados e implementados en entornos complejos por una variedad de partes interesadas. Esto significa que hay mucho margen para el error y el mal uso. La mala comunicación entre los ejecutivos y el equipo de diseño puede llevar a que una IA se optimice para la variable incorrecta. Si el equipo de producto no explica cómo manejar correctamente los resultados del modelo, la introducción de IA puede ser contraproducente en situaciones de alto riesgo.

Considere el caso de una IA diseñada para leer rayos X en busca de tumores cancerosos. Luego, los médicos revisaron las radiografías que la IA etiquetó como "positivas" para tumores. La IA se introdujo porque, se pensó, el médico puede mirar 40 radiografías marcadas con IA con mayor eficiencia que 100 radiografías no marcadas con IA.

Desafortunadamente, hubo una falla en la comunicación. Al diseñar el modelo, los científicos de datos pensaron razonablemente que marcar erróneamente una radiografía como negativa cuando, de hecho, la radiografía muestra un tumor canceroso puede tener consecuencias muy peligrosas, por lo que establecieron una tolerancia baja para los falsos negativos y, por lo tanto,, una alta tolerancia a los falsos positivos. Sin embargo, esta información no se comunicó a los radiólogos que usaron la IA.

El resultado fue que los radiólogos dedicaron más tiempo a analizar 40 radiografías marcadas con IA que 100 radiografías sin marcar. Pensaron, la IA debe haber visto algo que me estoy perdiendo, así que seguiré buscando. Si hubieran sido informados adecuadamente, si la decisión de diseño se hubiera hecho transparente para el usuario final, los radiólogos podrían haber pensado, realmente no veo nada aquí y sé que la IA es demasiado sensible, así que seguiré adelante..

Distribuye la responsabilidad. Los ejecutivos deben decidir si un modelo es lo suficientemente confiable para implementarlo. Los usuarios deben decidir cómo usar el producto en el que está integrado el modelo. Los reguladores deben decidir si se debe imponer una multa debido a un diseño o uso negligente. Los consumidores deben decidir si quieren interactuar con la IA. Ninguna de estas decisiones se puede tomar si las personas no están debidamente informadas, lo que significa que si algo sale mal, la culpa recae sobre los hombros de quienes ocultaron información importante o socavaron el intercambio de información por parte de otros.

Por ejemplo, un ejecutivo que aprueba el uso de la IA primero necesita saber, en términos generales, cómo se diseñó el modelo. Eso incluye, por ejemplo, cómo se obtuvieron los datos de entrenamiento, qué función objetivo se eligió y por qué se eligió, y cómo se desempeña el modelo frente a los puntos de referencia relevantes. Los ejecutivos y los usuarios finales que no reciben el conocimiento que necesitan para tomar decisiones informadas, incluido el conocimiento sin el cual ni siquiera saben que hay preguntas importantes que no están haciendo, no pueden ser razonablemente responsables.

La falta de comunicación de esa información es, en algunos casos, una negligencia en el cumplimiento del deber. En otros casos, particularmente para el personal más joven, la culpa no es de la persona que no se comunicó, sino de la persona o personas, especialmente los líderes, que no crearon las condiciones bajo las cuales es posible una comunicación clara. Por ejemplo, un gerente de producto que quiere controlar todas las comunicaciones de su grupo con cualquier persona fuera del grupo puede restringir involuntariamente las comunicaciones importantes porque sirven como un cuello de botella de comunicación.

Al ser transparente de principio a fin, se puede distribuir una rendición de cuentas genuina entre todos, ya que se les brinda el conocimiento que necesitan para tomar decisiones responsables.

Permite la supervisión interna y externa. Los modelos de IA son construidos por un puñado de científicos e ingenieros de datos, pero los impactos de sus creaciones pueden ser enormes, tanto en términos de cómo afecta el resultado final como de cómo afecta a la sociedad en su conjunto. Al igual que con cualquier otra situación de alto riesgo, se necesita supervisión tanto para detectar los errores cometidos por los tecnólogos como para detectar problemas potenciales para los que los tecnólogos pueden no estar capacitados, ya sean riesgos éticos, legales o de reputación. Hay muchas decisiones en el proceso de diseño y desarrollo que simplemente no deben dejarse (únicamente) en manos de los científicos de datos.

Sin embargo, la supervisión es imposible si los creadores de los modelos no comunican claramente a las partes interesadas internas y externas qué decisiones se tomaron y sobre qué base se tomaron. Uno de los bancos más grandes del mundo, por ejemplo, fue investigado recientemente por los reguladores por un algoritmo supuestamente discriminatorio, que requiere que los reguladores tengan una idea de cómo se diseñó, desarrolló e implementó el modelo. Del mismo modo, los administradores de riesgos internos o directorios no pueden cumplir con su función si tanto el producto como el proceso que dio como resultado el producto son opacos para ellos, lo que aumenta el riesgo para la empresa y todos los afectados por la IA.

Expresa respeto por las personas. Los clientes que usaron la IA para tomar reservas sintieron que habían sido engañados. En otros casos, la IA se puede utilizar para manipular o presionar a las personas. Por ejemplo, la IA juega un papel crucial en la difusión de desinformación, empujones y burbujas de filtro.

Considere, por ejemplo, un asesor financiero que oculta la existencia de algunas oportunidades de inversión y enfatiza las ventajas potenciales de otras porque obtiene una comisión mayor cuando vende estas últimas. Eso es malo para los clientes en al menos dos formas: primero, puede ser una mala inversión y, segundo, es manipulador y no logra obtener el consentimiento informado del cliente. Dicho de otra manera, este asesor no respeta suficientemente el derecho de sus clientes a determinar por sí mismos qué inversión es adecuada para ellos.

El punto más general es que la IA puede socavar la autonomía de las personas: su capacidad para ver las opciones disponibles y elegir entre ellas sin influencia o manipulación indebida. La medida en que las opciones se eliminan silenciosamente del menú y otras opciones se promueven repetidamente es, aproximadamente, la medida en que las personas son empujadas a casillas en lugar de tener la capacidad de elegir libremente. El corolario es que la transparencia sobre si se está utilizando una IA, para qué se utiliza y cómo funciona expresa respeto por las personas y su capacidad de toma de decisiones.

Cómo se ve una buena comunicación

La transparencia no es una propuesta de todo o nada. Las empresas deben encontrar el equilibrio adecuado con respecto a cuán transparentes deben ser con qué partes interesadas. Por ejemplo, ninguna organización quiere ser transparente de una manera que comprometa su propiedad intelectual, por lo que a algunas personas se les debe decir muy poco. En relación con esto, puede tener sentido ser altamente transparente en algunas circunstancias debido al riesgo severo; Las aplicaciones de IA de alto riesgo pueden requerir ir más allá de los niveles estándar de transparencia, por ejemplo.

Identificar a todas las partes interesadas potenciales, tanto internas como externas, es un buen punto de partida. Pregúnteles qué necesitan saber para hacer su trabajo. Un gerente de riesgo de modelo en un banco, por ejemplo, puede necesitar información relacionada con el umbral del modelo, mientras que el gerente de Recursos Humanos puede necesitar saber cómo se ponderan las variables de entrada para determinar un puntaje "digno de entrevista". Es posible que otra parte interesada, estrictamente hablando, no necesite la información para hacer su trabajo, pero se lo facilitaría. Esa es una buena razón para compartir la información. Sin embargo, si compartir esa información también crea un riesgo innecesario de comprometer la PI, puede ser mejor retener la información.

Saber por qué alguien necesita una explicación también puede revelar cuán alta es la prioridad de la transparencia para cada parte interesada. Por ejemplo, será bueno tener cierta información, pero no será estrictamente necesaria, y puede haber varias razones para proporcionar o retener esa información adicional.

En última instancia, este tipo de decisiones deberán sistematizarse en políticas y procedimientos.

Una vez que sepa quién necesita qué y por qué, entonces está la cuestión de proporcionar las explicaciones correctas. Un director de información puede comprender explicaciones técnicas que, por ejemplo, el director ejecutivo podría no entender, y mucho menos un regulador o el consumidor medio. Las comunicaciones deben adaptarse a sus audiencias, y estas audiencias son diversas en su conocimiento técnico, nivel educativo e incluso en los idiomas que hablan y leen. Entonces, es crucial que los equipos de productos de IA trabajen con las partes interesadas para determinar el método de comunicación más claro, más eficiente y más fácil, hasta los detalles de si la comunicación por correo electrónico, Slack, incorporación en persona o paloma mensajera es la más efectiva..

...

Implícita en nuestra discusión ha estado una distinción entre transparencia y explicabilidad. La IA explicable tiene que ver con cómo el modelo de IA transforma las entradas en salidas; ¿cuales son las normas? ¿Por qué esta entrada en particular condujo a esta salida en particular? La transparencia se trata de todo lo que sucede antes y durante la producción y el despliegue del modelo, ya sea que el modelo tenga o no resultados explicables.

La IA explicable es o puede ser importante por una variedad de razones que son distintas de las que hemos cubierto aquí. Dicho esto, gran parte de lo que hemos dicho también se aplica a la IA explicable. Después de todo, en algunos casos será importante comunicar a varias partes interesadas no solo lo que la gente ha hecho con el modelo de IA, sino también cómo funciona el modelo de IA en sí. En última instancia, tanto la explicabilidad como la transparencia son esenciales para generar confianza.

Reid Blackman es el autor de Ethical Machines: Your Concise Guide to Totally Unbiased, Transparent, and Respectful AI (Harvard Business Review Press, julio de 2022) y fundador y director ejecutivo de Virtue, una consultoría de riesgo ético. También es asesor sénior del Instituto de IA de Deloitte, anteriormente se desempeñó en el Consejo Asesor de IA de Ernst & Young y es voluntario como director de ética de la Asociación Gubernamental Blockchain sin fines de lucro. Anteriormente, Reid fue profesor de filosofía en la Universidad de Colgate y en la Universidad de Carolina del Norte, Chapel Hill.

Beena Ammanath es directora ejecutiva del Deloitte AI Institute global, autora del libro "Trustworthy AI", fundadora de la organización sin fines de lucro Humans For AI, y también dirige Trustworthy and Ethical Tech para Deloitte. Es una ejecutiva sénior galardonada con una amplia experiencia global en inteligencia artificial y transformación digital, que abarca comercio electrónico, finanzas, marketing, telecomunicaciones, venta minorista, productos de software, servicios y dominios industriales con empresas como HPE, GE, Thomson Reuters, British Telecom, Bank of America y e*trade.