Doxa 1499

Cuándo, y por qué, debe explicar cómo funciona su IA.

Cuatro escenarios en los que las empresas deberían poder explicar las predicciones de un algoritmo.

Por Reid Blackman y Beena Ammanath

IA y aprendizaje automático

Harvard Business Review

#doxa #IA #escenarios #empresa #algoritmo #predicciones #valor #regulación #herramientas #sistema #eqidad #ética #tecnología

Resumen. La IA agrega valor al identificar patrones tan complejos que pueden desafiar la comprensión humana. Eso puede crear un problema: la IA puede ser una caja negra, lo que a menudo nos impide responder preguntas cruciales sobre sus operaciones. Eso importa más en unos casos que en otros. Las empresas deben comprender qué significa que la IA sea "explicable" y cuándo es importante poder explicar cómo una IA produjo sus resultados. En general, las empresas necesitan explicabilidad en IA cuando: 1) la regulación lo requiere, 2) es importante para comprender cómo usar la herramienta, 3) podría mejorar el sistema y 4) puede ayudar a determinar la equidad.

"Con la cantidad de datos actual, sabemos que no hay forma de que nosotros, como seres humanos, podamos procesarlos todos... La única técnica que conocemos que puede obtener información de los datos es la inteligencia artificial", dijo recientemente el CEO de IBM, Arvind Krishna, a Wall Street. diario _

Las ideas a las que se refiere Krishna son patrones en los datos que pueden ayudar a las empresas a hacer predicciones, ya sea la probabilidad de que alguien no cumpla con el pago de una hipoteca, la probabilidad de desarrollar diabetes en los próximos dos años o si un candidato para el trabajo es una buena opción.. Más específicamente, la IA identifica patrones matemáticos que se encuentran en miles de variables y las relaciones entre esas variables. Estos patrones pueden ser tan complejos que pueden desafiar la comprensión humana.

Esto puede crear un problema: si bien entendemos las variables que ponemos en la IA (solicitudes de hipoteca, historiales médicos, currículos) y entendemos los resultados (aprobación del préstamo, diabetes, digno de una entrevista), es posible que no entendamos lo que está pasando. entre las entradas y las salidas. La IA puede ser una "caja negra", que a menudo nos impide responder preguntas cruciales sobre las operaciones de la "máquina": ¿Está haciendo predicciones confiables? ¿Está haciendo esas predicciones sobre bases sólidas o justificadas? ¿Sabremos cómo arreglarlo si se rompe? O, de manera más general: ¿podemos confiar en una herramienta cuyas operaciones no entendemos, particularmente cuando hay mucho en juego?

En la mente de muchos, la necesidad de responder a estas preguntas conduce a la demanda de una IA explicable : en resumen, una IA cuyas predicciones podamos explicar.

¿Qué hace que una explicación sea buena?

Una buena explicación debe ser inteligible para su público objetivo y debe ser útil, en el sentido de que ayuda a ese público a lograr sus objetivos. Cuando se trata de IA explicable, hay una variedad de partes interesadas que podrían necesitar comprender cómo una IA tomó una decisión: reguladores, usuarios finales, científicos de datos, ejecutivos encargados de proteger la marca de la organización y consumidores afectados, por nombrar algunos.. Todos estos grupos tienen diferentes conjuntos de habilidades, conocimientos y objetivos: es probable que un ciudadano promedio no entienda un informe destinado a científicos de datos.

Entonces, lo que cuenta como una buena explicación depende de a qué partes interesadas esté dirigida. Diferentes audiencias a menudo requieren diferentes explicaciones.

Por ejemplo, un consumidor rechazado por un banco para una hipoteca probablemente querrá entender por qué se la negaron para poder hacer cambios en sus vidas y poder tomar una mejor decisión la próxima vez. Un médico querría entender por qué se generó la predicción sobre la enfermedad del paciente para poder determinar si la IA nota un patrón que ellos no notan o si la IA podría estar equivocada. Los ejecutivos querrían explicaciones que los pusieran en condiciones de comprender los riesgos éticos y reputacionales asociados con la IA para que puedan crear estrategias adecuadas de mitigación de riesgos o decidir realizar cambios en su estrategia de salida al mercado.

Sin embargo, adaptar una explicación a la audiencia y al caso en cuestión es más fácil decirlo que hacerlo. Por lo general, implica compromisos difíciles entre la precisión y la explicabilidad. En general, reducir la complejidad de los patrones que identifica una IA facilita la comprensión de cómo produce los resultados que genera. Pero, en igualdad de condiciones, rechazar la complejidad también puede significar rechazar la precisión y, por lo tanto, la utilidad de la IA. Si bien los científicos de datos tienen herramientas que ofrecen información sobre cómo las diferentes variables pueden estar dando forma a los resultados, estas solo ofrecen una mejor estimación de lo que sucede dentro del modelo y, en general, son demasiado técnicas para que los consumidores, ciudadanos, reguladores y ejecutivos las usen en tomando decisiones.

Las organizaciones deben resolver esta tensión, o al menos abordarla, en su enfoque de la IA, incluso en sus políticas, diseño y desarrollo de modelos que diseñan en el momento o que adquieren de proveedores externos. Para hacer esto, deben prestar mucha atención a cuándo la explicabilidad es una necesidad frente a algo agradable frente a algo completamente innecesario.

Cuando necesitamos explicabilidad

Intentar explicar cómo una IA crea sus resultados requiere tiempo y recursos; no es gratis Esto significa que vale la pena evaluar si se necesitan resultados explicables en primer lugar para cualquier caso de uso en particular. Por ejemplo, la IA de reconocimiento de imágenes se puede usar para ayudar a los clientes a etiquetar fotos de sus perros cuando suben sus fotos a la nube. En ese caso, la precisión puede ser muy importante, pero exactamente cómoel modelo no puede importar tanto. O tome una IA que prediga cuándo llegará el envío de tornillos a la fábrica de juguetes; puede que no haya una gran necesidad de explicabilidad allí. De manera más general, una buena regla general es que la explicabilidad probablemente no sea necesaria cuando se hacen predicciones de bajo riesgo sobre entidades que no son personas. (Hay excepciones, sin embargo, como cuando la optimización de rutas para el metro lleva a dar mayor acceso a ese recurso a algunas subpoblaciones que a otras).

El corolario es que la explicabilidad puede ser muy importante, especialmente cuando los resultados se relacionan directamente con la forma en que se trata a las personas. Hay al menos cuatro tipos de casos a considerar en este sentido.

Cuando el cumplimiento normativo lo requiere.

Alguien a quien se le negó un préstamo o una hipoteca merece una explicación de por qué se le negó. No solo merecen esa explicación como una cuestión de respeto, simplemente decir "no" a un solicitante y luego ignorar las solicitudes de explicación es una falta de respeto, sino que también lo exigen las reglamentaciones. Las empresas de servicios financieros, que ya requieren explicaciones para sus modelos que no son de IA, probablemente tendrán que extender ese requisito a los modelos de IA, como indican las regulaciones actuales y pendientes, particularmente fuera de la Unión Europea.

Cuando la explicabilidad es importante para que los usuarios finales puedan ver la mejor manera de utilizar la herramienta.

No necesitamos saber cómo funciona el motor de un automóvil para conducirlo. Pero en algunos casos, saber cómo funciona un modelo es imprescindible para su uso efectivo. Por ejemplo, un agente de detección de fraude puede utilizar una IA que señale posibles casos de fraude. Si no saben por qué la IA marcó la transacción, no sabrán por dónde comenzar su investigación, lo que resultará en un proceso altamente ineficiente. Por otro lado, si la IA no solo marca las transacciones que justifican una mayor investigación, sino que también incluye una explicación de por qué se marcó la transacción, entonces el agente puede hacer su trabajo de manera más eficiente y efectiva.

Cuando la explicabilidad podría mejorar el sistema.

En algunos casos, los científicos de datos pueden mejorar la precisión de sus modelos en comparación con los puntos de referencia relevantes haciendo ajustes en la forma en que se entrena o cómo funciona sin tener una comprensión profunda de cómo funciona. Este es el caso de la IA de reconocimiento de imágenes, por ejemplo. En otros casos, saber cómo funciona el sistema puede ayudar a depurar el software de IA y realizar otros tipos de mejoras. En esos casos, dedicar recursos a la explicabilidad puede ser esencial para el valor comercial a largo plazo del modelo.

Cuando la explicabilidad puede ayudar a evaluar la equidad.

La explicabilidad viene, en términos generales, en dos formas: global y local. Las explicaciones locales articulan por qué esta entrada en particular condujo a esta salida en particular, por ejemplo, por qué a esta persona en particular se le negó una entrevista de trabajo. Las explicaciones globales articulan de manera más general cómo el modelo transforma las entradas en salidas. Dicho de otro modo, articulan las reglas del modelo o las reglas del juego. Por ejemplo, las personas que tienen este tipo de historial médico con este tipo de resultados de análisis de sangre obtienen este tipo de diagnóstico.

En una amplia variedad de casos, debemos preguntarnos si los resultados son justos: ¿realmente se le debería haber negado una entrevista a esta persona o evaluamos injustamente al candidato? Aún más importante, cuando le pedimos a alguien que siga las reglas del juego de contratación/préstamo hipotecario/recepción de anuncios, debemos evaluar si las reglas del juego son justas, razonables y, en general, éticamente aceptables. Las explicaciones, especialmente de la variedad global, son entonces importantes cuando queremos o necesitamos evaluar éticamente las reglas del juego; las explicaciones nos permiten ver si las reglas están justificadas.

Construcción de un marco de explicabilidad

La explicabilidad importa en algunos casos y no en otros, y cuando importa, puede serlo por una variedad de razones. Además, la sensibilidad operativa a tales asuntos puede ser crucial para el diseño y la implementación eficientes, efectivos y éticos de la IA. Por lo tanto, las organizaciones deberían crear un marco que aborde los riesgos de las cajas negras para su industria y sus organizaciones en particular, permitiéndoles priorizar adecuadamente la explicabilidad en cada uno de sus proyectos de IA. Ese marco no solo permitiría a los científicos de datos crear modelos que funcionen bien, sino que también permitiría a los ejecutivos tomar decisiones acertadas sobre qué se debe diseñar y cuándo los sistemas son lo suficientemente confiables para implementar.

Reid Blackman es el autor de Ethical Machines: Your Concise Guide to Totally Unbiased, Transparent, and Respectful AI (Harvard Business Review Press, julio de 2022) y fundador y director ejecutivo de Virtue, una consultoría de riesgo ético. También es asesor sénior del Instituto de IA de Deloitte, anteriormente se desempeñó en el Consejo Asesor de IA de Ernst & Young y es voluntario como director de ética de la Asociación Gubernamental Blockchain sin fines de lucro. Anteriormente, Reid fue profesor de filosofía en la Universidad de Colgate y en la Universidad de Carolina del Norte, Chapel Hill.

Beena Ammanath es directora ejecutiva del Deloitte AI Institute global, autora del libro "Trustworthy AI", fundadora de la organización sin fines de lucro Humans For AI, y también dirige Trustworthy and Ethical Tech para Deloitte. Es una ejecutiva sénior galardonada con una amplia experiencia global en inteligencia artificial y transformación digital, que abarca comercio electrónico, finanzas, marketing, telecomunicaciones, venta minorista, productos de software, servicios y dominios industriales con empresas como HPE, GE, Thomson Reuters, British Telecom, Bank of America y e*trade.