Doxa 1136

Si su empresa utiliza IA, necesita una junta de revisión institucional

Los enfoques estándar ignoran decenas de posibles problemas éticos. Para mitigar mejor el riesgo, las empresas deben seguir el ejemplo del sector sanitario.

Por Reid Blackman 

Responsabilidad social

Harvard Business Review

Resumen. Las empresas que usan IA saben que deben preocuparse por la ética, pero cuando comienzan, tienden a seguir el mismo proceso roto de tres pasos: identifican la ética con "justicia", se enfocan en el sesgo y buscan usar herramientas técnicas y alcance a las partes interesadas para mitigar sus riesgos. Desafortunadamente, esto los predispone al fracaso. Cuando se trata de IA, centrarse en la justicia y el sesgo ignora una gran cantidad de riesgos éticos; muchos de estos problemas éticos desafían las soluciones técnicas. En lugar de intentar reinventar la rueda, las empresas deberían mirar a la profesión médica y adoptar juntas de revisión internas (IRB). Los IRB, que están compuestos por un equipo diverso de expertos, se adaptan bien a cuestiones éticas complejas. Cuando se les otorga jurisdicción y poder, y se incorporan temprano, son una herramienta poderosa que puede ayudar a las empresas a pensar en problemas éticos difíciles, ahorrando dinero y reputación de marca en el proceso.

Las conversaciones sobre inteligencia artificial y ética pueden haber comenzado como una preocupación de activistas y académicos, pero ahora, impulsadas por la frecuencia cada vez mayor de titulares de algoritmos sesgados, modelos de caja negra y violaciones de privacidad, las juntas directivas, los ejecutivos y los líderes de datos e inteligencia artificial. se dieron cuenta de que es un tema para el que necesitan un enfoque estratégico.

Una solución se esconde a plena vista. Otras industrias ya han encontrado formas de lidiar con dilemas éticos complejos de manera rápida, efectiva y de una manera que se puede replicar fácilmente. En lugar de intentar reinventar este proceso, las empresas deben adoptar y personalizar uno de los mayores inventos del cuidado de la salud: la Junta de Revisión Institucional o IRB.

Tres movimientos en las discusiones sobre ética de la IA

La mayoría de las discusiones sobre la ética de la IA siguen la misma fórmula defectuosa, que consta de tres movimientos, cada uno de los cuales es problemático desde la perspectiva de una organización que quiere mitigar los riesgos éticos asociados con la IA.

Así es como tienden a ir estas conversaciones.

En primer lugar, las empresas se mueven para identificar la ética de la IA con "justicia" en la IA o, a veces, de manera más general, "justicia, equidad e inclusión". Esto ciertamente resuena con el zeitgeist: el surgimiento de BLM, el movimiento antirracista y el apoyo corporativo a las medidas de diversidad e inclusión.

En segundo lugar, pasan del lenguaje de la justicia al lenguaje del "sesgo": "algoritmos" sesgados, como dicen los medios populares, o "modelos" sesgados, como los ingenieros (más exactamente) lo llaman. Los ejemplos de modelos (supuestamente) sesgados son bien conocidos, incluidos los de Amazon, Optum Health y Goldman Sachs.

Finalmente, buscan formas de abordar el problema tal como lo han definido. Discuten las herramientas técnicas (ya sean de código abierto, o vendidas por Big Tech o una startup) para la identificación de sesgos, que comparan de manera estándar los resultados de un modelo con docenas de métricas cuantitativas o "definiciones" de equidad que se encuentran en el área de investigación académica floreciente del aprendizaje automático ( ML) ética. También pueden considerar involucrar a las partes interesadas, especialmente aquellas que comprenden poblaciones históricamente marginadas.

Si bien algunas discusiones recientes sobre ética de la IA van más allá, muchas de las más destacadas no lo hacen. Y el conjunto de acciones más común que los profesionales realmente emprenden fluye de estos tres movimientos: la mayoría de las empresas adoptan una estrategia de mitigación de riesgos que utiliza una de las herramientas técnicas mencionadas anteriormente, si es que están haciendo algo.

Todo esto debería mantener despiertos a los administradores de la reputación de la marca, porque este proceso apenas ha arañado la superficie de los riesgos éticos que introduce la IA. Para entender por qué sucede esto, analicemos cada uno de estos movimientos uno por uno.

El primer movimiento te envía en la dirección equivocada, porque inmediatamente reduce el alcance. Definir la “ética de la IA” como “justicia en la IA” es problemático por la sencilla razón de que las cuestiones de justicia son solo un subconjunto de cuestiones éticas: acaba de decidir ignorar grandes franjas de riesgo ético. Lo más obvio es que hay problemas relacionados con las violaciones de la privacidad (dado que la mayor parte de la IA actual es ML, que a menudo se basa en datos de las personas) y salidas inexplicables / algoritmos de caja negra. Pero hay más. Por ejemplo, el principal riesgo ético relacionado con los coches autónomos impulsados ​​por IA no es el prejuicio o la privacidad, sino el asesinato y la mutilación. El riesgo ético de la tecnología de reconocimiento facial no termina cuando se elimina el sesgo del modelo (del cual hay varios ejemplos); un software de reconocimiento facial imparcial aún permite la vigilancia por parte de corporaciones y gobiernos (fascistas). La IA también requiere una gran cantidad de energía para alimentar las computadoras que están entrenando los algoritmos, lo que implica un grado sorprendente de daño al medio ambiente. La lista de formas en que una empresa puede enfrentarse a un desastre ético es interminable, por lo que reducir la ética de la IA a cuestiones relacionadas con la justicia es una receta para el desastre.

El segundo movimiento reduce aún más su competencia: los problemas de sesgo son un subconjunto de los problemas de equidad. Más específicamente, las cuestiones de sesgo en el contexto de la IA son cuestiones de cómo se tratan las diferentes subpoblaciones en relación con otras, si los bienes, servicios y oportunidades se distribuyen de manera justa y equitativa. ¿Se colocan los anuncios de trabajo de tal manera que es tan probable que sean vistos por la población afroamericana como por la población blanca? ¿Las mujeres que solicitan un empleo tienen la misma probabilidad de que su currículum se lleve a una entrevista como el currículum de un hombre? El problema con este enfoque es que las cuestiones de equidad se extienden más allá de las cuestiones de distribución equitativa de bienes a varias subpoblaciones.

Lo más obvio es que existen cuestiones sobre lo que merece cualquier individuo independientemente de cómo se trate a los demás. Si te estoy torturando y tú protestas, difícilmente justificaría mis acciones decir: "No te preocupes, estoy torturando a otras subpoblaciones al mismo ritmo que la población de la que eres miembro". Toda la categoría de derechos humanos se trata de lo que cada persona merece, independientemente de cómo se trate a los demás. La equidad involucra de manera crucial temas de desierto individual, y una discusión, y mucho menos una estrategia de mitigación de riesgos, que omita esto es más peligrosa para ella.

El problema final para las organizaciones llega en el tercer paso: identificar y adoptar estrategias de mitigación de sesgos y herramientas técnicas. Las organizaciones a menudo se apoyan en las herramientas técnicas, en particular, como su principal (o único) instrumento significativo para descubrir el sesgo, medido por las “definiciones” cuantitativas de equidad encontradas en la literatura reciente sobre ciencias de la computación. Aquí, nos encontramos con una serie de fallas en la mitigación del riesgo ético.

Primero, esas más de dos docenas de métricas cuantitativas de equidad no son compatibles entre sí. Simplemente no se puede ser justo de acuerdo con todos ellos al mismo tiempo. Eso significa que se debe hacer un juicio ético: ¿Cuáles, si alguna, de estas métricas cuantitativas de equidad son las éticas / apropiadas para usar? En lugar de traer abogados, teóricos políticos o especialistas en ética, todos los cuales tienen capacitación en este tipo de cuestiones éticas complejas, estas decisiones se dejan a los científicos e ingenieros de datos. Pero si los expertos no están en la sala, no puede esperar que su debida diligencia haya sido descargada de manera responsable.

En segundo lugar, estas herramientas de manera estándar solo se activan bien en el ciclo de vida del desarrollo. Debido a que miden el resultado de los modelos de IA, se utilizan después de que se han elegido los conjuntos de datos y se han entrenado los modelos, y se han dedicado una gran cantidad de recursos al producto. Entonces es ineficiente, por no mencionar impopular, volver a la mesa de dibujo si se detecta un problema de sesgo que no se puede resolver de una manera bastante sencilla.

En tercer lugar, si bien la búsqueda de una solución técnica y cuantitativa a la ética de la IA es comprensible, la verdad es que muchos problemas éticos no se pueden reducir a métricas cuantitativas o KPI. La vigilancia es un problema porque destruye la confianza, causa ansiedad, altera el comportamiento de las personas y, en última instancia, erosiona la autonomía. Las preguntas sobre si las personas están siendo tratadas con respeto, si el diseño de un producto es manipulador o simplemente ofrece incentivos razonables, si una decisión impone a las personas una carga demasiado grande para esperar razonablemente de ellas, todas ellas requieren evaluaciones cualitativas.

Cuarto, estas herramientas técnicas no cubren todos los tipos de sesgos. Por ejemplo, no averiguan si su motor de búsqueda ha etiquetado a los negros como "gorilas ". Se trata de casos de sesgo para los que no existe ninguna herramienta técnica.

En quinto lugar, la forma en que estas herramientas miden el sesgo a menudo no es compatible con la ley antidiscriminación existente. Por ejemplo, la ley contra la discriminación prohíbe a las empresas utilizar variables como la raza y el género en su proceso de toma de decisiones. Pero, ¿qué pasa si es necesario hacer eso para probar sus modelos en busca de sesgos y, por lo tanto, influir en los cambios que realizan en el modelo en un esfuerzo por mitigar el sesgo? Eso parece ser no solo éticamente permisible, sino también plausiblemente éticamente requerido.

Por último, en lo que respecta a la participación de las partes interesadas, generalmente es algo bueno. Sin embargo, más allá de las cuestiones logísticas a las que da lugar, no mitiga por sí misma ningún riesgo ético; los deja en su lugar, a menos que uno sepa cómo analizar la retroalimentación de las partes interesadas. Por ejemplo, suponga que sus partes interesadas son racistas. Suponga que las normas que son locales en el lugar donde desplegará su IA fomentan la discriminación de género. Suponga que sus partes interesadas no están de acuerdo entre sí porque, en parte, tienen intereses en conflicto; Las partes interesadas no son un grupo monolítico con una única perspectiva, después de todo. Los aportes de las partes interesadas son valiosos, pero no se puede derivar programáticamente una decisión ética a partir de los aportes de los interesados.

Una mejor manera: la IA IRB

Mi punto aquí no es que no se deben evitar las herramientas técnicas y el acercamiento a las partes interesadas; de hecho, son bastante útiles. Pero necesitamos formas más completas de abordar el riesgo ético. Idealmente, esto implicará la construcción de un programa integral de mitigación de riesgos éticos de IA que se implemente en toda la organización, lo que sin duda es un trabajo pesado. Si una empresa está buscando algo que hacer en un plazo relativamente corto que pueda tener un gran impacto (y que luego encajará bien con el programa más grande de mitigación de riesgos), debe seguir las pistas sobre la mitigación de riesgos éticos de la atención médica y crear un IRB..

En los Estados Unidos, los IRB en la medicina se introdujeron para mitigar los riesgos éticos que surgieron y se realizaron comúnmente en la investigación en seres humanos. Parte de esa conducta poco ética fue particularmente horrible, incluidos los experimentos de Tuskegee, en los que los médicos se abstuvieron de tratar a los hombres negros con sífilis, a pesar de que había penicilina disponible, para poder estudiar la progresión absoluta de la enfermedad. De manera más general, los objetivos de un IRB incluyen la defensa de los principios éticos fundamentales de respeto por las personas, beneficencia y justicia. Los IRB llevan a cabo su función aprobando, negando y sugiriendo cambios a los proyectos de investigación propuestos.

Comparar los tipos de riesgos éticos presentes en la medicina con los tipos presentes en la IA es útil por varias razones. Primero, en ambos casos existe la posibilidad de dañar a individuos y grupos de personas (por ejemplo, miembros de una raza o género en particular). En segundo lugar, existe una amplia gama de riesgos éticos que pueden realizarse en ambos campos, que van desde el daño físico y la angustia mental hasta la discriminación de las clases protegidas, la invasión de la privacidad de las personas y el socavamiento de la autonomía de las personas. En tercer lugar, muchos de los riesgos éticos en ambos casos surgen de las aplicaciones particulares de la tecnología en cuestión.

Aplicado a la IA, el IRB puede tener la capacidad de identificar de forma sistemática y exhaustiva los riesgos éticos en todos los ámbitos. Al igual que en la investigación médica, un IRB de IA no solo puede desempeñar el papel de aprobar y rechazar varias propuestas, sino que también debe hacer recomendaciones éticas de mitigación de riesgos a los investigadores y desarrolladores de productos. Además, un IRB bien constituido, más sobre esto en un momento, puede realizar las funciones que el enfoque actual no puede realizar.

Cuando se trata de construir y mantener un IRB, tres cuestiones cobran importancia: la pertenencia a la junta, la jurisdicción y la articulación de los valores que se esforzará por lograr (o al menos las pesadillas que se esfuerza por evitar).

Afiliación

Para identificar y mitigar de manera sistemática y exhaustiva los riesgos éticos de la IA, un IRB de IA requiere un equipo diverso de expertos. Querrá colocar un ingeniero que comprenda los fundamentos técnicos de la investigación y / o el producto para que el comité pueda comprender qué se está haciendo y qué se puede hacer desde una perspectiva técnica. Del mismo modo, es importante alguien que esté profundamente familiarizado con el diseño de productos. Hablan el lenguaje de los desarrolladores de productos, entienden los "viajes del cliente" y pueden ayudar a dar forma a estrategias éticas de mitigación de riesgos de una manera que no socave las funciones esenciales de los productos en consideración.

También querrá incluir miembros adyacentes a la ética, como abogados y oficiales de privacidad. Su conocimiento de las regulaciones actuales y potenciales, la ley contra la discriminación y las prácticas de privacidad son lugares importantes a los que debe prestar atención cuando se investigan los riesgos éticos.

En la medida en que el AI IRB tiene como función la identificación y mitigación de riesgos éticos, sería prudente de su parte incluir a un especialista en ética, por ejemplo, alguien con un doctorado. en filosofía que se especializa en ética, o, digamos, alguien con una maestría en ética médica. El especialista en ética no está ahí para actuar como una especie de sacerdote con puntos de vista éticos superiores. Están allí porque tienen capacitación, conocimiento y experiencia relacionados con la comprensión y detección de una amplia gama de riesgos éticos, familiaridad con conceptos y distinciones importantes que ayudan en la deliberación ética con los ojos claros y la habilidad de ayudar a grupos de personas a evaluar objetivamente cuestiones éticas. Es importante destacar que este tipo de evaluación de riesgos es diferente de los riesgos que se encuentran en las evaluaciones de riesgo de modelos creadas por científicos e ingenieros de datos.que tienden a centrarse en cuestiones relacionadas con la precisión y la calidad de los datos.

También puede resultarle útil incluir a varios expertos en la materia según la investigación o el producto en cuestión. Si el producto se va a implementar en universidades, se debe incluir a alguien que esté profundamente familiarizado con sus operaciones, objetivos y electores. Si se trata de un producto que se va a implementar en Japón, puede ser importante incluir a un experto en cultura japonesa.

Por último, como parte de un esfuerzo por mantener la independencia y la ausencia de conflicto de intereses (por ejemplo, miembros que buscan la aprobación de sus jefes), tener al menos un miembro no afiliado a su organización es importante (y, dicho sea de paso, es un requisito para los IRB médicos). Al mismo tiempo, todos los miembros deben tener una idea de los objetivos y necesidades comerciales.

Jurisdicción

¿Cuándo se debe consultar a un IRB de IA, cuánta potencia debe tener y dónde debe ubicarse en el desarrollo de productos? En la comunidad médica, se consulta a los IRB antes del inicio de la investigación. La razón es obvia: se consulta al IRB cuando se realizarán pruebas en seres humanos, y se necesita aprobación antes de que comience la prueba. Cuando se trata de autoridad, los IRB médicos son la máxima autoridad. Pueden aprobar y rechazar propuestas, así como sugerir cambios a la propuesta, y sus decisiones son definitivas. Una vez que un IRB ha rechazado una propuesta, otro IRB no puede aprobarla y la decisión no puede ser apelada.

La misma regla debería aplicarse a un IRB de IA.

A pesar de que el daño generalmente ocurre durante la implementación de la IA, no durante la investigación y el desarrollo de productos, hay un caso sólido para tener un IRB de IA antes de que comience la investigación y / o el desarrollo de productos. La razón principal de esto es que es mucho más fácil, y por lo tanto más económico y eficiente, cambiar proyectos y productos que aún no existen. Si, por ejemplo, solo se da cuenta de un riesgo ético significativo de una consecuencia potencial o probable no intencional de cómo se diseñó el producto, tendrá que salir al mercado con un producto que sabe que es éticamente riesgoso o tendrá que pasar por el costoso proceso de reingeniería del producto.

Si bien la ley otorga a los IRB médicos su autoridad, hay al menos una razón poderosa por la que debe considerar otorgar voluntariamente ese grado de poder a un IRB de IA: es una herramienta mediante la cual se puede construir una gran confianza con los empleados, clientes y consumidores.. Eso es particularmente cierto si su organización es transparente sobre las operaciones, incluso si no las decisiones exactas, del IRB. Si ser una empresa éticamente sólida está en la cima de la pirámide de los valores de su empresa, entonces otorgar a un IRB de AI la independencia y el poder de vetar propuestas sin la posibilidad de una apelación (a un miembro de su equipo ejecutivo, por ejemplo) es un buena idea.

Por supuesto, eso a menudo (lamentablemente) no es el caso. La mayoría de las empresas verán el AI IRB como una herramienta de mitigación de riesgos, no de eliminación, y se debe admitir al menos la posibilidad, si no la probabilidad, de casos en los que una empresa pueda llevar a cabo un proyecto que es éticamente riesgoso y, al mismo tiempo, altamente rentable. Para las empresas con ese tipo de apetito por el riesgo ético, se deberá crear un proceso de apelación o, si solo les preocupa en menor medida la mitigación del riesgo ético, pueden hacer que los pronunciamientos del consejo sean consultivos en lugar de obligatorios. En ese momento, sin embargo, no deben esperar que la junta sea particularmente eficaz para mitigar sistemáticamente los riesgos éticos.

Valores

Ha reunido su AI IRB y ha definido su jurisdicción. Ahora deberá articular los valores por los que debe guiarse. La forma estándar de hacer esto es articular un conjunto de principios y luego tratar de aplicar esos principios al caso que nos ocupa. Esto es notoriamente difícil, dada la amplia gama de formas en que los principios pueden interpretarse y aplicarse; Basta pensar en las diversas e incompatibles formas en que los políticos sinceros interpretan y aplican el principio de equidad.

En la ética médica, y en el derecho, en realidad, la toma de decisiones no suele regirse únicamente por principios. En cambio, se basan en estudios de casos y precedentes, comparando cualquier caso dado bajo investigación con casos anteriores que son similares. Esto le permite a su IRB aprovechar los conocimientos aportados sobre el caso anterior al presente. También aumenta la probabilidad de coherencia en la aplicación de principios en todos los casos.

Se puede avanzar aquí articulando las decisiones anteriores que el liderazgo superior tomó por motivos éticos antes de la existencia del IRB. Supongamos, por ejemplo, que el IRB sabe que los líderes superiores rechazaron un contrato con cierto gobierno debido a preocupaciones éticas particulares sobre cómo opera el gobierno en general o cómo anticiparon que el gobierno usaría su producto. El razonamiento que llevó a la decisión puede revelar cómo deben decidirse los casos futuros. En el caso de que no existan tales casos y / o no se hayan divulgado tales casos, puede ser útil considerar ejemplos ficticios, preferiblemente aquellos que no es improbable que se conviertan en ejemplos reales en el futuro, y que el IRB delibere y decida sobre esos casos. Hacer eso asegurará la preparación para el caso real cuando llegue a su puerta.También fomenta la objetividad fría con la que se pueden considerar los casos ficticios, cuando no hay dinero en juego, por ejemplo, para transferirlos a los casos reales con los que se compararán.

***

Todos sabemos que adoptar una estrategia de IA se está convirtiendo en una necesidad para seguir siendo competitivo. En una notable buena noticia, los miembros de la junta y los líderes de datos ven la mitigación del riesgo ético de la IA como un componente esencial de esa estrategia. Pero los enfoques actuales son extremadamente inadecuados y muchos líderes no están seguros de cómo desarrollar esta parte de su estrategia.

En ausencia del ideal, un compromiso generalizado para crear un programa robusto de riesgo ético de IA desde el primer día, construir, mantener y potenciar un IRB de IA puede servir como una base sólida para lograr ese ideal. Se puede crear en un orden relativamente corto, se puede poner a prueba con bastante facilidad, se puede construir y expandir para cubrir todos los equipos de productos e incluso todos los departamentos, y crea y comunica una cultura de ética. Ese es un golpe poderoso no solo para la ética de la IA, sino también para la ética de la organización en general.

Reid Blackman, Ph.D., es el fundador y director ejecutivo de Virtue, una consultora de riesgos éticos que trabaja con empresas para integrar la ética y la mitigación de riesgos éticos en la cultura empresarial y el desarrollo, implementación y adquisición de productos de tecnología emergente. También es Asesor Senior de Ernst & Young y forma parte de su Consejo Asesor de Inteligencia Artificial, y es miembro de la Iniciativa de Diseño Éticamente Alineado de IEEE. Antes de fundar Virtue, Reid fue profesor de filosofía en la Universidad de Colgate y la Universidad de Carolina del Norte, Chapel Hill.