El dilema ético en el corazón de las grandes empresas tecnológicas
Por Emanuel Moss y Jacob Metcalf
Ética
Harvard Business Reivew
Si parece que cada semana hay un nuevo escándalo sobre la ética y la industria tecnológica, no es tu imaginación. A pesar de que la industria tecnológica está tratando de establecer prácticas e instituciones concretas en torno a la ética tecnológica, se están aprendiendo lecciones difíciles sobre la gran brecha entre las prácticas de "hacer ética" y lo que las personas consideran "ético". Esto ayuda a explicar, en parte, por qué levanta las cejas cuando Google disuelve su consejo asesor de ética de IA de corta duración, ante la protesta pública sobre la inclusión de un alumno polémico de la Fundación Heritage, o cuando la presión organizada de los resultados del personal de ingeniería de Google en la cancelación de contratos militares.
Esta brecha es importante, porque junto con estas llamadas decididamente malas por parte de quienes lideran la carga de la ética en la industria, también estamos viendo que el sector tecnológico comienza a invertir recursos significativos en la capacidad organizacional para identificar, rastrear y mitigar las consecuencias de las tecnologías algorítmicas. Estamos en un punto donde parecería que los académicos y críticos que habían exhortado a la industria a hacer tales consideraciones durante décadas deberían declarar una pequeña victoria. Sin embargo, en muchos casos, esas mismas voces externas están planteando una vigorosa ronda de objeciones a las elecciones de la industria tecnológica, a menudo con buenas razones. Si bien hace solo unos años, parecía que todos compartían una comprensión de lo que se entiende por "ética en la industria de la tecnología", ahora que la "ética" es un sitio de poder, que puede determinar el significado y las prácticas de la "ética". siendo muy disputado.
En Silicon Valley, sin embargo, no está claro qué significa todo esto, particularmente cuando se trata de traducir los principios éticos en las necesidades prácticas y el lenguaje de los negocios. ¿La ética tecnológica es solo la búsqueda de procesos robustos? ¿Cuáles son los objetivos de los especialistas en ética tecnológica y cuál es su teoría del cambio? ¿Se puede medir algo de este trabajo en los marcos que las empresas ya utilizan para dar cuenta del valor? ¿Cuánto agrega la "ética" al costo de hacer negocios, y cuál es la diferencia para las empresas que recién están comenzando, corriendo hacia la OPV o que ya son nombres conocidos?
Para averiguarlo, nosotros, junto con la coautora del estudio, Danah Boyd (que prefiere letras minúsculas en su nombre), estudiamos a quienes realizan el trabajo de ética dentro de las empresas, a quienes llamamos "propietarios de ética", para averiguar qué ellos ven como su tarea a mano. "Propietario" es un lenguaje común dentro de las estructuras corporativas planas, es decir, alguien que es responsable de coordinar un dominio de trabajo en las diferentes unidades de una organización. Nuestra investigación que entrevista a esta nueva clase de profesionales de la industria de la tecnología muestra que su trabajo es, tentativa y vacilante, cada vez más concreto a través de la atención al proceso y la preocupación por los resultados. Aprendimos que las personas en estos nuevos roles enfrentan un importante conjunto de tensiones que fundamentalmente no se pueden resolver. Los problemas éticos nunca se resuelven, se navegan y negocian como parte del trabajo de los propietarios de ética.
El desafío central que enfrentan los propietarios de ética es negociar entre presiones externas para responder a crisis éticas al mismo tiempo que deben responder a las lógicas internas de sus empresas y la industria. Por un lado, las críticas externas los empujan a desafiar las prácticas y prioridades comerciales centrales. Por otro lado, las lógicas de Silicon Valley, y de los negocios en general, crean presiones para establecer o restaurar procesos y resultados predecibles que aún sirven a la línea de fondo.
Identificamos tres lógicas distintas que caracterizan esta tensión entre las presiones internas y externas:
Meritocracia: aunque originalmente acuñada como un término burlón en ciencia ficción satírica por el sociólogo británico Michael Young, la meritocracia infunde todo en Silicon Valley, desde prácticas de contratación hasta posiciones políticas, y justifica retroactivamente el poder de la industria en nuestras vidas. Como tal, la ética a menudo se enmarca en un enfoque hacia enfoques más inteligentes, mejores y más rápidos, como si los problemas de la industria tecnológica pudieran abordarse a través de esas virtudes. Dado esto, no es sorprendente que muchos dentro de la industria de la tecnología se posicionen como los actores más adecuados para abordar los desafíos éticos, en lugar de las partes interesadas menos inclinadas técnicamente, incluidos los funcionarios electos y los grupos de defensa. En nuestras entrevistas, esto se manifestó al depender de los ingenieros para usar su juicio personal al "lidiar con las preguntas difíciles sobre el terreno", confiando en ellos para discernir y evaluar las apuestas éticas de sus propios productos. Si bien hay algunos procedimientos rigurosos que ayudan a los diseñadores a buscar las consecuencias de sus productos, sentarse en una habitación y "pensar mucho" sobre los posibles daños de un producto en el mundo real no es lo mismo que comprender a fondo cómo alguien (cuya vida es muy diferente a un motor de software) podría verse afectado por cosas como la vigilancia policial predictiva o la tecnología de reconocimiento facial, como ejemplos obvios. Los propietarios de ética se ven arrastrados entre el personal técnico que afirma la competencia generalizada en muchos dominios y su propio conocimiento de que la ética es un dominio especializado que requiere una comprensión contextual profunda.
Fundamentalismo del mercado: aunque no es el caso de que las empresas de tecnología elijan el beneficio sobre el bien social en todos los casos, es el caso de que los recursos organizativos necesarios para ganar la moralidad deben justificarse en términos favorables para el mercado. Como explicó un líder sénior en una división de investigación, esto "significa que el sistema que cree tiene que ser algo que las personas sientan que agrega valor y no es un obstáculo masivo que no agrega valor, porque si es un obstáculo que no tiene valor, la gente literalmente no lo hará, porque no tiene que hacerlo ”. Al final, el mercado establece los términos del debate, incluso si el beneficio máximo no es el único resultado aceptable. Por lo tanto, los propietarios de ética deben navegar entre evitar riesgos negativos medibles y promover los beneficios positivos de una IA más ética. Argumentar en contra de lanzar un producto antes de que se someta a pruebas adicionales de parcialidad racial o de género, o para evitar una posible demanda, es una cosa. Argumentar que las pruebas más extensas conducirán a mayores números de ventas es otra cosa. Ambos son importantes, pero uno encaja perfectamente dentro del equipo legal y de cumplimiento, el otro encaja mejor en los equipos de productos.
Solucionismo tecnológico: la idea de que todos los problemas tienen soluciones técnicas manejables ha sido reforzada por las recompensas que la industria ha cosechado por producir tecnología que creen que resuelve los problemas. Como tal, las prácticas organizacionales que facilitan el éxito técnico a menudo se trasladan a desafíos éticos. Esto se manifiesta en la búsqueda de listas de verificación, procedimientos y métricas evaluativas que podrían descomponer las preguntas desordenadas de la ética en un trabajo de ingeniería digerible. Este optimismo es contrarrestado por una preocupación de que, incluso cuando se plantea como una cuestión técnica, la ética se vuelve "intratable, como si fuera un problema demasiado grande de abordar". Esta tensión se muestra claramente al abordar el sesgo y la injusticia en la IA; Hay docenas de soluciones para corregir el sesgo algorítmico a través de métodos estadísticos complejos, pero menos trabajo para abordar el sesgo subyacente en la recopilación de datos o en el mundo real del que se recopilan esos datos. E incluso para un algoritmo "justo", la justicia es solo un subconjunto de preguntas éticas sobre un producto. ¿De qué sirve la justicia si solo conduce a un conjunto menos sesgado de personas dañadas por un producto peligroso?
Nuestra investigación muestra que, incluso si todos están involucrados en alguna forma de crítica, el objetivo colectivo de los propietarios de ética no es "detener" la industria de la tecnología. Ellos, al igual que los ingenieros con los que trabajan, están enredados en culturas organizacionales que recompensan el trabajo orientado a la métrica y de ritmo rápido con más recursos. Esto aumenta la presión para encajar y reduce la capacidad de objetar, lo que hace que sea aún más difícil distinguir entre el éxito y el fracaso: las victorias morales pueden parecer un castigo, mientras que los productos éticamente cuestionables obtienen grandes bonificaciones. Las tensiones que surgen de esto deben resolverse, con un ojo puesto en el proceso, sin duda, pero también con el otro ojo centrado directamente en los resultados, tanto a corto como a largo plazo, tanto dentro como fuera de las empresas, y como empleados y miembros. de una sociedad mucho más amplia.
Vimos estas tensiones cuando el cofundador del Instituto de IA Centrado en el Ser Humano de Stanford (HAI), el reconocido investigador de IA Fei-Fei Li, se hizo notorio mientras trabajaba en Google para advertir en un correo electrónico filtrado que los Googlers no deberían discutir públicamente el papel de sus productos de IA para construir un sistema de análisis facial en drones militares. En lugar de utilizar su considerable influencia para defender el contrato militar por una tecnología obviamente problemática desde el punto de vista ético, Li argumentó a sus colegas que discutir públicamente el Proyecto Maven conduciría a dañar la imagen positiva que habían cultivado al hablar de "IA humanista".
De manera similar, cuando el estudioso de derechos humanos Philip Alston dijo desde la etapa del simposio AI Now de 2018, en tono de broma: "Quiero estrangular la ética", no estaba insinuando que desea que las personas y las empresas sean menos éticas, sino que "la ética ", A diferencia de un marco legal de derechos humanos, por ejemplo, generalmente se aborda como un esfuerzo no normativo," abierto "," indefinido e irresponsable "centrado en lograr un proceso sólido en lugar de un resultado sustantivo. Por extraño que parezca, el enfoque de Alston sobre la "ética" es copacetic con el de Li: la ética como una serie de procesos parece no necesitar hacer compromisos sustantivos con resultados justos.
Para bien o para mal, los parámetros de esos procesos impulsarán futuras regulaciones administrativas, documentación de responsabilidad algorítmica, prioridades de inversión y decisiones de recursos humanos. Cuando debatimos colectivamente cómo gestionar las consecuencias de las tecnologías digitales, debemos incluir más de la perspectiva de las personas cuyo trabajo está dando forma a esta parte de nuestro futuro.
Emanuel Moss es un investigador etnográfico especializado en las dimensiones sociales de los sistemas de inteligencia artificial en el Instituto de Investigación de Datos y Sociedad y un candidato a doctorado en Antropología en el Centro de Graduados de CUNY.
Jacob Metcalf es investigador de ética tecnológica especializado en análisis de datos e inteligencia artificial en el Data & Society Research Institute y consultor en Ethical Resolve.
Ética
Harvard Business Reivew
Si parece que cada semana hay un nuevo escándalo sobre la ética y la industria tecnológica, no es tu imaginación. A pesar de que la industria tecnológica está tratando de establecer prácticas e instituciones concretas en torno a la ética tecnológica, se están aprendiendo lecciones difíciles sobre la gran brecha entre las prácticas de "hacer ética" y lo que las personas consideran "ético". Esto ayuda a explicar, en parte, por qué levanta las cejas cuando Google disuelve su consejo asesor de ética de IA de corta duración, ante la protesta pública sobre la inclusión de un alumno polémico de la Fundación Heritage, o cuando la presión organizada de los resultados del personal de ingeniería de Google en la cancelación de contratos militares.
Esta brecha es importante, porque junto con estas llamadas decididamente malas por parte de quienes lideran la carga de la ética en la industria, también estamos viendo que el sector tecnológico comienza a invertir recursos significativos en la capacidad organizacional para identificar, rastrear y mitigar las consecuencias de las tecnologías algorítmicas. Estamos en un punto donde parecería que los académicos y críticos que habían exhortado a la industria a hacer tales consideraciones durante décadas deberían declarar una pequeña victoria. Sin embargo, en muchos casos, esas mismas voces externas están planteando una vigorosa ronda de objeciones a las elecciones de la industria tecnológica, a menudo con buenas razones. Si bien hace solo unos años, parecía que todos compartían una comprensión de lo que se entiende por "ética en la industria de la tecnología", ahora que la "ética" es un sitio de poder, que puede determinar el significado y las prácticas de la "ética". siendo muy disputado.
En Silicon Valley, sin embargo, no está claro qué significa todo esto, particularmente cuando se trata de traducir los principios éticos en las necesidades prácticas y el lenguaje de los negocios. ¿La ética tecnológica es solo la búsqueda de procesos robustos? ¿Cuáles son los objetivos de los especialistas en ética tecnológica y cuál es su teoría del cambio? ¿Se puede medir algo de este trabajo en los marcos que las empresas ya utilizan para dar cuenta del valor? ¿Cuánto agrega la "ética" al costo de hacer negocios, y cuál es la diferencia para las empresas que recién están comenzando, corriendo hacia la OPV o que ya son nombres conocidos?
Para averiguarlo, nosotros, junto con la coautora del estudio, Danah Boyd (que prefiere letras minúsculas en su nombre), estudiamos a quienes realizan el trabajo de ética dentro de las empresas, a quienes llamamos "propietarios de ética", para averiguar qué ellos ven como su tarea a mano. "Propietario" es un lenguaje común dentro de las estructuras corporativas planas, es decir, alguien que es responsable de coordinar un dominio de trabajo en las diferentes unidades de una organización. Nuestra investigación que entrevista a esta nueva clase de profesionales de la industria de la tecnología muestra que su trabajo es, tentativa y vacilante, cada vez más concreto a través de la atención al proceso y la preocupación por los resultados. Aprendimos que las personas en estos nuevos roles enfrentan un importante conjunto de tensiones que fundamentalmente no se pueden resolver. Los problemas éticos nunca se resuelven, se navegan y negocian como parte del trabajo de los propietarios de ética.
El desafío central que enfrentan los propietarios de ética es negociar entre presiones externas para responder a crisis éticas al mismo tiempo que deben responder a las lógicas internas de sus empresas y la industria. Por un lado, las críticas externas los empujan a desafiar las prácticas y prioridades comerciales centrales. Por otro lado, las lógicas de Silicon Valley, y de los negocios en general, crean presiones para establecer o restaurar procesos y resultados predecibles que aún sirven a la línea de fondo.
Identificamos tres lógicas distintas que caracterizan esta tensión entre las presiones internas y externas:
Meritocracia: aunque originalmente acuñada como un término burlón en ciencia ficción satírica por el sociólogo británico Michael Young, la meritocracia infunde todo en Silicon Valley, desde prácticas de contratación hasta posiciones políticas, y justifica retroactivamente el poder de la industria en nuestras vidas. Como tal, la ética a menudo se enmarca en un enfoque hacia enfoques más inteligentes, mejores y más rápidos, como si los problemas de la industria tecnológica pudieran abordarse a través de esas virtudes. Dado esto, no es sorprendente que muchos dentro de la industria de la tecnología se posicionen como los actores más adecuados para abordar los desafíos éticos, en lugar de las partes interesadas menos inclinadas técnicamente, incluidos los funcionarios electos y los grupos de defensa. En nuestras entrevistas, esto se manifestó al depender de los ingenieros para usar su juicio personal al "lidiar con las preguntas difíciles sobre el terreno", confiando en ellos para discernir y evaluar las apuestas éticas de sus propios productos. Si bien hay algunos procedimientos rigurosos que ayudan a los diseñadores a buscar las consecuencias de sus productos, sentarse en una habitación y "pensar mucho" sobre los posibles daños de un producto en el mundo real no es lo mismo que comprender a fondo cómo alguien (cuya vida es muy diferente a un motor de software) podría verse afectado por cosas como la vigilancia policial predictiva o la tecnología de reconocimiento facial, como ejemplos obvios. Los propietarios de ética se ven arrastrados entre el personal técnico que afirma la competencia generalizada en muchos dominios y su propio conocimiento de que la ética es un dominio especializado que requiere una comprensión contextual profunda.
Fundamentalismo del mercado: aunque no es el caso de que las empresas de tecnología elijan el beneficio sobre el bien social en todos los casos, es el caso de que los recursos organizativos necesarios para ganar la moralidad deben justificarse en términos favorables para el mercado. Como explicó un líder sénior en una división de investigación, esto "significa que el sistema que cree tiene que ser algo que las personas sientan que agrega valor y no es un obstáculo masivo que no agrega valor, porque si es un obstáculo que no tiene valor, la gente literalmente no lo hará, porque no tiene que hacerlo ”. Al final, el mercado establece los términos del debate, incluso si el beneficio máximo no es el único resultado aceptable. Por lo tanto, los propietarios de ética deben navegar entre evitar riesgos negativos medibles y promover los beneficios positivos de una IA más ética. Argumentar en contra de lanzar un producto antes de que se someta a pruebas adicionales de parcialidad racial o de género, o para evitar una posible demanda, es una cosa. Argumentar que las pruebas más extensas conducirán a mayores números de ventas es otra cosa. Ambos son importantes, pero uno encaja perfectamente dentro del equipo legal y de cumplimiento, el otro encaja mejor en los equipos de productos.
Solucionismo tecnológico: la idea de que todos los problemas tienen soluciones técnicas manejables ha sido reforzada por las recompensas que la industria ha cosechado por producir tecnología que creen que resuelve los problemas. Como tal, las prácticas organizacionales que facilitan el éxito técnico a menudo se trasladan a desafíos éticos. Esto se manifiesta en la búsqueda de listas de verificación, procedimientos y métricas evaluativas que podrían descomponer las preguntas desordenadas de la ética en un trabajo de ingeniería digerible. Este optimismo es contrarrestado por una preocupación de que, incluso cuando se plantea como una cuestión técnica, la ética se vuelve "intratable, como si fuera un problema demasiado grande de abordar". Esta tensión se muestra claramente al abordar el sesgo y la injusticia en la IA; Hay docenas de soluciones para corregir el sesgo algorítmico a través de métodos estadísticos complejos, pero menos trabajo para abordar el sesgo subyacente en la recopilación de datos o en el mundo real del que se recopilan esos datos. E incluso para un algoritmo "justo", la justicia es solo un subconjunto de preguntas éticas sobre un producto. ¿De qué sirve la justicia si solo conduce a un conjunto menos sesgado de personas dañadas por un producto peligroso?
Nuestra investigación muestra que, incluso si todos están involucrados en alguna forma de crítica, el objetivo colectivo de los propietarios de ética no es "detener" la industria de la tecnología. Ellos, al igual que los ingenieros con los que trabajan, están enredados en culturas organizacionales que recompensan el trabajo orientado a la métrica y de ritmo rápido con más recursos. Esto aumenta la presión para encajar y reduce la capacidad de objetar, lo que hace que sea aún más difícil distinguir entre el éxito y el fracaso: las victorias morales pueden parecer un castigo, mientras que los productos éticamente cuestionables obtienen grandes bonificaciones. Las tensiones que surgen de esto deben resolverse, con un ojo puesto en el proceso, sin duda, pero también con el otro ojo centrado directamente en los resultados, tanto a corto como a largo plazo, tanto dentro como fuera de las empresas, y como empleados y miembros. de una sociedad mucho más amplia.
Vimos estas tensiones cuando el cofundador del Instituto de IA Centrado en el Ser Humano de Stanford (HAI), el reconocido investigador de IA Fei-Fei Li, se hizo notorio mientras trabajaba en Google para advertir en un correo electrónico filtrado que los Googlers no deberían discutir públicamente el papel de sus productos de IA para construir un sistema de análisis facial en drones militares. En lugar de utilizar su considerable influencia para defender el contrato militar por una tecnología obviamente problemática desde el punto de vista ético, Li argumentó a sus colegas que discutir públicamente el Proyecto Maven conduciría a dañar la imagen positiva que habían cultivado al hablar de "IA humanista".
De manera similar, cuando el estudioso de derechos humanos Philip Alston dijo desde la etapa del simposio AI Now de 2018, en tono de broma: "Quiero estrangular la ética", no estaba insinuando que desea que las personas y las empresas sean menos éticas, sino que "la ética ", A diferencia de un marco legal de derechos humanos, por ejemplo, generalmente se aborda como un esfuerzo no normativo," abierto "," indefinido e irresponsable "centrado en lograr un proceso sólido en lugar de un resultado sustantivo. Por extraño que parezca, el enfoque de Alston sobre la "ética" es copacetic con el de Li: la ética como una serie de procesos parece no necesitar hacer compromisos sustantivos con resultados justos.
Para bien o para mal, los parámetros de esos procesos impulsarán futuras regulaciones administrativas, documentación de responsabilidad algorítmica, prioridades de inversión y decisiones de recursos humanos. Cuando debatimos colectivamente cómo gestionar las consecuencias de las tecnologías digitales, debemos incluir más de la perspectiva de las personas cuyo trabajo está dando forma a esta parte de nuestro futuro.
Emanuel Moss es un investigador etnográfico especializado en las dimensiones sociales de los sistemas de inteligencia artificial en el Instituto de Investigación de Datos y Sociedad y un candidato a doctorado en Antropología en el Centro de Graduados de CUNY.
Jacob Metcalf es investigador de ética tecnológica especializado en análisis de datos e inteligencia artificial en el Data & Society Research Institute y consultor en Ethical Resolve.
No hay comentarios:
Publicar un comentario