Doxa 2193

Lo que los líderes necesitan saber sobre la auditoria de la IA

Por Luca Belli

IA y Aprendizaje Automático

Harvard Business Review

#Doxa #líder #auditoria #IA #aprendizaje #automático #proceso #decisión #técnico #lineal #gobernanza #datos #caótica #confianza #pasado #medida #exitosa #cultura #incentivo #burocracia

Resumen. Si bien las auditorías se están convirtiendo en una característica fundamental del trabajo con IA, no siguen un proceso predeterminado que siga una línea recta; más bien, son una red de diferentes decisiones, tanto del ámbito empresarial como del técnico. En concreto, las auditorías a menudo se enfrentan a cuatro desafíos fundamentales: 1) no siguen un proceso lineal, 2) la gobernanza de datos es caótica, 3) requieren confianza interna y 4) se centran en el pasado. Los líderes pueden tomar medidas para que las auditorías sean exitosas. Antes de una auditoría, pueden inculcar la cultura y los incentivos adecuados, y ayudar a diseñarla. Durante la auditoría, pueden moldear el proceso y eliminar la burocracia.

En los últimos años, la inteligencia artificial ha pasado de ser prerrogativa de los equipos técnicos a una herramienta de uso general. Si bien antes la IA funcionaba entre bastidores, por ejemplo, impulsando productos de consumo o configurando las redes sociales, ahora el público general interactúa directamente con asistentes virtuales y chatbots generativos basados ​​en IA. Este aumento en su uso también ha generado una mayor concienciación sobre los riesgos que pueden conllevar los sistemas de IA : desde el trato desigual a distintos grupos (particularmente importante en ámbitos legalmente protegidos, como los préstamos y la vivienda), hasta la fabricación de información falsa, sensible o perjudicial, especialmente en temas de gran importancia, como consultas médicas o legales.

En respuesta, los legisladores han intentado establecer límites en torno al posible impacto de estas herramientas en la sociedad. Por ejemplo, legisladores y reguladores de todo el mundo han exigido auditorías externas de sistemas algorítmicos a través de la Ley de Servicios Digitales, la Ley de Mercados Digitales y la Ley de Inteligencia Artificial de la UE ; la Ley de Inteligencia Artificial y Datos de Canadá ; y la ley de sesgo de la IA de la ciudad de Nueva York. Las empresas también realizan auditorías algorítmicas de sus sistemas, incluso cuando no están legalmente obligadas, porque quieren gestionar el riesgo, anticiparse a posibles crisis de relaciones públicas y prepararse para nuevas regulaciones que podrían requerir auditorías independientes.

Todo esto ha impulsado el surgimiento de un nuevo puesto: el de auditor algorítmico. He visto este rol desde diversas perspectivas. Primero, cofundé el equipo de Ética del Aprendizaje Automático en Twitter, donde realicé numerosas auditorías. Posteriormente, trabajé en el Instituto Nacional de Normas y Tecnología en el equipo de IA Responsable y Confiable. También colaboré con la Comisión Europea en el Acto Delegado del Artículo 40 de la Ley de Servicios Digitales, que exige el intercambio de datos con investigadores para que puedan investigar las plataformas en busca de riesgos sistémicos.

Si bien las auditorías se están convirtiendo en una característica fundamental del trabajo con IA, no siguen un proceso predeterminado que siga una línea recta; más bien, son una red de decisiones, tanto del ámbito empresarial como del técnico. A continuación, se presenta lo que los líderes empresariales deben saber sobre el funcionamiento de estas auditorías y cómo pueden ayudar a guiar el proceso.

Cuatro desafíos de las auditorías algorítmicas

¿Qué es una auditoría algorítmica? En pocas palabras, es una forma de responder a una pregunta sobre un sistema algorítmico mediante el análisis de datos sobre cómo interactúan los usuarios y los sistemas. Estas preguntas, generalmente destinadas a comprender si un sistema funciona como se espera o perjudica a los usuarios, pueden variar desde las más concretas ("¿El algoritmo toma decisiones sesgadas basándose en un atributo protegido?") hasta las más abstractas ("¿Constituye este sistema un riesgo sistémico para la democracia?"). Parte de la dificultad del proceso reside en concretar estas preguntas y hacerlas operativas mediante la búsqueda de los datos y el sistema adecuados para responderlas.

En general, una vez acordada la pregunta de la auditoría, los auditores recopilan los datos relevantes y los analizan para responderla. Para ello, suelen interactuar con diferentes equipos, tanto técnicos como no técnicos, para comprender mejor el sistema que están auditando. En este proceso, la relación con el equipo auditado es fundamental para comprender tanto el sistema en sí como la forma en que se recopilan y almacenan los datos. Dependiendo del alcance de la auditoría, el proceso puede durar desde unas semanas hasta varios meses. En el caso de sistemas críticos, este proceso debe repetirse periódicamente para identificar cómo evolucionan los sistemas con el tiempo e identificar cambios potencialmente peligrosos.

Este proceso tiene cuatro desafíos comunes:

Las auditorías no son una línea recta

Los auditores suelen desviarse con frecuencia entre la pregunta de investigación y la respuesta. A medida que aprenden sobre el sistema que auditan y los datos que lo respaldan, a menudo tienen que ajustar el rumbo, lo que puede resultar en entregas más largas o pequeños cambios en el enfoque.

Por ejemplo, a veces los auditores no cuentan con los datos adecuados para abordar la pregunta en cuestión directamente y deben usar métricas indirectas: datos medibles y correlacionados con el objetivo deseado. Consideremos, por ejemplo, el caso de una auditoría para comprender si un sistema con sede en EE. UU. contiene sesgos raciales en una empresa que no recopila datos sobre la raza de los usuarios. Si se recopilan códigos postales, estos podrían usarse como un indicador (imperfecto) de raza. Por supuesto, cualquier uso de métricas indirectas u otra información indirecta crea una discrepancia entre la pregunta original y la respuesta indirecta.

En otras ocasiones, la pregunta original podría refinarse o modificarse ligeramente para adaptarse a nuevas inquietudes o necesidades del negocio. Supongamos que una empresa desea auditar una plataforma para comprender cómo interactúan los jóvenes con ella y decide centrar la investigación en una semana específica. Si esa semana coincide con las vacaciones escolares, los resultados no serán representativos de las tendencias que la empresa intenta analizar. Con solo retrasar una semana el periodo de auditoría, la empresa puede obtener los resultados deseados.

La gobernanza de datos es confusa

La gobernanza interna de datos a menudo se asemeja menos a un rascacielos moderno (con una distribución racional y una planta clara) y más a un edificio antiguo donde cada nueva capa se construye sobre la anterior, a menudo ignorando el uso anterior. No es raro que los equipos técnicos dediquen la mayor parte de su tiempo a buscar los datos correctos y a asegurarse de que puedan interpretarlos.

Hay varias razones para esto. Consideremos una plataforma de redes sociales, donde se capturan y almacenan todas las interacciones de los usuarios, lo que deja a las organizaciones saturadas de datos y dificulta encontrar los datos correctos para responder a la pregunta de auditoría. En este caso, la documentación interna puede ayudar a navegar por el mar de información, pero no siempre es fiable. Mantener la documentación actualizada requiere mucho tiempo y esfuerzo, y las prioridades de la organización podrían centrarse en desarrollar e implementar nuevas funciones.

También existen otros problemas comunes. Quizás la persona responsable del conjunto de datos dejó la organización, o simplemente este se descontinuó y se sustituyó por uno más reciente, pero sin documentar. En la mayoría de los casos, la única solución es encontrar a alguien que pueda ayudar, un proceso poco eficiente y que requiere mucho tiempo.

La confianza interna es esencial

La dinámica de equipo juega un papel importante. El equipo responsable del sistema auditado podría sentirse amenazado por la evaluación de su trabajo, especialmente cuando los auditores son externos a su equipo; después de todo, ¿a quién le gusta que alguien más revise su trabajo buscando problemas? Esto podría generar un entorno de baja confianza donde es difícil fomentar la colaboración y donde los incentivos están desalineados.

Los auditores necesitan mentoría y ayuda del equipo auditado para ser eficaces, ya que carecen del conocimiento especializado del sistema (y de los datos relevantes) de lo que auditan. El equipo auditado no tiene ningún incentivo para ayudar si sabe que será sancionado por cada problema detectado. Esta relación de confrontación prolongará la auditoría con diversas escaladas por ambas partes. La cultura adecuada es aquella en la que tanto los auditores como el auditado trabajan juntos para fortalecer el sistema y, en última instancia, obtener un producto más resiliente y de mejor calidad.

El foco está en el pasado

A menos que el sistema se monitorice en tiempo real, las auditorías se centran en el pasado. Esto genera algunos desafíos técnicos: el éxito del proceso depende de la capacidad de los auditores para recrear el pasado. Para empezar, es posible que los datos necesarios ya no estén en el sistema. Consideremos el caso de un sitio web de comercio electrónico, donde los usuarios tienen perfiles y pueden indicar sus preferencias de compra. Si un usuario elimina algunos de sus datos, o su perfil por completo, ¿debería incluirse en la auditoría? ¿Qué ocurre si un usuario hace un uso indebido de la plataforma (por ejemplo, vendiendo contenido ilegal) y resulta en una suspensión? ¿Debería incluirse?

Un problema relacionado es que los sistemas algorítmicos cambian con el tiempo. Los modelos pueden reentrenarse con datos más recientes, o un sistema antiguo puede eliminarse para reemplazar un algoritmo o arquitectura más nuevos. Puede ser muy difícil, si no imposible, replicar las condiciones exactas en las que se encontraba cada componente durante el período de auditoría deseado. Esto podría dar lugar a una situación en la que el sistema se audite con datos más antiguos, pero con algoritmos más recientes. Cabe esperar una ligera disparidad en este aspecto, pero se debe exigir a los auditores que documenten los problemas para encontrar los datos correctos y que estimen en qué medida el resultado de la auditoría se aplica a los sistemas en vivo.

Lo que los líderes pueden hacer

Los líderes empresariales pueden ayudar preparando a su organización y aportando claridad a un proceso que es fundamentalmente no lineal y puede generar sorpresas en el camino. A continuación, se presentan algunas acciones útiles que pueden tomarse antes y durante una auditoría.

Antes de una auditoría

Antes de que una organización inicie el proceso de auditoría externa, debe tomar ciertas medidas de preparación. La mayoría de las organizaciones no deberían esperar a enfrentarse a una auditoría externa para tomar estas medidas; en cambio, deberían invertir en el desarrollo de equipos dedicados para mejorar sus capacidades internas. De esta manera, si se produce una auditoría, esa preparación se traducirá en la menor interrupción posible para la organización.

Cultura e incentivos.

Las auditorías pueden ser poco bien recibidas por los equipos responsables del sistema analizado. Pueden sentirse presionados, frustrados y, en última instancia, insatisfechos con el escrutinio minucioso de su trabajo. Las compensaciones que antes se consideraban aceptables y necesarias podrían tener que volver a discutirse y defenderse. Por eso es tan importante crear una cultura interna adecuada de colaboración y confianza.

La cultura siempre nace desde arriba. Los líderes deben demostrar que las auditorías son parte del trabajo diario, no medidas punitivas ni trabajo extra. Por ejemplo, cuando los equipos auditados ofrecen su colaboración, experiencia y tiempo —todo necesario para una auditoría exitosa—, esto debería contribuir a sus objetivos personales y profesionales. En otras palabras, no deberían tener la sensación de que realizan este trabajo "aparte", teniendo que encontrar tiempo extra para su carga de trabajo habitual, sino que este tipo de trabajo contribuye plenamente a su desarrollo profesional. De igual manera, se debe otorgar cierta flexibilidad a nivel de equipo: dependiendo del apoyo necesario, el equipo auditado podría no alcanzar los objetivos planificados. En general, una auditoría no debería percibirse como un castigo, sino como una parte normal de la vida empresarial.

Para facilitar la preparación, los líderes empresariales podrían estructurar la organización de modo que cada equipo cuente con una persona dedicada, disponible para responder directamente cualquier pregunta sobre datos y algoritmos o para orientar. Esto ayudaría a aislar y minimizar las interrupciones.

Diseño de la auditoría.

Las auditorías exigidas por ley deben ser realizadas por auditores externos e independientes. Cuando las empresas intentan aprender de forma preventiva sobre sus sistemas, deben elegir entre equipos de auditores externos e internos. Si bien desarrollar la capacidad de auditoría interna y determinar los procesos adecuados requiere tiempo y recursos, contar con un equipo interno eficiente puede ser una ventaja a largo plazo. Por otro lado, los auditores externos no generan fricción entre las diferentes áreas de la empresa, lo que podría ser una de las razones por las que a menudo se recurre a proveedores externos más costosos.

Centrándonos ahora únicamente en la auditoría interna, es importante comprender que puede adoptar diversas formas, que el liderazgo debe ayudar a definir. Una auditoría puede ser un proceso puntual o realizarse periódicamente. Si bien esta última ofrece más información (capturando la evolución del sistema con el tiempo), tiene un mayor coste inicial, ya que requiere un mayor grado de automatización, lo que se traduce en más trabajo para los equipos de plataformas de IA. Podría ser útil para sistemas críticos que requieren una inspección más minuciosa y frecuente.

La estructura organizativa de los equipos de auditoría interna también debe estar claramente definida, y puede ser distribuida o centralizada. Un equipo centralizado se encargaría de todas las necesidades de auditoría de la empresa, mientras que en un escenario distribuido, cada unidad de negocio tendría sus propios equipos y procesos. La decisión debe reflejar lo más beneficioso para el contexto empresarial, ya que no existe una solución única; cada opción tiene sus ventajas y desventajas.

Un equipo de auditoría centralizado adquirirá mayor experiencia y, al trabajar con diferentes áreas de la empresa, tendrá una comprensión más completa y holística del proceso. Por otro lado, estos equipos serían externos al auditado, lo que implicaría más tiempo para ganarse la confianza del equipo auditado y recopilar la información necesaria (como documentación, datos y algoritmos) para realizar su trabajo. Un equipo que audita sus propios sistemas, por supuesto, comprenderá mejor todas sus partes desde el principio. Sin embargo, al realizar auditorías con menor frecuencia, podría perderse algunas buenas prácticas importantes. Y si el alcance de sus auditorías termina involucrando a otras unidades de negocio (por ejemplo, los sistemas de sus clientes internos), podrían tener las mismas limitaciones que un equipo de auditoría centralizado, sin sus ventajas. Los enfoques híbridos también son posibles, y en la mayoría de los casos preferibles, donde un equipo centralizado realiza la mayor parte del trabajo de auditoría y actúa como custodio interno de las buenas prácticas. Cuando se necesitan auditorías distribuidas, esto puede ayudar a capacitar y apoyar a sus contrapartes distribuidas.

Durante una auditoría

Incluso con la preparación adecuada, la auditoría en sí podría ser más compleja de lo que la mayoría esperaría. Los líderes empresariales deben ser conscientes y aceptar el desorden natural del proceso, y contribuir a aclararlo. Deben ser muy cuidadosos al estar lo suficientemente cerca del proceso para poder ser útiles y comprender su progreso sin microgestionar ni sobrecargar a los equipos técnicos.

Dando forma al proceso.

Dado que la auditoría es un proceso no lineal, muchos aspectos pueden cambiar durante su ejecución. Los líderes deben ser conscientes de ello y asegurarse de mantenerse informados periódicamente sobre las últimas decisiones de alto nivel para poder ofrecer orientación cuando sea necesario. Por ejemplo, puede haber dos métricas proxy diferentes disponibles y prácticamente equivalentes desde un punto de vista técnico. Sin embargo, una podría reflejar mejor las necesidades del negocio y debería ser la preferida. Los equipos técnicos podrían no tener el mismo sentido de negocio y, por lo tanto, se les puede orientar hacia la opción más útil. De esta manera, la auditoría no se desvía y sigue siendo una herramienta útil para responder a las preguntas del negocio.

También es fundamental que exijan una documentación exhaustiva de todas las decisiones técnicas, incluyendo cualquier compensación o métrica indirecta considerada (p. ej., el ejemplo del código postal mencionado anteriormente). Esto ayudará a interpretar los resultados en el contexto y las limitaciones adecuados.

Eliminación de burocracia.

En una situación ideal, cada equipo o unidad de negocio ya cuenta con una persona dedicada a optimizar el proceso y cuenta con planes de contingencia para sus equipos. Lo más probable es que esto no ocurra, especialmente en unidades recientemente reorganizadas o con mayor rotación. Los líderes pueden ofrecer su apoyo para eliminar obstáculos y trámites burocráticos cuando sea necesario. Esto podría consistir en asignar personal de otro equipo, reordenar el trabajo de los equipos afectados o garantizar que el trabajo realizado en apoyo de la auditoría se tenga en cuenta en el desempeño de los objetivos del equipo al final del año.

• • •

Este es un momento muy emocionante para el sector de la auditoría tecnológica. Si bien es un campo relativamente nuevo, su impacto será mayor en los próximos años gracias a la combinación de requisitos legales y una mayor transparencia de las plataformas. El proceso en sí se asemeja menos a una línea recta y más a un camino aleatorio entre la pregunta de auditoría y sus resultados. Los líderes empresariales pueden impulsar el proceso asegurándose de que los equipos técnicos avancen en la dirección correcta, definiendo algunos parámetros clave y eliminando cualquier tipo de fricción interna.

Lea más sobre IA y aprendizaje automático o temas relacionados: Negocios y sociedad, Gobierno corporativo, Políticas y regulaciones gubernamentales y Tecnología y análisis.

Luca Belli es el fundador de Sator Labs y trabaja en la intersección de la auditoría algorítmica y la gobernanza de la IA. Fue becario de Política Tecnológica de la UC Berkeley e investigador visitante de IA en el Instituto Nacional de Estándares y Tecnología (NIST). También fue seleccionado como experto por la Comisión Europea para colaborar en la elaboración del acto delegado del Artículo 40 de la Ley de Servicios Digitales. Anteriormente, Luca fue cofundador y jefe de investigación del equipo de Ética, Transparencia y Responsabilidad del Aprendizaje Automático (META) de Twitter.