Doxa 2105

Una guía para gestionar sistemas de IA interconectados

Por I Glenn Cohen, Theodoros Evgeniou, y Martín Husovec

Aprendizaje Automático

Harvard Business Review

#Doxa #guía #gestión #sistema #IA #complejo #riesgo #econsistema #eficaz #integral #diseño #infraestructura #tecnologia #gobernanza #sector #sanitaria #financiero #profesión #jurídica #desafió

Resumen. Los sistemas de IA están cada vez más interconectados, lo que genera nuevas complejidades y riesgos. Para gestionar estos ecosistemas de manera eficaz se requiere una formación integral, el diseño de infraestructuras y procesos tecnológicos que fomenten la colaboración y marcos de gobernanza sólidos. Los ejemplos de los sectores de la atención sanitaria, los servicios financieros y la profesión jurídica ilustran los desafíos y las formas de superarlos.

Un médico utiliza la IA para redactar una solicitud de autorización previa, transformando un proceso que podría ser tedioso y lento en uno eficiente. Sin embargo, si la IA de una aseguradora rechaza la solicitud basándose en criterios que el sistema del médico no tuvo en cuenta, el resultado son demoras y frustración. Esta es la nueva realidad de los ecosistemas de IA: redes interconectadas de agentes y sistemas inteligentes que colaboran, compiten o chocan entre unidades de negocio u organizaciones. Estos ecosistemas pueden ofrecer nuevas oportunidades, pero también introducir nuevas complejidades y riesgos.

Para desarrollarlas y gestionarlas de forma segura y responsable es necesario, entre otras cosas, repensar la formación de la fuerza laboral, aprovechar la tecnología para facilitar la alineación y la coordinación, y establecer marcos de gobernanza que garanticen la confianza y la rendición de cuentas. En este artículo, analizamos estos preceptos y ofrecemos ejemplos basados ​​en la investigación que nosotros y otros hemos estado realizando en el ámbito de los riesgos y las regulaciones de la IA.

Capacitación para operar dentro de ecosistemas de IA

A medida que las empresas adoptan la IA en todos los ámbitos, es cada vez más importante redoblar los esfuerzos en materia de capacitación en IA. Los ecosistemas de IA implican capas de sistemas interdependientes, donde los resultados de una herramienta influyen no solo en las decisiones de sus usuarios, sino también en el funcionamiento de otros sistemas de IA y, por lo tanto, en otras decisiones posteriores. Por lo tanto, los empleados deben fortalecer su capacidad no solo para trabajar con IA, sino también para navegar y mediar en las interacciones de múltiples sistemas de IA. También deben ser más sensibles no solo a cómo estos sistemas pueden afectar sus propias decisiones, sino también a las de otras personas dentro o fuera de la organización.

Consideremos el ejemplo de un algoritmo utilizado para priorizar los trasplantes de hígado en el Reino Unido al predecir la supervivencia de los pacientes a cinco años con y sin trasplante. Este enfoque subvaloró a los pacientes más jóvenes, cuyos beneficios se extienden mucho más allá de los cinco años, y los penalizó aún más porque es más probable que sobrevivan sin un trasplante. Un crítico señaló : "Si tienes menos de 45 años, no importa lo enfermo que estés, es imposible que obtengas una puntuación lo suficientemente alta". De manera similar, un algoritmo de readmisión hospitalaria estadounidense priorizó a los pacientes blancos menos enfermos sobre los pacientes negros más enfermos utilizando como uno de sus insumos los costos de la atención médica como indicador de la necesidad.

En el sector de los servicios financieros, los resultados de un modelo (como las puntuaciones de crédito) pueden servir como datos de entrada para los sistemas de IA posteriores, lo que permite que los posibles errores o sesgos de los modelos de crédito se propaguen a través de la red. Esto pone de relieve no solo las complejidades de gestionar sistemas de IA individuales, sino también el desafío más amplio de los sistemas interconectados, donde las fallas iniciales pueden propagarse y posiblemente amplificar errores o desigualdades en decisiones posteriores. Sumado al sesgo de automatización de la IA (la tendencia de los usuarios a confiar en los resultados de la IA sin cuestionarlos), los errores pueden pasar desapercibidos, especialmente en comparación con las prácticas de puntuación y uso de la IA más simples de la actualidad.

La profesión jurídica es otro ejemplo. Los abogados y los estudiantes de derecho utilizan cada vez más la IA en una serie de tareas que tradicionalmente realizaban los humanos, como por ejemplo para investigar y resumir la jurisprudencia pertinente, identificar documentos relevantes y agilizar la revisión de documentos como parte del proceso de descubrimiento en demandas judiciales, identificar cláusulas relevantes en contratos y evaluar riesgos. Sin embargo, los abogados de hoy en día a menudo carecen de orientación sobre cómo integrar estas herramientas en los flujos de trabajo o explicar los resultados generados por la IA a los clientes cuando esos resultados son el resultado del trabajo de muchos algoritmos de IA que interactúan. Los programas de capacitación deben centrarse no solo en el uso de herramientas, sino también en comprender cómo funcionan juntos varios sistemas (como los que realizan análisis de precedentes legales existentes y evaluación de riesgos del cliente) para fundamentar las decisiones.

Para abordar estas cuestiones, la capacitación debe ir más allá de los conceptos básicos sobre cómo utilizar las herramientas de IA. Debe capacitar a los empleados para evaluar críticamente los resultados de la IA, comprender cómo fluyen los datos y las decisiones a través de sistemas de IA interconectados y tomar medidas cuando surjan conflictos. Los médicos, por ejemplo, deben aprender a contrastar los resultados de los diagnósticos con los registros de los pacientes y cuestionar las recomendaciones de triaje cuando los datos parezcan incompletos.

Los empleados necesitan habilidades para evaluar cómo interactúan las herramientas de IA entre sí, cómo evolucionan las “cadenas de suministro” de IA de la organización (las intrincadas redes de conjuntos de datos, modelos y herramientas), e identificar cuándo los sesgos o errores en un sistema afectan las decisiones posteriores. Por ejemplo, deben reconocer cuándo los sesgos de datos anteriores se propagan a las recomendaciones posteriores o cuándo los resultados contradictorios indican una falla en la coordinación. La capacitación también debe capacitar a los empleados para abordar estos desafíos, ya sea adaptando los flujos de trabajo, redefiniendo las interacciones de los sistemas de IA u optimizando la gestión de los datos y las cadenas de suministro de IA.

Aprovechar la tecnología para mejorar la alineación

Si bien la capacitación prepara a las personas, la tecnología puede permitir que los sistemas de IA interactúen de manera eficaz y eficiente. La interoperabilidad es fundamental, pero el desafío más amplio es diseñar infraestructuras y procesos tecnológicos que fomenten la colaboración entre los sistemas de IA y al mismo tiempo mitiguen los riesgos. No se trata solo de la interoperabilidad técnica tradicional, sino también de la interdependencia de las decisiones y la alineación.

El diseño proactivo de las cadenas de suministro de datos e inteligencia artificial de la organización proporciona un punto de partida útil: los sistemas ascendentes (como los modelos de inteligencia artificial generativa entrenados en grandes conjuntos de datos) alimentan las aplicaciones intermedias que adaptan esos modelos para industrias específicas, que, a su vez, impulsan las herramientas descendentes para los usuarios finales. Por ejemplo, en el ámbito de la atención sanitaria, una inteligencia artificial ascendente agrega datos de exploraciones radiológicas globales para desarrollar un modelo de diagnóstico. Una aplicación intermedia puede personalizar este modelo para un sistema hospitalario específico, mientras que una herramienta descendente puede permitir a los médicos clasificar los casos. Cuando estas capas funcionan en armonía, pueden mejorar la eficiencia y la calidad de los resultados de diagnóstico. Sin embargo, los desajustes (como que los modelos ascendentes no sean lo suficientemente transparentes sobre las fuentes de datos) pueden propagar errores a lo largo de la cadena.

Con el tiempo pueden surgir ecosistemas más complejos. Por ejemplo, en las operaciones de confianza y seguridad para plataformas en línea, que tienen como objetivo garantizar la seguridad y la libertad de expresión de los usuarios al tiempo que eliminan contenido ilegal en línea, los sistemas de inteligencia artificial para la detección de contenido, el análisis de sentimientos y el monitoreo del comportamiento de los usuarios a menudo funcionan de forma independiente, lo que crea brechas o superposiciones en la toma de decisiones. Una mejor integración de estos sistemas puede proporcionar a los moderadores información en tiempo real, lo que garantiza que las decisiones (como prohibir a un usuario o marcar contenido) sean coherentes y defendibles.

Estos ejemplos muestran por qué las organizaciones necesitan diseñar sistemas de IA como marcos interconectados en lugar de herramientas aisladas, y comenzar a pensar en sus cadenas de suministro de datos e IA desde el principio. Por ejemplo, garantizar que los sistemas de IA de diagnóstico en el sector de la salud compartan datos sin problemas con las herramientas de triaje puede prevenir errores críticos. De manera similar, en materia de confianza y seguridad, la integración de herramientas de detección de contenido y análisis del comportamiento del usuario puede garantizar una toma de decisiones coherente. Además, los sistemas de IA adversarios se pueden aprovechar para probar exhaustivamente y de forma continua la IA de una organización, utilizando eficazmente la IA para protegerla. Al adoptar tecnologías que faciliten la coordinación y las pruebas de solidez continuas, y rediseñar los procesos para alinear las interacciones de la IA, las empresas pueden aprovechar sus ecosistemas de IA en evolución no solo para crear valor, sino también para evitar la destrucción de valor debido a los posibles riesgos de la IA que pueden estar ocultos en algún lugar de la cadena.

Gobernanza para ecosistemas complejos

La escala y la complejidad de los ecosistemas de IA emergentes exigen marcos claros de gobernanza de la IA. La naturaleza interconectada de estos sistemas introduce riesgos de fallas en cascada, sesgos amplificados y brechas de rendición de cuentas. Una gobernanza sólida debe abordar estos desafíos y, al mismo tiempo, fomentar la confianza y la adaptabilidad.

La transparencia es primordial. En los ecosistemas de IA, la rendición de cuentas a menudo se ve oscurecida por las capas de interacción. Por ejemplo, en el ámbito sanitario, si una herramienta posterior diagnostica mal a un paciente, ¿el fallo se debió al modelo de diagnóstico anterior, a la personalización intermedia o a la implementación clínica? Las organizaciones deben adoptar marcos de gobernanza que puedan rastrear las decisiones a lo largo del sistema, lo que permite el análisis de las causas fundamentales (para comprender los orígenes fundamentales de un problema) y la mejora continua.

Empoderar a los usuarios finales es otra prioridad fundamental de gobernanza. Si bien las organizaciones suelen centralizar la implementación de la IA para mantener la coherencia, dar a los usuarios finales flexibilidad para adaptar los sistemas de IA puede impulsar la innovación y permitir la gestión de los riesgos desde su raíz. En el ámbito de la atención sanitaria, por ejemplo, los médicos podrían adaptar las herramientas de diagnóstico para que reflejen mejor la demografía local de los pacientes, lo que garantizaría que el rendimiento de las herramientas no se deteriore debido al cambio de contexto. De manera similar, los moderadores en funciones de confianza y seguridad podrían ajustar los algoritmos de análisis de sentimientos para alinearlos con los matices regionales o culturales. Sin embargo, esta flexibilidad debe ir acompañada de salvaguardas, como auditorías automatizadas, para evitar el uso indebido o el sesgo involuntario.

La gobernanza también requiere establecer circuitos de retroalimentación para monitorear y refinar los ecosistemas de IA a lo largo del tiempo. En las prácticas legales, por ejemplo, las empresas pueden implementar mecanismos para identificar cuándo los resultados de diferentes sistemas (como herramientas de redacción de contratos y predictores de riesgos legales) producen recomendaciones contradictorias. Al incorporar prácticas de gobernanza como estas, las empresas pueden asegurar a las partes interesadas (incluidos empleados, clientes y reguladores) que sus sistemas de IA son seguros y confiables. Las regulaciones recientes, como la Ley de Servicios Digitales (DSA) de la UE, brindan una valiosa orientación sobre transparencia, rendición de cuentas, empoderamiento del usuario y circuitos de retroalimentación.

Por ejemplo, los proveedores de atención médica pueden implementar marcos de trazabilidad para garantizar que las decisiones de diagnóstico de IA sean claras tanto para los pacientes como para los reguladores. De manera similar, las plataformas de confianza y seguridad ya están adoptando mecanismos de auditoría que explican las decisiones de moderación de contenido y permiten a los usuarios cuestionarlas. Al aplicar estos principios, las organizaciones pueden crear ecosistemas de IA que no solo sean efectivos, sino que también estén alineados éticamente y sean confiables para las partes interesadas.

Además, el empoderamiento basado en principios y procesos claros también puede permitir a los usuarios de sistemas de IA explorar mejor y, en última instancia, aprovechar las fortalezas y debilidades de la IA, lo que facilita el aprendizaje. Por ejemplo, las empresas que implementan herramientas de moderación de contenido que las ayudan a revisar de manera eficiente y eficaz grandes volúmenes de informes de usuarios, IA, fuerzas de seguridad u otros para determinar la legalidad del contenido publicado en línea podrían ejecutar evaluaciones automatizadas paralelas del mismo contenido de terceros y buscar la validación cruzada de varios sistemas de IA antes de proceder a tomar decisiones de moderación personalizadas. Esto puede aumentar la precisión de la toma de decisiones y mejorar la comprensión intuitiva de los moderadores de contenido que dependen de diferentes sistemas de IA para moderar el contenido.

El empoderamiento también podría mejorar la aceptación de los resultados que se derivan de la implementación de sistemas de IA por parte de quienes se ven principalmente afectados por ellos. En el entorno de confianza y seguridad de las redes sociales, por ejemplo, los usuarios a los que se les permite personalizar su experiencia de moderación en sus perfiles o páginas públicas y, por lo tanto, estar mejor capacitados para adaptar su enfoque individual al contexto local o a los idiomas minoritarios, podrían estar más dispuestos a aceptar diferentes enfoques de moderación de contenido predeterminados implementados por las plataformas.

Mantenerse seguro en la era de los ecosistemas de IA

A medida que las empresas desarrollen sus estrategias de IA y adopten la tecnología en sus procesos y productos, los ecosistemas de IA se volverán inevitablemente cada vez más complejos y requerirán nuevas prácticas, procesos y herramientas para que las personas los aprovechen mejor y de manera más segura. El éxito requiere preparar a la fuerza laboral para navegar por sistemas de IA interconectados, aprovechar la tecnología para permitir una mejor alineación y coordinación de estos sistemas entre sí y con las personas que los operan o se ven afectadas por ellos, y establecer marcos de gobernanza que garanticen la rendición de cuentas, la adaptabilidad y el empoderamiento de manera segura y productiva. No podemos prever los nuevos tipos de riesgos que crearán las complejas cadenas de suministro y los ecosistemas emergentes de IA, por lo que las buenas prácticas de gestión de riesgos requieren una preparación adecuada y un aprendizaje continuo.

El trabajo de I. Glenn Cohen fue apoyado por una subvención de la Fundación Novo Nordisk para un programa internacional colaborativo de innovación y derecho en biociencias, científicamente independiente.

Lea más sobre IA y aprendizaje automático

I. Glenn Cohen es vicedecano, profesor de derecho y director de la facultad del Centro Petrie-Flom de Políticas de Derecho de la Salud, Biotecnología y Bioética de la Facultad de Derecho de Harvard.

Theodoros Evgeniou es profesor en INSEAD y cofundador de la empresa de confianza y seguridad Tremau.

Martin Husovec es profesor asociado de Derecho en la London School of Economics and Political Science. Es miembro de la European Copyright Society, un grupo de destacados expertos europeos en materia de derechos de autor, y editor de reseñas de libros en el International Journal of Law and Information Technology. También es cofundador del European Information Society Institute.