Doxa 2261

Las organizaciones no están preparadas para los riesgos de la IA agente

Incluso los sistemas de mitigación de riesgos de IA más actualizados fracasarán ante la complejidad de lo que viene a continuación.

Por Reid Blackman

Gestión de Riesgos

Harvard Business Review

#Doxa #organización #riesgo #IA #agente #sistema #mitigación #fracaso #complejidad #gestión #generativa #éticos #cibernéticos #evolucionar #organización #marca #personal #curva #capacidad #infraestructura #evolución #seguridad #invertir #empleado #protocolo #tarea #tecnología #transformador

Resumen. A medida que las empresas pasan de la IA estrecha a la generativa, a la agéntica y a la multiagéntica, la complejidad del panorama de riesgos aumenta bruscamente. Los programas de riesgo de IA existentes -incluidos los riesgos éticos y cibernéticos- deben evolucionar para que las organizaciones avancen con rapidez sin quebrantar su marca y a las personas a las que afectan. La buena noticia es que las organizaciones no necesitan resolverlo todo a la vez. Necesitan evaluar honestamente dónde se encuentran en la curva de complejidad, construir las capacidades necesarias para su etapa actual y crear la infraestructura para evolucionar con seguridad a la siguiente. Esto significa invertir en una formación exhaustiva de los empleados, desarrollar sistemas de supervisión sólidos y crear protocolos de intervención antes de que se necesiten desesperadamente. Esta tarea es difícil, pero la recompensa es el despliegue seguro y a gran escala de tecnologías verdaderamente transformadoras.

Es prácticamente imposible mantener una conversación sobre el futuro de las empresas sin hablar de la IA. Es más, la tecnología evoluciona a un ritmo vertiginoso. Lo que empezó como chatbots de IA y generadores de imágenes se está convirtiendo en "agentes" de IA: sistemas de IA que pueden ejecutar una serie de tareas sin que se les den instrucciones específicas. Nadie sabe exactamente cómo se desarrollará todo esto, pero detalles aparte, los líderes están considerando la posibilidad muy real de una disrupción organizativa a gran escala. Es un momento emocionante.

También es angustioso. La IA en constante evolución conlleva un nuevo conjunto de riesgos, lo que hace extraordinariamente difícil hacer frente a lo que yo llamo "El reto de la pesadilla ética". Frente a las alucinaciones de la IA, las deepfakes, la amenaza de pérdida de empleo, las violaciones de la propiedad intelectual, las salidas discriminatorias, las violaciones de la privacidad, su naturaleza de caja negra y mucho más, el reto pide a los líderes que:

• Identifiquen las pesadillas éticas para sus organizaciones que pueden derivarse del uso a gran escala de la IA.
• Creen los recursos internos necesarios para evitar las pesadillas.
• Perfeccionar a los empleados para que puedan utilizar esos recursos, junto con su juicio profesional actualizado, para evitar esas pesadillas.
• El reto es importante, pero la recompensa -undespliegue seguro y a gran escalade tecnologíastransformadoras- merece la pena.

La IA agéntica hace que la superación de este reto sea más urgente: Introduce riesgos agravados que, si no se gestionan, pueden crear desastres empresariales y que definan la marca. Como alguien que ayuda a las empresas a navegar por los riesgos éticos que plantean las nuevas tecnologías, he visto los errores que suelen cometer las empresas cuando intentan hacer frente a este problema, y lo que debería hacerse en su lugar. A menudo, eso requiere cambios significativos en toda la empresa, no una mera evaluación de riesgos que añadir a las evaluaciones existentes.

Cómo se multiplican las pesadillas éticas con los avances de la IA

En la mayoría de las organizaciones, la gestión de riesgos de la IA se desarrolló para hacer frente a los daños potenciales de la IA en sentido estricto, y ésta ha seguido siendo la base de cómo se gestionan los riesgos de la IA. Para proteger a sus organizaciones a medida que adoptan nuevas herramientas de IA, los líderes deben comprender cómo cambia el panorama de los riesgos a medida que avanzamos hacia la IA generativa, y cómo la IA estrecha y la generativa sirven como bloques de construcción para un vertiginoso abanico de posibilidades que conducen a un campo minado.

IA estrecha

La IA estrecha, también llamada IA "tradicional" y "predictiva", se dedica a hacer predicciones en un ámbito limitado. Ejemplos bien conocidos son el software de reconocimiento facial y los modelos de puntuación (por ejemplo, predecir el riesgo de impago de una hipoteca, la probabilidad de ser un buen candidato para el trabajo, etc.). Con la IA estrecha, como ya he escrito anteriormente, los riesgos éticos prominentes incluyen resultados sesgados o discriminatorios, la incapacidad de explicar cómo llega la IA a sus resultados y las violaciones de la privacidad.

En la mayoría de las empresas, los programas de riesgos empezaron centrándose en mitigar los posibles daños de la IA estrecha. Hay cuatro cosas importantes que hay que entender sobre cómo se construyeron para que podamos ver en qué fallan cuando se trata de IA generativa y más allá:

• El contexto de cómo se utilizará una IA estrecha tiende a entenderse de antemano. Por ejemplo, si está desarrollando una IA que lee currículos, lo más probable es que se utilice en la contratación. (En otros casos puede estar menos claro, por ejemplo, desarrollar un software de reconocimiento facial que pueda utilizarse en diversos contextos).
• Se necesita experiencia en ciencia de datos para realizar evaluaciones de riesgo, supervisar el rendimiento, mitigar el riesgo y explicar cómo funciona la IA. Los usuarios intermedios, por su parte, desempeñan un papel en el envío de datos a la herramienta, donde con toda probabilidad no han creado los datos ellos mismos (por ejemplo, el profesional de RRHH no ha redactado los currículos, el profesional de seguros no ha rellenado la solicitud, etc.).
• A menudo hay un experto "humano en el bucle" comprobando los resultados de la IA antes de que se actúe en consecuencia. Por ejemplo, mientras que una IA puede predecir la probabilidad de que alguien desarrolle diabetes en los próximos dos años, un médico interpreta esa salida y ofrece los consejos/recetas pertinentes al paciente. Los resultados se generan a un ritmo que el ser humano puede manejar y éste tiene la capacidad de examinarlos de forma responsable.
• La supervisión y la intervención pueden ser relativamente sencillas. Abundan las herramientas para evaluar el rendimiento, y si la IA rinde mal en alguna métrica relevante, puede dejar de utilizarla. La disrupción que genera dejar de utilizar la herramienta es bastante contenida.
• IA generativa

Con la IA generativa, sin embargo, las cosas cambian bastante drásticamente:

• Los contextos de despliegue explotan. La gente utiliza las LLM para todo tipo de cosas. Piense en las muchas formas en que pueden utilizarse en cada empresa, por cada departamento, por cada función y para cada tarea. Y añada algunos miles más por si acaso. Esto hace que las pruebas de "cómo se comportará el modelo en el contexto de uso previsto" sean fenomenalmente difíciles de determinar.
• La supervisión de la IA en la naturaleza se vuelve inmensamente importante. Dado que existen tantos contextos de despliegue, los desarrolladores de IA no pueden preverlos todos, y mucho menos introducir mitigaciones de riesgo apropiadas para todos ellos. Supervisar el comportamiento de la IA en estos contextos impredecibles -antes de que las cosas se salgan de madre sin que nadie se dé cuenta- se convierte en algo crucial.
• Un humano en el bucle sigue siendo relativamente sencillo, pero se necesita una mayor formación. Por ejemplo, los LLM hacen declaraciones falsas de forma rutinaria (también conocidas como "alucinaciones"). Si no se forma adecuadamente a los usuarios para que comprueben los resultados de los LLM, las organizaciones deberían esperar que los empleados creen regularmente informes y otros documentos, tanto internos como externos, con información falsa.
• La IA generativa requiere una formación adicional para utilizarla de forma responsable. Esto se debe a que, mientras que los resultados de la IA restringida dependen principalmente del modo en que los científicos de datos han creado la IA, los resultados de la IA generativa dependen en gran medida de los prompt que introducen los usuarios finales; si se cambia el prompt, cambiarán los resultados. Esto significa que se necesita un prompt responsable (por ejemplo, no introducir datos sensibles de la empresa en un LLM que envíe los datos a un tercero).
• La evaluación y mitigación de riesgos se produce en más lugares. En su mayor parte, las organizaciones están aprovisionándose de modelos de empresas como Microsoft, Google, Anthropic u OpenAI en lugar de construir los suyos propios. Los desarrolladores de esas empresas realizan cierto grado de mitigación de riesgos, pero esas mitigaciones son necesariamente genéricas. Cuando las empresas hacen que sus propios científicos de datos modifiquen el modelo preentrenado -ya sea a nivel de empresa o de departamento- también crean la necesidad de nuevas evaluaciones de riesgos. Esto puede volverse complejo rápidamente. Hay múltiples puntos en los que se pueden realizar dichas evaluaciones, y no está claro si son necesarias antes y después de cada modificación. Quién debe realizar qué evaluación de riesgos y en qué momento de este ciclo de vida tan complejo de la IA es difícil de determinar, no sólo en sí mismo, sino también porque esa decisión debe tomarse al tiempo que se equilibran otras consideraciones importantes, por ejemplo, la eficacia operativa.

Para aquellas organizaciones que han creado programas de riesgo ético/responsabilidad ante la IA, los riesgos discutidos hasta ahora están cubiertos (aunque lo bien que estén cubiertos/gestionados depende de lo bien que se haya creado, desplegado y mantenido el programa). Pero a medida que la IA evoluciona, esos programas empiezan a romperse bajo la presión de una complejidad masivamente creciente, como veremos.

La IA multimodelo y la IA agéntica

Ahora las cosas se complican fenomenalmente, y eso es porque la IA estrecha y generativa son bloques de construcción para crear sistemas complejos. Vayamos por etapas. Hay diferentes formas de dividir estas etapas, pero la cuestión aquí es darle una idea de cómo la complejidad escala rápida y fácilmente:

• Etapa 1: Usted toma un LLM y lo conecta a otra IA generativa -por ejemplo, una que genere videoclips. En este caso, puede decirle a su LLM que quiere tres vídeos diferentes de vacas saltando por encima de la luna, y éste puede conectarse a una herramienta de IA generadora de vídeos para hacerlo. O puede conectar su LLM a una IA estrecha y a una base de datos; podría decirle a su LLM que se conecte a la base de datos de currículos para recopilar los currículos para un puesto concreto, pasarlos por la IA estrecha de puntuación de currículos e informar sobre los cinco mejores resultados. Ahora ya tiene una IA multimodelo.
• Etapa 2: Conecte su LLM a 30 bases de datos, 50 IAs estrechas, 5 IAs generativas y todo Internet. No hay un nombre especial para esto; sólo recuerde que Internet contiene todo tipo de información loca, sesgada y falsa de la que su IA puede tirar.
• Etapa 3: Añada a su IA multimodelo la capacidad de realizar acciones digitales (por ejemplo, realizar transacciones financieras). Ahora ya tiene una IA agéntica multimodelo.
• Etapa 4: Dote a su IA agéntica multimodelo de la capacidad de hablar con otros agentes de IA multimodelo de su organización. Ahora ya tiene IA multiagéntica multimodelo interna.
• Etapa 5: Dé a su IA multiagéntica multimodelo interna la capacidad de hablar con agentes de IA de fuera de su organización. Ahora tiene un atolladero de riesgo incalculable. (Nota: no es un término técnico.)

Esta progresión muestra a los ejecutivos dónde se sitúa su organización en la curva de complejidad y, lo que es más importante, qué capacidades necesitan desarrollar antes de pasar a la siguiente fase. En mi trabajo ayudando a las empresas de la lista Fortune 500 a diseñar y aplicar programas de riesgo ético de la IA, todavía no he encontrado una organización que disponga de los recursos internos o el personal capacitado para manejar la Etapa 2, por no hablar de las etapas posteriores. He aquí por qué el reto de la pesadilla ética se ha vuelto mucho más difícil:

En primer lugar, resulta increíblemente difícil determinar quién debe realizar qué evaluación de riesgos y en qué momento. Hay tantos nodos de interacción (y no olvidemos las evaluaciones de riesgos necesarias dentro de un mismo modelo) que realizar una evaluación de riesgos en todos y cada uno de los nodos es pragmáticamente imposible. Hay que realizar cuidadosos análisis de costes y beneficios para determinar dónde es necesario y dónde es un "nice to have" en relación con el apetito de riesgo de la organización.

En segundo lugar, la capacidad de un usuario final (es decir, el humano en el bucle) para interponerse sabiamente entre los resultados y los impactos del sistema disminuye drásticamente incluso en la fase 1, por no hablar de la fase 5. Simplemente hay demasiados datos para que cualquier humano pueda procesarlos en tiempo real (o incluso después del tiempo, para el caso).

En tercer lugar, en relación con la ruptura del bucle humano y la velocidad a la que interactúan los modelos, hay que dar un peso enorme a las decisiones de "sí" o "no" para el despliegue. Esto presupone que la gente sepa cómo probar y evaluar antes de dar luz verde. Los altos ejecutivos y los responsables técnicos deben determinar si los sistemas de IA están listos para su uso, pero esto presupone que sepan cómo probar y evaluar rigurosamente estos sistemas antes de dar la aprobación final. En la actualidad, la mayoría de las organizaciones carecen de estos marcos críticos de evaluación previa al despliegue, lo que les deja en manos de decisiones de alto riesgo muy poco informadas.

En cuarto lugar, dado que ninguna decisión previa a la luz verde puede tener en cuenta todas las formas en que las cosas pueden torcerse (especialmente en la fase 5), la supervisión en tiempo real es de enorme importancia. Sin una supervisión en tiempo real, el ritmo al que las cosas pueden torcerse es diabólico.

En quinto lugar, hay que diseñar métodos para intervenir en el sistema cuando esa luz empiece a parpadear en rojo. Sin embargo, dado que se trata de sistemas fenomenalmente complejos que interactúan con otros sistemas complejos -todos los cuales requieren enormes recursos para funcionar y presumiblemente sólo se despliegan por sus enormes beneficios-, se necesitan métodos de intervención que generen una disrupción mínima del sistema al tiempo que disminuyen los riesgos a niveles adecuados. Por ejemplo, es mejor identificar que el estrecho modelo de IA nº 23 es la fuente del problema y cerrar el acceso a ese modelo que apagar todo el sistema. (Dicho esto, algunos riesgos surgen del propio sistema y no de un nodo concreto del mismo, en cuyo caso probablemente será necesario apagar el sistema).

En sexto lugar, nunca se insistirá lo suficiente en la importancia que tiene en todo esto la formación de los empleados. Se requiere para todos una educación y formación generales que vayan mucho más allá del visionado anual de vídeos de 30 minutos sobre el cumplimiento de la normativa. Se necesita formación especializada al menos a nivel de departamento y, en muchos casos, a nivel de función. Esta formación debe dar como resultado, entre otras cosas, empleados que puedan aprovisionamiento, desarrollo, uso y supervisión regulares de la IA y los sistemas de IA de forma responsable y que puedan oler el humo cuando algo no va bien. No se trata de una formación de una sola vez. Es algo que debe continuarse mientras el uso de la IA siga escalando y evolucionando. De hecho, las empresas con más éxito con las que he trabajado tienen una cosa en común: invirtieron y siguen invirtiendo mucho en la formación de los empleados antes de desplegar la tecnología, no después de que surjan los problemas.

A la altura del desafío de la pesadilla ética

La IA seguirá evolucionando y pasará de ser herramientas limitadas a sofisticados sistemas multiagenéticos que operan a velocidades y escalas que escapan a la supervisión humana. Las organizaciones se enfrentan a una dura elección. Pueden enfrentarse proactivamente al reto de la pesadilla ética ahora, mientras la complejidad es aún manejable, o pueden esperar hasta que un fallo catastrófico les obligue a actuar -probablemente a un coste mucho mayor y con un daño significativo para sus relaciones con clientes e inversores.

Las empresas que prosperarán en la era de la IA agéntica son las que reconozcan este punto de inflexión por lo que es: no sólo una actualización tecnológica, sino una transformación fundamental en la forma en que las organizaciones gestionan el riesgo, forman a sus empleados y toman decisiones. Entienden que pasar de la fase 1 a la 5 sin la infraestructura adecuada no es innovación: es una temeridad.

La buena noticia es que las organizaciones no necesitan resolverlo todo a la vez. Necesitan evaluar honestamente en qué punto de la curva de complejidad se encuentran, desarrollar las capacidades necesarias para su etapa actual y crear la infraestructura para evolucionar con seguridad a la siguiente. Esto significa invertir en una formación exhaustiva de los empleados, desarrollar sistemas de supervisión sólidos y crear protocolos de intervención antes de que se necesiten desesperadamente. Es un reto exigente, pero las alternativas -avanzar imprudentemente o con el pie de la organización siempre rondando el acelerador- son mucho peores.

Lea más sobre gestión de riesgos o temas relacionados: IA generativa, tecnología y analítica, IA y aprendizaje automático, algoritmos, analítica y ciencia de datos, gestión de datos, automatización, gestión de la información e informática empresarial.

Reid Blackman, PhD, es autor de Ethical Machines (Harvard Business Review Press, 2022). Como fundador y director ejecutivo de Virtue, una consultora de riesgo ético en IA, él y su equipo trabajan con empresas para diseñar, implementar, escalar y mantener programas de riesgo ético y regulatorio en IA. Su trabajo ha sido reseñado por The Wall Street Journal, la BBC, CNN, Fox News y Forbes. Reid también asesora al gobierno de Canadá sobre sus regulaciones federales en IA, ha sido asesor sénior externo del Deloitte AI Institute y formó parte del Consejo Asesor Externo de IA de Ernst & Young.