Para mitigar los riesgos de Gen AI, aproveche el criterio colectivo de su equipo
Por Gabriele Rosani , Elisa Farri y Michelle Renecle
IA generativa
Harvard Business Review
#Doxa #mitigar #riesgo #GenAI #criterio #colectivo #equipo #IA #generativa #organización #desafió #compañía ##estrategia #riesgo #política #tecnología #pensamiento #resultado #gestión #juicio #equipo #trabajo #debate #evolución
Resumen. Las organizaciones de hoy enfrentan el desafío de usar la IA generativa sin caer en sus desventajas. Muchas compañías han empleado dos niveles básicos de estrategias de gestión de riesgos: políticas sobre cómo usar la tecnología y pensamiento crítico sobre los resultados de la IA generativa. Las compañías también deberían adoptar un tercer nivel novedoso de gestión de riesgos: el juicio basado en el equipo. Hay tres aspectos:juicio colectivo, en el que los equipos participan en debates para evaluar los resultados y garantizar su precisión; Sentencia de dominio, en el que los equipos deben delegar la autoridad de toma de decisiones a quienes tienen la mayor experiencia o a quienes están más cerca del trabajo; yel juicio reflexivo, en el que los equipos deben reunirse periódicamente para compartir y reflexionar sobre sus experiencias y sobre las de otros que usan IA. Cuando las organizaciones desarrollen el juicio basado en equipos a gran escala, estarán mejor equipadas para adaptarse al panorama de IA en rápida evolución y enfrentar riesgos futuros desconocidos.
La IA generativa (generación de IA) ofrece oportunidades transformadoras para el aprendizaje, el trabajo, la creatividad y la toma de decisiones en todas las organizaciones. Esto marca un cambio de paradigma hacia una colaboración entre humanos y máquinas sin precedentes. Sin embargo, su integración en la forma en que funcionan las organizaciones es compleja. Los riesgos son muchos, incluidos los problemas de confianza y precisión, las alucinaciones y los sesgos heredados de los modelos fundamentales subyacentes. Hoy en día, muchas empresas se enfrentan al acertijo de aprovechar el poder de la IA de la generación sin caer en sus posibles inconvenientes.
El miedo a cometer errores críticos con la IA de la generación ha llevado a algunas organizaciones a reducir drásticamente su uso o a prohibirla rotundamente. Este enfoque evasivo es más peligroso de lo que parece, ya que puede tener consecuencias no deseadas (como que los empleados usen cuentas personales para eludir las restricciones) e impedir que las empresas cosechen los beneficios de la generación de IA.
Otras empresas más dispuestas a experimentar con la IA de la generación han recurrido a una capa básica de estrategias inteligentes de gestión de riesgos. Estas mitigaciones comienzan con las políticas de uso, los códigos de conducta, la restricción a las herramientas aprobadas y las barandillas. Estas medidas son recomendables y necesarias, pero son insuficientes; no abordan muchos escenarios desconocidos, futuros y difíciles de definir, especialmente dado el rápido ritmo del cambio tecnológico.
Un segundo nivel de mitigación de riesgos es cada vez más frecuente: muchas empresas ahora animan a sus empleados a emplear el pensamiento crítico y sentencia en torno a las herramientas de IA. Este juicio a nivel individual va más allá de la simple investigación de los productos generados por la IA; implica elaborar el modo de colaboración correcto con la IA, establecer un contexto y límites claros y dar a la máquina comentarios continuos.
Ejercer el juicio individual tiene ventajas que la póliza por sí sola. Permite a los empleados interpretar las directrices en el contexto del uso, ya que las pólizas no pueden cubrir todas las situaciones. Judgment permite a las personas traducir y adaptar reglas abstractas a escenarios del mundo real, por ejemplo, garantizar la confidencialidad desinfectando cuidadosamente los elementos sensibles específicos incluidos en un prompt. Sin embargo, el juicio individual puede no ser suficiente en todas las circunstancias. De hecho, cuando la IA alucina o genera resultados inexactos, una persona puede caer sin saberlo en una «trampa de confianza», dejándose llevar por el tono autoritario de las sugerencias generadas por la IA.
En este sentido, proponemos un nuevo nivel de mitigación del riesgo: el juicio en equipo.
Los tres tipos de juicios basados en equipos
Investigación en campos tan diversos como la salud, el control del tráfico aéreo y la generación de energía nuclear destaca el papel fundamental del trabajo en equipo para mitigar el riesgo operativo. Una de nosotros, Michelle Renecle, tiene explorado cómo la integración de políticas estrictas con la creación de sentido colectivo puede mejorar la gestión de riesgos. Los resultados confirmaron que las organizaciones pueden fomentar una responsabilidad compartida y desarrollar una orientación consciente hacia el riesgo.
Un enfoque similar de combinar reglas estrictas con un juicio a nivel de equipo puede ayudar a las organizaciones a abordar de forma eficaz los desafíos de la IA. Las conversaciones con los colegas pueden aportar puntos de vista diversos, cuestionar los resultados y descubrir sesgos ocultos. Ponerse en contacto con expertos en dominios puede ayudar a validar datos específicos o a revisar las áreas en las que hay dudas o problemas debido a la falta de conocimiento para juzgar con confianza. El juicio a nivel de equipo tiene tres manifestaciones principales:
- Juicio colectivo: Los equipos deben entablar conversaciones para garantizar la precisión, identificar los riesgos y evaluar los resultados generados por la IA. Por ejemplo, si los miembros no están seguros de un producto generado por la IA, consultarán con otros colegas o equipos y revisarán el contenido generado por la IA antes de aceptarlo y usarlo. Estas rutinas compartidas de reflexión y debate permiten una evaluación exhaustiva de los posibles impactos, incluidas las implicaciones éticas y legales.
- Juicio de dominio: Cuando se producen eventos inesperados o se detectan anomalías en la producción de los sistemas de IA, los equipos deben delegar la autoridad de toma de decisiones a las personas con más experiencia o a las personas más cercanas a la obra, en lugar de a las que tienen el rango más alto. Al identificar a los expertos en la materia con los que consultar cuando surjan preguntas o problemas con la IA, sus puntos de vista pueden guiar al equipo de manera oportuna y evitar que las consecuencias negativas se propaguen.
- Juicio reflexivo: Los equipos deben reunirse con regularidad para compartir y reflexionar sobre sus experiencias y las de otras personas que utilizan la IA, mejorando su comprensión y su capacidad de navegar por los sistemas de IA. Este aprendizaje continuo es fundamental para seguir el ritmo de la rápida evolución de la tecnología, ya que permite a los equipos aprender de los errores y los éxitos y optimizar un uso seguro y eficaz. Un ejemplo de juicio reflexivo es la celebración regular de retrospectivas en equipo para analizar las lecciones aprendidas.
La incorporación de estas formas de juicio a nivel de equipo aborda los elementos críticos de riesgo que la política o el juicio individual por sí solos pueden pasar por alto. Este enfoque colaborativo ayuda a descubrir los puntos ciegos y los sesgos y ofrece medidas de protección más completas.
El juicio basado en equipos en la práctica
Exploremos un ejemplo concreto. Imagínese un equipo de tres personas (Gaby, Trent y Xi) que tienen la tarea de preparar un informe para su dirección sobre las tendencias digitales y su impacto en las operaciones de la cadena de suministro. Imagine dos escenarios:
- Escenario 1, el equipo cae en la trampa: Gaby, Trent y Xi comienzan a elaborar un informe utilizando la IA de generación para investigar las tendencias de la industria. El equipo divide el informe en tres secciones, y cada miembro es responsable de escribir una sección. Gaby da instrucciones al sistema de IA de la generación para que recopile datos sobre las tendencias tecnológicas en varias regiones, incluidos ejemplos de aplicaciones tempranas en los casos de la cadena de suministro. El modelo de IA generacional funciona bien en general, pero lamentablemente, alucina en un aspecto específico, inventando un estudio de caso creíble y fuentes relacionadas en el análisis para un país. Las dos secciones siguientes se basan en parte en la funda inventada creada por la sección de Gaby. Trent y Xi siguen elaborando el informe basándose en las conclusiones del caso inventado, lo que amplifica el error.
- Escenario 2, el equipo evita la trampa con juicio: Al principio del proyecto, Gaby, Trent y Xi discuten el resumen y cómo utilizar la IA de generación para ayudarlos durante todo el proceso. Si bien a cada uno se le ha asignado una sección para escribir, deciden reunirse una vez a la semana para revisar colectivamente cada sección en busca de posibles errores o incoherencias (juicio colectivo). En la segunda semana del proyecto, el equipo revisa la sección de Gaby sobre tendencias tecnológicas. Trent señala que el ejemplo mencionado en el estudio es interesante, pero como se refiere a un país específico, sería prudente consultar a Jane, una experta en cadenas de suministro de ese país. Xi contacta con Jane, quien le dice que el ejemplo no es plausible debido a la normativa local de ese país (juicio de dominio). Tras una investigación más profunda, determinan que el estudio de caso fue una alucinación y que no existen datos fiables. Tras este accidente, el equipo organiza un taller sobre lo que han aprendido en el proyecto para ayudar a otros compañeros a entender cómo reconocer y tratar las posibles alucinaciones (juicio reflexivo).
Consideremos una solicitud real. En la industria de la automoción, los equipos de ingenieros diseñan sistemas mecánicos complejos. La optimización y la solución de problemas de estas máquinas requieren inevitablemente la resolución de problemas en equipo y el análisis de la causa principal. Los árboles de averías pueden ser complejos: analizar las posibles causas de las fugas de aceite en un motor turboalimentado implica evaluar los orígenes, como la avería de las juntas, el deterioro de las juntas, la fatiga de los componentes, un proceso de montaje incorrecto y una monitorización inexacta del sistema de aceite. En estas situaciones, la IA de generación puede aumentar las capacidades del equipo, pero la IA puede llevar al equipo por el camino equivocado si se toma con poco discernimiento. Un alto nivel de juicio en equipo es clave para gestionar estos riesgos.
En palabras de Valentine Marguet, líder del proyecto de tren motriz de Ferrari: «En mi equipo, nos aseguramos de mantener el control y reducimos el riesgo de utilizar información incorrecta o irrelevante al evaluar críticamente los resultados de la IA con nuestros expertos. Recalibramos y refinamos rápidamente nuestro proceso de análisis del caso principal, asegurándonos de que las contribuciones de la IA tienen una base técnica».
Este ejemplo muestra que los tres componentes del juicio en equipo funcionan en conjunto: el juicio colectivo garantiza la revisión y el cotejo exhaustivos de los resultados de la IA, el juicio de dominio proporciona la validación experta de detalles específicos y el juicio reflexivo promueve el aprendizaje y la mejora continuos.
Desarrollando un juicio basado en equipos
Hay que cultivar el juicio en equipo antes de que pueda ser efectivo. Se requieren prácticas y refuerzos continuos para convertirse en un mecanismo sólido de gestión de los riesgos y garantizar resultados de alta calidad. Estas son algunas recomendaciones prácticas para ayudar a los líderes a desarrollar esta capacidad en sus equipos:
Cómo reforzar el juicio colectivo
Cree rutinas de reflexión y debate dentro de los plazos del proyecto. Esto podría incluir reuniones breves o puestos de control diseñados específicamente para crear sentido colectivo. Por ejemplo, tras una interacción individual con la máquina, tomarse un momento para revisar y criticar los resultados generados por la IA con sus compañeros puede proporcionar información valiosa y garantizar que los resultados no se acepten sin crítica, sino que se examinen para comprobar su precisión y relevancia. Posibles preguntas para esas sesiones de desafíos: ¿Es plausible? ¿Se citan correctamente las fuentes? ¿Esta recomendación es propensa a posibles riesgos o sesgos? Hacer este juicio crítico en grupo es más poderoso porque tiene diferentes puntos de vista y experiencia, y juntos es menos probable que caigan en la trampa de la confianza.
Cómo reforzar el juicio de dominio
Establecer mecanismos para identificar y activar a los expertos en dominios durante todo el proyecto. En primer lugar, asegúrese de que las personas entienden la necesidad de involucrar a otros expertos en el proceso de colaboración entre humanos y la IA. Luego, agilice el proceso de identificación de los expertos adecuados (tener mapas de expertos o una lista de expertos en la materia) y ponerse en contacto con los expertos (por ejemplo, hacer preguntas en las comunidades de práctica internas, a menudo a través de sistemas de chat virtuales o foros de debate). Introducir incentivos para los expertos en dominios que apoyen a los equipos e informen a la toma de decisiones cuando surjan problemas.
Cómo reforzar el juicio reflexivo
Dé tiempo a las actividades de aprendizaje continuo y fomente el intercambio de experiencias a través de sesiones y repositorios específicos. Las sesiones retrospectivas deberían incluirse en los planes del proyecto para facilitar el aprendizaje dentro y entre los equipos. Las preguntas útiles para explorar incluyen: ¿Qué hemos aprendido este mes con esta nueva tecnología? ¿Cuáles son los errores más comunes? ¿Cómo afrontan nuestros colegas desafíos similares? ¿Cómo podemos integrar mejor la IA de generación en nuestros flujos de trabajo para evitar estos errores? Además, el aprendizaje se puede consolidar y comisariar en un repositorio de conocimientos o como parte de las academias de IA de la generación.
Cuando esté listo para practicar y reforzar el juicio en equipo para la generación de IA, utilice esta tabla. Incluye definiciones y ejemplos de preguntas para iniciar un debate y reforzar el enfoque de su equipo.
Los tres tipos de juicios basados en equipos
El uso conjunto de las tres formas de juicio a nivel de equipo puede abordar los elementos del riesgo de la IA de la generación que la política o el juicio individual pueden pasar por alto.
| Tipo de Juicio | Qué es | Cómo fortalecerlo | Ejemplos de preguntas |
| Colectivo | Los equipos debaten críticamente el contenido generado por la IA. |
|
¿Qué «trampas de la IA» más comunes debemos tener en cuenta al usar este contenido? ¿Hemos tomado medidas para mitigarlas? ¿El nivel de riesgo es lo suficientemente alto como para justificar una «sesión de desafío» dedicada con expertos? |
| Dominio | Los equipos contactan con los expertos para comprobar la precisión del contenido generado por la IA cuando entra fuera de su dominio de conocimiento o zona de confianza. |
|
¿Este contenido generado por la IA está fuera de nuestra experiencia? Si es así, ¿hemos consultado con los expertos pertinentes? ¿Es necesario colaborar con una comunidad de práctica especializada para obtener información o aclaraciones más profundas sobre este contenido? |
| Reflexivo | Los equipos extraen, comparten y discuten periódicamente los aprendizajes. |
|
¿Qué tan bien recopilamos y compartimos las mejores prácticas con otros equipos para mitigar los riesgos futuros? |
Fuente: Gabriele Rosani, Elisa Farri y Michelle Renecle
...
El juicio en equipo es un activo estratégico para navegar por un futuro impulsado por la IA. Al cultivar esta capacidad a gran escala, las empresas están mejor preparadas para adaptarse rápidamente a la rápida evolución del panorama de la IA, incluidos los riesgos que aún no están generalizados ni se conocen. Esta sabiduría colectiva permite a las organizaciones adoptar con confianza la integración de la IA, adaptarse a los cambios de los flujos de trabajo y gestionar las complejidades de la colaboración entre humanos y la IA, acelerando la obtención de beneficios y mitigando de forma proactiva los riesgos existentes y emergentes.
Lea más sobre la IA generativa o temas relacionados Colaboración y equipos y Gestión de riesgos
Gabriele Rosani es director de contenido e investigación en el Laboratorio de gestión de Capgemini Invent. Es coautor del próximo libro Guía de HBR para la IA generativa para gerentes.
Elisa Farri es vicepresidenta, codirectora del Laboratorio de gestión de Capgemini Invent y Thinkers50 Radar Class of 2023. Es coautora del próximo libro Guía de HBR para la IA generativa para gerentes.
Michelle Renecle, PhD, es directora de Ciencias del comportamiento y análisis de personas en iPsychTec. Su extensa investigación sobre el papel de la eficacia y la cultura del equipo en la gestión del riesgo se ha publicado en importantes revistas académicas.
No hay comentarios:
Publicar un comentario