Doxa 2434

Cuando la IA amplifica los sesgos de sus usuarios

Por Grace Chang y Heidi Grant

IA generativa

Harvard Business Review

#Doxa #IA #sesgos #ética #inteligenciaartificial #algoritmos #equidad #justicia #tecnología #discriminación #transparencia #responsabilidad #datos #machinelearning #conciencia #diversidad

Resumen. El sesgo en la IA no solo está integrado en los datos de entrenamiento; lo moldeamos nosotros mismos y se integra en el ecosistema más amplio de la interacción humano-IA. Este sesgo cognitivo surge de la interacción dinámica entre el comportamiento humano y los sistemas de aprendizaje automático. La forma en que las personas interactúan con la IA (a través de su pensamiento, preguntas, interpretaciones, decisiones y respuestas) puede influir significativamente en el comportamiento de estos sistemas y en los resultados que generan. Con la intención y los sistemas adecuados, las personas, los equipos y las organizaciones pueden usar la IA no solo de forma más responsable, sino también más eficaz, liberando su potencial como un verdadero aliado para tomar mejores decisiones y obtener resultados más sólidos.

Una preocupación ampliamente debatida sobre la IA generativa es que los sistemas entrenados con datos sesgados pueden perpetuar e incluso amplificar dichos sesgos, lo que resulta en resultados inexactos o decisiones injustas. Pero esto es solo la punta del iceberg. A medida que las empresas integran cada vez más la IA en sus sistemas y procesos de toma de decisiones, un factor crítico a menudo se pasa por alto: el papel del sesgo cognitivo.

El sesgo en la IA no solo está integrado en los datos; lo moldeamos nosotros mismos y se integra en el ecosistema más amplio de interacción entre humanos e IA. El sesgo surge no solo de los propios datos, sino también de la interacción dinámica entre el comportamiento humano y los sistemas de aprendizaje automático. La forma en que las personas interactúan con la IA (a través de su pensamiento, preguntas, interpretaciones, decisiones y respuestas) puede influir significativamente en el comportamiento de estos sistemas y en los resultados que producen.

Con intención y con los sistemas adecuados, las personas, los equipos y las organizaciones pueden usar la IA no solo de manera más responsable, sino también de manera más efectiva, liberando su potencial como un verdadero socio para producir mejores decisiones y resultados más sólidos.

Cómo se manifiestan los sesgos cognitivos humanos en el uso de la IA

Los sesgos cognitivos son distorsiones sistemáticas del pensamiento humano que pueden surgir de atajos mentales, influencias emocionales o presiones sociales. Si bien estos sesgos nos ayudan a tomar decisiones rápidamente en un mundo complejo, también pueden conducir a un juicio erróneo. Por ejemplo, pueden hacer que sobrevaloremos ciertos datos y pasemos por alto otra información relevante. Operando en gran medida de forma inconsciente, estos sesgos influyen sutilmente en cómo interpretamos la información y tomamos decisiones, a menudo de maneras que pueden perjudicar los resultados.

Dado que los sesgos cognitivos son una consecuencia natural del instinto cerebral de simplificar la información, es fundamental comprender cómo pueden afectar nuestro uso de la IA. Con mayor conciencia, los líderes pueden tomar medidas proactivas para gestionar la influencia de los sesgos, aprovechando las ventajas del pensamiento intuitivo cuando corresponda y minimizando el riesgo de que distorsionen decisiones cruciales basadas en la IA.

Esta interacción no es unidireccional. Los sistemas de IA pueden, a su vez, influir en el pensamiento humano, reforzando los sesgos existentes con el tiempo, a menudo sin que los usuarios se den cuenta. Reconocer este ecosistema humano-IA más amplio e interconectado es esencial para mejorar nuestra interacción con estas herramientas y para tomar decisiones más informadas y de mayor calidad.

Dada toda esta complejidad, ¿dónde deberían centrarse los líderes?

Comience por prestar atención a algunos puntos críticos en los que las personas tienen más probabilidades de introducir sesgos: antes de pedirle ayuda a la IA, durante la solicitud cuando le hacen preguntas a la IA y evalúan sus resultados (y vuelven a solicitarla según sea necesario para obtener resultados útiles) y después de la solicitud cuando hacen algo con los resultados generados por la IA.

El ecosistema del sesgo humano en el uso de la IA. Diagrama de flujo que muestra cómo el sesgo cognitivo humano interviene en cada etapa del uso de la IA. De izquierda a derecha: Antes de la incitación, el usuario humano, o incitador, aporta un pensamiento sesgado a la interacción con la IA. En la siguiente fase, durante la incitación, el sesgo del incitador influye en la incitación, la evaluación del resultado de la IA y la repetición de la incitación. Después de la incitación, el incitador aporta sesgo al finalizar el resultado o al utilizarlo para tomar decisiones. Este sesgo puede afectar a la hora de compartir el resultado con una audiencia, cuyos miembros aportan sus propios sesgos cognitivos al percibir, usar y compartir contenido. Fuente: EY Behavioral Science & Insights.

Ver más gráficos de HBR en Datos y elementos visuales

Antes de preguntar. Incluso antes de interactuar con la IA, los procesos de pensamiento del apuntador desempeñan un papel fundamental. La decisión de usar IA o no y cómo hacerlo puede verse influenciada por sesgos como los efectos de halo y de cuernos. Si un apuntador ha tenido experiencias positivas con la IA, puede verla a través de un halo y asumir que es ampliamente fiable, incluso para tareas para las que podría no ser adecuada. Por el contrario, las experiencias negativas pueden desencadenar un efecto de cuernos, lo que lleva a un escepticismo o una evasión injustificados, incluso cuando la IA podría ser útil. Por ejemplo, las noticias de gran repercusión —como los informes de que un estudio del MIT descubrió que las personas que dependían de herramientas de IA para redactar ensayos exhibieron una actividad cerebral reducida y peores resultados de aprendizaje, o los casos muy publicitados en los que se sancionó a abogados por presentar escritos legales que contenían citas alucinadas generadas por IA— pueden contribuir al efecto de cuernos al introducir o reforzar el escepticismo hacia la IA.

Ser consciente de estos sesgos es importante no solo para los usuarios individuales, sino también para los líderes de equipo. Si los miembros de su equipo dudan en adoptar la IA, el efecto de los cuernos podría estar contribuyendo a su resistencia.

Los sesgos también influyen en cómo los usuarios definen el problema que intentan resolver.  El sesgo de confirmación, por ejemplo, lleva a alguien a centrarse en la información que respalda sus creencias existentes, pasando por alto explicaciones alternativas. Esto puede resultar en el uso de la IA para resolver el problema equivocado. Si ya cree conocer la causa de un problema, es más probable que formule las indicaciones de la IA de forma que refuercen esa creencia, lo que limita la utilidad del resultado.

Durante la incitación. La forma en que los indicadores formulan las preguntas a la IA influye significativamente en la calidad de su resultado.  El sesgo de pregunta capciosa  ocurre cuando una indicación implica una respuesta específica, sesgando la respuesta. Por ejemplo, preguntar "¿Por qué el producto X es el mejor?" anima a la IA a destacar las fortalezas e ignorar las debilidades. El resultado puede parecer convincente, pero en última instancia distorsiona la imagen completa, lo que podría llevar a decisiones erróneas.

Como usuarios de IA, todos hemos experimentado momentos en los que nuestra primera solicitud no nos proporcionó lo que necesitábamos. Sin embargo, a pesar de la importancia de la calidad del resultado, a menudo no evaluamos las respuestas generadas por IA con el rigor suficiente. El sesgo de conveniencia, nuestra tendencia a favorecer soluciones rápidas y convenientes, puede llevarnos a aceptar resultados sin evaluar completamente su precisión o relevancia. Bajo presión del tiempo, es especialmente tentador echar un vistazo a una respuesta y pensar "suficientemente bien" y pasar página. Pero este atajo puede comprometer la calidad de nuestro pensamiento y resultar en decisiones que no abordan el problema real ni tienen un impacto significativo.

Después de solicitarlo. Finalmente, el apuntador debe decidir qué hacer con el resultado de la IA. Los sesgos cognitivos también pueden influir en esta fase. Por ejemplo, un apuntador que ha dedicado un esfuerzo considerable a trabajar con IA en una presentación puede experimentar el efecto dotación. Este sesgo nos lleva a sobrevalorar algo simplemente porque nos sentimos dueños de él debido al tiempo o la energía invertidos. Como resultado, el apuntador ve su trabajo con mejores ojos de los que se merece, y su apego a sus ideas o enfoque reduce la probabilidad de que explore o considere alternativas potencialmente mejores.

El sesgo también influye en cómo compartimos nuestras ideas y cómo las perciben los demás. Debido al  efecto de encuadre, la forma en que se presenta la información puede influir significativamente en su recepción. Por ejemplo, decir que hay un 20 % de probabilidades de desarrollar una enfermedad suena más alarmante que decir que hay un 80 % de probabilidades de mantenerse sano. Aunque ambas afirmaciones transmiten la misma información, el encuadre puede afectar considerablemente la forma en que las personas interpretan el mensaje, cómo se sienten al respecto y las decisiones que finalmente toman.

Estos son solo algunos ejemplos de cómo el sesgo cognitivo puede influir en nuestras interacciones con la IA. Si bien el marco de estímulos antes, durante y después es algo simplificado, ya que podemos incitar a la IA a apoyar casi todas las etapas de nuestro pensamiento, incluyendo la definición del problema y la finalización del resultado, sigue siendo una forma útil de señalar los momentos clave donde es probable que se produzcan sesgos.

Qué podemos hacer con respecto al sesgo cognitivo

Los sesgos cognitivos nos ayudan a afrontar la complejidad, permitiéndonos tomar decisiones rápidas sin necesidad de un razonamiento deliberado y laborioso en cada situación. Pero cuando limitan nuestra perspectiva, especialmente en situaciones de alto riesgo, resultan problemáticos. Entonces, ¿qué podemos hacer?

Afortunadamente, las personas, los equipos y las organizaciones tienen oportunidades significativas para reducir los impactos negativos del sesgo. Desarrollar nuestro propio pensamiento crítico y buscar la opinión de otros es esencial para minimizar el sesgo. La IA también puede ser una herramienta valiosa para apoyar estos esfuerzos, ayudándonos a identificar puntos ciegos y a cuestionar nuestras suposiciones. Sin embargo, es importante utilizar la IA como complemento, y no como sustituto, de la reflexión personal y la diversidad de perspectivas. En esta sección se incluyen ejemplos de sugerencias de IA para ilustrar cómo la IA puede apoyar estas prácticas.

Descubra cómo el sesgo cognitivo afecta sus interacciones con la IA. Los usuarios de IA no pueden controlar los sesgos inherentes a los sistemas de IA, pero sí pueden cambiar su forma de interactuar con ella. Concientizar sobre los momentos que describimos en la sección anterior es un primer paso crucial. Comprender cómo y dónde surgen los sesgos ayuda a los usuarios a mantenerse alerta, a formular mejores preguntas de forma proactiva y a tomar decisiones más informadas.Interrumpir el pensamiento automático y aplicar el pensamiento crítico. Es fundamental hacer una pausa antes de actuar por instinto, especialmente en situaciones de alto riesgo. La pausa en sí no resuelve el problema, pero lo que ocurre durante ella sí puede. Nos permite pasar de respuestas rápidas y automáticas a un razonamiento más reflexivo y deliberado. En términos neurocientíficos, esto significa pasar de sistemas cerebrales impulsados ​​por el instinto a activar la corteza prefrontal, la parte del cerebro responsable de la planificación, el análisis crítico y la autorregulación.

Entonces, ¿cómo logran realmente las personas ese cambio? Si bien los sesgos cognitivos varían ampliamente, surgen varias estrategias consistentes para todos ellos: prácticas que pueden ayudar a minimizar su influencia y promover una interacción más reflexiva y eficaz con la IA:

• Plantee suposiciones y evalúe su razonamiento. Practique el pensamiento crítico e intencional examinando la lógica de sus conclusiones. Ejemplo de pregunta: Revise mi razonamiento para esta decisión y señale cualquier suposición o laguna lógica que pueda haber pasado por alto.
• Crea distancia psicológica. Critica tus propias ideas como si vinieran de otra persona. Utiliza criterios objetivos y considera cómo un tercero neutral podría evaluar tu razonamiento. Ejemplo: Evalúa mi propuesta como si fueras un tercero imparcial. ¿Qué fortalezas y debilidades detectarías?
• Busque perspectivas diversas. Explore intencionalmente puntos de vista y evidencia que cuestionen sus suposiciones y creencias. Invite a otros, o incluso a la IA, a que le ayuden a identificar puntos ciegos o debilidades en su razonamiento. Ejemplo de pregunta: Sugiera puntos de vista de diferentes partes interesadas que puedan cuestionar mi enfoque o pensamiento actual.
• Construir sistemas que apoyen el pensamiento crítico. Dado que los sesgos cognitivos son automáticos y a menudo inconscientes, pueden ser difíciles de interrumpir únicamente mediante el esfuerzo individual. Por eso, los equipos y las organizaciones deben establecer procesos y sistemas que promuevan la reflexión, cuestionen las suposiciones y fomenten el pensamiento reflexivo.

Esto comienza por reconocer que integrar la IA en los flujos de trabajo no solo se trata de ahorrar tiempo, sino de mejorar la calidad del pensamiento y los resultados. En muchos casos, es necesario reducir la velocidad para tomar mejores decisiones. Implementar técnicas estructuradas puede ayudar a detectar sesgos y fortalecer el razonamiento. Estas pueden incluir:

• Análisis pre-mortem, donde los equipos imaginan un fracaso futuro y trabajan en retrospectiva para identificar qué podría salir mal, detectando puntos ciegos antes de tomar decisiones definitivas. Ejemplo de pregunta: Ayúdennos a realizar un análisis pre-mortem. ¿Qué podría salir mal con nuestro plan actual y qué medidas podemos tomar ahora para prevenir esos problemas?
• Abogacía del diablo, donde se asigna a alguien la tarea de cuestionar la opinión predominante y poner a prueba la solidez del razonamiento del equipo. Ejemplo: Critica nuestro plan como si no estuvieras de acuerdo con él. ¿Qué debilidades o riesgos debemos tener en cuenta y cómo podrían otros verlo de forma diferente?
• Listas de verificación de decisiones o plantillas estructuradas que incitan a los equipos a considerar explicaciones alternativas, evaluar las compensaciones y documentar las suposiciones. Ejemplo de instrucción: Proporcione una lista de verificación de los factores clave que debemos considerar antes de tomar esta decisión. Incluya preguntas sobre riesgos, alternativas, impacto en las partes interesadas y posibles sesgos.

Ya sea que estas prácticas sean formales o informales, es fundamental fomentar una cultura donde las personas se sientan animadas a poner a prueba su pensamiento, participar en un diálogo abierto y buscar retroalimentación. Para que esta retroalimentación sea significativa, los equipos deben incluir personas con perspectivas diversas para evitar el pensamiento colectivo. En otras palabras, la diversidad de pensamiento debe valorarse y cultivarse activamente en todo el equipo y la organización.

...

El sesgo cognitivo no solo influye en nuestra forma de pensar, sino que también moldea cómo usamos la IA. Desde la definición del problema hasta la interpretación y la acción en función de los resultados generados por la IA, nuestros sesgos nos afectan más de lo que creemos. Pero no estamos indefensos. Al generar conciencia, reflexionar y practicar el pensamiento crítico, podemos reducir la influencia del sesgo y pensar con mayor claridad.

Adoptar nuevos hábitos como cuestionar suposiciones, buscar perspectivas diversas y bajar el ritmo cuando más importa puede resultar extraño al principio. Pero con la práctica, estos comportamientos se vuelven más fáciles y naturales. Y vale la pena el esfuerzo.

Las opiniones reflejadas en este artículo son las de los autores y no reflejan necesariamente las opiniones de Ernst & Young LLP u otros miembros de la organización global EY.

Lea más sobre IA generativa o temas relacionados Sesgo cognitivo, Ciencia del comportamiento y Psicología y neurociencia

Grace Chang, PhD, Directora Asociada de Ciencias del Comportamiento e Insights en Ernst & Young LLP, es una neurocientífica cognitiva que conecta la ciencia con la práctica para diseñar programas de aprendizaje eficaces. Anteriormente, fue Directora Científica en The Regis Company, impartió clases a profesionales de la gestión global a través del Instituto de NeuroLiderazgo, realizó investigaciones de evaluación para UCLA CRESST y impartió conferencias en UCLA. Presenta frecuentemente en importantes congresos y publica en medios académicos y profesionales.

Heidi Grant es psicóloga social e investiga, escribe y da conferencias sobre la ciencia de la motivación. Entre sus libros se incluyen "Refuerzos: Cómo conseguir que la gente te ayude", "Nueve cosas que la gente exitosa hace diferente" y " Nadie te entiende y qué hacer al respecto". Es directora de Ciencias del Comportamiento e Insights de EY Americas.