Doxa 1744

IA-ansiedad generativa

Los líderes se sienten desorientados y preocupados por la nueva tecnología. Aquí hay cuatro riesgos clave para comprender, y consejos sobre cómo abordarlos.

Por Reid Blackman

Gestión de riesgos

Harvard Business Review

#Doxa #generativa #IA #líderes #tecnología #riesgos #consejos #ética

Resumen. La cacofonía de alarmas en torno a la IA generativa ha dejado a los líderes desorientados y preocupados, sobre todo teniendo en cuenta que la IA generativa está disponible para todos los miembros de sus organizaciones, no solo para los científicos de datos. Hay al menos cuatro riesgos intersectoriales que las organizaciones deben controlar: el problema de las alucinaciones, el problema de la deliberación, el sórdido problema de los vendedores y el problema de la responsabilidad compartida. Comprender estos riesgos en detalle puede ayudar a las empresas a planificar la forma en que quieren abordarlos.

Los líderes de todos los sectores se enfrentan a la presión de sus consejos de administración y directores ejecutivos para que averigüen dónde se puede implementar una solución de IA generativa. La razón es conocida: por un lado, está el entusiasmo por aprovechar las nuevas oportunidades y, por otro, el miedo a quedar por detrás de la competencia. Pero en medio del impulso por innovar también hay una ansiedad bien fundada. Uso prohibido de Samsung de ChatGPT después de que los empleados cargaran datos confidenciales de la empresa en la plataforma que posteriormente se filtraron. La tendencia bien documentada de la IA a generar resultados discriminatorios también se aplica a la IA generativa. Mientras tanto, las empresas de IA generativa se enfrentan a demandas: StableDiffusion, que genera imágenes, se enfrenta a una demanda por parte de Getty Images, mientras Microsoft, GitHub y OpenAI se enfrentan a una demanda colectiva.

Las personas y las empresas responsables de esta tecnología también están haciendo sonar las alarmas, desde varios «padrinos de la IA», como Geoffrey Hinton y Yoshua Bengio, hasta gente como Sam Altman, CEO de OpenAI. Los humanos, afirman, podrían enfrentarse a la extinción, o al menos al dominio de sus señores supremos de los robots, en un futuro próximo. Otras voces advierten de la facilidad de crear información errónea de alta calidad hace campaña en vísperas de las elecciones presidenciales de los Estados Unidos cuando aún está otros advierten de la posible catástrofe económica causada por la IA que reemplaza a los trabajadores humanos.

En los últimos meses asesorando a clientes empresariales, he descubierto que los líderes corporativos, tanto del lado tecnológico como del no tecnológico, están confundidos en cuanto a lo que deben prestar atención. La cacofonía de las alarmas los ha dejado desorientados y preocupados, sobre todo teniendo en cuenta que la IA generativa está disponible para todos los miembros de sus organizaciones, no solo para los científicos de datos. Como comentó un cliente, explicando por qué necesita un programa de riesgo ético de la IA: «No es que algo esté en llamas. Es que todos en nuestra organización sostienen un lanzallamas».

¿De qué riesgos debe preocuparse realmente?

Si bien la IA generativa presenta muchos riesgos éticos genuinos, esos riesgos no se aplican a todas y cada una de las empresas.

En primer lugar, aunque admitiéramos con el argumento de que el efecto acumulativo de la IA en la economía se traduce en un desempleo masivo, no se deduce que ninguna empresa en particular tenga la obligación de detener esto. Al fin y al cabo, desde una visión estándar de las responsabilidades de las empresas, no tienen la obligación de contratar o retener empleados. Puede que sea bueno desde el punto de vista ético mantener a las personas trabajando, cuando podrían sustituirse por una IA más eficiente o menos cara y, en algunos casos, animaría a las empresas a que hicieran precisamente eso, pero no se considera generalmente un requisito ético.

En segundo lugar, la amenaza de la difusión de información errónea (electoral) es sin duda uno de los mayores riesgos a los que se enfrentan las democracias modernas (sin duda, se encuentra entre mis tres primeros), pero la mayoría de las empresas no se dedican a ayudar a las personas o las empresas a difundir información. Es poco probable que este riesgo afecte a su organización, a menos que sea una empresa de redes sociales.

En tercer lugar, aunque admitiéramos que la IA representa un riesgo existencial para la raza humana en un futuro próximo, probablemente haya muy poco que su organización pueda hacer al respecto. Si puede hacer algo al respecto, por supuesto, hágalo.

Ahora que hemos dejado de lado esos riesgos éticos, pasemos a los que la mayoría de las empresas tienen que enfrentarse.

Lo primero que deben hacer las empresas es preguntar:

1. ¿Qué riesgos éticos, reputacionales, reglamentarios y legales comparte la IA generativa con la IA no generativa?
2. ¿Qué riesgos éticos, reputacionales, reglamentarios y legales son específicos o exacerbados por la IA generativa en comparación con la IA no generativa?

En cuanto a la primera pregunta, la IA no generativa puede crear fácilmente resultados sesgados o discriminatorios. También puede producir resultados de una manera que no se puede explicar, conocido como el problema de la caja negra. Y la IA no generativa puede entrenarse o crear datos que infrinjan la privacidad de los demás. Por último, muchos riesgos éticos de la IA no generativa dependen de cada caso de uso. Esto se debe a que los tipos de riesgos éticos a los que se enfrenta una organización dependen de los diversos contextos en los que se despliegue la IA no generativa.

Acciones de IA generativa todos de estos riesgos éticos con la IA no generativa. Tanto los generadores de imágenes como los de texto han demostrado sesgos en sus resultados. Con respecto al problema de la caja negra, los propios científicos de datos no pueden explicar cómo la producción ha llegado a ser tan buena. Y como estos modelos se entrenan con datos extraídos de Internet, esos datos incluyen tanto datos sobre personas como datos que son propiedad intelectual de las personas o la organización.

Por último, al igual que ocurre con la IA no generativa, los riesgos éticos de la IA generativa también dependen de cada caso de uso. Pero hay un giro. La IA generativa es la IA de uso general. Esto significa que se puede utilizar en innumerables casos de uso en todos los sectores. No solo eso, sino que las organizaciones ahora tienen miles (si no decenas o cientos de miles) de empleados que tienen acceso a estas nuevas herramientas. Las organizaciones no solo necesitan tener en cuenta los riesgos éticos específicos de la IA diseñada por científicos e ingenieros de datos, sino también los innumerables contextos en los que sus empleados pueden utilizar una IA.

Esto nos lleva a nuestra segunda pregunta: ¿Qué riesgos éticos, reputacionales, reglamentarios y legales son específicos o se ven agravados por la IA generativa en comparación con la IA no generativa?

Los riesgos éticos de la IA generativa

Hay al menos cuatro riesgos intersectoriales que las organizaciones deben controlar: el problema de las alucinaciones, el problema de la deliberación, el sórdido problema de los vendedores y el problema de la responsabilidad compartida. Comprender estos riesgos en detalle puede ayudar a las empresas a planificar la forma en que quieren abordarlos.

El problema de las alucinaciones

Un riesgo importante relacionado con los LLM como ChatGPT de OpenAI, Bing de Microsoft y Bard de Google es que generar información falsa. Abundan los ejemplos de lo arriesgado que es esto. Piense en los médicos que utilizan un LLM para diagnosticar a los pacientes, en los consumidores que utilizan un LLM para solicitar asesoramiento financiero o relacional, o en los consumidores que solicitan información sobre un producto, por nombrar algunos de los innumerables contextos en los que se puede desarrollar un LLM.

Hay algunos aspectos importantes del problema de las alucinaciones que hay que destacar.

En primer lugar, comprobar la veracidad de las afirmaciones de un LLM no se puede automatizar. No hay ningún software que pueda ejecutar un programa que compare las afirmaciones con la realidad. La verificación de la veracidad o falsedad de una afirmación debe realizarse de forma manual.

En segundo lugar, la gente tiende a confiar en los resultados de los programas de software. De hecho, la tendencia está tan bien establecida que tiene un nombre: «sesgo de automatización». Por lo tanto, la verificación manual que debe realizarse es algo que debe realizarse en contra de la fuerza compensatoria del sesgo de automatización. El problema se ve agravado por el tono de autoridad que suelen manifestar los LLM. Los LLM no solo se equivocan con demasiada frecuencia, sino que con demasiada frecuencia se equivocan con confianza.

En tercer lugar, y en relación con esto, la gente es perezosa y quiere respuestas rápidas (esa es una de las razones para acudir a un LLM en primer lugar) y comprobar manualmente la veracidad de los resultados puede requerir bastante esfuerzo y se produce despacio.

En cuarto lugar, como destaca la analogía del lanzallamas anterior, se trata de una herramienta a la que literalmente todos los miembros de su organización tienen acceso.

En quinto y último lugar, muchas personas no saben que los LLM defienden con confianza afirmaciones falsas, lo que los hace particularmente vulnerables a la dependencia excesiva de la herramienta.

Es importante destacar en este contexto que el mero hecho de decir a los empleados que los LLM pueden generar información falsa no basta para evitar que se basen automáticamente en ella. El conocimiento es una cosa; la acción es otra. Racionalizar que «este resultado probablemente esté bien» probablemente sea común dado el sesgo de la automatización, la pereza y la necesidad de velocidad. Los procesos de diligencia debida, el cumplimiento de esos procesos y la supervisión del uso son necesarios para combatir a estos enemigos, al igual que la participación de otras personas que pueden corregir los defectos demasiado humanos de otra persona.

El problema de la deliberación

Los LLM parecen tener el poder de deliberar (de presentar un razonamiento coherente que parezca pensar), pero en realidad, están generando un facsímil delgado y uno que puede resultar peligroso. Supongamos que un asesor financiero no está seguro de qué recomendar y, por lo tanto, consulta a un LLM para obtener asesoramiento. El LLM podría recomendarle una estrategia de inversión determinada, con el supuesto razonamiento en el que se basa el consejo. Pero no se deje engañar: aunque parezca que un LLM está dando una explicación detrás de su producción, en realidad solo está generando una razón que suena plausible, basada en un proceso de predicción de qué palabras van de la mano.

Este punto es un poco sutil, así que tomémonos nuestro tiempo.

Los LLM se dedican a encontrar el siguiente conjunto de palabras que sea lo más coherente posible con las palabras que lo precedieron. Sus resultados deberían tener sentido para el usuario. Lo que sorprende de los LLM recientes, como el GPT-4, es que pueden tener sentido sin saber lo que dicen. Un LLM no entiende sus resultados. No entiende el significado de las palabras. Es un predictor de próximas palabras sorprendentemente exitoso (aunque está lejos de ser perfecto).

Esto significa que cuando le pide a un LLM una explicación de por qué recomendó X, en realidad no le da una explicación de por qué recomendaba X. Predice las próximas palabras que «cree» que son coherentes con la conversación que ha tenido lugar hasta ahora. Lo hace no articule el razones recomendó X porque no proporciona resultados por motivos. No delibera ni decide. Solo predice la probabilidad de la siguiente palabra. Así que no puede le daré las razones por las que recomendó X porque su resultado se basa en la probabilidad, no en las razones. En cambio, es fabrica razones, que, para el usuario desprevenido, se parecen genuinamente a las razones detrás de los resultados.

Esto genera al menos dos problemas.

En primer lugar, es fácil dejarse engañar por esto.

Supongamos, por ejemplo, que un usuario supera su sesgo de automatización, su pereza y su necesidad de velocidad y comienza a investigar el LLM para justificar su respuesta. Presumiblemente, el usuario consultó el LLM en primer lugar porque no estaba seguro de la respuesta en una situación compleja. Ahora, el LLM explica al usuario con paciencia y autoridad el (supuesto) motivo de su recomendación. Ahora es bastante fácil para el usuario remitirse al LLM aparentemente autoritario y deliberativo. Y ahora volvemos a donde estábamos antes de sus esfuerzos por superar sus prejuicios, su pereza y su necesidad de velocidad.

En segundo lugar, a veces importa que una persona delibere.

Si bien hay algunos escenarios en los que el rendimiento es lo único que importa, hay otros en los que nos importa —o al menos a algunos de nosotros— que haya una persona del otro lado deliberando sobre cómo tratarnos adecuadamente. En el contexto de la justicia penal, por ejemplo, puede que le importe no solo que la jueza reciba la respuesta correcta, sino también que participe en la deliberación. Su opinión sobre usted y su caso es parte de lo que debe ser respetada por el juez. Descargar esa decisión a un ordenador es, sin duda, éticamente censurable.

Del mismo modo, queremos un buen asesoramiento financiero, pero también queremos saber que lo recibimos de alguien que está deliberando activamente sobre lo que es mejor para nosotros. Hay un elemento humano en las relaciones, especialmente en situaciones de alto riesgo, del que, sin duda, no queremos deshacernos. Más concretamente, incluso si usted, el lector, no piensa así, sin embargo, es probable que algunos de los clientes de su organización sí piensen así. En ese caso, como cuestión de respeto a sus deseos de mantener ese elemento humano, no es necesario reemplazar a las personas deliberativas por un software de falsa deliberación.

Al igual que con el problema de las alucinaciones, los remedios para el problema de la deliberación son los procesos de diligencia debida, el monitoreo y la intervención humana.

El sórdido problema del vendedor

Quizás el mejor método de vender cualquier cosa a alguien es hablar con él. En algunos casos, los vendedores venden mientras suben. En otros, está el vendedor sórdido o hábil que se destaca en pulsar los botones emocionales de las personas para que compren cosas que realmente no quieren. De hecho, durante un trabajo de verano en una empresa de alquiler de coches, me enseñaron —y, en ese momento, me ejecutaron con orgullo— una táctica para que la gente comprara un seguro de coche (lo siento, «cobertura»; no se nos permitía decir «seguro») despertando el miedo del inquilino a lo que pudiera salir mal en un coche. Del mismo modo, en el diseño de sitios web, hay métodos para manipular a los usuarios para que, entre otras cosas, abandonen su intento de cancelar su cuenta; se denominan» patrones oscuros.”

Supongamos que algunas personas de su organización, motivadas por la conocida combinación de incentivos financieros y la presión para alcanzar ciertas cifras, desarrollan un chatbot de ventas de LLM que es muy bueno para manipular a las personas. Ha «leído» todos los libros sobre cómo pulsar los botones de la gente y todos los libros sobre negociación y se le ha pedido que converse con los consumidores de una manera acorde con lo que ha aprendido.

Esta es una buena receta para socavar la confiabilidad de su organización. Cuando su chatbot de LLM orientado al consumidor engañe sistemáticamente a gran escala, perderá la confianza suficiente como para justificar gastar más dinero del que ganó con el truco para recuperar esa confianza. (Sin mencionar que es éticamente asqueroso engañar sistémicamente a la gente para que compre sus productos).

El problema de la responsabilidad compartida

En su mayor parte, los modelos de IA generativa, también llamados «modelos básicos», los crean un puñado de empresas. Si su organización obtiene su IA generativa de una de estas empresas, es probable que su organización «ajuste» ese modelo. Sus científicos e ingenieros de datos internos están ahí para hacer ese trabajo. Pero si algo va mal desde el punto de vista ético al desplegar su refinada IA generativa, surge la pregunta: ¿quién es el responsable?

La respuesta a esta pregunta es complicada. En primer lugar, los modelos de base suelen ser cajas negras. Esto significa que nosotros, incluidos los científicos de datos, no podemos explicar cómo la IA llega a sus resultados dadas las entradas. En segundo lugar, muchas empresas que crean los modelos básicos no son particularmente transparentes en cuanto a las decisiones que se tomaron a lo largo de los ciclos de vida de diseño, creación y validación de la IA. Por ejemplo, puede que no compartan los datos que utilizaron para entrenar a la IA. Por lo tanto, su organización se enfrenta a la pregunta: ¿Tenemos suficiente información del proveedor que creó el modelo base como para poder actuar con la debida diligencia ética, reputacional, reglamentaria y legal a medida que ajustamos e implementamos el modelo?

Permítame decirlo de otra manera. Supongamos que su organización implementa un modelo de IA generativa y las cosas van mal desde el punto de vista ético. Si su organización tuviera suficiente información del proveedor de modelos base como para que podría han hecho pruebas que habrían detectado el problema, pero no las hice, entonces (en igualdad de condiciones) la responsabilidad recae en su organización. Por otro lado, si su organización no tenía suficiente información como para no poder hacer su diligencia debida de manera eficaz, la responsabilidad recae tanto en el proveedor como en su organización. Depende del proveedor porque debería haberle proporcionado la información que su organización necesitaba para hacer la debida diligencia. Depende de su organización porque o sus equipos no se dieron cuenta de que no tenían suficiente información o lo sabían y decidieron seguir adelante de todos modos.

Esto nos demuestra lo importante que es un análisis de viabilidad a la hora de buscar y, a continuación, ajustar un modelo de IA generativa. Parte de ese análisis debe incluir si el equipo de su organización puede evaluar lo que necesita para hacer su diligencia debida, si obtendrá esa información del proveedor y cuáles son los puntos de referencia para decir «lo suficientemente seguro para el despliegue».

Gestionar este riesgo

A la luz de estos problemas, algunas empresas han tomado medidas para prohibir el uso de la IA generativa en sus organizaciones. Esto no es prudente. De hecho, es un poco como decirle a los adolescentes que se abstengan y luego negarse a dar educación sexual segura; van a pasar cosas malas. Esta es una de las razones por las que la educación en toda la empresa sobre el uso seguro de la IA generativa, incluidos procesos sencillos y claramente articulados mediante los que puedan hacer preguntas a los expertos y autoridades pertinentes en la materia de su organización, debe priorizarse de una manera que no se daba antes de la IA generativa.

Dicho esto, los riesgos éticos de la IA generativa no son tan novedosos como para desafiar los enfoques existentes para diseñar e implementar un programa de riesgos éticos de la IA. Los cuatro problemas articulados anteriormente destacan la necesidad de centrarse más en este tipo de riesgos, pero las estrategias más básicas para abordarlos son una pieza con las estrategias que se aplican a la IA no generativa, que incluyen, entre otras cosas, un proceso de diligencia debida en materia de riesgos éticos que se lleve a cabo en cada etapa del ciclo de vida de la IA, un comité de riesgos éticos de la IA, el aprendizaje y el desarrollo del riesgo ético de la IA en toda la empresa y las métricas y los KPI para medir el despliegue, el cumplimiento y el impacto de su programa de riesgo ético de IA.

Obtenga más información sobre Gestión de riesgos o temas relacionados Inteligencia artificial y aprendizaje automático, Tecnología y análisis y Ética empresarial

Reid Blackman es el autor de Ethical Machines (Harvard Business Review Press, 2022), el presentador de un podcast del mismo nombre y el fundador y director ejecutivo de Virtue, una consultoría de riesgo ético digital. Asesora al gobierno de Canadá sobre las regulaciones federales de IA y a las corporaciones sobre cómo implementar programas de riesgo ético digital. Ha sido asesor sénior del Deloitte AI Institute, sirvió en el Consejo Asesor de AI de Ernst & Young y se ofrece como voluntario como director de ética de la Government Blockchain Association sin fines de lucro. Anteriormente fue profesor de filosofía en la Universidad de Colgate y en la Universidad de Carolina del Norte, Chapel Hill.