Doxa 1933

El problema de confianza de la IA

Doce riesgos persistentes de la IA que generan escepticismo.

Por Bhaskar Chakravorti

Ética de negocios

Harvard Business Review

#Doxa #ética #negocios #IA #riesgos #confianza #desinformación #seguridad #protección #prejuicio #LLM #social #ambiental #industria #administración

Resumen. A medida que la IA se vuelve más poderosa, se enfrenta a un importante problema de confianza. Considere 12 preocupaciones principales: desinformación, seguridad y protección, el problema de la caja negra, preocupaciones éticas, prejuicios, inestabilidad, alucinaciones en los LLM, incógnitas desconocidas, posibles pérdidas de empleos y desigualdades sociales, impacto ambiental, concentración de la industria y extralimitación. del estado. Cada uno de estos problemas es complejo y no es fácil de resolver. Pero existe un enfoque coherente para abordar la brecha de confianza: capacitar, empoderar e incluir a los humanos para que administren las herramientas de IA.

Con decenas de miles de millones invertidos en IA el año pasado y actores líderes como OpenAI buscando billones más, la industria tecnológica está corriendo para sumarse a la acumulación de modelos de IA generativa. El objetivo es demostrar constantemente un mejor desempeño y, al hacerlo, cerrar la brecha entre lo que los humanos pueden hacer y lo que se puede lograr con la IA.

Sin embargo, hay otro abismo al que se le debería dar igual, si no mayor, prioridad al pensar en estas nuevas herramientas y sistemas: la brecha de confianza en la IA. Esta brecha se cierra cuando una persona está dispuesta a confiar a una máquina la realización de un trabajo que de otro modo se habría confiado a humanos calificados. Es esencial invertir en el análisis de esta segunda brecha subestimada –y en lo que se puede hacer al respecto– si se quiere que la IA se adopte ampliamente.

La brecha de confianza en la IA puede entenderse como la suma de los riesgos persistentes (tanto reales como percibidos) asociados con la IA; Dependiendo de la aplicación, algunos riesgos son más críticos. Estos cubren tanto el aprendizaje automático predictivo como la IA generativa. Según la Comisión Federal de Comercio, los consumidores expresan su preocupación por la IA, mientras que las empresas están preocupadas por varios problemas a corto y largo plazo. Considere 12 riesgos de IA que se encuentran entre los más citados en ambos grupos:

• Desinformación
• Seguridad y proteccion
• El problema de la caja negra
• Preocupaciones éticas
• Inclinación
• Inestabilidad
• Alucinaciones en LLM
• incógnitas desconocidas
• Pérdida de empleo y desigualdades sociales
• Impacto medioambiental
• Concentración de la industria
• extralimitación del estado

En conjunto, el efecto acumulativo de estos riesgos contribuye al escepticismo público generalizado y a las preocupaciones empresariales sobre el despliegue de la IA. Esto, a su vez, disuade la adopción. Por ejemplo, los radiólogos dudan en adoptar la IA cuando la naturaleza de caja negra de la tecnología impide una comprensión clara de cómo el algoritmo toma decisiones sobre la segmentación de imágenes médicas, el análisis de supervivencia y el pronóstico. Garantizar un nivel de transparencia en el proceso algorítmico de toma de decisiones es fundamental para que los radiólogos sientan que están cumpliendo con sus obligaciones profesionales de manera responsable, pero esa transparencia necesaria aún está muy lejos. Y el problema de la caja negra es sólo uno de los muchos riesgos por los que preocuparse. Dados problemas similares en diferentes situaciones de aplicaciones e industrias, deberíamos esperar que la brecha de confianza en la IA sea permanente, incluso si mejoramos en la reducción de los riesgos.

Esto tiene tres implicaciones principales. En primer lugar, no importa qué tan lejos lleguemos a mejorar el desempeño de la IA, quienes la adoptan (usuarios en el hogar y en las empresas, tomadores de decisiones en las organizaciones, formuladores de políticas) deben superar una persistente brecha de confianza. En segundo lugar, las empresas deben invertir en comprender los riesgos más responsables de la brecha de confianza que afecta la adopción de sus aplicaciones y trabajar para mitigar esos riesgos. Y en tercer lugar, emparejar a los humanos con la IA será la herramienta de gestión de riesgos más esencial, lo que significa que siempre necesitaremos que los humanos nos guíen a través de la brecha, y los humanos deben estar entrenados adecuadamente.

Considere los 12 riesgos. Para cada uno de ellos, hay cuatro preguntas: ¿Cómo socavan la confianza en la IA? ¿Cuáles son las opciones (iniciadas por la industria o requeridas por los reguladores) para mitigar o gestionar el riesgo? ¿Por qué las opciones ofrecen, en el mejor de los casos, una solución parcial que permite que el riesgo persista? ¿Cuáles son las lecciones aprendidas y las implicaciones? En conjunto, estos ayudan a cerrar la brecha de confianza en la IA, por qué se puede esperar que persista y qué se puede hacer al respecto. 

[   1   ]

Desinformación

La desinformación en línea no es nueva, pero las herramientas de inteligencia artificial la han potenciado. Los deepfakes ayudados por IA han acompañado elecciones desde Bangladesh (donde un líder de la oposición fue representado en bikini) hasta Moldavia (donde antes de las elecciones circuló un clip falso del presidente apoyando al partido prorruso), dando a los votantes una razón para desconfiar de la información esencial necesaria para el funcionamiento de las democracias. A finales de 2023, el 85% de los usuarios de Internet estaban preocupados por su incapacidad para detectar contenido falso en línea, un problema grave dadas las importantes elecciones de 2024 en todo el mundo.

Las empresas de redes sociales en gran medida no están logrando abordar la amenaza, ya que la mayoría ha reducido drásticamente el número de moderadores de contenido humanos que son la defensa más exitosa contra la desinformación. La empresa de plataformas más grande, Meta, por ejemplo, redujo drásticamente los equipos de moderación de contenido, dejó de lado una herramienta de verificación de datos que estaba en desarrollo y canceló contratos con moderadores de contenido externos como parte de su  “año de eficiencia” en 2023. Ahora, la plataforma está lidiando con una avalancha de contenido extraño generado por IA impulsado por publicidad, un recordatorio de que los algoritmos de recomendación de las redes sociales son otra forma de IA que puede manipularse. Las retiradas de Meta se reflejaron en YouTube, que recortó  su equipo de moderación de contenidos, y en X, con un desmantelamiento aún más drástico.  (Si bien Tik Tok no ha experimentado el mismo nivel de recortes en sus equipos de moderación de contenido, tiene que defenderse contra un conjunto diferente de preocupaciones: inquietudes sobre la seguridad y privacidad comprometidas de los datos del usuario). La moderación de contenido algorítmica/automatizada que a menudo se ofrece en lugar de la moderación humana está lejos de ser adecuada.

A falta de una mitigación iniciada por las empresas, la responsabilidad recae en los reguladores, que están interviniendo para obligar a las empresas a actuar. En Estados Unidos, varios estados han presentado proyectos de ley contra la desinformación y los deepfakes relacionados con las elecciones. La Casa Blanca tiene una orden ejecutiva que exige la “marca de agua”, o etiquetado claro, del contenido creado por IA, lo que también exige la regulación de IA recientemente aprobada por la UE. En otros lugares, el gobierno de la India responsabiliza a las empresas de redes sociales por el contenido marcado como dañino que no ha sido eliminado.

Sin embargo, estas medidas bien intencionadas de gestión de riesgos pueden tener consecuencias no deseadas, ya que las plataformas pueden simplemente asignar recursos de moderación limitados a los mercados con mayor presión regulatoria en lugar de invertir en mayor moderación. Estados Unidos o la UE obtendrán una asignación excesiva a expensas del resto del mundo (particularmente de los países del mundo en desarrollo donde las exigencias regulatorias y comerciales son menores) a pesar de que hay muchos más usuarios en estos lugares. Hay evidencia de que ya estaba sucediendo antes de los recientes recortes: The Wall Street Journal  descubrió  que en 2020, el 87% del tiempo de moderación de contenido de Facebook se dedicó a publicaciones en los EE. UU., a pesar de que el 90% de los usuarios de Facebook no eran estadounidenses.

La lección es que tenemos que aceptar que la dura realidad de que la desinformación será difícil de eliminar. Dependiendo de en qué parte del mundo te encuentres, podría incluso aumentar en volumen y, con la creciente sofisticación de los deepfakes asistidos por IA, en el grado de engaño. La vigilancia humana y la educación en “ higiene digital ” serán esenciales.

[   2   ]

Seguridad y protección

Las perspectivas para los riesgos de seguridad de la IA son aleccionadoras. En la encuesta más grande jamás realizada entre expertos en inteligencia artificial y aprendizaje automático, entre el 37,8% y el 51,4% de todos los encuestados colocaron al menos un 10% de probabilidad en escenarios tan terribles como la extinción humana, e incluso el 48% de los optimistas netos fijaron esa probabilidad en el 5%. Es difícil pensar que evaluaciones tan nefastas se consideren aceptables para cualquier otra tecnología actualmente en amplia adopción. Por supuesto, existen riesgos menos apocalípticos: casos de uso malicioso de herramientas de IA en ataques cibernéticos, ser liberado para seguir órdenes ilegales, etc. En la misma encuesta, situaciones como las posibilidades de que la IA sea liberada recibieron una importancia relativamente alta probabilidad (la mayoría de los encuestados lo calificaron como “probable” o “muy probable” ) incluso en el año 2043.

Una vez más, las regulaciones son fundamentales para mitigar tales riesgos. La orden ejecutiva de la Casa Blanca y las regulaciones de la UE exigen que los modelos de IA generativa por encima de un cierto umbral de riesgo publiquen los resultados de ataques simulados del “equipo rojo” para identificar vulnerabilidades. Dicho esto, no está claro que dichos requisitos puedan ser eficaces para eliminar el riesgo. Lo peor es que medidas como los requisitos de equipos rojos pueden estar fomentando un mero "teatro de seguridad". Existen pocas normas sobre métodos y criterios infalibles para formar equipos rojos, e incluso si las regulaciones imponen cierta transparencia, es difícil confirmar que dichos esfuerzos fueron exhaustivos. Es poco probable que las empresas emergentes tengan los recursos para hacer este trabajo internamente o avalen pruebas realizadas externamente, lo que introduce nuevas fuentes de vulnerabilidad a medida que sus productos se conectan al ecosistema de IA más amplio o la carga de costos disuade a las empresas emergentes desde el principio.

La lección más importante, como creen muchos expertos, es que los riesgos de seguridad de la IA son imposibles de eliminar en el futuro previsible. Esto significa que la concientización y la preparación serán claves y para las aplicaciones más críticas y de vida o muerte (desde la seguridad nacional hasta la atención médica) será importante mantener a los humanos informados para garantizar que las decisiones nunca estén completamente automatizadas; por ejemplo, en negociaciones muy delicadas entre naciones con armas nucleares, los acuerdos tendrían que garantizar que las decisiones relacionadas con el lanzamiento de pruebas o misiles sigan en manos de los humanos.

[   3   ]

El problema de la caja negra

La transparencia es esencial para generar confianza. Con la IA, eso puede incluir informar a los usuarios cuando interactúan con un modelo de IA, ser capaz de explicar cómo produjo un resultado particular y ser consciente de qué información necesitan las partes interesadas y entregarla en términos que puedan entender. Las regulaciones clave, como la Ley de IA de la UE, harán cumplir ciertos estándares de transparencia, pero el desafío siempre presente es que los incentivos para las empresas de IA las alienten a minimizar la transparencia, para preservar la ventaja competitiva y la propiedad intelectual, y evitar ataques maliciosos, y reducir la exposición a demandas sobre derechos de autor. Como tal, la IA es a menudo una caja negra: no está claro por qué produce el resultado que produce.

Un enfoque de transparencia liderado por la industria es parte del atractivo del desarrollo de la IA de código abierto. Pero esto también tiene limitaciones. Hay demasiadas entradas en los modelos de IA (desde los datos de entrenamiento hasta el código utilizado para preprocesarlos y gobernar el proceso de entrenamiento, la arquitectura del modelo, etc.), hasta el punto de que los expertos no pueden ponerse de acuerdo sobre lo que realmente constituye "abierto". fuente." Las empresas utilizan esta ambigüedad como tapadera para inventar sus propias definiciones y ocultar el componente clave (los datos de capacitación, incluidos los datos “sintéticos”) de la vista del público. Incluso empresas como Meta, que defienden los modelos de código abierto, se están volviendo menos “abiertas” con el tiempo: su modelo Llama 2 es mucho menos transparente que Llama 1. E incluso Llama 2, un estándar de la industria en materia de transparencia, solo obtiene una calificación de 54 puntos. 100 en la puntuación de transparencia del Centro de Investigación sobre Modelos de Fundaciones de Stanford. Empresas como IBM han ofrecido voluntariamente “fichas informativas” para mecanismos de seguimiento y transparencia, pero las revelaciones no auditadas no son mecanismos ideales para generar confianza.

Una vez más, se espera que las regulaciones desempeñen un papel en la mitigación de los riesgos de los sistemas de caja negra. La regulación podría obligar a las empresas a someterse a auditorías externas de los modelos de IA y publicar los resultados, pero eso requeriría criterios de auditoría, estándares, auditores creíbles y una genuina aplicabilidad regulatoria. Un estudio reciente de Cornell encontró que una ley de Nueva York que exige que los empleadores utilicen herramientas automatizadas de decisión laboral para auditarlos en busca de prejuicios raciales y de género es ineficaz. El Instituto Nacional de Estándares y Tecnología tiene un  Marco de Gestión de Riesgos de IA, pero sin certificación, estándares o una metodología de auditoría, hasta el momento es ineficaz.

La lección aquí es que si bien habrá avances en materia de transparencia, el problema de la caja negra de la IA persistirá. Cada área de aplicación deberá desarrollar iniciativas orientadas a generar transparencia, lo que ayudará a facilitar el proceso de adopción. Por ejemplo, para ayudar a generar confianza entre los radiólogos mencionados anteriormente, la “interpretabilidad” de la IA (es decir, ser capaz de comprender la causa de una decisión tomada por un algoritmo) con aplicaciones radiológicas es un campo de investigación crucial y en crecimiento para respaldar la práctica y la adopción clínica..

[   4   ]

Preocupaciones éticas

La mayoría de los usuarios coinciden en que es fundamental garantizar que los algoritmos vayan más allá de las matemáticas y los datos y vayan acompañados de directrices que garanticen principios éticos (por ejemplo, que respeten los derechos y valores humanos, sin importar lo que sugieran las matemáticas). Ha habido varios intentos de lograr que los desarrolladores de IA se unan en torno a criterios éticos universalmente aceptados: los principios de IA de Asilomar, por ejemplo, abarcan "valores humanos", "libertad y privacidad", "bien común", entre otros ideales en el desarrollo y uso de modelos de IA.. Pero existen tres obstáculos para tales esfuerzos.

Por un lado, los ideales éticos no son universales. Las dos naciones predominantes en IA, Estados Unidos y China, interpretan la “libertad y la privacidad” de manera diferente: la libertad de expresión es primordial en Estados Unidos, mientras que en China, el discurso no moderado entra en conflicto con el “bien común”. Incluso dentro de Estados Unidos, con sus amargas guerras culturales y polarización, los grupos pro-vida y pro-elección difieren en cuanto a los “valores humanos”. Algunos quieren que la IA esté en contra del "despertar", mientras que otros quieren su descolonización.

En segundo lugar, los organismos transnacionales apolíticos tienen poderes limitados. La ONU tiene principios éticos de IA consistentes con su carta y la UNESCO ha reunido a las empresas para que se comprometan a construir una IA más ética. Dado que la mayor parte del desarrollo de la IA ocurre en el sector privado, la influencia de la ONU es limitada.

En tercer lugar, los incentivos organizacionales de las empresas de IA exacerban las tensiones entre la ética y otras consideraciones. Por ejemplo, con una fuerza laboral que generalmente se inclina  políticamente hacia la izquierda, existe la necesidad de diversidad política en la supervisión ética. Esto es difícil de hacer en la práctica: los esfuerzos de Google por crear un consejo asesor sobre ética de la IA fracasaron cuando los empleados se opusieron al nombramiento del presidente de la derechista Heritage Foundation. El tan publicitado drama entre la sala de juntas y Sam Altman en OpenAI, el intento fallido de separar DeepMind de la estructura empresarial estándar de Google después de su adquisición y la implosión del liderazgo de Stability AI también son recordatorios recurrentes de la batalla por las prioridades en las empresas pioneras en IA: repetidamente, los objetivos comerciales ganan a la IA en favor de los ideales del “bien común”.

La lección aquí es que los dilemas éticos dependen del contexto y serán un elemento permanente de los sistemas de IA; son especialmente críticos si dan lugar a decisiones excluyentes o peligrosas. Será esencial mantener informados a los seres humanos, incluidos aquellos reunidos como juntas de gobierno o supervisión y equipos de vigilancia externa.

[   5   ]

Preocupaciones por el sesgo

Los sesgos en la IA surgen de muchas fuentes: datos de capacitación sesgados o limitados, las limitaciones de las personas involucradas en la capacitación e incluso el contexto de uso. Pueden erosionar la confianza en los modelos de IA cuando aparecen en aplicaciones críticas, por ejemplo, cuando se descubre que los prestamistas tienen más probabilidades de negar préstamos hipotecarios a personas de color en un porcentaje aún mayor cuando se utiliza la IA para la aprobación de hipotecas. Hay varias acciones de mitigación que se pueden tomar, como imponer restricciones de equidad en los modelos de IA, agregar fuentes de datos más diversas, capacitar a los desarrolladores de IA para que reconozcan sesgos, diversificar el grupo de talentos de IA, usar herramientas y métricas para detectar sesgos, etc..

A pesar de estas medidas correctivas, es posible que la IA nunca esté libre de sesgos de manera confiable por varias razones. Por un lado, debido a que las herramientas de IA están entrenadas en entornos cerrados y pueden encontrarse con entornos de aplicaciones desconocidos, pueden producir sesgos sorprendentes debido a su exposición limitada a datos del mundo real. Además, los procesos para probar la presencia de sesgo son difíciles. Las definiciones de lo que constituye parcialidad e injusticia pueden variar ampliamente en contextos tan diferentes como Occidente, China e India; la idea de “justicia”, por ejemplo, se presta a 21 definiciones diferentes, lo que dificulta llegar a un consenso sobre cuándo se debe alcanzar un resultado. considerado verdaderamente imparcial. Incluso los sesgos de “desaprendizaje” pueden ser peligrosos, ya que podrían introducir nuevas asociaciones impredecibles aprendidas por el modelo de IA, empeorando las cosas en general; La producción de imágenes ahistóricas defectuosas por parte de Google y Meta ofrece un claro ejemplo de tales riesgos. Además, los modelos de IA también corren el riesgo de quedarse sin nuevos datos de alta calidad para entrenar y neutralizar los sesgos que surgen de conjuntos de datos limitados o de baja calidad.

La lección aquí es que debemos aceptar que los modelos de IA se entrenarán con limitaciones (de datos o de los propios entrenadores operando con límites humanos) y los sesgos serán inevitables. Será esencial aplicar el juicio y la vigilancia humanos junto con medidas correctivas rápidas antes de que causen daños.

[   6   ]

Preocupaciones de inestabilidad

En algunos contextos, las decisiones de la IA pueden cambiar drásticamente cuando los datos se modifican ligeramente y no de manera significativa, lo que genera errores y diferencias en los resultados que pueden ser pequeñas o catastróficas. Por ejemplo, a los vehículos autónomos se les pueden confiar muchas funciones, pero a veces fallan: por ejemplo, cuando una pequeña obstrucción en una señal de alto hace que un automóvil asistido por IA la pase. Si bien los modelos de IA se mejoran constantemente agregando datos de entrenamiento, mejorando los protocolos de prueba y el aprendizaje automático continuo, la investigación académica sobre la “estabilidad” de la IA ha descubierto que más allá de los problemas básicos, es matemáticamente imposible desarrollar algoritmos de IA universalmente estables. Esto significa que nunca podemos estar seguros de que la IA tome decisiones acertadas cuando hay incluso un mínimo de ruido en los datos de entrada.

La lección aquí es que los sistemas de IA pueden ser sensibles a pequeños cambios, que son inevitables en el mundo real más allá del conjunto de datos de entrenamiento. La presencia de humanos alerta para realizar una corrección o anulación manual será fundamental en estas situaciones.

[   7   ]

Alucinaciones en LLM

Las alucinaciones de la IA han provocado que los modelos hagan cosas extrañas, desde declarar estar enamoradas de sus usuarios hasta afirmar haber espiado a los empleados de la empresa. Muchos productores de IA han desarrollado una variedad de técnicas de mitigación. Por ejemplo, IBM recomienda utilizar datos de formación de alta calidad; establecer límites claros al uso del modelo de IA; utilizar plantillas de datos para facilitar la coherencia de los resultados; y pruebas y refinamiento continuos. Independientemente de las acciones tomadas, las investigaciones sugieren que existe un límite inferior estadístico en las tasas de alucinaciones, lo que significa que siempre habrá una posibilidad de que aparezcan alucinaciones. Una vez más, como es lógico en los modelos probabilísticos, independientemente de la calidad de la arquitectura del modelo o del conjunto de datos, se puede esperar que los incidentes de alucinaciones disminuyan, pero nunca podrán eliminarse.

La lección es nunca confiar ni poner en uso público ningún producto de un modelo de IA generativa (especialmente en escenarios de alto riesgo, como la documentación legal) sin que profesionales capacitados lo revisen minuciosamente. Esto puede ayudar a evitar situaciones como aquella en la que ChatGPT inventó media docena de casos judiciales falsos  con citas y citas falsas mientras preparaba un informe legal.

[   8   ]

incógnitas desconocidas

La IA puede actuar de maneras que los humanos no podemos anticipar. Los modelos pueden tener puntos ciegos, sus datos de entrenamiento pueden no alinearse con el entorno en el que se aplican y pueden cometer errores que los desarrolladores no pueden entender. Los modelos de reconocimiento de imágenes identifican elementos con seguridad pero, inexplicablemente, pueden estar completamente equivocados. Entrenar continuamente los modelos en nuevos conjuntos de datos ayuda a reducir las posibilidades, pero incluso a medida que el modelo mejora, siempre habrá más información más allá de su línea de visión, y los riesgos creados por esos elementos faltantes se agravan y pueden evolucionar de maneras inesperadas.

La lección es que la aplicación incuestionable de la IA, que a su vez tiene puntos ciegos, es una receta para el desastre; Es fundamental garantizar que la mano humana guíe las decisiones con conocimiento del contexto de la aplicación.

[   9   ]

Pérdidas de empleo y desigualdades sociales

Las economías con una productividad creciente deberían experimentar rápidos aumentos salariales. Las expectativas sobre el impacto de la IA en la productividad varían: McKinsey ha proyectado un máximo optimista del 3,3% anual para 2040 debido al uso de la IA generativa. El ex director ejecutivo de Google, Eric Schmidt, espera que la IA duplique la productividad de todos. El presidente de la Reserva Federal de Estados Unidos, Jerome Powell, es más mesurado a la hora de predecir el impacto de la IA en la productividad y espera pocos cambios en el corto plazo.

Una forma natural de comprender mejor el impacto es recurrir a la historia. Lamentablemente, en este caso, la historia proporciona poca orientación. De hecho, el crecimiento de la productividad de los trabajadores estadounidenses cayó cuando se introdujeron las primeras tecnologías digitales. Incluso cuando se duplicó a finales de la década de 1990, en el momento del lanzamiento de la World Wide Web, el aumento fue de corta duración, con aumentos posteriores en 2009 durante la Gran Recesión,  después de que comenzara la pandemia en 2020, y luego volvió a aumentar hasta el 4,7%., en el tercer trimestre de 2023, demasiado pronto para atribuirlo a la IA. Esto no ofrece pruebas suficientes para ser optimistas sobre el impacto de la IA en la productividad y los salarios en todas las economías.

Las empresas individuales, sin embargo, son más optimistas, lo que podría traducirse en pérdidas de empleos a medida que la IA asuma tareas realizadas por humanos. Pero eso significaría que la IA aumentaría los salarios de los empleados, al tiempo que provocaría pérdidas salariales para aquellos cuyos empleos se desplazan, empeorando las desigualdades sociales. Para contrarrestar esos temores, algunos expertos anticipan que la IA generativa puede reducir las desigualdades al brindar a los trabajadores menos calificados acceso a herramientas para la movilidad ascendente. La historia es más útil aquí, ya que sugiere que las desigualdades aumentarán: la desigualdad salarial tendió a aumentar más  en los países en los que las empresas ya dependían de la automatización; Los trabajadores negros e hispanos estuvieron  sobrerrepresentados  en las 30 ocupaciones con mayor exposición a la automatización y subrepresentados en las 30 ocupaciones con menor exposición; y se esperaba que las mujeres se vieran afectadas de manera desproporcionadamente negativa: el 79% de las mujeres trabajadoras en ocupaciones vulnerables al desplazamiento laboral por la IA generativa, en comparación con el 58% de los hombres trabajadores vulnerables al desplazamiento.

La lección general es que la sombra de la pérdida de empleos y el aumento de las desigualdades sociales se cierne sobre la adopción de la IA. Incluso reconocer la adopción de la IA puede ser problemático: el mayor despido de UPS en su historia se debió a que la IA reemplazó a los humanos, según el CEO en una llamada sobre resultados, pero un portavoz luego negó cualquier conexión entre los despidos y la IA. Claramente, el director ejecutivo deseaba indicar a los inversores que la empresa estaba adoptando la IA para beneficiarse de la eficiencia de costos de la reducción de personal, pero también tuvo consecuencias negativas en las relaciones públicas; Esto sugiere que el impacto en el empleo crea fricciones a la hora de adoptar la IA de todo corazón. Al tener que equilibrar las preocupaciones de múltiples partes interesadas, es de esperar que las empresas adopten la IA con prudencia. 

[   10   ]

Impacto medioambiental

Se espera que la participación de la IA en el uso de energía de los centros de datos en todo el mundo crezca hasta el 10% para 2025. Para 2027, con la necesidad de agua para la refrigeración, el uso de centros de datos por parte de la IA podría eliminar el equivalente a la mitad del agua consumida en el Reino Unido cada año. Se necesitan chips cada vez más potentes para la IA, y están  contribuyendo  a uno de los flujos de residuos de más rápido crecimiento. Ninguna de estas tendencias muestra signos de desaceleración. El mayor uso de la IA generativa, especialmente para producir imágenes, empeorará aún más las cosas. Un estudio encuentra que 1.000 imágenes utilizando Stable Diffusion XL emiten tanto dióxido de carbono como un automóvil de gasolina que conduce 4,1 millas.

Una consideración importante es que las aplicaciones asistidas por IA pueden reemplazar otras actividades ambientalmente costosas y pueden ayudar a reducir las emisiones y el uso de recursos. Sin embargo, es necesario ser conscientes de su impacto. Acciones específicas, como la Ley de Impactos Ambientales de la Inteligencia Artificial de 2024, introducida en el Senado de los EE. UU., son loables, pero supondrán un desafío al no existir estándares para medir o verificar las emisiones relacionadas con la IA. Otro enfoque de mitigación de riesgos es hacer que los nuevos centros de datos funcionen con energía renovable, pero la demanda de ellos está creciendo demasiado rápido como para que funcionen exclusivamente con energía renovable. Incluso con iniciativas de reciclaje implementadas, solo el 13,8% de los desechos electrónicos documentados se recolectan y reciclan formalmente y se estima que el 16% fuera del sistema formal en los países de ingresos altos y medianos altos. En el futuro previsible, el impacto ambiental negativo de la IA es ineludible.

La lección aquí es que, así como varias industrias, como la industria de los combustibles fósiles o los fabricantes de vehículos que consumen mucha gasolina, han perdido la confianza entre muchos consumidores debido a su impacto ambiental, la IA podría correr riesgos similares. Se necesita el juicio humano para evaluar si los beneficios de, por ejemplo, incorporar mejoras de IA a productos con alternativas suficientemente buenas valen los costos ambientales.

[   11   ]

Concentración de la industria

A pesar de la alta prioridad que el liderazgo político otorga a la IA, su desarrollo está liderado por la industria. Las razones son estructurales: el desarrollo de la IA requiere varios insumos críticos, como talento, datos, poder computacional y capital, y el sector privado está mejor posicionado para tener acceso a ellos. Además, estos recursos están concentrados entre unas pocas empresas.

Hay dos puntos de concentración principales en la cadena de valor de la IA. Un puñado de innovadores dinámicos que desarrollan modelos de IA recurren a otro puñado de grandes empresas para obtener aportaciones críticas. Nvidia, Salesforce, Amazon, Google y Microsoft son los mayores inversores en los principales innovadores de IA, mientras que Meta es la principal fuente de modelos de código abierto.

Además del capital, los desarrolladores de modelos de IA recurren a Nvidia para obtener unidades de procesamiento de gráficos y a proveedores de nube como Amazon y Microsoft para ejecutar los modelos, mientras que Google, Meta y Microsoft están integrando IA para defender sus productos principales. Incluso con una capa más competitiva de aplicaciones y servicios de IA diseñados para usos específicos, la base de la industria claramente seguirá concentrada. La desconfianza que sienten los usuarios hacia el control de las grandes tecnologías se revisará de manera aún más poderosa a medida que la tecnología utilice más inteligencia artificial.

La acción habitual para mitigar los riesgos de concentración de la industria, es decir, el escrutinio regulatorio, ha llegado tardíamente. La Comisión Federal de Comercio ha iniciado recientemente una investigación sobre este creciente riesgo de concentración. Mientras tanto, la tendencia continúa: desde que se inició la investigación, Microsoft, que ya era el mayor inversor en OpenAI, absorbió al equipo superior de Inflection y Amazon invirtió 2,750 millones de dólares en Anthropic. Y estos (OpenAI, Inflection y Anthropic) son los tres innovadores de IA más importantes en los EE. UU. actualmente.

La lección es que la concentración de poder en unas pocas empresas erosiona la confianza porque los consumidores se sienten encerrados, les preocupa pagar de más y tienen preocupaciones sobre la privacidad de sus datos, acorralados por empresas poderosas que pueden explotarlos en otras áreas.

[   12   ]

extralimitación del estado

Las tendencias apuntan en la dirección de un mayor uso de la IA y herramientas relacionadas para ejercer control sobre los ciudadanos por parte de los gobiernos de todo el mundo. Además, la proporción de poblaciones que viven en entornos políticos designados como “libres” por Freedom House ha disminuido durante la última década y media. Las libertades globales en Internet han estado disminuyendo durante 13 años consecutivos, según Freedom House, y la IA ha estado facilitando ese descenso de muchas maneras : difundiendo propaganda estatal, permitiendo una censura más eficiente, creando perfiles de comportamiento de los ciudadanos y desarrollando análisis predictivos y vigilancia.. Como prueba del último acontecimiento, consideremos que al menos 75 de 176 países en todo el mundo están utilizando activamente tecnologías de IA con fines de vigilancia, incluido el 51% de las democracias avanzadas. Dado que los datos de los ciudadanos están cada vez más en posesión de los gobiernos, especialmente con el crecimiento de los sistemas de identidad digital, las posibilidades de abuso de poder son aún mayores. Los expertos preocupados han propuesto varios controles y equilibrios posibles, pero no han sido adoptados ampliamente.

La lección más importante es que la preocupación por la extralimitación del Estado puede llevar a rechazar el uso de la IA incluso cuando puede ser beneficiosa para la sociedad si se utiliza con salvaguardias. Probar la voluntad de aceptar las compensaciones será fundamental para garantizar que los ciudadanos se sientan cómodos con que los Estados utilicen la IA. Consideremos el uso de tecnología de reconocimiento facial por parte de la policía: ciudades como San Francisco la han prohibido.

• • •

Si bien gran parte de la atención se ha centrado en los impresionantes avances en el rendimiento de la IA, los estadounidenses también son cada vez más pesimistas sobre el impacto de la IA. En todo el mundo, la confianza en las empresas de IA ha caído, y en Estados Unidos, la caída ha sido aún más dramática. Por supuesto, muchas empresas de tecnología y comentaristas sugieren que se puede generar confianza en la IA de forma rápida y sencilla, pero no nos engañemos; Persiste una obstinada brecha de confianza en la IA. Y llegó para quedarse.

Incluso si la brecha de confianza se reduce, es importante recordar que la confianza no surge necesariamente de un cálculo matemático o lógico: incluso un solo tapón de puerta que sale volando de un avión sacude nuestra confianza en todo el sistema de aviación, estadísticamente uno de los modos más seguros. de transporte. El déficit de confianza afectará la adopción de aplicaciones altamente sensibles, en particular, por ejemplo, atención médica, finanzas, transporte o seguridad nacional. Los líderes deben reconocer cuáles de los 12 riesgos son más críticos para una aplicación y monitorear el progreso para reducir la brecha.

Incluso a medida que la tecnología avance y madure, la combinación de la IA con los humanos seguirá siendo la mayor señal para los usuarios potenciales preocupados de que las empresas que implementan esta tecnología merecen confianza. Pero los seres humanos que acompañan a la IA deben estar preparados, ya sea manteniendo conversaciones basadas en evidencia, participando en una ciudadanía activa para examinar los resultados ayudados por la IA o garantizando la diversidad entre los equipos que producen la propia IA.

Actualmente, la atención se centra en entrenar modelos de IA para que se parezcan más a nosotros. No olvidemos que también debemos formar a los humanos. Deben aprender a reconocer las causas del déficit de confianza en la IA, aceptar que permanecerá y comprender cuál es la mejor manera de intervenir para llenar el vacío. Dicho de otra manera, la industria ha gastado decenas de miles de millones en la creación de productos de inteligencia artificial, como Microsoft Copilot. Es hora de invertir también en el lado humano: el piloto.

Lea más sobre Ética empresarial o temas relacionados Tecnología y análisis e IA y aprendizaje automático

Bhaskar Chakravorti es decano de Negocios Globales en la Escuela Fletcher de la Universidad de Tufts y director ejecutivo fundador del Instituto Fletcher para Negocios en el Contexto Global. Es el autor de El ritmo lento del cambio rápido.