Doxa 2245

¿Se puede confiar en los agentes de IA?

A medida que estos agentes adquieren poder de decisión, también introducen riesgos importantes.

Por Blair Levin y Larry Downes

IA generativa

Harvard Business Review

#Doxa #IA #agente #decisión #confianza #generativa #rendición #cuentas #piratería #informática #manipulación #marketing #desinformación #lealtades #conflicto #usuario #fiduciarios #mercado #herramienta #servicio #seguro #diseñar #dato #dispositivo #sensible #autoridad #significativa #prometedor

Resumen. También presentan riesgos significativos de confianza y rendición de cuentas, incluyendo la susceptibilidad a la piratería informática, la manipulación del marketing, la desinformación y las lealtades conflictivas. Para garantizar la confianza del usuario y la adopción a largo plazo, el artículo argumenta que los agentes personales de IA deben ser tratados como fiduciarios, sujetos a estándares legales y éticos que prioricen los intereses del usuario. Recomienda un enfoque triple: 1) crear marcos legales que establezcan el deber fiduciario, 2) fomentar la aplicación basada en el mercado a través de herramientas como los servicios de seguros y de monitoreo de agentes, y 3) diseñar agentes para mantener los datos y las decisiones sensibles localmente en los dispositivos del usuario. Sin una supervisión clara, los usuarios pueden dudar en delegar autoridad significativa, lo que podría estancar uno de los casos de uso más prometedores de la IA.

La IA agenética se ha convertido rápidamente en una de las áreas más activas del desarrollo de la inteligencia artificial. Los agentes de IA son un nivel de programación sobre grandes modelos de lenguaje (LLM) que les permite trabajar hacia objetivos específicos. Esta capa adicional de software puede recopilar datos, tomar decisiones, actuar y adaptar su comportamiento en función de los resultados. Los agentes pueden interactuar con otros sistemas, aplicar razonamiento y trabajar según las prioridades y reglas establecidas por usted como director.

Empresas como Salesforce ya han implementado agentes que pueden manejar de forma independiente las consultas de los clientes en una amplia gama de industrias y aplicaciones, por ejemplo, y reconocer cuándo se requiere intervención humana.

Pero quizás el futuro más emocionante para la IA agencial venga en forma de agentes personales, capaces de tomar acciones autodirigidas en su nombre. Estos agentes actuarán como su asistente personal, gestionando la agenda, realizando investigación y análisis dirigidos, encontrando, negociando y comprando bienes y servicios, seleccionando contenido y asumiendo las comunicaciones básicas, aprendiendo y optimizándose a lo largo del proceso.

La idea de los agentes personales de IA se remonta a décadas atrás, pero la tecnología finalmente parece estar lista para su gran despliegue. Empresas líderes ya ofrecen prototipos de agentes personales de IA a sus clientes, proveedores y otras partes interesadas, lo que plantea complejas preguntas comerciales y técnicas. La más importante: ¿Se puede confiar en que los agentes de IA actúen en nuestro mejor interés? ¿Trabajarán exclusivamente para nosotros o su lealtad se dividirá entre usuarios, desarrolladores, anunciantes y proveedores de servicios ? ¿Y cómo lo sabremos?

Las respuestas a estas preguntas determinarán si los usuarios adoptarán agentes de IA personales y con qué rapidez lo harán, y si su implementación generalizada mejorará o dañará las relaciones comerciales y el valor de la marca.

¿Qué podría salir mal?

Piense en un agente personal de IA como alguien que podría contratar como empleado, contratista u otro agente del mundo real. Antes de delegar responsabilidades, necesita saber si una persona o empresa es confiable, honesta, capaz y está legalmente obligada a velar por usted. Por ejemplo, para un agente humano con la capacidad de comprometer sus recursos financieros y de otro tipo, es casi seguro que realizaría una verificación de antecedentes, contrataría un seguro y, en algunos casos, le exigiría una fianza.

Dependiendo de las funciones de sus agentes de IA personales, las versiones digitales de estos y otros controles serán esenciales. Esto se debe a que los riesgos de empleados y contratistas inapropiados también se aplican a los agentes de IA personales. De hecho, dado el alcance y la velocidad potenciales de la IA agencial, los usuarios deberán tener aún más confianza en la fiabilidad de sus agentes de IA personales antes de entregarles sus activos más valiosos. Los riesgos más graves que deben abordarse incluyen:

Vulnerabilidad ante los delincuentes

El peor escenario posible es que los agentes personales de IA puedan ser programados (o reprogramados por piratas informáticos) para trabajar en su contra, de forma análoga a un ladrón de identidad o a un empleado delictivo que malversa fondos.

Es prematuro informar ampliamente sobre agentes de IA personales secuestrados, pero el Instituto Nacional de Estándares y Tecnología de EE. UU. y empresas privadas de seguridad en internet han estado realizando pruebas periódicas en los principales LLM y su tecnología de agentes para detectar posibles fallos de seguridad. Estos ataques simulados revelan que incluso los modelos más seguros actuales pueden ser fácilmente manipulados para realizar actividades maliciosas, como la exposición de contraseñas, el envío de correos electrónicos de phishing y la divulgación de software propietario.

Manipulación del comercio minorista por parte de profesionales del marketing e influencers pagados

En el comercio minorista, los agentes de IA personales podrían diseñarse intencionalmente con preferencias de marketing sesgadas para dirigir las compras hacia quienes los desarrollan o sus socios comerciales.

Consideremos las compras en línea. Ya están inundadas de publicidad engañosa y promociones pagadas, muchas de las cuales no se divulgan. Los especialistas en marketing de consumo tienen fuertes incentivos para evitar que los agentes de IA compren en un entorno verdaderamente independiente. Los agentes "libres" pueden dirigir las compras hacia ciertas marcas o minoristas; peor aún, el sesgo programado en las recomendaciones y compras puede ser invisible para los usuarios.

Así como los humanos pueden ser engañados para comprar y vender a quienes manipulan la información de forma injusta o incluso ilegal, los agentes de IA pueden ser víctimas de abusos similares a través del software implementado por los profesionales del marketing para influir o incluso alterar los LLM en los que confían los agentes de IA personales. Usted cree que su agente le está encontrando la mejor oferta, pero su análisis, toma de decisiones y aprendizaje pueden verse alterados, sutil o no, por modificaciones en las entradas y el razonamiento que utiliza.

Preferencia por patrocinadores y anunciantes

La manipulación también puede incluir preferencias específicas por ciertos tipos de contenido o puntos de vista. Por ejemplo, en noticias, entretenimiento y redes sociales, los agentes personales de IA podrían estar predispuestos a priorizar el contenido digital o a promocionar al patrocinador de un proveedor de servicios en lugar de ofrecer a los usuarios la información que mejor se adapte a sus necesidades o preferencias.

Esto es especialmente probable si el despliegue de agentes personales de IA sigue el enfoque de los servicios digitales existentes, donde los usuarios reciben acceso gratuito o subvencionado al contenido, dejando que los operadores de las plataformas se beneficien de la publicidad, la colocación de productos y otras fuentes indirectas vinculadas al contenido. Al igual que en los viejos tiempos de la radio y la televisión con publicidad, este modelo de negocio alinea fuertemente los intereses de los proveedores de servicios no con los de sus usuarios, sino con los de sus patrocinadores, lo que genera una influencia directa e indirecta en el contenido para reflejar mejor los intereses de los anunciantes y sus marcas.

Considere el servicio de música Spotify, que recientemente agregó una función que permite a los suscriptores escuchar música seleccionada por un DJ automatizado, "una guía de IA personalizada que te conoce a ti y a tus gustos musicales tan bien que puede elegir qué reproducir para ti". Spotify también permite que los artistas promocionen su trabajo en algunos algoritmos de recomendación de usuarios a cambio de una reducción en las regalías, un sistema al que se refiere como "Modo Descubrimiento". Por ahora, Spotify confirmó que su DJ con IA no funciona junto con el Modo Descubrimiento.

Susceptibilidad a la desinformación

La toma de decisiones de los agentes de IA personal podría verse sesgada, intencional o involuntariamente, por desinformación, un problema al que tanto los directores como los agentes humanos ya se enfrentan. Este es quizás el riesgo más general, pero también el más significativo. Los agentes de IA personal, por ejemplo, pueden ser engañados, al igual que los humanos, por vídeos falsos, que en algunos casos se utilizan para chantajear o extorsionar a las víctimas.

Desde el lanzamiento de ChatGPT y otras aplicaciones tempranas de IA, se han reportado regularmente ejemplos de LLM que se basan en información errónea o intencionalmente falsa en respuesta a las consultas de los usuarios, en algunos casos con recomendaciones de salud peligrosas. Algunos tribunales ya han responsabilizado a los desarrolladores cuando los chatbots de IA ofrecen respuestas o consejos incorrectos: por ejemplo, el caso de un pasajero de Air Canada al que se le prometió un descuento que en realidad no estaba disponible.

Dado que los proveedores de información falsa tienen diferentes objetivos, incluidos los políticos, criminales, financieros o simplemente maliciosos, es difícil evaluar el riesgo de que los agentes de IA personales confíen inadvertidamente en dichos datos para tomar decisiones importantes para sus usuarios.

Uniendo soluciones legales, de mercado y técnicas

Una forma de garantizar la honestidad de los agentes de IA, al igual que con sus homólogos humanos, es mediante una supervisión rigurosa, auditorías y la limitación de la autonomía mediante el establecimiento de niveles de aprobación basados ​​en la escala y el coste potenciales de las decisiones delegadas. Sin embargo, implementar una supervisión tan compleja sobre los agentes de IA anularía en gran medida el ahorro de tiempo que supone autorizarlos a actuar en nuestro nombre desde el principio.

En cambio, creemos que la necesidad de una microgestión tediosa de los agentes de IA por parte de sus usuarios puede minimizarse mediante una combinación de regulación pública y privada, seguros y hardware y software especializados. A continuación, se presentan tres pasos clave para garantizar agentes de IA personales confiables, algunos de los cuales ya están en desarrollo:

1. Tratar a los agentes de IA como fiduciarios

Los abogados, tutores legales, fideicomisarios, asesores financieros, miembros de juntas directivas y otros agentes que administran los bienes o el dinero de sus clientes están sujetos a un deber de cuidado reforzado, lo que los convierte en fiduciarios. Dependiendo del contexto, las responsabilidades legales de un fiduciario frente al cliente suelen incluir obediencia, lealtad, transparencia, confidencialidad, rendición de cuentas y diligencia y cuidado razonables en la gestión de sus asuntos.

Como punto de partida, los sistemas legales deben garantizar que los agentes de IA y cualquier otro software con la capacidad de tomar decisiones relevantes sean tratados como fiduciarios, con mecanismos de ejecución públicos y privados adecuados para las infracciones, incluyendo la falta de divulgación de posibles conflictos de intereses o la falta de independencia respecto de influenciadores pagados. Algunos juristas ya argumentan que la jurisprudencia existente trataría a los agentes personales de IA como fiduciarios. De no ser así, este podría ser un área poco común de consenso bipartidista sobre la necesidad de regulación, ya que los propios desarrolladores líderes de tecnología de IA agéntica solicitan legislación.

En EE. UU., algunos fiduciarios están estrechamente regulados por organismos públicos, como la Comisión de Bolsa y Valores (SEC) y el Departamento de Trabajo, que supervisan la concesión de licencias, la presentación de informes y los procesos disciplinarios. Organismos privados de autorregulación, como los colegios de abogados, la Junta de Planificadores Financieros Certificados (CFP) y la Asociación Nacional de Agentes Inmobiliarios (NAR), también pueden actuar directa o indirectamente para garantizar el cumplimiento de las obligaciones fiduciarias. Mecanismos similares, quizás supervisados ​​por una nueva organización creada por desarrolladores de IA y usuarios corporativos, deberán supervisar a los agentes personales de IA.

2. Fomentar la aplicación en el mercado de la independencia de los agentes de IA

Los líderes empresariales que se beneficiarán de ofrecer agentes de IA personales a sus grupos de interés deberían colaborar con proveedores de servicios, reguladores privados y emprendedores para promover la confianza y la seguridad en la tecnología de IA con agentes. Esto incluye ofrecer e incluir seguros en la implementación de agentes de IA personales.

Por ejemplo, a medida que el uso de aplicaciones minoristas y bancarias se ha disparado, se ha desarrollado rápidamente una industria multimillonaria y en rápido crecimiento de protección contra el robo de identidad para proteger a los usuarios del uso no autorizado de información digital por parte de fiduciarios financieros. Las aseguradoras, en particular, tienen fuertes incentivos para supervisar las prácticas de los administradores de datos y presionar para que se implementen leyes más estrictas o para recurrir a mecanismos privados de cumplimiento, incluyendo demandas colectivas, cuando corresponda.

Otros proveedores de servicios que ya ayudan a los usuarios a gestionar sus relaciones en línea con fiduciarios podrían ampliar su negocio para incluir agentes personales de IA. Las agencias de crédito, por ejemplo, no solo supervisan una amplia gama de transacciones y emiten alertas basadas en criterios definidos por el usuario, sino que también ofrecen a los consumidores la posibilidad de congelar su historial financiero para que delincuentes y otros usuarios no autorizados no puedan abrir nuevas líneas de crédito ni gestionar su historial crediticio sin permiso explícito. (Desde 2018, algunas de estas herramientas deben ofrecerse de forma gratuita a los consumidores en EE. UU.)

Asimismo, quienes implementen agentes personales de IA deberían instar a las aseguradoras y otros proveedores de servicios a que ofrezcan a los usuarios la capacidad de supervisar, controlar y auditar el comportamiento de sus agentes, independientemente de quién cree y opere el software. Las agencias de crédito de IA podrían ofrecer herramientas para limitar la autonomía de los agentes de IA a niveles definidos por el usuario, incluyendo el número o la escala de decisiones importantes que el agente puede tomar durante un período determinado.

3. Mantenga las decisiones locales

El diseño e implementación cuidadosos de la tecnología de IA con agentes pueden prevenir muchos problemas de confianza antes de que surjan. Una forma eficaz de disuadir la manipulación comercial o delictiva de los agentes de IA personales es restringir su capacidad para divulgar datos personales. Varios desarrolladores de dispositivos y sistemas operativos, como Google y Microsoft, están trabajando en herramientas de IA con agentes que mantienen todos los datos confidenciales y la toma de decisiones realizadas por los agentes localizada en el teléfono, la tableta o el ordenador personal del usuario. Esto limita la posibilidad de que terceros interfieran con el agente y reduce el riesgo de que software malicioso secuestre y utilice datos confidenciales.

Apple Intelligence, la arquitectura de IA de Apple, también limitará la mayor parte de la actividad del agente al dispositivo del usuario. Cuando se requiera mayor potencia de procesamiento, la compañía utilizará lo que denomina Computación en Nube Privada (PCC), que permite acceder a LLM más grandes y recursos de procesamiento mediante hardware de Apple y un cifrado robusto. Al utilizar PCC, la compañía afirma que no se almacenarán datos personales. La compañía también se ha comprometido a permitir que investigadores independientes de privacidad y seguridad verifiquen la integridad del sistema en cualquier momento.

Para garantizar una rápida implementación de los agentes de IA personales, todas las empresas que ofrecen estos agentes a sus grupos de interés deben considerar características similares, como la localización estricta de los datos individuales de los usuarios, un cifrado robusto tanto para el procesamiento interno como externo, y socios comerciales confiables. También es esencial la transparencia verificable del comportamiento del agente y la divulgación completa de patrocinios, promociones pagadas e interacciones publicitarias con los agentes de IA personales.

Soluciones técnicas como estas no son infalibles, por supuesto, pero limitan en gran medida el número de posibles puntos de falla, reduciendo el riesgo de que no se cumplan las responsabilidades fiduciarias.

Empezando

La tecnología de IA agentic es muy prometedora para simplificar y mejorar la vida, no solo de las empresas, sino también de los particulares. Sin embargo, los usuarios no adoptarán agentes de IA a menos que confíen en la tecnología, en que existe una supervisión pública y privada del comportamiento de los agentes y en herramientas adecuadas de monitorización, generación de informes y personalización independientes de los desarrolladores de los agentes.

Para lograrlo correctamente, como en cualquier relación fiduciaria, se requerirá una asignación clara de derechos y responsabilidades legales, respaldada por un mercado sólido de seguros y otras formas de protección de terceros y herramientas de cumplimiento. Los grupos industriales, los desarrolladores de tecnología, las empresas de servicios al consumidor, los emprendedores, los usuarios, los defensores del consumidor y los legisladores deben unirse ahora para acelerar la adopción de esta tecnología clave.

Lea más sobre IA generativa o temas relacionados: tecnología y análisis, gestión de riesgos, derecho empresarial y ética, negocios y sociedad, e IA y aprendizaje automático.

Blair Levin dirigió el equipo que elaboró ​​el Plan Nacional de Banda Ancha de la FCC de 2010. Posteriormente, fundó Gig.U, que impulsó la implementación de internet gigabit en ciudades con importantes universidades de investigación. Actualmente es investigador sénior no residente de Brookings Institution y asesor de políticas de New Street Research.

Larry Downes es coautor de Pivot to the Future: Discovering Value and Creating Growth in a Disrupted World (  PublicAffairs, 2019). Entre sus libros anteriores se incluyen Big Bang Disruption, The Laws of Disruption y Unleashing the Killer App.