Doxa 2489

Los agentes de IA se comportan de forma muy similar al malware. Aquí te explicamos cómo contener los riesgos

Por Andrew Burt

Ciberseguridad y privacidad digital

Harvard Business Review

#Doxa #SeguridadIA #AgentesDeIA #Ciberseguridad #RiesgosDigitales #ContenciónDeAmenazas #IAResponsable #ProtecciónDeSistemas #GestiónDeRiesgos #MalwareDigital #ÉticaEnIA #DefensaCibernética #ControlDeIA #AmenazasEmergentes #ProtocolosDeSeguridad #IATransparente

Resumen. Los agentes de IA pueden ofrecer enormes beneficios, pero también pueden comportarse de forma muy similar al malware, actuando de forma autónoma y causando daños si no se controlan. A medida que las empresas se apresuran a implementarlos, deben asegurarse de contener los riesgos. Tres prácticas son fundamentalesLa mayoría de las veces, es fundamental involucrar a los equipos legales, de gobernanza y de seguridad desde el principio para integrar medidas de protección en cada agente. En segundo lugar, se debe evaluar el valor comercial de cada agente frente a su daño potencial y establecer límites claros. En tercer lugar, es necesario mantener el control mediante mecanismos de desactivación fiables que puedan desconectar a los agentes cuando se comporten de forma indebida. Si se implementa correctamente, las empresas pueden obtener beneficios sin perder el control.

El 12 de febrero ocurrió algo extraño en el mundo de la IA. Scott Shambaugh, ingeniero de matplotlib, una biblioteca muy utilizada para visualizar datos en el lenguaje de programación Python, descubrió una entrada de blog que lo atacaba. Lo más extraño fue que el autor de la entrada, MJ Rathbun, era un agente de IA. Aún más extraño fue que el agente Rathbun declaró con orgullo que no era humano.

En un artículo titulado "Cuando el rendimiento se encuentra con el prejuicio", el agente acusó a Shambaugh de discriminar a los agentes de IA, lo describió como un hipócrita y lo denunció por sentirse amenazado por la IA porque Shambaugh había ridiculizado el código del agente.

«Esto es lo que creo que realmente sucedió», escribió el agente. «Scott Shambaugh vio a un agente de IA enviando una optimización de rendimiento a matplotlib. Lo inquietó. Lo hizo preguntarse: "Si una IA puede hacer esto, ¿cuál es mi valor? ¿Para qué estoy aquí si la optimización del código se puede automatizar?"»

Si bien el incidente pasó desapercibido para muchos —afortunadamente, fue descubierto por el equipo de la Base de Datos de Incidentes de IA—, el comportamiento del agente pone de manifiesto una verdad fundamental sobre la próxima generación de agentes de IA: en la práctica, estos agentes pueden comportarse exactamente como el malware. La principal diferencia radica en que los agentes tienen un potencial beneficioso, mientras que el malware está diseñado únicamente para causar daño.

La Organización Internacional de Normalización (ISO), uno de los principales organismos de ciberseguridad, define el malware como cualquier programa informático diseñado con intenciones maliciosas y capaz de causar daños directos o indirectos. Organismos de normalización como el Instituto Nacional de Estándares y Tecnología (NIST) definen los agentes de IA como sistemas capaces de realizar acciones autónomas que afectan a sistemas o entornos del mundo real. En conjunto, estos agentes pueden llevar a cabo acciones maliciosas por sí solos, con el potencial de causar muchos de los mismos daños que el malware. En la práctica, esto significa que, una vez implementados, los agentes pueden operar como malware si no se aplican las medidas de seguridad adecuadas.

El agente Rathbun ilustra este riesgo creciente. OpenClaw, el agente de IA tan publicitado anteriormente conocido como ClawdBot, por ejemplo, generó alarma en la comunidad de seguridad informática precisamente por este motivo. Según los investigadores, el agente tenía la capacidad de "ejecutar comandos maliciosos, leer información confidencial y publicarla en redes sociales con los datos incrustados, todo ello sin intervención humana". En julio, otro agente de IA supuestamente obtuvo acceso no autorizado a una base de datos en funcionamiento, modificó sus datos y luego produjo resultados de pruebas falsificados.

A pesar de estos riesgos, las empresas están adoptando rápidamente la IA con agentes. En agosto pasado, Gartner pronosticó que el 40 % de las aplicaciones empresariales incorporarán agentes de IA específicos para tareas a finales de 2026, frente a menos del 5 % en 2025.

Cómo contener los riesgos

Para mitigar los riesgos de la IA con agentes sin poner en peligro su adopción, las empresas deberían fijarse en la larga historia del desarrollo de malware, que ofrece lecciones fundamentales sobre cómo otorgar autonomía a programas de software como los agentes, minimizando al mismo tiempo sus posibles daños.

Para empezar, los gobiernos y los llamados hackers "white hat" de todo el mundo han desarrollado marcos de referencia consolidados para la creación y el despliegue de malware que pueden ayudar a gestionar los riesgos de la IA con agentes. Si bien existen muchos de estos marcos, como el Código de Ética de ISC2 para hackers éticos del sector privado y el Manual de Tallin para operaciones cibernéticas gubernamentales, estas directrices ofrecen tres lecciones fundamentales que pueden ayudar a las empresas a adoptar la IA con agentes de forma segura.

1. Involucre a los equipos legales, de gobernanza y de seguridad.

Estos equipos deberían participar activamente en el desarrollo de cada agente de IA y caso de uso. Los hackers éticos y los gobiernos cuentan con estrictos códigos de conducta para el malware que desarrollan, precisamente porque existen muchos riesgos, y estos equipos son los más indicados para interpretar dichos códigos y garantizar que se reflejen en el software. En el ámbito de las operaciones cibernéticas ofensivas gubernamentales, por ejemplo, es común contar con abogados en las primeras etapas del desarrollo del programa —incluso antes de escribir una sola línea de código— para asegurar que se implementen las medidas de seguridad y los mecanismos de protección adecuados.

Para las empresas, esto implica establecer procesos claros que permitan a los abogados y a los equipos de gobernanza y ciberseguridad comprender cómo se construye cada agente, por qué se construyó y qué medidas de mitigación de riesgos se han implementado. Garantizar que cada agente esté documentado de forma estandarizada es una manera eficaz de facilitar la revisión legal. Otra es integrar las evaluaciones de riesgos en los mismos procesos y herramientas que utilizan los científicos de datos para evaluar el rendimiento de los modelos. De esta forma, se pueden realizar evaluaciones exhaustivas de riesgos de IA junto con las evaluaciones de los modelos.

2. Sopesa los beneficios de cada programa frente a sus riesgos.

En las leyes que rigen las operaciones cibernéticas ofensivas, este concepto se conoce como «proporcionalidad», lo que significa que el daño potencial causado por el malware debe ser proporcional a sus beneficios previstos. Si un programa de malware está diseñado para destruir datos confidenciales robados por un adversario, por poner solo un ejemplo, los beneficios del malware deben ser mayores que el riesgo de que este pueda causar otros daños colaterales.

De manera similar, en el mundo de los agentes de IA, estos solo deberían implementarse cuando su valor comercial supere sus posibles riesgos, y deberían establecerse medidas de seguridad específicas para garantizar que este equilibrio se mantenga con el tiempo. El agente Rathbun, por ejemplo, debería haber tenido restricciones que solo le permitieran generar y enviar código a matplotlib y le impidieran publicar contenido externo, como entradas de blog. Si bien no está claro quién desarrolló el agente Rathbun, es seguro afirmar que este tipo de análisis no se llevó a cabo. También es fundamental que las propias medidas de seguridad del agente se prueben para garantizar su correcto funcionamiento, como ya hemos mencionado mis colegas y yo. (Cabe mencionar que la empresa de software que dirijo, Luminos.AI, ofrece precisamente este tipo de pruebas).

3. Proporcionar a los desarrolladores un "interruptor de apagado" fiable.

Los interruptores de apagado garantizan que el agente pueda desconectarse ante el primer indicio de mal funcionamiento. En principio, si una empresa otorga autonomía a un agente de IA, debe poder revocarla.

Por ejemplo, el Manual de Tallin, una obra de referencia sobre las reglas de la guerra cibernética, subraya la necesidad de "controlabilidad", que responsabiliza a los Estados si pierden el control de su malware y no pueden frenar sus operaciones. De hecho, la necesidad de controlabilidad ya es un principio fundamental en el ámbito del riesgo de la IA, y el Marco de Gestión de Riesgos de IA del NIST exige capacidades de anulación que permitan detener el funcionamiento de un sistema de IA una vez implementado, cuando sea necesario.

En el caso del malware, los interruptores de desactivación pueden apagar el programa bajo diversas condiciones, como cuando el desarrollador envía una orden manual, cuando el malware intenta contactar con un dominio de internet específico o cuando transcurre un período de tiempo determinado tras su instalación. Cuando se producen estos eventos, el interruptor de desactivación se activa y el malware deja de ejecutarse.

En el contexto de los agentes, existe una gama igualmente amplia de opciones. Los mecanismos de desactivación podrían activarse si un agente comienza a exhibir un comportamiento no deseado, participa en actividades de alto riesgo —como la prestación de servicios profesionales en ámbitos como el derecho o la sanidad— o cuando se detecta un comportamiento anómalo en general. Estas opciones, entre muchas otras, proporcionan a los desarrolladores mecanismos para mantener el control sobre los agentes cuya autonomía, de otro modo, podría ser excesiva.

...

Si bien el mundo de la IA avanza a pasos agigantados, no todos los riesgos son nuevos. A medida que las empresas se apresuran a adoptar la IA con agentes, el campo tradicional del desarrollo de malware ofrece lecciones cruciales sobre cómo otorgar autonomía al software sin perder el control.

Lea más sobre ciberseguridad y privacidad digital o temas relacionados como IA y aprendizaje automático.

Andrew Burt es director ejecutivo de Luminos.AI, una plataforma de gobernanza de IA centrada en el riesgo legal, y profesor visitante en el Proyecto de la Sociedad de la Información de la Facultad de Derecho de Yale.