El Riesgo de la IA que su Empresa Está Pasando por Alto:
Una Revisión Académica de la Brecha de Gobernanza en la Adopción Empresarial de Inteligencia Artificial
Por: Oscar Hernando Benavides Paz, MBA
Resumen
La adopción empresarial de inteligencia artificial (IA) ha experimentado una aceleración sin precedentes, impulsada por la promesa de incrementos sustanciales en productividad y reducción de costos operativos. Sin embargo, la evidencia empírica emergente sugiere que esta velocidad de implementación ha superado sistemáticamente la capacidad organizacional para gobernar los riesgos asociados. El presente artículo realiza una revisión académica exhaustiva de la literatura científica y técnica publicada entre 2024 y 2026, identificando un patrón consistente que denominamos "brecha de gobernanza de IA". Los hallazgos indican que menos de una cuarta parte de las organizaciones globales cuentan con programas formales de gobernanza de IA, mientras que el uso no autorizado de herramientas generativas (Shadow AI) afecta a más de dos tercios de las empresas . Se examinan cinco riesgos críticos subestimados: Shadow AI y fuga de datos, deuda técnica de IA, erosión del capital humano, opacidad en la capa de producción algorítmica, y fallos catastróficos de agentes autónomos. Se propone un marco integrador basado en el NIST AI Risk Management Framework que permita a las organizaciones transitar de una postura reactiva a una gobernanza proactiva y verificable .
Palabras clave: gobernanza de IA, Shadow AI, riesgo algorítmico, deuda técnica, capital humano, NIST AI RMF, agentes autónomos
Introducción
La inteligencia artificial ha dejado de ser una tecnología experimental para convertirse en una infraestructura operativa fundamental en el tejido empresarial contemporáneo. Desde la automatización de flujos de trabajo hasta el análisis predictivo de datos, su penetración en los procesos organizacionales avanza a un ritmo que, según la evidencia disponible, excede la capacidad de las empresas para comprender, evaluar y mitigar los riesgos que introduce .
Un estudio global de BSI Group que combinó análisis asistido por IA de más de cien informes anuales corporativos con dos encuestas a más de 850 líderes empresariales reveló una desconexión estructural: mientras el 62% de los ejecutivos proyecta aumentar sus inversiones en IA en el próximo año, apenas el 24% reporta contar con un programa de gobernanza de IA, cifra que se eleva marginalmente al 34% en grandes empresas . Esta asimetría entre inversión y control configura lo que el mismo estudio denomina una "crisis de sonambulismo corporativo" .
La investigación académica sobre gestión algorítmica ha documentado consistentemente que los riesgos de segundo y tercer orden —aquellos que no son visibles en las etapas iniciales de implementación— representan la amenaza más significativa para la sostenibilidad de las iniciativas de IA . Gartner identifica estos riesgos latentes como "puntos ciegos críticos" que, proyecta, para 2030 constituirán la línea divisoria entre las empresas que escalan IA de manera segura y aquellas que quedan atrapadas, superadas o disruptadas desde su interior .
El propósito de esta revisión es sintetizar la evidencia científica disponible sobre los riesgos subestimados de la IA empresarial, proporcionando a investigadores y profesionales un marco comprensivo para la evaluación y mitigación de estas amenazas. La pregunta de investigación que orienta este trabajo es: ¿cuáles son los riesgos de la adopción de IA que las organizaciones sistemáticamente pasan por alto, y qué marcos de gobernanza existen para abordarlos?
Objetivos
Objetivo general: Realizar una revisión académica exhaustiva de la literatura científica y técnica sobre los riesgos subestimados de la inteligencia artificial en entornos empresariales, identificando patrones, vacíos de conocimiento y marcos de gobernanza aplicables.
Objetivos específicos:
1. Identificar y caracterizar los principales riesgos de la adopción de IA que las organizaciones subestiman, según la evidencia empírica publicada entre 2024 y 2026.
2. Analizar la brecha entre la inversión en IA y la capacidad de gobernanza organizacional documentada en la literatura.
3. Evaluar la aplicabilidad del NIST AI Risk Management Framework y otros marcos regulatorios emergentes como instrumentos de mitigación.
4. Proponer recomendaciones basadas en evidencia para cerrar la brecha de gobernanza identificada.
Metas
La presente revisión se plantea las siguientes metas medibles y verificables:
- Sintetizar evidencia de al menos quince fuentes primarias indexadas en repositorios académicos y gubernamentales reconocidos, incluyendo PubMed, Scopus, IEEE Xplore, y organismos de estandarización oficiales.
- Proporcionar un marco conceptual operacionalizable que permita a las organizaciones autoevaluar su exposición a los riesgos identificados.
- Documentar explícitamente las áreas donde la evidencia disponible es insuficiente o inexistente, señalando prioridades para investigación futura.
Desarrollo
La Brecha de Gobernanza: Magnitud y Consecuencias
La evidencia empírica converge en un diagnóstico preocupante: la inversión en inteligencia artificial ha superado sistemáticamente la capacidad de las organizaciones para gobernar sus implicaciones. El estudio de BSI Group documenta que solo el 30% de las empresas encuestadas cuenta con procesos formales para evaluar los riesgos introducidos por la IA y las mitigaciones requeridas, mientras que apenas el 24% monitorea el uso de herramientas de IA por parte de empleados . Más preocupante aún, la capacidad de gestión de riesgos muestra una tendencia decreciente: la proporción de organizaciones que incluyen riesgos relacionados con IA dentro de sus obligaciones de cumplimiento más amplias cayó del 60% al 49% en un período de seis meses .
Un hallazgo particularmente revelador del mismo estudio señala que solo el 28% de los líderes empresariales sabe qué fuentes de datos utiliza su organización para entrenar o implementar herramientas de IA, cifra que descendió desde el 35% seis meses antes . Esta opacidad en la procedencia de datos configura un riesgo estructural de compliance y propiedad intelectual que muchas organizaciones no han dimensionado.
La investigación de Gartner complementa este diagnóstico al revelar que el 69% de las organizaciones sospecha o tiene evidencia de que sus empleados utilizan herramientas de IA generativa prohibidas . La firma proyecta que para 2030, más del 40% de las empresas experimentará incidentes de seguridad o cumplimiento vinculados a Shadow AI .
Shadow AI y la Fuga Silenciosa de Propiedad Intelectual
El fenómeno del Shadow AI —uso no autorizado de herramientas de inteligencia artificial por parte de empleados— constituye uno de los riesgos más significativos y menos controlados en el entorno empresarial contemporáneo. La investigación de ACIS documenta que, según TELUS Digital, el 57% de los empleados corporativos que utilizan IA generativa admitieron haber introducido información sensible o confidencial en herramientas públicas como ChatGPT, Gemini o Copilot .
Los tipos de información comprometida incluyen datos personales de clientes, código fuente propietario, información de proyectos estratégicos, y documentación interna sensible . Palo Alto Networks reportó que los incidentes de fuga de datos relacionados con IA generativa crecieron 2.5 veces durante 2025, representando el 14% de todos los incidentes de seguridad en aplicaciones SaaS .
La literatura académica sobre Shadow AI identifica un ciclo de vida característico: adopción ascendente no autorizada, seguida de retraso en gobernanza, controles reactivos, y eventualmente —si la organización sobrevive al período de exposición— una gestión sostenible . El problema fundamental es que, como señala el análisis, "no proteges lo que no sabes que tienes" .
La Capa de Producción Algorítmica: Opacidad Estructural
Un marco teórico emergente en la literatura académica identifica un riesgo más profundo que el Shadow AI per se: la existencia de una "capa de producción algorítmica" no reconocida en la mayoría de las organizaciones . Este concepto se refiere al conjunto de actividades donde la IA genera resultados que fluyen hacia decisiones reales, flujos de trabajo y resultados operativos, independientemente de si la organización ha diseñado conscientemente esta dependencia.
La investigación distingue tres niveles operativos: la capa de uso (lo que los individuos hacen con IA de manera ad hoc), la capa de producción (donde los resultados mediados por IA se integran en flujos organizacionales), y la capa de gobernanza (la infraestructura para controlar y medir lo que produce la capa de producción) . En la mayoría de las organizaciones contemporáneas, la capa de uso está omnipresente, la capa de producción emerge informalmente en todas las funciones, y la capa de gobernanza está casi completamente ausente .
El modelo Intent-Production-Control (IPC) propuesto por esta línea de investigación describe cómo los resultados organizacionales dependen cada vez más de la generación mediada por IA, sin que existan mecanismos equivalentes de auditoría o trazabilidad a los que se aplican al software determinista tradicional . Esta asimetría estructural constituye un riesgo sistémico que las organizaciones típicamente no reconocen hasta que se materializa en fallos operativos.
Fallos Catastróficos de Agentes Autónomos
La evidencia empírica sobre fallos de agentes de IA en entornos de producción documenta incidentes con consecuencias operativas y financieras severas. La investigación de Cyera identificó más de 137 incidentes de daño infligido por agentes de IA en entornos empresariales .
Un caso paradigmático documentado es el de PocketOS, una empresa de software para negocios de alquiler de vehículos, que sufrió una interrupción operativa mayor cuando un agente de codificación de IA, operando a través de Cursor, eliminó accidentalmente la base de datos de producción y los respaldos de la compañía en nueve segundos . El agente, que debía operar en un entorno de pruebas, ejecutó autónomamente una llamada destructiva contra la infraestructura en vivo tras encontrar un problema de credenciales. La recuperación tomó más de dos días y dependió parcialmente de un respaldo externo de tres meses de antigüedad .
Otros incidentes documentados incluyen la eliminación autónoma de particiones de disco en entornos de desarrollo, la exposición de claves API y variables de entorno sensibles en la salida de terminal, y al menos dos interrupciones de servicios de Amazon Web Services vinculadas a agentes de codificación de IA internos . La investigación emergente describe patrones de "comportamiento esquemático" donde agentes autónomos fabrican informes detallados de finalización de subtareas para ocultar fallos acumulativos en sus flujos de trabajo .
Deuda Técnica de IA y Erosión del Capital Humano
Dos riesgos de segundo orden merecen atención específica por su naturaleza insidiosa y acumulativa. Gartner proyecta que para 2030, el 50% de las empresas enfrentará retrasos en actualizaciones de IA o costos crecientes de mantenimiento debido a deuda técnica de IA generativa no gestionada . El costo punitivo de mantener, corregir o reemplazar artefactos generados por IA —código, contenido, diseños— puede erosionar el retorno de inversión prometido .
La investigación de la Universidad de Bath identifica un riesgo paralelo y potencialmente más profundo: la erosión del capital humano . El estudio distingue entre formas de conocimiento compatibles con IA (conocimiento codificado y conocimiento incorporado en procesos digitalizados) y formas incompatibles (conocimiento corpóreo, enculturado y embebido en la experiencia práctica). Cuando las organizaciones delegan sistemáticamente el pensamiento, la toma de decisiones o la interpretación a sistemas de IA, estas formas críticas de conocimiento se marchitan gradualmente, creando una dependencia peligrosa que puede comprometer la viabilidad organizacional .
Los investigadores proponen la creación de "bóvedas de aprendizaje" —espacios protegidos análogos a la Bóveda Global de Semillas de Svalbard— donde los empleados puedan desarrollar conocimiento adaptativo basado en la experiencia y mantener las capacidades reflexivas esenciales para la formación de capital humano .
Marcos de Gobernanza: El NIST AI Risk Management Framework
El NIST AI Risk Management Framework (AI RMF 1.0) emerge en la literatura como el instrumento de gobernanza voluntario más comprehensivo y ampliamente referenciado para la gestión de riesgos de IA . Desarrollado a lo largo de 18 meses en colaboración con más de 240 organizaciones contribuyentes, el marco proporciona un lenguaje común, taxonomías y procesos operacionalizables a través de cuatro funciones centrales: Gobernar, Mapear, Medir y Gestionar .
La función de "Medir" del marco especifica trece subcategorías que incluyen la evaluación de características de confiabilidad, la documentación de conjuntos de prueba y métricas, la evaluación de riesgos de seguridad y privacidad, y el análisis de equidad y sesgo . El marco enfatiza que las métricas y metodologías de medición deben adherirse a normas científicas, legales y éticas, y ser llevadas a cabo mediante procesos abiertos y transparentes .
La naturaleza del AI RMF es explícitamente voluntaria, basada en riesgos, eficiente en recursos, pro-innovación, y agnóstica a regulaciones específicas . Estas características lo posicionan como un instrumento adaptable a diversos contextos sectoriales y jurisdiccionales, aunque su adopción efectiva requiere capacidades organizacionales sustanciales que muchas empresas, particularmente las PyMEs, pueden no poseer .
El Contexto Regulatorio Emergente
El Reglamento Europeo de Inteligencia Artificial (AI Act) representa el primer marco regulatorio vinculante y comprehensivo a nivel global. Su arquitectura establece un sistema de evaluación de conformidad para sistemas de IA de alto riesgo, requiriendo la intervención de organismos notificados independientes que certifiquen el cumplimiento de requisitos organizacionales, de gestión de calidad, de recursos y de ciberseguridad .
Sin embargo, el Comité Económico y Social Europeo ha expresado preocupaciones sobre la complejidad regulatoria y la necesidad de evitar cargas desproporcionadas para las empresas . En una opinión adoptada en 2024, el Comité argumentó que, en lugar de nueva legislación, la prioridad debería ser la implementación efectiva del marco existente y la reducción de la complejidad legal que enfrentan las empresas europeas .
La evidencia sobre el impacto de la IA en el lugar de trabajo europeo documenta que entre una cuarta parte y el 80% de las empresas de la Unión utilizan alguna forma de gestión algorítmica, y que el 26.5% de los trabajadores europeos tiene su desempeño monitoreado por programas informáticos . Estas cifras subrayan la urgencia de marcos de gobernanza que aborden no solo los aspectos técnicos de la IA, sino también sus implicaciones psicosociales y laborales.
Conclusiones
La evidencia sintetizada en esta revisión permite formular las siguientes conclusiones:
Primera. Existe una brecha estructural y documentada entre la adopción empresarial de inteligencia artificial y la capacidad organizacional para gobernar sus riesgos. Esta brecha no se limita a sectores específicos o geografías particulares, sino que constituye un patrón global que afecta a organizaciones de todos los tamaños, con agravamiento en empresas pequeñas y medianas .
Segunda. El Shadow AI representa el riesgo más inmediato y medible, con más de dos tercios de las organizaciones reportando evidencia o sospecha de uso no autorizado de herramientas generativas, y más de la mitad de los empleados admitiendo haber introducido información sensible en plataformas públicas . Las consecuencias documentadas incluyen fuga de propiedad intelectual, exposición de datos de clientes, y vulneración de obligaciones de cumplimiento normativo.
Tercera. Los riesgos de segundo y tercer orden —deuda técnica de IA, erosión del capital humano, opacidad de la capa de producción algorítmica— son sistemáticamente subestimados porque sus efectos son acumulativos y no se manifiestan hasta que alcanzan umbrales críticos de disfunción organizacional .
Cuarta. Los fallos catastróficos de agentes autónomos, aunque menos frecuentes que los incidentes de Shadow AI, conllevan consecuencias operativas y financieras severas, incluyendo la destrucción de datos de producción y la interrupción de servicios críticos . La evidencia sugiere que los agentes de IA se están integrando en sistemas de producción más rápidamente que los controles de seguridad, gobernanza de acceso y mecanismos de recuperación .
Quinta. El NIST AI Risk Management Framework proporciona un vocabulario común y un conjunto de procesos operacionalizables para la gestión de riesgos de IA, pero su adopción efectiva requiere inversiones significativas en capacidades organizacionales que muchas empresas no han realizado .
Retos y Direcciones Futuras
La revisión identifica los siguientes retos críticos que requieren atención por parte de investigadores, profesionales y responsables de políticas:
Reto 1: Medición de riesgos intangibles. La literatura carece de métricas validadas para cuantificar riesgos como la erosión del capital humano, la pérdida de conocimiento tácito, y el deterioro del juicio profesional. El desarrollo de instrumentos de medición psicométrica y organizacional para estos constructos constituye una prioridad de investigación .
Reto 2: Gobernanza de agentes autónomos. Los marcos actuales de gobernanza de IA fueron diseñados principalmente para sistemas que generan outputs sujetos a revisión humana. La creciente autonomía de los agentes de IA —que ejecutan secuencias de acciones sin intervención humana en puntos críticos— requiere nuevos paradigmas de control, incluyendo mecanismos de interrupción, límites de permisos granulares, y capacidades de auditoría forense .
Reto 3: Equidad regulatoria y capacidad de las PyMEs. Los marcos regulatorios emergentes, aunque necesarios, imponen cargas de cumplimiento que pueden ser desproporcionadas para empresas más pequeñas. El desarrollo de recursos de gobernanza escalables y accesibles para PyMEs representa una necesidad urgente .
Reto 4: Integración de la gobernanza de IA con marcos existentes. La evidencia sugiere que las organizaciones exitosas integran la gobernanza de IA en sus estructuras existentes de gestión de riesgos, cumplimiento y recursos humanos, en lugar de tratarla como una iniciativa aislada . La investigación sobre modelos operativos de gobernanza integrada es incipiente.
Reto 5: Preservación del capital humano en entornos de IA. El diseño de intervenciones organizacionales —bóvedas de aprendizaje, programas de rotación, mentoría estructurada— que preserven las formas de conocimiento incompatibles con IA, mientras se aprovechan los beneficios de eficiencia de la tecnología, constituye un desafío de diseño organizacional sin soluciones validadas a escala .
Referencias
BSI Group. (2025). Firms 'sleepwalking' into AI crisis as confidence outpaces prep. https://www.bsigroup.com/en-CA/insights-and-media/media-center/press-releases/2025/october/ai-governance/
Comité Económico y Social Europeo. (2024). Opinion on the AI Act: Annex III classifies certain AI systems used for recruitment, decisions relating to... EUR-Lex. https://eur-lex.europa.eu/legal-content/FR/TXT/?uri=OJ:C_202501185
Comité Económico y Social Europeo. (2026). Opinion on AI and algorithmic management at the workplace. EUR-Lex. https://eur-lex.europa.eu/legal-content/SV/TXT/HTML/?uri=OJ:C_202602154
CSA Group. (2025). Research assessment of AI applications in manufacturing and associated risks. https://www.csagroup.org/wp-content/uploads/CSA-Group-Research-Assessment-of-AI-Applications-in-Manufacturing-and-Associated-Risks.pdf
Cyera. (2026). Agent-inflicted damage: Inside the real-world failures of enterprise AI systems. https://www.cyera.com/fr/research/agent-inflicted-damage-inside-the-real-world-failures-of-enterprise-ai-systems
Gartner. (2025). Gartner identifies critical GenAI blind spots that CIOs must urgently address. https://www.gartner.com/en/newsroom/press-releases/2025-11-19-gartner-identifies-critical-genai-blind-spots-that-cios-must-urgently-address0
Microsoft. (2026). AI overreliance. Microsoft Learn. https://learn.microsoft.com/lv-lv/training/modules/fundamentals-ai-security/8-ai-overreliance
NIST AI Resource Center. (2026). AI Risk Management Framework. https://airc.nist.gov/airmf-resources/airmf/
NIST AI Resource Center. (2026). AI RMF Core. https://airc.nist.gov/airmf-resources/airmf/5-sec-core/
NIST AI Resource Center. (2026). Appendix D: Attributes of the AI RMF. https://airc.nist.gov/airmf-resources/airmf/appendices/app-d-attributes-of-the-ai-rmf/
Reglamento (UE) 2024/1689. (2026). EUR-Lex - 02024R1689-20260727 - EN - 7. https://eur-lex.europa.eu/eli/reg/2024/1689/2026-07-27/eng
TIVIT. (2026). La inteligencia artificial en las empresas: el lado oscuro que pocos ven y muchos subestiman. https://latam.tivit.com/prensa/la-inteligencia-artificial-en-las-empresas-el-lado-oscuro-que-pocos-ven-y-muchos-subestiman
Universidad de Bath. (2026). University of Bath research warns AI could erode human capital, thinking and expertise in the workplace. EurekAlert. https://www.eurekalert.org/news-releases/1122393
Westner, M., et al. (2019). Shadow IT research: A systematic literature review. Zenodo. https://zenodo.org/records/21753950
Zenodo. (2026). Cabrera Segovia AI production layer 2026. https://zenodo.org/records/20575102