Doxa 1825

IA Está Probando los Límites del Gobierno Corporativo

La agitación en OpenAI ofrece cinco lecciones — y una advertencia terrible.

Por Roberto Tallarita

Gobierno Corporativo

Harvard Business Review

#Doxa #IA #gobierno #corporativo #OpenAI #ley #economía #seguridad #lección #tecnologia #social

Resumen. ¿Puede la seguridad de la IA arrojar alguna luz sobre antiguos problemas de gobierno corporativo? ¿Y pueden la ley y la economía del gobierno corporativo ayudarnos a enmarcar los nuevos problemas de la seguridad de la IA? El autor identifica cinco lecciones —y una grave advertencia— sobre el gobierno corporativo de la IA y otras tecnologías sensibles desde el punto de vista social que la agitación empresarial en OpenAI ha hecho patentes.

La guerra de juntas directivas en OpenAI, la empresa detrás de ChatGPT, ha puesto de relieve el papel del gobierno corporativo en la seguridad de la IA. Pocos dudan de que la IA vaya a ser disruptivo para la sociedad, y los gobiernos están empezando a diseñar estrategias regulatorias para controlar su coste social.

Sin embargo, mientras tanto, empresas privadas desarrollan la IA, dirigida por ejecutivos, supervisada por consejos de administración y financiada por inversores. En otras palabras, lo que probablemente demuestre ser la innovación tecnológica más importante de nuestra vida lo supervisa actualmente el gobierno corporativo, el conjunto de normas, en su mayoría de creación privada, que asignan el poder y gestionan los conflictos dentro de una empresa.

¿Puede la investigación sobre la seguridad de la IA arrojar alguna luz sobre antiguos problemas de gobierno corporativo? ¿Y pueden la ley y la economía del gobierno corporativo ayudarnos a enmarcar los nuevos problemas de la seguridad de la IA? Identifico cinco lecciones —y una grave advertencia— sobre el gobierno corporativo de la IA que la agitación empresarial en OpenAI ha dejado patente.

1. Las empresas no pueden confiar en el gobierno corporativo tradicional para proteger el bien social.

Al menos, esto es lo que pensaban OpenAI y Anthropic, dos de los actores más avanzados del desarrollo de la IA, cuando se crearon. OpenAI Global LLC, la empresa de Delaware en la que Microsoft y otros inversores han invertido miles de millones de dólares, está controlada por una organización sin fines de lucro, OpenAI, Inc.

A diferencia de una corporación convencional, los inversores no pueden contratar ni despedir a los miembros del consejo y ni los inversores ni el CEO controlan el consejo. El los estatutos de la empresa advierten a los inversores de que la misión de OpenAI es «para garantizar que la inteligencia general artificial (AGI)... beneficie a toda la humanidad» y «el principal deber fiduciario de la empresa es con la humanidad». En otras palabras, esa obligación prevalece sobre cualquier obligación de generar beneficios.

Anthropic está organizada como una corporación de beneficio público (PBC), con la misión específica de «desarrollar y mantener de manera responsable la IA avanzada en beneficio de la humanidad a largo plazo». En una poderosa modificación de la estructura estándar del PBC, un fideicomiso de derecho consuetudinario con el mismo objetivo social que la empresa tiene derecho a elegir un número creciente de directores con el tiempo, que pasarán a ser mayoría después de un período determinado o al alcanzar ciertos hitos de recaudación de fondos.

Ambas estructuras son muy inusuales en las empresas de tecnología de vanguardia. Su propósito es aislar el gobierno corporativo de la presión de la maximización de los beneficios y restringir el poder del CEO. Si la empresa elige la seguridad antes que los beneficios, los inversores y los ejecutivos pueden protestar, pero no pueden obligar a la junta a tomar una decisión diferente.

Compare y contraste este enfoque con la reciente ola de apoyo a la gobernanza de las partes interesadas. En 2019, la Business Roundtable, una importante asociación de directores ejecutivos de las principales empresas, emitió una declaración en la que muchos de sus miembros se comprometieron a ofrecer valor no solo a los accionistas sino también a los empleados, los clientes y la sociedad en general. Manifiestos de gobernanza de las partes interesadas similares, del Foro Económico Mundial, gobierno corporativo expertos, y principales gestores de activos — insista en la necesidad de que las empresas consideren los objetivos sociales junto con la maximización de los beneficios.

Pero como profesor de derecho Lucian Bebchuk y yo hemos documentado, las empresas que han adoptado la retórica de la protección de las partes interesadas no han cambiado su gobierno. De hecho, tanto la Mesa Redonda Empresarial como otros que apoyan abiertamente la gobernanza de las partes interesadas han argumentado que no hay importantes compensaciones entre la maximización de los beneficios y el propósito social. Por lo tanto, la mayor parte del movimiento de gobierno de las partes interesadas se basa en la capacidad del gobierno corporativo convencional para perseguir objetivos sociales y de beneficios.

Las estructuras de gobierno de OpenAI y Anthropic sugieren lo contrario. Diga lo que piense de la decisión de despedir a Altman o de la eficacia de las estructuras de gobierno de OpenAI o Anthropic, estos experimentos de gobierno nos enseñan una lección importante: si una empresa quiere tomarse en serio su propósito social y el bienestar de las partes interesadas, no puede confiar en el gobierno corporativo tradicional, sino que debe limitar el poder tanto de los inversores como de los ejecutivos.

2. Incluso las estructuras de gobierno creativas tendrán dificultades para controlar el afán de lucro.

Este fenómeno se puso de manifiesto durante la guerra de gobierno de OpenAI.

El 17 de noviembre, el consejo de administración despidió al cofundador y CEO Sam Altman, con el argumento de que «no fue siempre sincero... con la junta». Los inversores protestaron, pero la junta mantuvo su decisión. El 20 de noviembre, Microsoft anunció que había contratado a Altman y Greg Brockman, otro cofundador de OpenAI, para continuar trabajando en el desarrollo de la IA en Microsoft. Cientos de empleados de OpenAI amenazado para unirse también a Microsoft. El 22 de noviembre, menos de una semana después de su destitución, Sam Altman regresó como director ejecutivo de OpenAI, y todos los directores de OpenAI, excepto uno, renunciaron. 

Microsoft no podría despedir a la junta y reincorporar a Altman como CEO. Pero podría contratar a Altman y a cientos de empleados más. Básicamente, podría «comprar» OpenAI sin pagar un precio a los accionistas de la empresa. La entidad legal OpenAI estaba limitada por su estructura de gobierno, pero los conocimientos desarrollados por la empresa (su principal activo) podían adquirirse y redistribuirse sin estas restricciones.

En un artículo influyente, los economistas Oliver Hart y Luigi Zingales argumentaron que, en un mercado de control corporativo sin restricciones, un comprador con fines de lucro puede secuestrar fácilmente la misión social de una empresa. Llamaron a este fenómeno «deriva amoral». Hart y Zingales se refieren a las adquisiciones corporativas, pero algo parecido ocurrió en OpenAI. Bien o mal, la junta directiva de OpenAI tenía motivos no financieros de peso para despedir a Altman, pero al final capituló ante la presión de maximizar los beneficios.

Pero, ¿y si OpenAI pudiera impedir eficazmente que Altman y otros empleados trabajaran en una organización con fines de lucro? Un poco de inducción hacia atrás puede ayudarnos a adivinar la respuesta. ¿Microsoft habría invertido 13 000 millones de dólares en OpenAI si ese capital se hubiera podido comprometer de manera más eficaz con los objetivos sociales de OpenAI? De manera más general, ¿los inversores financiarían nuevas empresas de IA si su gobierno orientado a la sociedad fuera más eficaz a la hora de controlar el afán de lucro? Y si los inversores pudieran elegir entre empresas de IA favorables a los inversores y empresas de IA comprometidas socialmente, ¿cuáles elegirían?

Es fácil imaginarse las respuestas a estas preguntas. Las empresas de IA con mecanismos más eficaces para mantener su compromiso con la seguridad de la IA, incluso a expensas de la rentabilidad de los inversores, podrían tener dificultades para conseguir financiación. En equilibrio, esto podría significar que las empresas favorables a los inversores ganarían y las empresas con orientación social serían aniquiladas. Quizás sea posible diseñar soluciones impermeables para evitar la deriva amoral. Sin embargo, hasta ahora ningún planificador corporativo ha creado uno.

3. La independencia y la responsabilidad social no necesariamente convergen.

Un concepto importante en la seguridad de la IA es el llamado» tesis de ortogonalidad», que postula que la inteligencia de la IA y sus objetivos finales no están necesariamente correlacionados. Podemos tener máquinas poco inteligentes que nos sirvan bien y máquinas superinteligentes que nos perjudiquen. La inteligencia por sí sola no garantiza contra el comportamiento dañino.

Los expertos en gobierno corporativo deberían tomar prestado este útil concepto. El gobierno corporativo de los libros de texto prescribe a las empresas nombrar directores independientes, que estén más libres de la influencia de los directores ejecutivos y que se supone que son leales a los accionistas. Pero la independencia de la dirección y la lealtad a los accionistas son ortogonales: lo primero no se traduce necesariamente en lo segundo. Un director independiente bien podría optar por no prestar atención, perseguir sus propios intereses o seguir algunas convicciones personales que son perjudiciales para los accionistas. No podemos suponer que los directores independientes hagan automáticamente lo correcto.

De la misma manera, no podemos suponer que aislarse de la presión de los inversores y directores ejecutivos, como la que buscan OpenAI y Anthropic, se traduzca automáticamente en decisiones socialmente deseables. Los directores a los que los inversores no pueden despedir tienen menos probabilidades de seguir las preferencias de los inversores, pero ¿es más probable que elijan lo que es mejor para la sociedad?

Las estructuras de gobierno con orientación social no deberían contentarse con la independencia de los ejecutivos y los inversores. También deberían establecer mecanismos que alienten a los directores a perseguir el objetivo social y a hacer que rindan cuentas. Los planificadores corporativos deberían experimentar con métodos que permitan el control externo de las decisiones del consejo de administración, con incentivos para la toma de decisiones con orientación social y con formas creativas de responsabilidad para los miembros del consejo.

4. El gobierno corporativo debería tratar de resolver la alineación de los beneficios y la seguridad.

Un problema crucial en la seguridad de la IA es el llamado» problema de alineación»: La IA superinteligente puede tener valores y objetivos incompatibles con el bienestar humano. Parece una fantasía de ciencia ficción, pero el consenso entre los investigadores de la IA es que la IA a nivel humano es inminente, y el problema de alineación es real.

Podemos programar una IA superinteligente para que persiga objetivos socialmente deseables, pero no podemos excluir que, al perseguir esos objetivos terminales, la IA decida perseguir objetivos instrumentales dañinos. El problema es que aún no sabemos cómo enseñar a la IA a comportarse de una manera que sea siempre compatible con los valores humanos. Podemos enumerar docenas o cientos de comportamientos compatibles con los humanos, pero esta lista nunca será exhaustiva.

El problema de alineación de la IA es bastante parecido al problema central del gobierno corporativo. En una corporación, los inversores confían su dinero a los gerentes corporativos y quieren asegurarse de que los gerentes hacen lo que es mejor para los inversores. Los inversores pueden escribir algunas reglas, pero al igual que los programadores de IA, no pueden especificar todas las reglas posibles aplicables a todas las situaciones posibles. El contrato con los gerentes es, como les gusta decir a los economistas, un contrato incompleto.

El gobierno corporativo se esfuerza por resolver este problema. Las empresas ofrecen a los gestores incentivos, como opciones sobre acciones, que alinean sus intereses con los de los inversores. Nombran directores independientes. Divulgan información importante para que los inversores puedan supervisar la gestión de las empresas. Otorgan a los inversores el derecho de voto y otros dispositivos de control para que puedan intervenir cuando sea necesario y destituir a los gestores infieles.

Todo el mecanismo del derecho y el gobierno corporativos está preocupado por lo que los expertos denominan el «problema de la agencia» gerencial: cómo reducir el riesgo de que los gestores se desvíen de las preferencias de los inversores. No resuelve el problema del todo, pero lo alivia considerablemente.

Lo que hacen las estructuras de gobierno alternativas de OpenAI y Anthropic es tratar de proteger la seguridad de la IA de la búsqueda de beneficios de los gestores e inversores. Pero, como hemos visto, el afán de lucro es una fuerza poderosa que puede encontrar formas de alterar los diseños de gobierno.

Una ruta alternativa es intentar que la seguridad de la IA sea rentable. La mejor esperanza para la gobernanza privada de la seguridad de la IA (si es que algo así es posible) es lograr una alianza con el afán de lucro.

Es más fácil decirlo que hacerlo. Sin embargo, la historia de las sociedades liberales sugiere que vale la pena invertir más talento y energía en esta investigación. Nuestros diseños institucionales más exitosos, desde las constituciones liberales hasta las instituciones capitalistas, no dependen de la supresión de la codicia y la ambición. En cambio, se centran en aprovechar estas pasiones por el bien común.

La alineación de los beneficios y la seguridad es quizás un problema tan difícil de resolver como la alineación de la IA y los valores humanos, pero entre las posibles estrategias para el gobierno corporativo de la IA, es la que tiene el mayor potencial de ventaja. En este proyecto deberían centrarse más experimentos creativos.

5. Los consejos de administración de las empresas de IA deben mantener un equilibrio delicado en la distancia cognitiva.

La seguridad de la IA es un campo especializado. Si bien muchos empresarios están aprendiendo ahora sobre la IA y algunos de sus riesgos, los verdaderos expertos suelen ser personas ajenas con poca o ninguna experiencia en el mundo empresarial.

Y lo que es más importante, los expertos en seguridad de la IA y los principales empresarios suelen tener competencias, antecedentes y creencias muy diferentes sobre la rapidez con la que se desarrollará la IA y lo peligrosa que podría ser. Lo que es un avance muy probable e inminente para muchos expertos en seguridad de la IA, como la IA superinteligente o a nivel humano, es una especulación descabellada para muchos forasteros; lo que representa un riesgo pequeño pero concreto para muchos expertos en seguridad de la IA, como una IA incontrolable, es una fantasía de ciencia ficción sin sentido para muchos forasteros.

Esta diferencia entre la forma en que los expertos en seguridad de la IA y los forasteros interpretan y entienden el mundo es lo que algunos académicos han denominado «distancia cognitiva». Distancia cognitiva puede ser beneficioso a la toma de decisiones colectivas, especialmente en las empresas innovadoras. De hecho, para desarrollar conocimientos novedosos, los responsables de la toma de decisiones deben estar expuestos a nuevas ideas y puntos de vista.

Pero encontrar el grado óptimo de distancia cognitiva es difícil. Muy poca distancia cognitiva puede generar cámaras de pensamiento grupal y eco; demasiada puede impedir el entendimiento mutuo y cualquier tipo de cooperación significativa.

¿La drástica y repentina decisión de despedir a Sam Altman, con poco o ningún aviso a los principales inversores y sin explicaciones al público, se debió a una distancia cognitiva muy pequeña? IAs abiertas miembros de la junta, más allá de Altman y Brockman, fueron el científico jefe de la empresa, un experto académico en seguridad de la IA, un científico de RAND Corporation centrado en la gobernanza de la IA y director ejecutivo de tecnología. Es posible que sus creencias sobre la seguridad de la IA estuvieran firmemente alineadas y que su proceso de toma de decisiones no se beneficiara de puntos de vista externos y discordantes. Probablemente, no tuvieron que convencer a ningún extraño de que despedir al CEO era lo correcto.

Pero, ¿se puede llevar a cabo la misión social de las empresas de IA de manera eficaz si los miembros del consejo de administración no tienen una mentalidad de seguridad sólida o rechazan intuitivamente los escenarios más sombríos? La composición de la junta directiva provisional de OpenAI ahora está más alineada con la institución empresarial. No tiene «fanáticos» de la IA e incluye al exsecretario del Tesoro y presidente de Harvard Larry Summers y al veterano de la gran tecnología Bret Taylor.

Es posible que, en la nueva tabla, el nivel de distancia cognitiva no haya cambiado, pero las creencias compartidas simplemente se hayan generalizado. En otras palabras, si bien la junta anterior podría haber sido coherente al compartir las creencias de los expertos en seguridad de la IA sobre los riesgos de la IA a nivel humano, la nueva junta podría ser igualmente coherente al compartir una visión empresarial más convencional del mundo. En ambos sistemas, la distancia cognitiva en la sala de juntas puede ser muy pequeña.

Los consejos corporativos son sistemas sociales complejos. La dinámica ideal de toma de decisiones en la sala de juntas debería ser aquella en la que los directores con diferentes orígenes, competencias y puntos de vista discutan de manera enérgica e inteligente, dispuestos a aportar sus puntos de vista, pero también a aprender y cambiar de opinión cuando proceda. Las salas de juntas del mundo real a menudo no cumplen con este estándar.

Teniendo en cuenta los importantes riesgos asociados a la seguridad de la IA y las diferencias sustanciales en los puntos de vista y la experiencia, la composición de los consejos de administración de las empresas de IA debería convertirse en una de las principales prioridades. Estas empresas deberían esforzarse por lograr una mayor distancia cognitiva que las empresas más convencionales y sus normas de junta deberían recompensar agresivamente el compromiso de tiempo y un debate sólido y abierto. Aunque a menudo se infravalora en los debates sobre el gobierno corporativo, la dinámica social y cognitiva de las juntas directivas es crucial. Si hay algún sector empresarial en el que esto debería convertirse en una preocupación central, es sin duda en el desarrollo de la IA.

Advertencia: el gobierno corporativo no puede gestionar el riesgo catastrófico

Muchos de los riesgos que representa la IA son graves, pero no mortales. El desplazamiento laboral, la desinformación, el aumento de las estafas en Internet, la infracción de los derechos de autor y los problemas de privacidad pueden resultar muy perjudiciales, pero no dañarán irreparablemente a nuestra civilización.

Sin embargo, muchos expertos en IA creen que hay una posibilidad pequeña, pero no despreciable, de que la IA sea catastrófica para la humanidad. En un Encuesta de 2022 a expertos en IA, la mediana de los encuestados dijo que la probabilidad de que la IA conduzca a «algo extremadamente malo, por ejemplo, la extinción humana» es del 5%. Casi la mitad de los encuestados (el 48%) tenían al menos un 10% de probabilidades de obtener un resultado desastroso.

Si bien el gobierno corporativo puede ayudar a mitigar los riesgos graves, no es bueno para gestionar los riesgos existenciales, incluso cuando los responsables de la toma de decisiones corporativas tienen el firme compromiso con el bien común. Para entender por qué, deberíamos volver al problema de los contratos incompletos.

Un contrato incompleto es un contrato que no contiene reglas para todos los escenarios futuros posibles. Todos los contratos del mundo real están incompletos y las empresas suelen aceptar este problema como un coste inevitable de hacer negocios.

Sin embargo, cuando los costes de lo incompleto son demasiado altos, las empresas pueden elegir otra estrategia: pueden integrar a su contraparte contractual en su propia organización. De esta forma, la empresa conservará el» derechos de control residuales» sobre los activos pertinentes y, por lo tanto, puede regular situaciones inesperadas si se producen.

Considere un contrato entre un fabricante de automóviles y un proveedor de autopartes. El contrato especificará las obligaciones del proveedor en muchas circunstancias, pero no en todas. ¿Qué ocurre en circunstancias no reguladas? El proveedor es libre de rechazar un pedido y es posible que el fabricante de automóviles no reciba las piezas de automóvil que quiere.

Para evitar este problema, el fabricante de automóviles puede adquirir el proveedor e integrarlo en la empresa. Esto significa que, en circunstancias no reguladas, el fabricante de automóviles puede seguir quedándose con las autopartes si quiere.

Ahora traduzca este problema a la seguridad de la IA. En este entorno, los derechos de control residuales son la capacidad de la empresa de IA de apagar la máquina. En cualquier circunstancia inesperada, cuando la IA se comporte de manera perjudicial, la empresa de IA puede decidir que los riesgos son mayores que los beneficios y suspenderlo. Un sistema de gobierno corporativo orientado a la seguridad de la IA puede hacer eso precisamente.

Pero, ¿qué pasa si la IA se vuelve incontrolable? En ese escenario, los derechos de control residuales no ayudan mucho. Como sabe cualquiera que haya visto unas cuantas películas de ciencia ficción, el «propietario» de la IA deshonesta no puede apagar la máquina tan fácilmente.

En lo que respecta a los riesgos catastróficos, nuestro sistema legal normalmente abandona los controles legales ordinarios, como los derechos de propiedad, los contratos o las demandas, y se centra en los controles legales extraordinarios, del tipo que se utiliza para regular la proliferación nuclear o los peligros biológicos. La búsqueda de la seguridad de la IA justifica este tipo de esfuerzo extraordinario.

Los mejores expertos en IA y comentaristas ya han invocado el Proyecto Manhattan para la IA, en el que el gobierno de los Estados Unidos movilizaría a miles de científicos y actores privados, financiaría investigaciones que no serían económicas para las empresas comerciales y haría de la seguridad una prioridad absoluta. Incluso las innovaciones de gobierno corporativo más creativas no pueden sustituir a largo plazo a la gestión pública de los riesgos catastróficos. Si bien un buen gobierno corporativo puede ayudar en la fase de transición, el gobierno debería reconocer rápidamente su inevitable papel en la seguridad de la IA y ponerse a la altura de la histórica tarea.

Lea más sobre Gobierno corporativo o temas relacionados Política y regulación gubernamental, IA y aprendizaje automático, Empresas y sociedad, Ética empresarial, Juntas directivas, Responsabilidad social corporativa y Tecnología y análisis

Roberto Tallarita es profesor asistente de derecho en la Facultad de Derecho de Harvard.