Doxa 1716

Cómo entrenar IA generativa utilizando los datos de su empresa

Tres formas en que empresas como Bloomberg, Google y Morgan Stanley están integrando su capital intelectual en grandes modelos lingüísticos.

Por Tom Davenport y Maryam Alavi

Tecnología Y Análisis

Harvard Business Review

#Doxa #entrenar #IA #empresa #Bloomber #Google #MorganStanley #capital #intelectual #modelos #lingüïsticos #tecnología

Resumen. Aprovechar el conocimiento patentado de una empresa es fundamental para su capacidad de competir e innovar, especialmente en el entorno volátil de hoy. La innovación organizacional se alimenta a través de la creación, gestión, aplicación, recombinación y despliegue efectivos y ágiles de los activos de conocimiento y el saber hacer. Sin embargo, el conocimiento dentro de las organizaciones generalmente se genera y captura a través de varias fuentes y formas, incluidas mentes individuales, procesos, políticas, informes, transacciones operativas, foros de discusión y chats y reuniones en línea. Como tal, el conocimiento integral de una empresa a menudo no se tiene en cuenta y es difícil de organizar y desplegar donde sea necesario de una manera eficaz o eficiente.

Muchas empresas están experimentando con ChatGPT y otros modelos de lenguaje o imagen grandes. En general, los han encontrado asombrosos en términos de su capacidad para expresar ideas complejas en un lenguaje articulado. Sin embargo, la mayoría de los usuarios se dan cuenta de que estos sistemas están entrenados principalmente en información basada en Internet y no pueden responder a indicaciones o preguntas sobre contenido o conocimiento patentado.

Aprovechar el conocimiento de propiedad de una empresa es fundamental para su capacidad de competir e innovar, especialmente en el entorno volátil de hoy. La innovación organizacional se alimenta a través de la creación, gestión, aplicación, recombinación y despliegue efectivos y ágiles de activos de conocimiento y know-how. Sin embargo, el conocimiento dentro de las organizaciones generalmente se genera y captura a través de varias fuentes y formas, incluidas mentes individuales, procesos, políticas, informes, transacciones operativas, foros de discusión y chats y reuniones en línea. Como tal, el conocimiento integral de una empresa a menudo no se tiene en cuenta y es difícil de organizar y desplegar donde se necesita de una manera eficaz o eficiente.

Las tecnologías emergentes en forma de grandes modelos de IA generativos de imágenes y lenguaje ofrecen nuevas oportunidades para la gestión del conocimiento, mejorando así el rendimiento de la empresa, el aprendizaje y las capacidades de innovación. Por ejemplo, en un estudio realizado en un proveedor de software de procesos comerciales de Fortune 500, un sistema generativo basado en IA para atención al cliente aumentó la productividad de los agentes de atención al cliente y mejoró la retención, al tiempo que generó una mayor retroalimentación positiva por parte de los clientes. El sistema también aceleró el aprendizaje y el desarrollo de habilidades de los agentes novatos.

Al igual que esa empresa, un número creciente de organizaciones intentan aprovechar las habilidades de procesamiento del lenguaje y las habilidades generales de razonamiento de los modelos de lenguaje extenso (LLM) para capturar y proporcionar un amplio acceso interno (o de clientes) a su propio capital intelectual. Lo están utilizando para fines tales como informar a sus empleados de cara al cliente sobre la política de la empresa y las recomendaciones de productos/servicios, resolver problemas de servicio al cliente o capturar el conocimiento de los empleados antes de que abandonen la organización.

Estos objetivos también estuvieron presentes durante el apogeo del movimiento de "gestión del conocimiento" en la década de 1990 y principios de la de 2000, pero la mayoría de las empresas encontraron que la tecnología de la época era inadecuada para la tarea. Hoy, sin embargo, la IA generativa está reavivando la posibilidad de capturar y difundir conocimiento importante en toda una organización y más allá de sus muros. Como dijo un gerente que usa IA generativa para este propósito: “Siento que un jetpack acaba de llegar a mi vida”. A pesar de los avances actuales, algunos de los mismos factores que dificultaron la gestión del conocimiento en el pasado todavía están presentes.

La tecnología para la gestión generativa del conocimiento basada en IA

La tecnología para incorporar el conocimiento de dominio específico de una organización en un LLM está evolucionando rápidamente. Por el momento, existen tres enfoques principales para incorporar contenido propietario en un modelo generativo.

Formación de un LLM desde cero

Un enfoque es crear y entrenar el propio modelo específico de dominio desde cero. Ese no es un enfoque común, ya que requiere una gran cantidad de datos de alta calidad para entrenar un modelo de lenguaje grande, y la mayoría de las empresas simplemente no lo tienen. También requiere acceso a una potencia informática considerable y talento en ciencia de datos bien capacitado.

Una empresa que ha empleado este enfoque es Bloomberg, que recientemente anunció que había creado BloombergGPT para contenido específico de finanzas y una interfaz de lenguaje natural con su terminal de datos. Bloomberg tiene más de 40 años de datos financieros, noticias y documentos, que combinó con un gran volumen de texto de archivos financieros y datos de Internet. En total, los científicos de datos de Bloomberg emplearon 700 tokens, o alrededor de 350 000 millones de palabras, 50 000 millones de parámetros y 1,3 millones de horas de tiempo de unidad de procesamiento de gráficos. Pocas empresas tienen esos recursos disponibles.

Perfeccionamiento de un LLM existente

Un segundo enfoque es "afinar" la capacitación de un LLM existente para agregar contenido de dominio específico a un sistema que ya está capacitado en el conocimiento general y la interacción basada en el idioma. Este enfoque implica el ajuste de algunos parámetros de un modelo base y, por lo general, requiere muchos menos datos (por lo general, solo cientos o miles de documentos, en lugar de millones o miles de millones) y menos tiempo de computación que crear un nuevo modelo desde cero.

Google, por ejemplo, utilizó un entrenamiento de ajuste fino en su modelo Med-PaLM2 (segunda versión) para el conocimiento médico. El proyecto de investigación comenzó con el LLM PaLM2 general de Google y lo volvió a capacitar en conocimientos médicos cuidadosamente seleccionados de una variedad de conjuntos de datos médicos públicos. El modelo pudo responder el 85 % de las preguntas del examen de licencia médica de EE. UU., casi un 20 % mejor que la primera versión del sistema. A pesar de este rápido progreso, cuando se probó con criterios como la factibilidad científica, la precisión, el consenso médico, el razonamiento, el sesgo y el daño, y se evaluó por expertos humanos de varios países, el equipo de desarrollo consideró que el sistema aún necesitaba mejoras sustanciales antes de ser adoptado para uso clínico. práctica.

Sin embargo, el enfoque de ajuste fino tiene algunas limitaciones. Aunque requiere mucho menos poder de cómputo y tiempo que capacitar a un LLM, aún puede ser costoso capacitar, lo que no fue un problema para Google, pero lo sería para muchas otras empresas. Requiere una experiencia considerable en ciencia de datos; el artículo científico del proyecto Google, por ejemplo, tuvo 31 coautores. Algunos científicos de datos argumentan que es más adecuado no agregar contenido nuevo, sino agregar nuevos formatos y estilos de contenido (como chatear o escribir como William Shakespeare). Además, algunos proveedores de LLM (por ejemplo, OpenAI) no permiten realizar ajustes en sus últimos LLM, como GPT-4.

Ajuste rápido de un LLM existente

Quizás el enfoque más común para personalizar el contenido de un LLM para empresas proveedoras que no son de la nube es ajustarlo a través de indicaciones. Con este enfoque, el modelo original se mantiene congelado y se modifica a través de indicaciones en la ventana de contexto que contienen conocimientos específicos del dominio. Después de un ajuste rápido, el modelo puede responder preguntas relacionadas con ese conocimiento. Este enfoque es el más eficiente desde el punto de vista computacional de los tres y no requiere una gran cantidad de datos para entrenarse en un nuevo dominio de contenido.

Morgan Stanley, por ejemplo, usó el ajuste rápido para entrenar el modelo GPT-4 de OpenAI utilizando un conjunto cuidadosamente seleccionado de 100 000 documentos con importantes conocimientos sobre inversiones, negocios generales y procesos de inversión. El objetivo era proporcionar a los asesores financieros de la empresa conocimientos precisos y de fácil acceso sobre los problemas clave que encuentran en sus funciones de asesoramiento a los clientes. El sistema de capacitación rápida se opera en una nube privada a la que solo pueden acceder los empleados de Morgan Stanley.

Si bien este es quizás el más fácil de los tres enfoques que puede adoptar una organización, no está exento de desafíos técnicos. Cuando se utilizan datos no estructurados como texto como entrada para un LLM, es probable que los datos sean demasiado grandes con demasiados atributos importantes para ingresarlos directamente en la ventana de contexto del LLM. La alternativa es crear incrustaciones de vectores: conjuntos de valores numéricos producidos a partir del texto por otro modelo de aprendizaje automático previamente entrenado (Morgan Stanley usa uno de OpenAI llamado Ada). Las incrustaciones de vectores son una representación más compacta de estos datos que conserva las relaciones contextuales en el texto. Cuando un usuario ingresa un aviso en el sistema, un algoritmo de similitud determina qué vectores deben enviarse al modelo GPT-4. Aunque varios proveedores ofrecen herramientas para facilitar este proceso de ajuste rápido,

Sin embargo, este enfoque no necesita consumir mucho tiempo ni ser costoso si el contenido necesario ya está presente. La empresa de investigación de inversiones Morningstar, por ejemplo, utilizó ajustes rápidos e incrustaciones de vectores para su herramienta de investigación Mo basada en IA generativa. Incorpora más de 10.000 piezas de investigación de Morningstar. Después de aproximadamente un mes de trabajo en su sistema, Morningstar abrió el uso de Mo a sus asesores financieros y clientes inversores independientes. Incluso adjuntó a Mo a un avatar digital que podía pronunciar sus respuestas. Este enfoque técnico no es costoso; en su primer mes de uso, Mo respondió 25 000 preguntas a un costo promedio de $0,002 por pregunta por un costo total de $3000.

Curación de contenido y gobernanza

Al igual que con la gestión del conocimiento tradicional en la que los documentos se cargaban en bases de datos de discusión como Microsoft Sharepoint, con la IA generativa, el contenido debe ser de alta calidad antes de personalizar los LLM de cualquier manera. En algunos casos, como ocurre con el sistema Google Med-PaLM2, existen bases de datos ampliamente disponibles de conocimiento médico que ya han sido seleccionadas. De lo contrario, una empresa debe confiar en la curación humana para garantizar que el contenido del conocimiento sea preciso, oportuno y no se duplique. Morgan Stanley, por ejemplo, tiene un grupo de aproximadamente 20 administradores de conocimiento en Filipinas que califican constantemente los documentos según múltiples criterios; estos determinan la idoneidad para la incorporación en el sistema GPT-4. A la mayoría de las empresas que no tienen contenido bien curado les resultará difícil hacerlo solo para este propósito.

Morgan Stanley también descubrió que es mucho más fácil mantener un conocimiento de alta calidad si los autores de contenido saben cómo crear documentos efectivos. Deben tomar dos cursos, uno sobre la herramienta de administración de documentos y otro sobre cómo escribir y etiquetar estos documentos. Este es un componente del enfoque de la empresa para el enfoque de gobierno de contenido: un método sistemático para capturar y administrar contenido digital importante.

En Morningstar, a los creadores de contenido se les enseña qué tipo de contenido funciona bien con el sistema Mo y cuál no. Envían su contenido a un sistema de gestión de contenido y va directamente a la base de datos de vectores que proporciona el modelo OpenAI.

Garantía de calidad y evaluación

Un aspecto importante de la gestión de contenido generativo de IA es garantizar la calidad. La IA generativa es ampliamente conocida por "alucinar" en ocasiones, declarando con confianza hechos que son incorrectos o inexistentes. Los errores de este tipo pueden ser problemáticos para las empresas, pero pueden ser mortales en las aplicaciones de atención médica. La buena noticia es que las empresas que han ajustado sus LLM en información específica del dominio han descubierto que las alucinaciones son un problema menor que los LLM listos para usar, al menos si no hay diálogos extensos o indicaciones no comerciales.

Las empresas que adopten estos enfoques para la gestión del conocimiento generativo de IA deben desarrollar una estrategia de evaluación. Por ejemplo, para BloombergGPT, que está destinado a responder preguntas financieras y de inversión, el sistema se evaluó en tareas financieras de conjuntos de datos públicos, reconocimiento de entidades nombradas, capacidad de análisis de sentimientos y un conjunto de tareas generales de procesamiento de lenguaje natural y razonamiento. El sistema Google Med-PaLM2, eventualmente orientado a responder preguntas médicas de pacientes y médicos, tenía una estrategia de evaluación mucho más extensa, lo que reflejaba la importancia crítica de la precisión y la seguridad en el dominio médico.

La vida o la muerte no es un problema en Morgan Stanley, pero producir respuestas muy precisas a preguntas financieras y de inversión es importante para la empresa, sus clientes y sus reguladores. Las respuestas proporcionadas por el sistema fueron evaluadas cuidadosamente por revisores humanos antes de que se lanzaran a los usuarios. Luego fue probado durante varios meses por 300 asesores financieros. Como enfoque principal para la evaluación continua, Morgan Stanley tiene un conjunto de 400 "preguntas de oro" para las cuales se conocen las respuestas correctas. Cada vez que se realiza algún cambio en el sistema, los empleados lo prueban con las preguntas de oro para ver si ha habido alguna “regresión” o respuestas menos precisas.

Asuntos Legales y de Gobernanza

Los problemas legales y de gobierno asociados con las implementaciones de LLM son complejos y evolucionan, lo que lleva a factores de riesgo relacionados con la propiedad intelectual, la privacidad y seguridad de los datos, el sesgo y la ética, y resultados falsos o inexactos. Actualmente, el estado legal de los resultados de LLM aún no está claro. Dado que los LLM no producen réplicas exactas de ninguno de los textos utilizados para entrenar el modelo, muchos observadores legales sienten que se les aplicarán las disposiciones de "uso justo" de la ley de derechos de autor, aunque esto no ha sido probado en los tribunales (y no todos los países tienen tales disposiciones en sus leyes de derechos de autor). En cualquier caso, es una buena idea para cualquier empresa que haga un uso extensivo de la IA generativa para gestionar el conocimiento (o para la mayoría de los otros propósitos) tener representantes legales involucrados en el proceso de creación y gobierno de los LLM optimizados. En Morningstar, por ejemplo,

Las indicaciones de los usuarios sobre los LLM disponibles públicamente se utilizan para entrenar futuras versiones del sistema, por lo que algunas empresas ( por ejemplo, Samsung ) temían la propagación de información confidencial y privada y prohibieron el uso de LLM por parte de los empleados. Sin embargo, los esfuerzos de la mayoría de las empresas para ajustar los LLM con contenido específico del dominio se realizan en instancias privadas de los modelos que no son accesibles para los usuarios públicos, por lo que esto no debería ser un problema. Además, algunos sistemas de IA generativa, como ChatGPT, permiten a los usuarios desactivar la recopilación de historiales de chat, lo que puede solucionar problemas de confidencialidad incluso en sistemas públicos.

Con el fin de abordar los problemas de confidencialidad y privacidad, algunos proveedores ofrecen características de seguridad y protección avanzadas y mejoradas para los LLM, que incluyen el borrado de las indicaciones del usuario, la restricción de ciertos temas y la prevención de entradas de código fuente y datos de propiedad en los LLM de acceso público. Además, los proveedores de sistemas de software empresarial están incorporando una "capa de confianza" en sus productos y servicios. Salesforce, por ejemplo, incorporó su función Einstein GPT en su suite AI Cloud para abordar la "brecha de confianza de AI" entre las empresas que desean implementar rápidamente las capacidades de LLM y los riesgos antes mencionados que estos sistemas plantean en entornos comerciales.

Dar forma al comportamiento del usuario

La facilidad de uso, la amplia disponibilidad pública y las respuestas útiles que abarcan varios dominios de conocimiento han llevado a una adopción rápida y algo no guiada y orgánica de la gestión de conocimiento generativa basada en IA por parte de los empleados. Por ejemplo, una encuesta reciente indicó que más de un tercio de los empleados encuestados usaban IA generativa en sus trabajos, pero el 68 % de los encuestados no informaron a sus supervisores que estaban usando la herramienta. Para aprovechar las oportunidades y gestionar los riesgos potenciales de las aplicaciones de IA generativa para la gestión del conocimiento, las empresas deben desarrollar una cultura de transparencia y responsabilidad que haga que los sistemas de gestión del conocimiento basados ​​en IA generativa sean exitosos.

Además de la implementación de políticas y pautas, los usuarios deben comprender cómo incorporar de manera segura y efectiva capacidades de IA generativa en sus tareas para mejorar el rendimiento y la productividad. Las capacidades generativas de IA, incluida la conciencia del contexto y la historia, la generación de nuevos contenidos mediante la agregación o combinación de conocimientos de varias fuentes y las predicciones basadas en datos, pueden proporcionar un apoyo poderoso para el trabajo del conocimiento. Los sistemas de gestión del conocimiento generativos basados ​​en IA pueden automatizar procesos de búsqueda intensivos en información (investigación de casos legales, por ejemplo), así como tareas cognitivas de alto volumen y baja complejidad, como responder correos electrónicos de clientes de rutina. Este enfoque aumenta la eficiencia de los empleados, liberándolos para poner más esfuerzo en los aspectos complejos de toma de decisiones y resolución de problemas de sus trabajos.

Algunos comportamientos específicos que podrían ser deseables inculcar, ya sea a través de capacitación o políticas, incluyen:

• Conocimiento de qué tipos de contenido están disponibles a través del sistema;
• Cómo crear avisos efectivos;
• Qué tipos de avisos y diálogos están permitidos y cuáles no;
• Cómo solicitar que se agregue contenido de conocimiento adicional al sistema;
• Cómo utilizar las respuestas del sistema en el trato con clientes y socios;
• Cómo crear nuevos contenidos de forma útil y eficaz.

Tanto Morgan Stanley como Morningstar capacitaron a los creadores de contenido en particular sobre la mejor manera de crear y etiquetar contenido, y qué tipos de contenido son adecuados para el uso generativo de IA.

“Todo se está moviendo muy rápido”

Uno de los ejecutivos que entrevistamos dijo: “Puedo decirle cómo son las cosas hoy. Pero todo se está moviendo muy rápido en esta área”. Diariamente se anuncian nuevos LLM y nuevos enfoques para ajustar su contenido, al igual que nuevos productos de proveedores con contenido específico o enfoques de tareas. Cualquier empresa que se comprometa a incorporar su propio conocimiento en un sistema de IA generativa debe estar preparada para revisar su enfoque del problema con frecuencia durante los próximos años.

Si bien existen muchos problemas relacionados con la creación y el uso de sistemas de IA generativos capacitados en el contenido de conocimiento propio de una empresa, estamos seguros de que el beneficio general para la empresa vale la pena el esfuerzo de abordar estos desafíos. La visión a largo plazo de permitir que cualquier empleado, y también los clientes, accedan fácilmente a conocimientos importantes dentro y fuera de una empresa para mejorar la productividad y la innovación es un poderoso atractivo. La IA generativa parece ser la tecnología que finalmente lo está haciendo posible.

Obtenga más información sobre tecnología y análisis o temas relacionados IA y aprendizaje automático y análisis y ciencia de datos

Thomas H. Davenport es Profesor Distinguido del Presidente de TI y Gestión en Babson College, investigador en el Centro de Negocios Digitales del MIT, cofundador del Instituto Internacional de Análisis y Asesor Principal de Deloitte Analytics. Es autor del nuevo libro Big Data at Work y del superventas Competiting on Analytics.

Maryam Alavi es la Presidenta y Profesora de Gestión de TI de Elizabeth D. & Thomas M. Holder, Scheller College of Business, Instituto de Tecnología de Georgia.