Doxa 2248

Para crear valor con IA, mejore la calidad de sus datos no estructurados

Por Thomas H. Davenport , Roger W. Hoerl y Thomas C. Redman

IA generativa

Harvard Business Review

#Doxa #crear #valor #IA #calidad #dato #generativa #empresa #estructurados #identificar #evaluar #equipo #gestión #modelo #lingüística #desarrollo #aprender #aplicar #contenido

Resumen. Para mejorar la forma en que las empresas utilizan los datos no estructurados, los dirigentes deben seguir una serie de pasos que empiezan por abordar los problemas de calidad de los datos no estructurados, identificar y evaluar los datos que se van a utilizar y reunir el equipo adecuado para gestionarlo todo. A partir de ahí, el equipo debe preparar los datos utilizando tanto fuentes humanas como grandes modelos lingüísticos. La aplicación que desarrolle debe probarse hasta que funcione, y todo lo aprendido debe aplicarse y adoptarse a futuros esfuerzos de generación de contenidos.

El contenido de una empresa reside en gran medida en los "datos no estructurados": esos correos electrónicos, contratos, formularios, archivos de Sharepoint, grabaciones de reuniones, etc. creados a través de los procesos de trabajo. Ese contenido propio hace que la IA generativa sea más distintiva, más conocedora de sus productos y servicios, menos propensa a alucinar y más susceptible de aportar valor económico. Como señaló un director de datos al que entrevistamos: "Es improbable que obtenga mucho rendimiento de su inversión simplemente instalando CoPilot".

Muchas empresas han llegado a la conclusión de que el mayor valor de la IA generativa reside en combinar el asombroso lenguaje, razonamiento y conocimiento general de los grandes modelos lingüísticos (LLM) con su propio contenido. Esa combinación es necesaria, por ejemplo, en las aplicaciones de IA generativa a nivel empresarial en los servicios de atención al cliente, marketing, jurídico y desarrollo de software, así como en las ofertas de productos/servicios para uso de los clientes.

El enfoque más común con diferencia para añadir contenido propio de una empresa es la "generación aumentada por recuperación" o RAG, que combina herramientas tradicionales de recopilación de información, como las bases de datos, con información recuperada por las LLM. Se utiliza porque enviar grandes cantidades de contenido en un prompt suele ser técnicamente inviable o caro. Aunque técnicamente complejo, el enfoque de la GAR es bastante factible y da respuestas precisas a los prompt de los usuarios si los datos no estructurados utilizados en la GAR son de alta calidad. Ahí radica el problema. Los datos no estructurados suelen ser de mala calidad: obsoletos, duplicados, inexactos y mal estructurados, entre otros problemas.

A la mayoría de las empresas no les ha ido bien con la calidad de los datos estructurados, a pesar de que estos datos se utilizan a diario para completar las transacciones comerciales y comprender el rendimiento. Los datos no estructurados son más difíciles. Los últimos intentos serios de abordar los datos no estructurados se remontan a las décadas de 1990 y 2000, cuando la gestión del conocimiento era popular. La mayoría de los esfuerzos resultaron infructuosos. Las encuestas confirman que la mayoría de los líderes son conscientes de que la mala calidad obstaculiza sus esfuerzos de IA generativa, y que no se centraron demasiado en los datos no estructurados hasta la llegada de la IA generativa.

Por supuesto, la mejor forma de abordar los problemas de calidad de los datos es prevenirlos. A largo plazo, las empresas que se tomen en serio la IA deben desarrollar programas para hacer precisamente eso. Quienes crean documentos, por ejemplo, deben aprender a evaluar su calidad y etiquetar los elementos clave. Pero esto requerirá un gran esfuerzo concertado y no es una ayuda a corto plazo. Para obtener valor de la IA generativa, las empresas necesitan crear aplicaciones de GAR utilizando datos no estructurados de alta calidad. Nuestro objetivo en este artículo es ayudarles a hacerlo resumiendo los problemas de datos más importantes y los mejores enfoques para abordarlos, tanto humanos como técnicos.

¿Qué es la calidad de los datos no estructurados?

Los datos de alta calidad, ya sean estructurados o no estructurados, sólo son el resultado de un esfuerzo concentrado, dirigido por un liderazgo activo y comprometido, algunos profesionales bien situados, responsabilidades de gestión claras para todos los que tocan los datos y un compromiso implacable con la mejora continua. En ausencia de estas cosas, es muy probable que sus datos no estén a la altura. Como nos dijo el coach y asesor Alex Borek, de Data Masterclass: "Cuando la IA no funciona, suele revelar fallos en el sistema humano".

De hecho, la mejor estimación es que el 80% del tiempo empleado en un proyecto de IA se dedicará a los datos. Por ejemplo, un equipo filipino de Morgan Stanley pasó varios años curando informes de investigación antes de su proyecto de asistente AI @ Morgan Stanley. La curación comenzó antes de que la IA generativa se generalizara, lo que permitió a Morgan Stanley poner más rápidamente su aplicación en producción.

Para funcionar eficazmente, la RAG requiere documentos directamente relacionados con el problema en cuestión, un mínimo de contenido duplicado y que la información contenida en esos documentos sea completa, precisa y actualizada. Además, como señaló Seth Earley, de Earley Information Science, "hay que proporcionar el contexto, en la medida de lo posible, para que un GAR pueda interpretar correctamente estos documentos".

Los datos no estructurados no vienen precargados con el contexto necesario, y la IA generativa es en gran medida incapaz de determinar cuál es la mejor información para resolver una cuestión o un problema empresarial concreto. Tampoco es buena en la "resolución de entidades", es decir, "¿Es este 'John Smith' del documento A, sobre clientes, la misma persona que 'J. A. Smith' en el documento B, sobre proveedores, y/o la misma persona que el 'Sr. J Smith' en el otro documento C, sobre una donación a nuestra fundación?".

La mayoría de los datos estructurados se definen en un modelo o diccionario de datos. Esto proporciona cierto contexto y ayuda a reducir el problema John Smith/J. A. Smith descrito anteriormente. En el caso de los datos estructurados, es más fácil encontrar los datos deseados, saber quién es responsable de ellos y comprender lo que significan. Como nos dijo John Duncan, responsable de gobernanza de datos del gran minorista de automóviles CarMax, los datos no estructurados también requieren la misma necesidad de claridad sobre la propiedad de los datos, los productores, los consumidores y los administradores. También se beneficia de las normas relativas a los umbrales de calidad de los datos, el linaje de los datos, los controles de acceso y los plazos de conservación. Estos metadatos suelen incluirse en un diccionario de datos.

Sin embargo, con los datos no estructurados, rara vez existe un diccionario. A menudo no existe una gestión centralizada de estos contenidos; los documentos se almacenan al azar utilizando diferentes convenciones de nomenclatura y en distintos ordenadores o proveedores de nube de la empresa. A menudo no existe una definición común de un tipo de contenido; un responsable de datos de una agencia de publicidad confesó que no existe una definición común de "lanzamiento" en toda la agencia. Por último, los documentos no estructurados se desarrollaron a menudo con un propósito diferente al de alimentar la IA generativa. Un contrato con un proveedor, por ejemplo, no se diseñó para proporcionar información sobre el nivel de riesgo en una relación con un proveedor. Creemos que fue el difunto pensador en gestión Charles Handy quien observó: "La información recopilada para un propósito rara vez es útil para otro".

Un proceso de calidad de datos no estructurado

Afortunadamente, existen varios enfoques y herramientas que pueden ayudar a mejorar los datos no estructurados. Recomendamos que todos los proyectos de IA sigan un proceso disciplinado, incorporando calidad siempre que puedan. Dicho proceso debe abarcar los siguientes pasos:

1. Abordar los problemas de calidad de los datos no estructurados problema por problema, no todos a la vez.
2. Identifique y evalúe los datos que se van a utilizar.
3. Reúna al equipo para abordar el problema.
4. Prepare los datos, empleando tanto humanos (D1) como IA (D2), cuando sea posible.
5. Desarrolle la aplicación y valide que funciona.
6. Apoye la aplicación e intente inculcar la calidad en los procesos de creación de contenidos.

1. Aborde los problemas de calidad de los datos no estructurados problema a problema, no todos a la vez.

Hay demasiados datos no estructurados como para mejorarlos todos a la vez. Los jefes de proyecto deben asegurarse de que todos los implicados están de acuerdo en el problema/oportunidad que hay que abordar. Las prioridades deben basarse, en primer lugar, en el valor que tiene para la empresa resolver el problema y, en segundo lugar, en la viabilidad y el coste de desarrollar una solución, incluida la mejora de la calidad de los datos.

Las áreas de la empresa con datos que ya son de una calidad razonablemente buena deberían recibir mayor prioridad. Ese es el enfoque que ha adoptado Nelson Frederick Bamundagea, director de IT de la empresa de servicios de refrigeración de camiones W&B Services. Su aplicación de recuperación de conocimientos para técnicos de servicio utiliza los esquemas de unos 20 modelos (de frigoríficos) proporcionados por dos fabricantes. Éstos se han utilizado una y otra vez y el vocabulario empleado es relativamente reducido, lo que proporciona un alto nivel de confianza. En términos más generales, Alex Borek aconseja a las empresas que "busquen primero productos de datos muy curados siempre que sea posible".

2. Identifique y evalúe los datos que se van a utilizar.

Dado que los datos son fundamentales para el éxito de un proyecto de conocimiento basado en el LLM, es importante evaluarlos en una fase temprana. Existe una tendencia humana a incluir cualquier documento posiblemente relevante en un GAR, pero las empresas deberían adoptar un sano escepticismo y una filosofía de "menos es más": a falta de una buena razón para confiar en un documento o fuente de contenido, no lo incluya.

No es probable que los expertos puedan evaluar todos los documentos, pero sí pueden profundizar en una pequeña muestra. ¿Están los documentos de muestra cargados de errores, incoherencias internas o lenguaje confuso, o son relativamente limpios? Utilice su criterio: Conserve los datos limpios y proceda con cautela; deseche los datos malos. Si los datos están en un estado horrible o no puede encontrar suficientes datos buenos, reconsidere el proyecto.

3. Reúna al equipo para abordar el problema.

Dada la necesidad de cierta curación humana de los datos no estructurados, es poco probable que un pequeño equipo de expertos pueda realizar el trabajo necesario. Además, quienes trabajan con los datos en el día a día suelen tener una idea más clara de lo que constituye la alta calidad y de cómo conseguirla. En muchos casos, pues, puede ser útil hacer de la mejora de la calidad de los datos un proyecto ampliamente participativo. Por ejemplo, en Scotiabank, la organización del centro de contacto necesitaba recopilar documentos para un chatbot de clientes. El personal del centro asumió la responsabilidad de la calidad de su base de conocimientos de atención al cliente y se aseguró de que cada documento introducido en el chatbot basado en RAG fuera claro, único y estuviera actualizado.

4a. Prepare los datos.

Si ha llegado a la conclusión -y debería hacerlo- de que debe haber una contribución humana para mejorar la calidad de los datos no estructurados, este es el momento de involucrarla. Esa contribución podría incluir que un grupo de stakeholders se pusiera de acuerdo sobre los términos clave -por ejemplo, "contrato", "propuesta", "nota técnica" y "cliente"- y sobre cómo se definen. Documente este trabajo en un glosario empresarial. Esto puede resultar difícil: De acuerdo con la "ley de Davenport" - enunciada por primera vez hace más de 30 años -cuanto más conoce o se preocupa una organización por un elemento de información concreto, menos probable es que tenga un término y un significado comunes para él. Este problema puede superarse mediante "discusiones sobre datos" (no sobre arquitectura de datos) hasta que el grupo llegue a un consenso.

Y, por supuesto, si existe una función humana de curación, éste es el momento de iniciarla. Eso implica decidir qué documentos o fuentes de contenido son los mejores para un tema concreto, "etiquetarlos" con metadatos y puntuar el contenido en función de atributos como la actualidad, la claridad y la relevancia para el tema. Morgan Stanley cuenta con un equipo de unos 20 analistas con sede en Filipinas que puntúa cada documento según 20 criterios diferentes.

4b. Prepare los datos con IA.

La propia IA generativa es bastante buena en algunas tareas necesarias para preparar datos no estructurados para otras aplicaciones de IA generativa. Puede, por ejemplo, resumir contenidos, clasificar documentos por categorías de contenido y etiquetar elementos clave de los datos. Por ejemplo, CarMax utiliza la IA generativa para traducir el lenguaje específico de los distintos fabricantes de automóviles para describir sus componentes y capacidades en un conjunto estándar de descripciones cuyo objetivo es permitir a un consumidor comparar coches de distintos fabricantes.

La IA generativa también puede crear buenos primeros borradores de "gráficos de conocimiento", o visualizaciones de qué información está relacionada con otra información en una red. Los gráficos de conocimiento mejoran la capacidad de la RAG para encontrar rápidamente los mejores contenidos. La IA generativa también es buena en la desduplicación, o el proceso de encontrar copias exactas o muy similares de documentos y eliminar todas menos una. Dado que los enfoques de la GAR eligen los documentos en función de criterios específicos, estos criterios (actualidad, autoría, etc.) pueden modificarse ("volver a clasificarse") para dar mayor peso a determinados en la búsqueda de contenidos.

Sin embargo, hemos comprobado que la IA no es especialmente buena a la hora de identificar el mejor documento en un conjunto de otros similares, ni siquiera cuando se le da una rúbrica de calificación. Para eso y para las tareas de revisión siguen siendo necesarios los humanos. Como punto de partida, recomendamos utilizar humanos para averiguar lo que hay que hacer, y máquinas para aumentar la escala y disminuir el coste unitario en la ejecución.

5. Desarrolle su aplicación y valide que funciona.

El proceso de desarrollo de un modelo GAR a partir de datos curados implica varios pasos bastante técnicos, que es mejor que realice personal técnico cualificado. Incluso después de haber hecho todo lo posible para preparar los datos, es esencial que las organizaciones prueben rigurosamente sus aplicaciones GAR antes de ponerlas en producción. Esto es especialmente importante para las aplicaciones que están muy reguladas o que implican el bienestar humano. Una forma de validar el modelo consiste en identificar las "50 preguntas de oro", en las que un equipo identifica las preguntas que el GAR debe acertar, determina si lo hace y actúa en consecuencia. La validación debe hacerse a lo largo del tiempo, dado que los LLM fundacionales cambian a menudo.

Cuando una aseguradora europea intentó validar su sistema de conocimientos sobre cómo abordar las reclamaciones, descubrió que los contratos de los clientes, el personal del centro de llamadas, la base de conocimientos de la empresa y el departamento de reclamaciones a menudo discrepaban. Esto llevó a la empresa a aclarar que el departamento de siniestros era el "dueño" de la respuesta, es decir, servía como "patrón oro". Siguieron cambios en el chatbot, en los contratos con los clientes y en la formación del centro de llamadas.

6. Apoyar la aplicación e intentar inculcar una calidad continua.

En la práctica, ninguna aplicación RAG gozará de aclamación universal en el momento en que se despliegue. La aplicación aún puede alucinar, habrá fallos que resolver y cierto nivel de insatisfacción de los clientes. Nos encontramos con que algunos descartan una aplicación GAR que funcione bien si comete algún error. Por último, se necesitarán cambios a medida que la aplicación se utilice de nuevas formas. Por lo tanto, planifique una gestión y mejora continuas de la calidad. El plan debe incluir:

• Una cierta cantidad de "humanos cualificados en el bucle", especialmente en situaciones más críticas.
• Un medio para atrapar errores, realizar un análisis de la causa raíz y prevenirlos en el futuro
• Esfuerzos para comprender quiénes son los clientes del GAR, cómo lo utilizan y cómo definen "bueno".
• Retroalimentación a los gestores responsables de los procesos empresariales que crean datos no estructurados para mejorar las aportaciones futuras. Se puede formar a los creadores de contenidos, por ejemplo, para que creen documentos de mayor calidad, los etiqueten a medida que los crean y los añadan a un repositorio central.

Parece que la RAG, con contenidos propios, combinada con los LLM, va a estar con nosotros en un futuro previsible. Es una de las mejores formas de obtener valor de la IA generativa si se puede alimentar a los modelos con datos no estructurados de alta calidad. Sabemos que aquí hay mucho, pero sin duda está al alcance de quienes se pongan manos a la obra.

Lea más sobre IA Generativa o temas relacionados: IA y aprendizaje automático, Tecnología y analítica, Algoritmos, Analítica y ciencia de datos, Gestión de datos, Indicadores de rendimiento y Automatización.

Thomas H. Davenport es Profesor Distinguido del Presidente de Tecnología de la Información en Babson College, Profesor Bicentenario de Analítica en la Escuela de Negocios Darden de la Universidad de Virginia (UVA), profesor visitante en la Iniciativa del MIT sobre la Economía Digital y asesor principal del Programa de Director de Datos y Analítica de Deloitte.

Roger W. Hoerl es Profesor Asociado Brate-Peschel de Estadística en Union College en Schenectady, Nueva York, donde ha contribuido al lanzamiento de programas de analítica y estadística. Anteriormente, dirigió el Laboratorio de Estadística Aplicada en GE Global Research.

Thomas C. Redman es presidente de Data Quality Solutions y autor de People and Data: Uniting to Transform Your Business (Kogan Page, 2023).