Doxa 2050

Cómo las empresas pueden utilizar la búsqueda basada en LLM para crear valor

Por Ege Gurdeniz, Ilana Golbin Blumenfeld y Jacob T. Wilson

IA generativa

Harvard Business Review

#Doxa #IA #búsqueda #LLM #valor #generativa #interfaces #audio #vídeo #texto #paradigma #empresa #organización #herramienta #chat #empleado #políticas #ventas #comunicación #proceso #monitoreo #GenAI #SDLC #RAG

Resumen. Pronto, la búsqueda a través de enlaces puede ser reemplazada por interfaces conversacionales que permitirán a los usuarios refinar las consultas y profundizar su comprensión a través de preguntas de seguimiento, y el audio, el video y las imágenes son parte de este nuevo paradigma de búsqueda y recuperación. Considere cómo esas poderosas capacidades podrían traducirse en su empresa: herramientas basadas en chat que permitan a los empleados consultar fácilmente documentos de políticas, realizar preguntas y respuestas rápidas con los últimos datos de ventas de la organización o tener conversaciones significativas con todo tipo de conocimiento institucional. Para implementar esta tecnología de manera efectiva, las organizaciones deben considerar seguir varios pasos: 1) definir claramente los casos de uso, 2) establecer procesos de admisión que consideren el riesgo y el valor, 3) invertir en prácticas relacionadas con la recopilación, prueba y validación de datos para tener una verdad de campo efectiva, 4) incorporar prácticas de prueba estandarizadas, 5) establecer capacidades de monitoreo y 6) implementar campañas de capacitación, concientización y comunicación.

A medida que los modelos de lenguaje de gran tamaño (LLM) continúan avanzando a un ritmo vertiginoso, muchos líderes empresariales aún están lidiando con cómo poner en práctica esta tecnología. Por un lado, buscan áreas en las que estas herramientas de inteligencia artificial generativa puedan demostrar rápidamente su valor. Por otro, quieren sentar las bases para una transformación a mayor escala y a largo plazo.

La IA se está convirtiendo en una parte natural de todo lo que hacemos y es intrínseca a cada faceta de la empresa, integrándose sin problemas en varios procesos para mejorar la eficiencia y la innovación. Un área prometedora que puede ofrecer un impacto inmediato y ayudar a sentar las bases es la búsqueda y recuperación impulsada por LLM. Es un enfoque que puede cambiar fundamentalmente la forma en que las empresas interactúan con sus propios datos para descubrir información, generar nuevas ideas y fundamentar una mejor toma de decisiones.

Los navegadores web ya han adoptado esta capacidad y la han utilizado para mejorar las búsquedas con resúmenes y descripciones generales generados por IA. Pronto, la búsqueda a través de enlaces podrá ser reemplazada por interfaces conversacionales que permitirán a los usuarios refinar las consultas y profundizar su comprensión mediante preguntas de seguimiento. Y no se limitan al texto: el audio, el video y las imágenes son parte de este nuevo paradigma de búsqueda y recuperación. Esta experiencia multimodal es solo una de las razones por las que los usuarios continúan gravitando hacia aplicaciones más avanzadas de búsqueda habilitada por IA.

Ahora, piense en cómo esas potentes capacidades podrían trasladarse a su empresa: herramientas basadas en chat que permitan a los empleados consultar fácilmente documentos de políticas, realizar preguntas y respuestas rápidas con los últimos datos de ventas de la organización o tener conversaciones significativas con todo tipo de conocimiento institucional. Y hay oportunidades aún mayores. Estas capacidades avanzadas de búsqueda y recuperación de inteligencia artificial pueden ayudar en la generación de documentos, generación de informes, generación de códigos, sistemas de recomendación y mucho más.

En este artículo, exploraremos las últimas técnicas que impulsan la búsqueda y recuperación basadas en inteligencia artificial y compartiremos casos de uso innovadores y reales que están dando resultados en la actualidad. Luego, analizaremos los riesgos y desafíos asociados con estos casos de uso y compartiremos seis tácticas que las empresas pueden implementar para aprovechar esta capacidad de manera eficaz y responsable.

La búsqueda basada en LLM se ha vuelto más poderosa

En los últimos años, los LLM han evolucionado rápidamente, pero también lo han hecho los entornos de software más amplios de los que forman parte. En concreto, muchos LLM se han mejorado gracias a una innovación denominada “generación aumentada de recuperación” (RAG), en la que el contenido se ofrece a partir de una base de datos conocida, lo que ayuda a que la recuperación sea más fiable y a reducir la carga de costes de ajuste (o reentrenamiento) del LLM. El uso de RAG y otras innovaciones técnicas recientes son una respuesta directa a los desafíos anteriores, en particular las alucinaciones u otras respuestas erróneas que los sistemas pueden haber devuelto. El ecosistema RAG está mejorando rápidamente la precisión de la recuperación, así como la generación de contenido utilizando ese contenido recuperado. Estas mejoras permiten a las empresas aprovechar sus propios conjuntos de datos únicos, transformando los procesos empresariales y las formas de trabajar al vincular una consulta a un conjunto de documentos conocidos.

Los sistemas RAG también se están utilizando con “aprendizaje de refuerzo con retroalimentación humana” (RLHF), que se refiere a la combinación del conocimiento recuperado con la retroalimentación humana para refinar el comportamiento del modelo y generar respuestas más precisas y contextualmente relevantes. Esto permite a los usuarios guiar al sistema para que prefiera cierto contenido dentro del índice de búsqueda o vector en función de la retroalimentación de cada usuario y priorizar el contenido que perciben como más relevante para su caso de uso. Esto tiene aplicabilidad en múltiples dominios. Por ejemplo, un portal de RR.HH. que utilice RAG con RLHF podría permitir que el sistema priorice y muestre información de políticas de RR.HH. que se alinee con las necesidades específicas de un empleado o consultas recurrentes. Con el tiempo, el sistema aprendería y se adaptaría para preferir documentos y pautas que el empleado consulta con frecuencia o considera particularmente útiles, creando así un proceso de recuperación de información más personalizado y eficiente.

Estas mejoras liberan un nuevo potencial tanto para los humanos como para los agentes respaldados por LLM, que están diseñados para realizar microtareas y trabajar en conjunto para lograr un objetivo mayor con la participación humana para ayudar a impulsar el proceso. Y ahora, un número cada vez mayor de empresas apuntan a abordar los puntos críticos del flujo de trabajo de datos, desde las estructuras de las bases de datos en sí mismas hasta cómo mejorar las canalizaciones de datos.

Obtener mejor información más rápido es siempre una prioridad empresarial. En los motores de búsqueda públicos, los resúmenes generados por IA han cambiado el punto de partida de los usuarios: en lugar de hacer clic en enlaces e intentar orientarse, pueden escanear una respuesta recopilada de los principales resultados de búsqueda. Probablemente no sea perfecto, pero ayuda a orientar su investigación. Esta es la experiencia que las empresas buscan integrar en sus propios sistemas: hacer que surjan respuestas a consultas relevantes que van desde preguntas internas como las relacionadas con la política empresarial hasta sistemas externos de agentes que están destinados a interactuar con los clientes.

Ya estamos viendo ejemplos reales de esto en diferentes industrias. Por ejemplo, una empresa ha mejorado su forma de responder a los problemas de los clientes y la eficiencia y eficacia de las operaciones de su centro de llamadas. Al utilizar RAG para "integrar" el LLM con sus bases de conocimiento internas, una combinación de agentes de servicio al cliente basados ​​en inteligencia artificial humana y genética se centran rápidamente en la información que es relevante para el cliente y brindan resultados más personalizados vinculados a información real y creíble específica de la empresa. RLHF perfecciona aún más este proceso.

O miremos el caso de TI, donde se están utilizando enfoques similares para mejorar el ciclo de vida del desarrollo de software (SDLC). Con acceso a los requisitos de negocio, la documentación del producto y los repositorios de código, los sistemas LLM y de agente están automatizando y mejorando la calidad de la curación de la cartera de pedidos, la generación de casos de prueba, la generación de código y otras áreas clave del SDLC. Si bien estos pueden no parecer casos de uso directamente relacionados con la idea de búsqueda y recuperación, en esencia se adhieren a los mismos requisitos básicos: procesar una consulta para comprender su intención principal, mapearla con información existente relevante y recuperar contenido conocido que pueda servir a la consulta de manera efectiva.

Desafíos y riesgos

Las soluciones LLM de Agentic y otros sistemas de búsqueda habilitados con GenAI no están exentos de posibles fallas; ninguna solución tecnológica lo está. Si bien RAG y otras innovaciones permiten el acceso a datos mejores y más relevantes, no eliminan el riesgo de alucinaciones, por ejemplo. Los sistemas Gen AI pueden (y lo hacen) revelar información deficiente. Por ejemplo, si un sistema está diseñado para recuperar políticas relevantes para una consulta, ¿qué sucede si hay múltiples versiones del mismo tipo de política en el repositorio? ¿O qué sucede si hay pautas contradictorias entre varias políticas diferentes?

Las empresas deben poder explicar cómo pueden surgir respuestas erróneas y generar conciencia entre los usuarios y los desarrolladores por igual.

Este proyecto debe enmarcarse en un marco de IA responsable que proporcione un enfoque a nivel de toda la empresa para identificar, mitigar y monitorear los diversos riesgos asociados con el uso de IA que se necesitan para remediar estos problemas. Por ejemplo, es necesario desarrollar un entendimiento compartido de lo que se cree que es una fuente de datos autorizada; los modelos en sí mismos no tienen la conciencia para saber esto, se les debe instruir, o la información errónea puede propagarse. El viejo adagio de basura que entra, basura que sale todavía se aplica en este dominio de la IA general. Por lo tanto, tomarse el tiempo al principio del proceso para tener datos bien seleccionados lo beneficiará a largo plazo en términos de precisión y consistencia.

Otro riesgo de los sistemas de inteligencia artificial gen ha sido la fuga de datos y otros problemas de privacidad, y las implementaciones de tipo RAG tampoco los corrigen por completo. Durante el último año y medio, un gran impulso por parte de los usuarios empresariales fue tener una instancia segura de modelos de inteligencia artificial gen implementados en sus instalaciones, sin que ninguno de sus datos (avisos, documentos, etc.) fluyera de vuelta al proveedor o a la comunidad de código abierto. Sin embargo, estas implementaciones locales no evitan algunas fugas en toda la organización: una persona de ventas podría obtener acceso a datos confidenciales de RR. HH. si están expuestos al mismo modelo. Por este motivo, seguimos abogando por prácticas de gobernanza que requieran cortafuegos donde se consideren los datos confidenciales y se los deba proteger.

Además, existen riesgos como el sesgo y la transparencia, que persisten porque estos problemas surgen de múltiples fuentes: el modelo de IA gen subyacente, el uso previsto de la aplicación y las expectativas de los usuarios. Si bien los propios proveedores han estado presionando para mejorar las capacidades de monitoreo asincrónico para identificar de manera responsable la información potencialmente dañina que se está produciendo, las propias empresas aún necesitan implementar prácticas que permitan un uso eficaz para la búsqueda y recuperación. Ser consciente de cómo puede verse una recuperación sesgada e incorporar instrucciones adicionales para mitigarla en el contexto de un uso específico, especialmente cuando se incorpora información confidencial, incluida la información sobre personas o comunidades, es una capacidad empresarial que debe desarrollarse como parte de un marco de IA responsable más amplio.

Y si bien el uso interno de la empresa puede presentar desafíos de ciberseguridad limitados en relación con las aplicaciones con consumidores externos, las empresas aún deben permanecer atentas a posibles vectores de ataque, como el envenenamiento de datos y avisos, que pueden hacer que las soluciones pierdan eficacia con el tiempo para una amplia gama de usuarios. Aún es necesario monitorear cada caso de uso y aplicación para comprender cómo se está utilizando o mal utilizando, y dónde puede disminuir el rendimiento.

Seis tácticas para aprovechar esta capacidad de manera eficaz y responsable

Si bien los desafíos persisten y pueden seguir evolucionando con el tiempo, no hay duda de que la transición hacia la búsqueda y recuperación basadas en inteligencia artificial y en el aprendizaje a distancia continuará. Para hacerlo de manera eficaz, las organizaciones deben considerar seguir varios pasos:

1. Definir claramente los casos de uso.

Colaborar entre los equipos comerciales que definen los requisitos y los equipos técnicos o proveedores responsables de la creación y la implementación para alinearse en una solución con resultados claramente mensurables que permitan la evaluación en el futuro.

2. Establecer procesos de admisión que consideren tanto el riesgo como el valor.

Al priorizar en qué casos de uso invertir, no solo tenga en cuenta el retorno de la inversión (ROI) del caso de uso, sino también la sensibilidad de los datos que se utilizan, el potencial de daño a la aplicación en general y los usuarios previstos. Incorpore un enfoque de niveles de riesgo para evaluar los casos de uso.

3. Invierta en prácticas relacionadas con la recopilación, prueba y validación de datos para tener una verdad fundamental efectiva.

Reconocer que el uso eficaz de los modelos de aprendizaje profundo, especialmente los utilizados en tareas de búsqueda y recuperación, aún necesita una base de datos sólida sobre la que trabajar. Por lo tanto, los esfuerzos de transformación de datos deben continuar y es fundamental mantener el foco tanto en la calidad de los datos que alimentan los modelos como en los flujos de trabajo generales para obtener, etiquetar, almacenar, acceder y procesar los datos.

4. Incorporar prácticas de pruebas estandarizadas.

La evaluación ad hoc solo llegará hasta cierto punto; alinearse con un proceso de desarrollo de modelos estándar respaldado por manuales y prácticas de prueba predefinidas para permitir sistemas de calidad, resilientes y bien probados.

5. Establecer capacidades de monitoreo.

Tenga en cuenta que las cosas cambian: los datos cambian, la forma en que los usuarios interactúan con los sistemas cambiará, la tecnología cambia y lo que se puede necesitar de los sistemas cambia con el tiempo. Reconozca que estos sistemas necesitan ser monitoreados para verificar su desempeño continuo y que se deben determinar métricas para que haya algo (y alguna manera) de monitorear.

6. Implementar campañas de formación, sensibilización y comunicación.

Equipar a sus empleados con los conocimientos necesarios para desarrollar, implementar y aprovechar de manera eficaz y responsable las herramientas de inteligencia artificial es tan importante como la infraestructura técnica y los controles de gestión de riesgos que deben implementarse. Identifique las necesidades de aprendizaje y concientización relacionadas con la inteligencia artificial en toda su organización y lance programas de educación y comunicación personalizados.

Es probable que la búsqueda siga siendo una aplicación dominante para los modelos de lenguaje de gran tamaño y la GenAI multimodal durante algún tiempo. Pero estos sistemas aún requieren datos, herramientas y gobernanza eficaces para funcionar de manera eficaz y a gran escala. La IA responsable y las prácticas de gobernanza asociadas deben respaldar toda implementación de IA. En un panorama tecnológico que cambia tan rápido como lo hace, considere casos de uso basados ​​en el impacto y el riesgo, e invierta en funciones subyacentes que le permitan escalar de manera responsable en una multitud de áreas.

Lea más sobre la IA generativa o temas relacionados Tecnología y análisis, IA y aprendizaje automático, Derecho y ética empresarial y Gestión de riesgos

Ege Gürdeniz es socio de la práctica de Ciberseguridad, Riesgos y Regulación de PwC, donde asesora a empresas sobre IA responsable a través de la gestión de riesgos, la gobernanza y la adopción segura de tecnología de IA.

Ilana Golbin Blumenfeld es directora de la práctica de Tecnología y Garantía Digital de PwC, donde apoya a los clientes en la creación de sistemas de IA y en el establecimiento de las capacidades para supervisarlos y gestionarlos de manera responsable.

Jacob T. Wilson es socio de inteligencia artificial y ciencia de datos en PwC y se especializa en aprovechar la inteligencia artificial generativa y las soluciones innovadoras para ayudar a las empresas a transformar sus operaciones e impulsar el crecimiento.