Doxa 2323

El caso de uso de modelos de lenguaje pequeños

Por Ajay Kumar, Thomas H. Davenport y Randy Bean

IA y aprendizaje automático

Harvard Business Review

#Doxa #eficiencia #rapidez #accesibilidad #privacidad #costo #implementación #dispositivos #móviles #offline #personalización #escalabilidad #sostenibilidad

Resumen. Los modelos lingüísticos pequeños (SLM) están redefiniendo la IA empresarial al ofrecer soluciones más rápidas, eficaces y rentables que los modelos lingüísticos grandes (LLM). Su diseño compacto permite su despliegue en dispositivos periféricos, lo que permite tomar decisiones en tiempo real sin depender de la nube, algo ideal para aplicaciones como vehículos autónomos, asistentes de voz y tecnología para llevar puesta. Los LLM consumen menos energía y requieren menos recursos, lo que los hace más sostenibles y accesibles para un uso generalizado. Su capacidad de ajuste fino para dominios específicos mejora la precisión y reduce los resultados irrelevantes, especialmente en sectores como la sanidad, las finanzas y la agricultura. También ofrecen un mayor control, privacidad y transparencia, apoyando el procesamiento seguro de los datos y el cumplimiento de la normativa. Los SLM se integran fácilmente en los sistemas existentes, lo que permite un desarrollo ágil y la creación rápida de prototipos sin grandes cambios en la infraestructura. Las organizaciones deberían alinear el tamaño del modelo con la complejidad de la tarea y explorar las SLM para obtener soluciones de IA localizadas, sensibles a la privacidad y escalables. Con su adaptabilidad y eficiencia, las SLM están posicionadas para impulsar la innovación práctica y responsable en todas las industrias.

Hasta ahora, la revolución de la IA se ha medido en gran medida por el tamaño: cuanto más grande es el modelo, más audaces son las pretensiones. Sin embargo, a medida que nos acercamos a sistemas de IA verdaderamente autónomos y omnipresentes, está surgiendo una nueva tendencia que sugiere un cambio sorprendente: en realidad, más pequeño puede ser mejor. Según un estudio reciente realizado por investigadores de NVIDIA, los modelos lingüísticos pequeños (SLM), en lugar de sus homólogos más grandes, los modelos lingüísticos grandes (LLM), podrían convertirse en la verdadera columna vertebral de la próxima generación de empresas inteligentes. La era de "más grande es mejor" puede estar dando paso a "más pequeño es más inteligente".

Los SLM tienen muchas ventajas competitivas sobre los LLM. Sus arquitecturas(Phi-3 de Microsoft, Gemma de Google, OpenELM de Apple, Granite de IBM) son más compactas, especializadas, energéticamente eficientes y fáciles de desplegar que las LLM, especialmente en dispositivos informáticos de borde local. Los SLM tienen un número significativamente menor de parámetros, que suelen oscilar entre unos pocos miles de millones, en comparación con los LLM, que pueden contener cientos de miles de millones o incluso billones. Esta diferencia sustancial de tamaño proporciona varias ventajas a los SLM frente a los LLM, como menores requisitos computacionales, tiempos de entrenamiento más rápidos, un despliegue más sencillo y un rendimiento más eficiente en escenarios específicos.

En este artículo exploramos por qué los SLM suelen ser más adecuados para muchos casos de uso de la IA, incluidas las aplicaciones de IA agéntica, y qué deben tener en cuenta los líderes empresariales a la hora de dar forma a sus estrategias de IA.

La velocidad y la eficiencia impulsan la ventaja competitiva

Los SLM son lo suficientemente ligeros y pueden desplegarse localmente en dispositivos periféricos o servidores locales (por ejemplo, smartphones, wearables, sensores de fábrica o incluso electrodomésticos), y pueden ofrecer tiempos de respuesta más rápidos. A diferencia de los LLM, que requieren una inferencia basada en la nube y un cálculo masivo, los SLM pueden ofrecer una toma de decisiones en tiempo real en el punto de necesidad. Para aplicaciones como los asistentes de voz (por ejemplo, Siri, Alexa, Google Assistant), los vehículos autónomos, las fábricas inteligentes de la Industria 5.0, los agentes de juegos en línea, la cirugía a distancia asistida por IA y los monitores de salud portátiles, donde el tiempo de respuesta medido en milisegundos en lugar de segundos puede hacer o deshacer la experiencia del usuario, los SLM pueden ofrecer una ventaja estratégica al reducir la latencia y mejorar la fiabilidad. Además, el tamaño compacto de los SLM los hace ideales para la computación de borde, permitiendo que la IA agéntica funcione sin depender de la conectividad de la nube. Por ejemplo, varias empresas ofrecen ahora SLM basados en teléfonos inteligentes que pueden realizar traducciones de idiomas en tiempo real. Al no depender de la nube, el tiempo de respuesta es mucho más rápido.

Ejecutar LLM a escala es costoso y consume mucha energía, no sólo durante la fase de formación, sino también durante el funcionamiento continuo. Utilizarlos de forma continuada en agentes autónomos es a menudo insostenible desde el punto de vista financiero. En cambio, los SLM son mucho más eficientes energéticamente y rentables. Pueden entrenarse y desplegarse utilizando sólo el 30-40% de la potencia computacional que requieren sus homólogos LLM de mayor tamaño, lo que hace mucho más factible su adopción generalizada en dispositivos periféricos y empresas más pequeñas. Este cambio es importante no sólo para reducir los costes operativos, sino también para apoyar los objetivos de sostenibilidad de las empresas. En los sectores en los que la IA debe desplegarse en miles de dispositivos o usuarios finales, los SLM pueden cambiar fundamentalmente la economía del despliegue.

La especialización puede superar a la generalización

Los LLM son como generalistas porque están entrenados en cantidades masivas de datos de Internet, y pueden abordar casi cualquier tema. Los SLM, por otro lado, pueden afinarse para tareas o sectores específicos, como la sanidad, el trabajo jurídico o la gestión de las cadenas de suministro. Dado que se les entrena con una gama más reducida de datos, los SLM suelen ser más fiables para las tareas específicas de un dominio agéntico y es menos probable que sean propensos a alucinar o a dar respuestas fuera de tema.

Las empresas no tienen por qué poner a punto sus propios SLM. Algunos proveedores están empezando a desarrollar SLM orientados a sectores o problemas empresariales concretos. Infosys, por ejemplo, ha desarrollado GST optimizadas para la banca y para las operaciones de IT. Pueden utilizarse como base para una mayor personalización sobre el contenido del cliente.

Debido a sus datos de formación focalizados, los SLM también son más rápidos y rentables de construir, afinar y mejorar con el tiempo que los LLM. Estas cualidades de los SLM pueden dar a las empresas la agilidad necesaria para desarrollar soluciones de IA que puedan adaptarse rápidamente a la dinámica cambiante del mercado, a las expectativas cambiantes de los clientes o a las nuevas exigencias normativas sin los largos ciclos de desarrollo y los elevados costes irrecuperables que suelen asociarse a los LLM.

Bayer, por ejemplo, ha desarrollado un SLM para ayudar a su personal de primera línea a responder a las preguntas de los agricultores sobre la protección de cultivos llamado E.L.Y, por "Expert Learning for You" (Aprendizaje experto para usted). Está entrenado con los conocimientos de Bayer sobre protección de cultivos y se comprobó que era un 40% más preciso que las pruebas iniciales con un modelo de gran tamaño. También puede personalizarse para cultivos más específicos o conocimientos agrícolas geográficos.

IA agéntica con más control y mejor privacidad

Dado que la IA agéntica implica una mayor autonomía, el SLMS puede proporcionar un mayor nivel de control y confianza. En las aplicaciones agénticas en las que la previsibilidad, la transparencia y la auditabilidad son más importantes que la potencia computacional bruta, un agente entrenado en un SLM, con menos parámetros y datos de entrenamiento bien definidos, es más fácil de supervisar, probar, auditar y controlar.

Las SLM pueden funcionar íntegramente en el dispositivo móvil o el ordenador portátil de un usuario final, lo que permite a las empresas procesar información confidencial como registros financieros, datos sanitarios, expedientes de empleados, documentos legales y propiedad intelectual sin enviarla a la nube para su almacenamiento y posterior procesamiento.

Esta capacidad es especialmente muy importante en sectores como la defensa, las finanzas, la sanidad y el transporte, donde la seguridad, la ética y el cumplimiento de la normativa son preocupaciones importantes. En estos sectores, la explicabilidad no es negociable, la transparencia es un activo estratégico, y los SLM pueden desempeñar un papel clave en la construcción de la confianza del cliente y garantizar el cumplimiento de las normas de protección de datos como el GDPR. Para las organizaciones ágiles, las GST pueden apoyar eficazmente el ciclo "construir-medir-aprender (BML)" en la innovación de la IA agéntica, permitiendo la experimentación rápida y la mejora continua.

Más seguros para la creación de prototipos, la experimentación y la incrustación en flujos de trabajo

Dado que las MST son de menor riesgo y más fáciles de controlar, pueden ser muy adecuadas para la experimentación de bajo riesgo. Esto puede reducir las barreras a la innovación y promover una cultura de experimentación segura y práctica, en la que los equipos puedan probar sus ideas sin grandes riesgos ni inversiones sustanciales. Las organizaciones pueden crear rápidamente prototipos de nuevos flujos de trabajo agénticos, como la automatización de las tareas de aprovisionamiento o la agilización de la incorporación de RR.HH., la gestión de las solicitudes del servicio de asistencia de IT, la gestión de las aprobaciones de gastos, la programación de las operaciones de mantenimiento o el seguimiento de los niveles de inventario, todo ello sin necesidad de una infraestructura a gran escala ni de depender de proveedores externos.

A diferencia de las LLM, que a menudo exigen una infraestructura sustancial y actualizaciones importantes del sistema, las SLM pueden integrarse perfectamente en el software empresarial, las API o los dispositivos de borde existentes sin necesidad de grandes cambios arquitectónicos. Esto hace que las MST sean ideales para una transformación gradual "de dentro a fuera", en la que las empresas mejoran los sistemas heredados en lugar de sustituirlos. Esto resulta más fácil de entender si imaginamos asistentes de IA integrados en plataformas ERP, herramientas CRM o aplicaciones móviles, en lugar de construir capas de IA completamente independientes para una tarea específica.

Qué deben hacer los ejecutivos con los GSL

Para los líderes empresariales, este cambio creciente hacia las GSL puede tener implicaciones estratégicas significativas. En lugar de asumir que "más grande es mejor" en la IA, es hora de replantearse la estrategia. A medida que las organizaciones van más allá de la experimentación y se adentran en el despliegue a escala, está claro que los sistemas más inteligentes no son necesariamente los más grandes y que el futuro de los sistemas empresariales inteligentes no estará impulsado por potentes modelos de IA, sino por modelos de IA del tamaño adecuado que se diseñen teniendo en cuenta contextos empresariales específicos.

Muchas situaciones apuntarán claramente a modelos más pequeños que grandes. En un vehículo en movimiento, por ejemplo, las necesidades de conectividad y de respuesta en tiempo real favorecerán a menudo a los SLM frente a los modelos grandes. Por ejemplo, Cerence AI, un proveedor de sistemas móviles, ha trabajado con Microsoft para desarrollar un SLM para diversos usos en automoción, incluida la interacción con los controles de infoentretenimiento y calefacción/aire acondicionado. Si su hoja de ruta de la IA se hubiera centrado únicamente en los LLM, la tecnología podría no haber encajado en el contexto y las limitaciones de los móviles. Centrarse únicamente en los LLM puede impedir que una organización obtenga una ventaja competitiva significativa, limitando su capacidad para lograr implantaciones más rápidas, reducir costes, mejorar la seguridad de los sistemas y, en última instancia, ofrecer aplicaciones empresariales más inteligentes y eficaces.

Para mantenerse en cabeza, los líderes de la IA con visión de futuro deben empezar a plantearse las preguntas estratégicas y operativas adecuadas dentro de sus organizaciones que están desarrollando sistemas de IA generativa y agéntica:

• ¿Estamos adecuando el tamaño del modelo de IA generativa a la complejidad y las limitaciones de la tarea?
• ¿Estamos identificando los casos de uso de la IA adecuados dentro de la organización, en particular los que requieren una toma de decisiones en tiempo real, localizada o sensible a la privacidad?
• ¿Cómo pueden los SLM ofrecer ventajas únicas o mitigar los riesgos asociados a confiar únicamente en los LLM?
• ¿Nuestras inversiones en IA generativa y agéntica están orientadas a la escalabilidad a largo plazo, o simplemente a la experimentación a corto plazo?
• ¿Cómo gobernaremos, supervisaremos y controlaremos los agentes impulsados por SLM, especialmente los que se ejecutan fuera de la nube en dispositivos de borde locales?
• ¿Cómo podemos invertir para construir SLM de dominio específico que se ajusten con precisión a nuestros procesos empresariales únicos, en lugar de confiar únicamente en los LLM de propósito general?
• ¿Cómo podemos replantearnos nuestra infraestructura de IA agéntica para permitir que los SLM se ejecuten en el borde, ofreciendo tiempos de respuesta más rápidos, protecciones de la privacidad más sólidas y un despliegue escalable, al tiempo que garantizamos la alineación con los valores y los objetivos estratégicos a largo plazo de nuestra organización?
• ¿Cómo supervisaremos y evaluaremos el rendimiento y los KPI de nuestros SLM en producción, y cómo gestionaremos su ciclo de vida abarcando las actualizaciones, el reciclaje y el control de versiones?
• ¿Qué consideraciones éticas debemos abordar con nuestros despliegues de GDS, qué marcos de cumplimiento normativo (por ejemplo, GDPR, HIPAA) se aplican y cómo garantizaremos su cumplimiento?

...

Aunque las LLM han demostrado capacidades notables en los últimos años, las organizaciones deberían abrir las puertas a la inteligencia distribuida dando prioridad al desarrollo de las SLM. Los SLM son más rentables, más fáciles de desplegar en infraestructuras locales y más adecuados para afinar con datos propios o específicos de un dominio. En muchos casos aportan mayor eficacia, accesibilidad y confianza. Ofrecen tiempos de respuesta más rápidos, un menor consumo de energía y una mejor adecuación a los requisitos de privacidad de los datos y de cumplimiento de la normativa.

A medida que se acelera la adopción de la IA agéntica, la agilidad y adaptabilidad de los SLM los establecerán como un activo estratégico para las organizaciones que buscan soluciones de IA escalables, responsables y conscientes del contexto. En general, puede que los SLM no asombren a los usuarios como sus homólogos de mayor tamaño, pero impulsarán silenciosamente el impacto en los resultados finales en los próximos años. Los líderes empresariales deben prestar mucha atención a estos modelos, identificando los procesos empresariales en los que las SLM ligeras y específicas para cada tarea pueden aportar ganancias rápidas, y preparándose para invertir estratégicamente.

Leer más sobre Inteligencia artificial y aprendizaje automático o topicos relacionados al Análisis y ciencia de datos, Gestión de datos, Algoritmos, Tecnología y análisis y Sector de las tecnologías de la información y las telecomunicaciones

Ajay Kumar es profesor asociado de Sistemas de Información y Análisis Empresarial en la Escuela de Negocios EMLYON, Francia. Ajay ha ocupado puestos de becario postdoctoral en el Instituto Tecnológico de Massachusetts y en la Universidad de Harvard. En la actualidad, está afiliado como profesor visitante a la Said Business School de la Universidad de Oxford.

Thomas H. Davenport es Catedrático Distinguido Presidente de Tecnología de la Información y director de la facultad del Instituto Metropoulos de Tecnología y Emprendimiento del Babson College, profesor visitante en la Iniciativa del MIT sobre la Economía Digital y asesor principal del Programa de Directores de Datos y Análisis de Deloitte.

Randy Bean es el autor de Fail Fast, Learn Faster: Lessons in Data-Driven Leadership in an Age of Disruption, Big Data, and AI. Es colaborador de Harvard Business Review, Forbes y MIT Sloan Management Review, y lleva casi 4 décadas asesorando a organizaciones de la lista Fortune 1000 sobre liderazgo basado en datos e IA. Anteriormente fue fundador y consejero delegado de NewVantage Partners (NVP), una empresa de asesoramiento sobre liderazgo en datos e IA para clientes de Fortune 1000, que dirigió desde 2001 hasta su adquisición en 2021. Puede ponerse en contacto con Randy Bean en rbean@randybeandata.com o rbean@dataaiex.com y seguirle en LinkedIn.