Doxa 2572

La gestión del rendimiento necesita nuevas métricas en la era de la IA

Cómo las organizaciones pueden evaluar las contribuciones de los empleados, los sistemas de IA y su producción combinada

Por Randy Bean, Erik Strauss y Randeep Singh

Gestión del desempeño de los empleados

Harvard Business Review

#Doxa #GestiónDelRendimiento #InteligenciaArtificial #MétricasDigitales #EvaluaciónEmpleados #SistemasIA #ProductividadCombinada #TransformaciónDigital #CapitalHumano #Automatización #InnovaciónOrganizacional

Resumen. Aunque adoptan la IA, las empresas miden el desempeño de sus empleados con métricas de éxito ya conocidas: productividad, cumplimiento de objetivos y eficiencia. Por lo tanto, los empleados que dependen en gran medida de la IA pueden parecer muy productivos, mientras que aquellos que se toman su tiempo para verificarLas suposiciones, los resultados cuestionados o la corrección de errores pueden parecer menos eficientes precisamente cuando aportan mayor valor. Para medir eficazmente el desempeño de los empleados al trabajar con herramientas de IA, las empresas deberían adoptar un marco de medición de tres niveles para el rendimiento en la era de la IA que permita a las organizaciones distinguir entre métricas de contribución humana, métricas de sistemas y agentes de IA, y sistemas humano-IA. Para ello, necesitan adoptar nuevos conjuntos de métricas que reflejen mejor la nueva realidad del trabajo.

¿Cómo se define un “buen desempeño” cuando los resultados son generados por personas que trabajan con IA? ¿Y cómo pueden los líderes garantizar que la velocidad y la eficiencia no se logren a expensas del criterio y la responsabilidad?

Estas son cuestiones cruciales en la actualidad, ya que las empresas invierten fuertemente en IA y los líderes están bajo presión para demostrar que estas inversiones están dando frutos. La encuesta Data and AI Leadership —una encuesta periódica realizada por uno de nosotros (Bean), junto con Tom Davenport— reveló a principios de este año que el 91 % de las organizaciones estaban aumentando sus inversiones en IA, y el 99 % afirmó que las inversiones en IA eran una prioridad organizacional. Sin embargo, solo el 18 % de estas organizaciones afirma estar obteniendo un alto grado de valor empresarial cuantificable de sus inversiones en IA.

Si bien la IA ha mejorado la velocidad y la calidad en muchos flujos de trabajo, la mayoría de las organizaciones aún no han rediseñado la forma en que evalúan el desempeño humano para reflejar este cambio. Basándonos en las investigaciones más recientes y en nuestra experiencia apoyando a empresas en la implementación de IA, presentamos un marco de medición de tres niveles para el desempeño en la era de la IA que permite a las organizaciones distinguir entre métricas de contribución humana, métricas de sistemas y agentes de IA, y sistemas humano-IA.

La paradoja del desempeño humano

Actualmente, las empresas miden el desempeño de sus empleados con IA mediante métricas de éxito ya conocidas: productividad, consecución de objetivos y eficiencia. Esto genera una paradoja. Los empleados que dependen en gran medida de la IA pueden parecer muy productivos, mientras que aquellos que se toman su tiempo para verificar suposiciones, cuestionar resultados o corregir errores pueden parecer menos eficientes precisamente cuando aportan mayor valor. En este paradigma, los líderes corren el riesgo de premiar la excesiva dependencia de la IA y penalizar el juicio humano que previene errores costosos, priorizando la producción sobre los resultados y perdiendo de vista lo que realmente impulsa un desempeño humano eficaz.

Estamos empezando a comprender cómo funciona la aplicación de las antiguas métricas de rendimiento a este nuevo paradigma. A medida que los sistemas de IA superan a los humanos en las métricas tradicionales, algunos empleados reaccionan a la defensiva: en una encuesta realizada por un proveedor de IA, el 10 % de los empleados admitió haber manipulado datos para que la IA pareciera menos eficaz. Esto no debería sorprender a nadie. Cuando la dirección presenta la IA principalmente como una herramienta para reducir la plantilla, es inevitable que las personas sientan la presión de demostrar que superan a la IA en los indicadores clave de rendimiento (KPI) estándar, porque saben que sus puestos de trabajo están en juego.

Pero las métricas desalineadas son solo la mitad del problema, y ​​posiblemente la mitad más fácil de resolver. El otro problema es que la gestión del desempeño ya estaba obsoleta. En una encuesta de Gallup de 2024, cuando las empresas apenas habían comenzado a adaptarse a la IA generativa, solo el 2 % de los directores de recursos humanos de las empresas Fortune 500 coincidieron plenamente en que su sistema de gestión del desempeño inspiraba a los empleados a mejorar, y apenas el 20 % de los empleados encuestados coincidieron plenamente en que sus evaluaciones eran justas o transparentes.

Hay pocos motivos para pensar que mucho haya cambiado desde entonces. A pesar de las altas expectativas en torno a la automatización, Deloitte informó en enero pasado que el 84 % de las empresas no han rediseñado roles, flujos de trabajo ni trayectorias profesionales en función de la IA. Solo el 30 % ofrece incentivos basados ​​en el rendimiento para el uso de la IA por parte de los empleados. La mayoría ha ajustado sus estrategias de talento centrándose en la formación de los empleados. Pero mientras capacitan a las personas para una nueva forma de trabajar, siguen evaluándolas como antes. El problema con este enfoque es que presupone que lograr que las personas hagan más del mismo trabajo, solo que más rápido, sigue siendo el objetivo correcto.

La combinación de métricas erróneas y una gestión del desempeño deficiente está generando una falta de confianza. Las expectativas de los directores ejecutivos respecto al crecimiento impulsado por la IA siguen siendo altas, a pesar de que Gartner ha constatado que solo una de cada 50 inversiones en IA genera un valor transformador y una de cada cinco ofrece un retorno de la inversión cuantificable. Los empleados, por otro lado, son muy conscientes de la desconexión entre la retórica de los líderes y la acción. Esta brecha entre la confianza de la junta directiva y la realidad en primera línea es precisamente donde falla la gestión del desempeño.

¿Qué significa “buen rendimiento” en la era de la IA?

Las métricas de rendimiento tradicionales se diseñaron para tareas discretas, repetibles y de responsabilidad individual. La IA puede automatizar muchas de estas tareas: redacción, resumen, traducción, codificación de código repetitivo y análisis preliminar. En un amplio experimento de campo con más de 750 trabajadores del conocimiento, el acceso a GPT-4 de OpenAI aumentó la velocidad en más de un 25 % y mejoró la finalización de las tareas en un 12,2 %, a la vez que ofreció soluciones de calidad significativamente superior en las tareas que el modelo podía realizar.

Pero la misma investigación revela por qué la medición basada en resultados se vuelve peligrosa. Cuando a los participantes se les asignó una tarea que superaba ligeramente las capacidades de la IA, aquellos con acceso a ella tenían un 19 % menos de probabilidades de obtener una solución correcta que quienes no lo tenían. Los autores denominan a esto la « frontera tecnológica irregular »: la IA puede desempeñarse excepcionalmente bien en algunas tareas y fallar abruptamente en tareas adyacentes que se asemejan a las que realizan los humanos. Si el sistema premia la rapidez en la obtención de resultados sin verificar la precisión, se acostumbra a las personas a forzar el trabajo más allá de la frontera tecnológica con la esperanza de que se mantenga.

Otras evidencias demuestran cómo las métricas tradicionales malinterpretan el origen real del valor. En un estudio , la asistencia de IA aumentó la productividad en un 14 % de media, pero las mejoras se concentraron entre los trabajadores con menos experiencia. Quienes tenían más experiencia experimentaron pequeñas mejoras en la velocidad y leves descensos en la calidad. Teniendo en cuenta que los expertos aportan valor mediante el diagnóstico, la detección de casos excepcionales, la validación de suposiciones y la orientación a otros sobre cuándo no confiar en la herramienta, esta disyuntiva no es algo que la mayoría de los líderes aceptarían conscientemente.

Existe también un riesgo más sutil y a largo plazo. Experimentos controlados demuestran que la interacción repetida con resultados de IA sesgados puede amplificar el sesgo en los juicios perceptivos, emocionales y sociales humanos. Los participantes a menudo desconocen el alcance de la influencia de la IA, lo que los hace más susceptibles a ella. El colega que aparenta basar su trabajo en datos podría estar aprendiendo silenciosamente el sesgo del modelo. Los sistemas de evaluación del desempeño estándar no cuentan con un mecanismo para detectarlo.

Una preocupación relacionada es la proliferación de " trabajos mediocres ", es decir, trabajos producidos rápidamente pero de baja calidad generados por o con IA, que se caracterizan por redundancias, errores y, por consiguiente, un valor de contenido mínimo. Estos trabajos no solo hacen perder el tiempo a quienes los reciben, sino que también generan una mala opinión de sus colegas que los envían, lo que perjudica la cohesión del equipo. Las organizaciones que miden el volumen de producción sin medir la precisión no solo están juzgando mal el rendimiento, sino que lo están socavando activamente. Los gerentes ya informan que tienen dificultades para seguir el ritmo de producción de los empleados, en parte porque la ejecución que antes tomaba una semana ahora se realiza en horas, pero el control de calidad aún requiere tiempo de líderes experimentados con criterio probado.

La IA agente ha complicado aún más el problema de las métricas de rendimiento. La mayoría de las organizaciones han tratado la IA como una herramienta utilizada por un empleado individual. Si bien solo el 11 % de las organizaciones ha implementado con éxito agentes de IA en producción, su introducción en los flujos de trabajo crea lo que denominamos un problema de rendimiento compartido. Cuando los resultados se generan mediante sistemas mixtos humano-IA, el marco de evaluación debe responder simultáneamente a tres preguntas: ¿Qué tan bien se desempeñó el humano? ¿Qué tan bien se desempeñó el sistema de IA? ¿Y qué tan bien se desempeñó la combinación humano-IA?

Basándonos en los resultados de un estudio sobre control algorítmico , sostenemos que los agentes de IA pueden moldear el comportamiento mediante mecanismos similares a la gestión: recomendar y restringir tareas, registrar y evaluar el rendimiento, y activar recompensas o decisiones de reemplazo. Sin una medición y gobernanza explícitas tanto del agente como del empleado, se pierde la capacidad de exigirles responsabilidades. Cuando el cuadro de mando del agente y el del empleado se fusionan en un mismo documento, ninguno refleja la realidad.

Un nuevo marco para medir el rendimiento

Basándonos en nuestra investigación en curso y nuestra experiencia trabajando con empresas, presentamos un marco de medición de tres niveles que desglosa el desempeño de la persona, los sistemas y agentes de IA, y el resultado combinado humano-IA. Cada nivel debe incluir un número reducido de métricas, revisadas con frecuencia (mensual o trimestralmente), y vinculadas a decisiones visibles: capacitación, personal, ascensos y gestión de herramientas.

1) Métricas de contribución humana

Para determinar el desempeño real de las personas, hay que dejar de centrarse en los resultados que la IA puede inflar y enfocarse en las capacidades que la IA no puede reemplazar. Tres de ellas suelen ser importantes en todos los puestos.

Juicio de límites: ¿Con qué fiabilidad detecta alguien cuándo una IA está fuera de su alcance y qué medidas toma a continuación? Las posibles medidas son:

• Tasa de precisión de la escalada: Una escalada se clasifica como "justificada" si una auditoría posterior confirma que el resultado de la IA fue efectivamente defectuoso, incompleto o estaba fuera del ámbito de competencia confiable de la IA.
• Puntuación de trazabilidad de la fuente: ¿Están documentados de forma transparente la fuente de datos, la fecha de creación y el modelo utilizado? El tamaño de la muestra debe definirse con antelación (por ejemplo, el 20 % de todos los entregables por trimestre).
• Índice de calidad de anulación: Una corrección se considera “justificada” si el empleado ha proporcionado una explicación documentada (error en el resultado, datos desactualizados, falta de contexto, etc.). Las correcciones injustificadas se penalizan en la puntuación.

Orquestación: ¿Puede la persona utilizar herramientas de IA para aumentar el rendimiento del equipo, no solo el rendimiento personal? Es decir, ¿puede capacitar a otros? Las medidas relevantes pueden ser:

• Tasa de adopción de IA en el equipo: Complementada con segmentación en profundidad: esporádica (<2 veces/semana), regular (2–4 veces/semana), integrada (diaria, entre tareas). Lo que importa es la distribución entre los segmentos.
• Índice de contribución al flujo de trabajo: En este índice, sugerimos ponderar la mejora que el empleado haya aportado a un flujo de trabajo: de nueva creación (1,0), flujo de trabajo existente optimizado (0,5), documentado y compartido (+0,25 de bonificación). Se registra trimestralmente.
• Relación entre productividad y número de empleados: Se registra como una serie temporal. Más relevante que el valor absoluto es la tasa de cambio: una puntuación creciente con un tamaño de equipo constante o decreciente indica una coordinación eficaz.

Velocidad de aprendizaje: ¿Se adapta la persona a medida que cambian las herramientas, los flujos de trabajo y las políticas? Las organizaciones que invierten en el desarrollo estructurado de capacidades de IA envían una señal contundente de que dominar la IA es un camino hacia el ascenso profesional, no una amenaza para la seguridad laboral. Algunas medidas que capturan esta importante dimensión son, por ejemplo:

• Retraso en la adopción de la herramienta: Se mide en días laborables entre el lanzamiento oficial y el primer uso productivo documentado por el empleado. Valores más bajos indican una mayor velocidad de aprendizaje. Puede medirse como promedio de equipo o valor individual.
• Tasa de aplicación de la capacitación: Esto registra los cambios de comportamiento documentados, lo que significa que se registró al menos un ejemplo de aplicación concreto dentro de los 30 días posteriores a la finalización por parte del empleado o su gerente.
• Tasa de experimentación: Un “experimento” se define como un intento documentado de probar una nueva aplicación, estrategia de solicitud o combinación de herramientas, independientemente del resultado. Fomenta una cultura de aprendizaje en la que el fracaso no se penaliza.

2) Métricas del sistema y del agente de IA

La precisión o el tiempo de actividad del modelo no son suficientes, especialmente para los sistemas basados ​​en agentes. Las siguientes tres dimensiones ofrecen una mejor comprensión:

Logro del objetivo: ¿El agente de IA realmente hizo lo que se suponía que debía hacer, dentro de los límites establecidos? Para comprender el logro del objetivo, las siguientes medidas pueden ser útiles:

• Tasa de finalización de tareas: Una tarea se considera "completada con éxito" si el resultado cumple con los criterios de aceptación predefinidos sin necesidad de corrección humana ni reenvío. Se realiza un seguimiento por agente, por tipo de tarea y a lo largo del tiempo para detectar desviaciones en el rendimiento.
• Tasa de error: Los errores deben clasificarse según su gravedad (crítica/moderada/menor) y registrarse junto con su causa raíz. Una tasa de error general baja que enmascare una tasa de error crítica alta constituye una señal de riesgo significativa y debe notificarse por separado.
• Índice de deriva objetiva: particularmente relevante para sistemas con agentes que operan en múltiples etapas. Señala los casos en los que el agente se optimizó para un indicador indirecto medible en lugar del resultado previsto.

Explicabilidad y trazabilidad: ¿ Podemos explicar por qué hizo lo que hizo? ¿Y podemos demostrarlo? Para obtener respuestas a este tipo de preguntas, las siguientes métricas podrían ser útiles:

• Tasa de origen de los resultados: Cada resultado debe hacer referencia a los datos de entrada, la versión del modelo y el contexto de recuperación utilizado. Se audita sobre una muestra definida (p. ej., el 20 % de los resultados por período). Una baja tasa de origen de los resultados representa un riesgo directo en entornos regulados.
• Puntuación de reproducibilidad: Se vuelve a ejecutar una muestra aleatoria de resultados utilizando los parámetros registrados. Si las mismas entradas producen de forma fiable las mismas salidas, el sistema es auditable. Una variación superior a un umbral definido (p. ej., >5 %) activa una revisión de trazabilidad.
• Puntuación de adecuación de la explicación: Un panel de revisión humano estructurado (expertos en la materia, responsables de cumplimiento normativo o usuarios finales, según el contexto) evalúa si la respuesta del agente va acompañada de una justificación suficientemente clara. Se requiere una rúbrica definida para garantizar la coherencia entre los evaluadores.

Calidad de la escalada: Cuando el agente alcanza los límites de lo que debería manejar por sí solo, ¿se comporta de manera apropiada? Esta es, sin duda, la dimensión más importante para los sistemas basados ​​en agentes, ya que es el mecanismo principal mediante el cual se mantiene la supervisión humana en la práctica. Se puede evaluar mediante las siguientes medidas:

• Precisión en el enrutamiento de casos extremos: Los casos extremos se definen con antelación por categoría de riesgo (por ejemplo, decisiones de alto valor, nuevos tipos de datos de entrada, desencadenantes regulatorios). El enrutamiento es "correcto" si llega al nivel de escalamiento adecuado dentro del plazo de respuesta definido.
• Tasa de escalada falsa: Un agente que escala de forma excesiva genera sobrecarga operativa y erosiona la confianza del usuario. Se realiza un seguimiento para equilibrar la sensibilidad y la especificidad del mecanismo de escalada.
• Tasa de soporte para la intervención humana: Mide si la arquitectura del sistema realmente admite la intervención humana, no solo en teoría, sino también en la práctica. Los intentos de anulación fallidos u obstruidos constituyen un fallo crítico del sistema, independientemente de su frecuencia.

3) Métricas del sistema humano-IA

Finalmente, mida si la combinación humano-IA produce mejores resultados que cualquiera de las dos por separado. Si bien esta distinción es importante, también es difícil de medir, ya que requiere una gran cantidad de datos. Para capturar esta colaboración relevante, sugerimos las siguientes métricas si las organizaciones cuentan con los recursos necesarios:

• Tasa de sustitución de IA: Registra la proporción de trabajo en el que los humanos han quedado fuera del proceso. Un aumento en la tasa de sustitución de IA no es necesariamente problemático, pero cuando se combina con una disminución en la calidad de los resultados o un aumento en las tasas de error, indica que la creación de valor se ha convertido en erosión del valor.
• Índice de complementariedad: Mide el porcentaje de casos en los que la intervención humana marcó una diferencia demostrable, como detectar un error, replantear un problema o aportar un juicio contextual. Una puntuación alta indica una complementariedad genuina, en lugar de una mera aprobación automática. Una puntuación baja puede indicar un agente muy competente o una persona desinteresada; y estos dos casos requieren respuestas muy diferentes.
• Ratio de atribución de valor: Esto requiere descomponer el valor total de la producción en la proporción atribuible a la ejecución de la IA frente al juicio, la curación o la corrección humana. Metodológicamente exigente pero estratégicamente importante: a medida que aumenta la capacidad de la IA, este ratio cambiará, y su seguimiento a lo largo del tiempo revela si la organización está invirtiendo en las capacidades humanas adecuadas o si, por el contrario, las está debilitando gradualmente.

Rediseñando la gestión del desempeño

No es necesario reconstruir todos los procesos a la vez. Empiece por elegir un flujo de trabajo donde la IA ya esté transformando el trabajo: atención al cliente, propuestas de venta, redacción de políticas, entrega de software o informes financieros. Luego, siga cuatro pasos.

Mapea el trabajo en la frontera de la IA. Divide el flujo de trabajo en tipos de tareas: rutinarias, que requieren un juicio profundo, de alto riesgo y que implican relaciones complejas. Identifica dónde aparece la frontera irregular: tareas donde la salida de la IA parece plausible, pero con frecuencia es errónea. Este es el requisito previo para todo lo demás.

Rediseña las métricas antes de rediseñar el formulario de calificación. Reemplaza el volumen de resultados con un pequeño conjunto de indicadores clave: controles de trazabilidad superados, calidad de la escalada, reducción de retrabajos, evolución de la experiencia del cliente y capacitación del equipo.

Separe las conversaciones sobre desarrollo de las decisiones sobre compensación. Si utiliza la misma señal generada por IA para capacitar y para pagar, los empleados la percibirán como vigilancia. Cuando los empleados comprenden qué datos se utilizan, en qué decisiones se basan y cómo pueden cuestionarlos, la evaluación se convierte en una forma de capacitación. Sin esa transparencia, incluso las métricas bien diseñadas se percibirán como vigilancia.

Cree una rendición de cuentas explícita para la IA en el flujo de trabajo. Cuando la IA se integra en un flujo de trabajo, las organizaciones deben responder tres preguntas de antemano:

• ¿Pudo el empleado detectar este error de IA, teniendo en cuenta la información y el tiempo disponibles?
• ¿El diseño del sistema les proporcionó los incentivos y las herramientas necesarias para verificar la información?
• ¿El fallo de la IA se produjo dentro de los límites de sus capacidades conocidas, o se desplegó en una tarea para la que nunca fue diseñada?

Estas tres cuestiones —controlabilidad, diseño del sistema y gobernanza— determinan dónde debe recaer la responsabilidad. Sin esa claridad, la expresión «intervención humana» se convierte en una frase que significa que nadie es responsable. Asigne un responsable para la herramienta o agente (a menudo un propietario de producto, un líder de operaciones o el Director de Datos, Análisis e IA ) que sea responsable de su rendimiento, sus medidas de seguridad y sus actualizaciones. Publique el cuadro de mando del agente descrito en la segunda capa anterior. Ese responsable debe actualizarlo cada vez que cambie el alcance autorizado del agente. Cuando algo salga mal (y saldrá mal), necesitará una respuesta clara sobre «quién fue responsable del comportamiento de este sistema», no solo «quién entregó el producto».

El éxito de la IA requiere valor humano.

Las organizaciones se enfrentan a la paradoja de medir el rendimiento de una manera que premia la rapidez en la obtención de resultados, pero que no detecta las suposiciones erróneas, no recompensa al humano que las habría detectado ni exige responsabilidad a la IA. Las organizaciones que triunfarán serán aquellas que rediseñen la gestión del rendimiento para visibilizar lo invisible: la evaluación de límites, la calidad de la colaboración entre humanos e IA y los resultados responsables. Si se espera a que los agentes de IA estén profundamente integrados en los flujos de trabajo, se estará intentando restablecer la responsabilidad cuando el edificio ya está ocupado.

Empiece ahora. Rediseñe un flujo de trabajo, implemente tres niveles de medición y responda a las preguntas sobre responsabilidad antes de que el primer incidente le obligue a hacerlo.

Lea más sobre la gestión del desempeño de los empleados o temas relacionados como IA y aprendizaje automático , análisis y ciencia de datos , y tecnología y análisis.

Randy Bean es asesor sénior, miembro de la junta directiva, orador principal y moderador, autor colaborador y ex fundador y director ejecutivo. Ha participado, observado, documentado y liderado en el campo de los datos y la IA durante más de cuatro décadas. Es autor de « Fail Fast, Learn Faster: Lessons in Data-Driven Leadership in an Age of Disruption, Big Data, and AI» (Fracasa rápido, aprende más rápido: Lecciones de liderazgo basado en datos en la era de la disrupción, el big data y la IA).

Erik Strauss es profesor de control de gestión en la ESCP Business School de Berlín, donde investiga el impacto de la IA en la toma de decisiones empresariales. También es codirector ejecutivo de StraussMindTech, una consultora especializada en el aspecto humano de la implementación de la IA.

Randeep Singh es candidato a doctorado en Control de Gestión en la ESCP Business School de Berlín, donde su investigación se centra en la medición del desempeño humano en la era de la IA. Anteriormente, trabajó como analista de consultoría de gestión en Deloitte y ocupó cargos de estrategia corporativa en Daimler Truck y Deutsche Telekom.