Doxa 2591

No permitas que la IA empeore los malos análisis

Las empresas necesitan disciplina para evitar que los análisis erróneos se generalicen

Por Steven Tadelis

Inteligencia Artificial y Aprendizaje Automático

Harvard Business Review

#Doxa #InteligenciaArtificial #AnálisisErróneos #DisciplinaEmpresarial #GobernanzaDeDatos #TomaDeDecisiones #CalidadDeDatos #SesgoCognitivo #ValidaciónDeModelos #RiesgoEmpresarial #PensamientoCrítico

Resumen. La IA está haciendo que el análisis de datos sea más rápido y accesible, pero también puede amplificar el razonamiento erróneo al generar más respuestas a preguntas equivocadas. Las organizaciones pueden evitar esta trampa desarrollando una «disciplina en la toma de decisiones»: comenzando por la decisión. Deben distinguir entre preguntas descriptivas, predictivas y causales, explicitar las suposiciones, gestionar las métricas de forma coherente, validar los análisis de alto riesgo y priorizar la búsqueda de la verdad sobre la confirmación. Las empresas que utilicen la IA para mejorar la calidad de las decisiones —y no solo la velocidad del análisis— estarán mejor posicionadas para transformar la gran cantidad de datos en juicios sólidos.

La mayoría de las empresas están desarrollando análisis de IA como un problema de acceso: ¿Cómo permitimos que más personas hagan más preguntas sobre más datos? Pero ese no es el punto de partida adecuado. La pregunta correcta es: ¿Cómo ayudamos a las personas a tomar mejores decisiones con las respuestas que reciben?

Soy economista y he dedicado tres décadas a estudiar cómo las organizaciones utilizan los datos para tomar decisiones: como profesor en la Universidad de California en Berkeley, en puestos de alta dirección en eBay y Amazon, y como consultor para empresas de diversos sectores. En el transcurso de este trabajo, he identificado una forma importante de responder a esa pregunta. La clave está en distinguir entre el análisis de autoservicio y el análisis de servicios de decisión. El análisis de autoservicio parte de la pregunta del usuario: ¿Qué quieres saber? El análisis de servicios de decisión empieza un paso antes: ¿Qué decisión intentas mejorar?

Esa diferencia importa. Si un gerente pregunta: "¿Qué campaña tuvo la tasa de conversión más alta?", la IA puede responder rápidamente. Pero si la decisión real es cómo asignar el presupuesto de marketing del próximo trimestre, la pregunta más pertinente podría ser: "¿Qué campaña generó la mayor ganancia incremental entre los clientes que de otro modo no habrían comprado?". Esto podría requerir experimentación, grupos de control o un diseño de medición completamente diferente.

La IA puede ser extremadamente útil en este modelo. Puede reducir el trabajo repetitivo, ayudar a los gerentes a explorar datos, detectar anomalías, generar hipótesis, escribir código, documentar flujos de trabajo y comunicar hallazgos. También puede liberar a los equipos de datos para que dediquen menos tiempo a responder preguntas repetitivas y más tiempo al modelado causal, la previsión, la experimentación y el análisis estratégico.

Pero esas ventajas no llegarán automáticamente. Muchas empresas utilizarán la analítica de IA para mejorar la eficiencia (consultas más automatizadas, tiempos de respuesta más rápidos, menos cuellos de botella); las mejores empresas la utilizarán para aumentar la fiabilidad (capas semánticas, documentación, procedencia de los datos, flujos de trabajo de validación, revisión por expertos); y las mejores empresas la utilizarán para mejorar la calidad de las decisiones (rediseñando la analítica en torno a las decisiones más importantes).

Ajay Agrawal, Joshua Gans y Avi Goldfarb han argumentado que las herramientas cognitivas, como las computadoras y la IA, a menudo sustituyen la habilidad de implementación —la capacidad de ejecutar una tarea— al tiempo que aumentan el valor del juicio. Es cierto. Pero en el análisis de datos, la pregunta clave para la gestión es más específica: ¿Qué rutinas organizacionales transforman el juicio en evidencia útil para la toma de decisiones?

Integrar la disciplina en la toma de decisiones en el análisis de IA

El análisis mediante IA no debe considerarse un complemento para generar más respuestas. Debe integrarse en un modelo operativo para el análisis de datos de alta calidad: las prácticas que determinan qué preguntas vale la pena formular, qué respuestas son fiables y qué decisiones deben tomarse.

Ese modelo operativo consta de seis partes, que detallaré a continuación. Tenga en cuenta que este modelo exige la participación no solo del equipo de datos, sino también de los líderes (quienes deben responsabilizarse de las decisiones), los equipos de análisis (quienes deben responsabilizarse de la disciplina de medición) y los altos ejecutivos (quienes deben responsabilizarse de los incentivos que determinan si se acepta o se ignora la evidencia inconveniente).

1. Empieza por la decisión. Antes de pedirle a la IA que analice los datos, los líderes deberían preguntarse: ¿Qué decisión se pretende mejorar con este análisis? ¿Qué medidas podríamos tomar? ¿Qué evidencia nos haría cambiar de opinión?

El proceso de Amazon de trabajar a la inversa ofrece una analogía útil. Antes de desarrollar un producto, los equipos suelen redactar un comunicado de prensa y una sección de preguntas frecuentes ficticios, partiendo del problema del cliente y el resultado deseado. La clave no reside en que esto responda a la pregunta analítica, sino en que obliga al equipo a clarificar la decisión antes de debatir la evidencia. El análisis de datos mediante IA requiere una disciplina similar: antes de solicitar al sistema que analice los datos, los responsables deben especificar la decisión que el análisis pretende mejorar.

Sin esa disciplina, el análisis se convierte en un ejercicio de producir datos interesantes, o peor aún, en un razonamiento motivado con mejores gráficos. Un panel de control puede mostrar que un segmento de clientes tiene mayor retención que otro, pero este dato no les indica a los líderes qué hacer. El análisis relevante depende de la decisión: si cambiar los precios, ajustar la incorporación de clientes, modificar las características del producto o reorientar el presupuesto de marketing. Cada elección requiere una comparación diferente, un estándar de evidencia distinto y, a menudo, una pregunta causal diferente. Un enfoque centrado en la decisión impone una disciplina sencilla: antes de preguntar qué dicen los datos, hay que especificar qué decisión se supone que la evidencia debe mejorar.

2. Etiqueta la pregunta. Muchos fallos en el análisis de datos comienzan porque la gente no sabe qué tipo de pregunta está formulando. Una pregunta descriptiva pregunta qué sucedió; una pregunta predictiva pregunta qué es probable que suceda; y una pregunta causal pregunta qué sucederá si intervenimos.

Los sistemas de IA pueden difuminar estas distinciones. Un usuario pregunta si una promoción "funcionó", y el sistema informa que los clientes que la recibieron compraron más. Se trata de una comparación descriptiva, no de una relación causal. Un modelo predice qué clientes tienen más probabilidades de regresar, y un gerente concluye que ofrecerles un incentivo los hará volver. Esto es una predicción, no una evidencia de incremento.

He presenciado esta confusión en muchas organizaciones. Un equipo crea un modelo para predecir qué clientes tienen más probabilidades de darse de baja, y los gerentes lo interpretan como la respuesta a quién se le debe ofrecer una oferta de retención. Pero son preguntas distintas. "¿Quién está en riesgo?" es una pregunta predictiva. "¿Cambiará el comportamiento de quién si intervenimos?" es una pregunta causal.

Los resultados analíticos importantes deben indicar explícitamente la pregunta: ¿Este análisis describe un patrón, predice un resultado o estima el efecto de una acción? La respuesta determina el estándar de evidencia.

3. Exponer las suposiciones y los contrafactuales. Los buenos analistas no se limitan a generar cifras. Ponen de manifiesto las suposiciones. ¿Qué clientes se incluyeron? ¿Cómo se definió la métrica? ¿Se dirigió la campaña a un público específico? ¿Actuaron los competidores simultáneamente? ¿El análisis se basa en una correlación, un experimento o un diseño cuasiexperimental? ¿Qué habría ocurrido de otro modo?

El análisis mediante IA debería hacer visibles estas suposiciones por defecto. Cada respuesta importante debería incluir una breve explicación de «motivos para confiar en esto» y «motivos para ser cauteloso». Un sistema útil no solo debería responder a «¿Qué has encontrado?», sino también a «¿Qué podría invalidar esta conclusión?».

Contribuí a que esto sucediera en eBay. Las métricas estándar de búsqueda de pago sugerían que la publicidad con palabras clave de marca era muy efectiva. Pero la pregunta crucial era si esos clientes habrían llegado a eBay de todos modos. Tras analizar esta cuestión con experimentos y grupos de control, la conclusión cambió: gran parte del valor aparente no era incremental. A partir de entonces, eBay convirtió las pruebas contrafactuales en un elemento mucho más central de su evaluación del gasto en marketing.

4. Gestionar las métricas. Muchos errores en los análisis de IA surgirán no porque el modelo sea débil, sino porque el entorno de datos es ambiguo.

Los ingresos, por ejemplo, pueden definirse de forma diferente según el departamento de finanzas o el de producto. La tasa de abandono puede depender de si los clientes inactivos se contabilizan después de 30, 60 o 90 días. Un «usuario activo» puede significar que haya iniciado sesión, realizado una transacción, abierto la aplicación o utilizado una función principal. Un modelo no puede resolver estos conflictos por sí solo.

Airbnb se enfrentó a este problema durante su expansión. Los distintos equipos daban respuestas diferentes a preguntas básicas del negocio porque utilizaban tablas, definiciones de métricas y lógicas de negocio diferentes. La respuesta de la empresa fue crear Minerva, una plataforma de métricas diseñada para proporcionar una fuente única de información fidedigna para análisis, informes y experimentación. La lección para el análisis de IA es clara: antes de democratizar las respuestas, las empresas deben definir qué significan esas respuestas.

Las empresas necesitan tener una clara responsabilidad sobre las métricas importantes: definiciones canónicas, conjuntos de datos aprobados, documentación, limitaciones conocidas y cambios a lo largo del tiempo. El análisis de autoservicio no reduce la necesidad de gobernanza, sino que la incrementa.

5. Validar afirmaciones causales y de gran trascendencia. No todas las respuestas requieren un comité, pero algunas sí. Las organizaciones deben identificar con anticipación los análisis de alto riesgo: asignaciones presupuestarias importantes, cambios de precios, decisiones sobre compensaciones, reclamaciones regulatorias, comunicaciones con los inversores, grandes campañas, decisiones de personal y cambios estratégicos.

Las instituciones financieras ofrecen una analogía útil. En la banca, los marcos de gestión de riesgos de modelos suelen utilizar la priorización basada en riesgos: los modelos con mayor complejidad o relevancia reciben una validación más exhaustiva y frecuente. Las empresas que utilizan análisis de IA necesitan un sistema de clasificación similar. Las cuestiones de bajo riesgo pueden resolverse rápidamente, pero las cuestiones de gran importancia —relacionadas con presupuestos, precios, personal, trámites regulatorios o cambios estratégicos— deben revisarse antes de que influyan en decisiones importantes.

Para reclamaciones de gran trascendencia, los análisis generados por IA deben ser revisados ​​por personas con criterio estadístico, institucional y empresarial pertinente. La validación no debe consistir en comprobar los cálculos una vez que la conclusión ya se ha vinculado a una decisión. Debe significar preguntarse si el análisis responde a la pregunta correcta, utiliza la comparación adecuada, explicita sus supuestos, pone a prueba alternativas plausibles y refleja el coste del error.

Esto es especialmente importante para las afirmaciones causales. Cuando sea factible, los líderes deben solicitar experimentos. Cuando no lo sea, deben preguntarse qué supuestos son necesarios para sustentar una conclusión causal. Antes de actuar, deben preguntarse qué evidencia los haría cambiar de opinión.

6. Recompense la búsqueda de la verdad, no la persuasión. La mayor barrera para mejorar el análisis de datos a menudo no es técnica, sino organizativa.

Si se recompensa a los equipos por demostrar que sus iniciativas funcionaron, encontrarán pruebas de ello. Si los líderes castigan las malas noticias, los analistas aprenderán a suavizarlas. Si se utilizan paneles de control para justificar decisiones ya tomadas, la IA se convertirá en otro instrumento de persuasión interna.

Los líderes deben crear incentivos para una medición honesta. Esto implica celebrar las evidencias que refutan las hipótesis, financiar pruebas de validación, separar la medición de la responsabilidad de la campaña cuando sea necesario y pedir a los equipos que definan el éxito antes de que se conozcan los resultados.

El mensaje cultural debe ser claro: no realizamos análisis para ganar discusiones, sino para tomar mejores decisiones.

“Ten carácter; discrepa y comprométete”, uno de los principios de liderazgo de Amazon, refleja esta disciplina cultural. Requiere que los líderes cuestionen las decisiones con respeto cuando no estén de acuerdo, incluso cuando resulte incómodo, y que defiendan sus ideas basándose en datos en lugar de opiniones. En mi experiencia en la empresa, no solo se permitía a los empleados cuestionar la interpretación de la evidencia por parte de un líder, sino que se esperaba que lo hicieran. Esta norma es importante para el análisis de IA, porque el peligro no reside solo en que los sistemas produzcan respuestas erróneas, sino también en que las organizaciones recompensen las respuestas que faciliten la defensa de los planes existentes.

...

La expresión «basado en datos» siempre ha sido un tanto engañosa. Los datos no impulsan las decisiones; las personas sí. Los datos pueden disciplinar el juicio, desafiar la intuición y revelar patrones que de otro modo pasaríamos por alto. Pero también pueden inducir a error cuando las organizaciones confunden la medición con la comprensión.

La IA proporcionará a los líderes más respuestas que nunca. Algunas serán valiosas. Otras serán erróneas. Algunas serán técnicamente correctas, pero inútiles para la decisión en cuestión. Otras serán seductoras porque confirman lo que las personas poderosas ya creen.

La IA transformará el análisis de datos al generar respuestas abundantes. Sin embargo, las respuestas no son lo mismo que la evidencia, y la evidencia no es lo mismo que una mejor decisión. Por lo tanto, la tarea de la gerencia no consiste en ralentizar la IA en todos los ámbitos, sino en añadir fricción donde el costo de equivocarse es alto, al tiempo que se permite que los análisis de bajo riesgo avancen con mayor rapidez. Antes de actuar en función de una respuesta generada por IA, los líderes deben preguntarse: ¿Qué decisión modificará este análisis? ¿Qué comparación estamos realizando? ¿Qué habría sucedido de otra manera? ¿Qué nos convencería de que estamos equivocados? Las empresas que triunfen no serán las que formulen más preguntas, sino las que sepan qué respuestas son lo suficientemente buenas como para actuar en consecuencia.

Lea más sobre IA y aprendizaje automático o temas relacionados: IA generativa, análisis y ciencia de datos, gestión de datos, gestión de procesos, toma de decisiones organizativas y transformación digital.

Steven Tadelis es profesor de economía y negocios en la Haas School of Business de la Universidad de California, Berkeley, donde ocupa la Cátedra Sarin de Estrategia y Liderazgo. Anteriormente, fue vicepresidente de economía y diseño de mercado en Amazon y director sénior de investigación en eBay. Su investigación se centra en la economía de los mercados digitales, la organización industrial y la toma de decisiones empresariales.