Doxa 1401

Cómo usar la correlación para hacer predicciones.

Por Michael Luca y Dean Karlan

Toma de decisiones y resolución de problemas

Harvard Business Review

#doxa #correlación #problemas #decisiones #solución #líderes #empírico #datos #predicción #causalidad

Resumen. Con demasiada frecuencia, los líderes malinterpretan los patrones empíricos y pierden oportunidades para participar en el pensamiento basado en datos. Para aprovechar mejor los datos, los líderes deben comprender los tipos de problemas que los datos pueden ayudar a resolver, así como la diferencia entre los problemas que se pueden resolver con una mejor predicción y los que se pueden resolver con una mejor comprensión de la causalidad.

Demasiados líderes adoptan un enfoque incompleto para comprender los patrones empíricos, lo que lleva a costosos errores y malas interpretaciones. Como hemos discutido antes, un error extremadamente común es interpretar una correlación engañosa como causal. Hemos asesorado a innumerables organizaciones sobre el tema. Hemos escrito trabajos de investigación, artículos de gestión e incluso un libro dedicado al poder de los experimentos y las herramientas de inferencia causal, un conjunto de herramientas que los economistas han adoptado y adaptado en las últimas décadas. Sin embargo, aunque creemos firmemente en el conjunto de herramientas de inferencia causal, también hemos visto el problema inverso: líderes que pasan por alto patrones útiles porque no son causales. La verdad es que también hay momentos en que una correlación no solo es suficiente, sino que esexactamente lo que se necesita. El error que cometen los líderes aquí es no entender la distinción entre predicción y causalidad. O, más específicamente, la distinción entre predecir un resultado y predecir cómo una decisión afectará un resultado.

Considere a un gerente que está luchando con la siguiente pregunta: ¿Debo subsidiar títulos universitarios para mis empleados? Podría comenzar examinando la relación entre los títulos universitarios y la productividad. Sin embargo, incluso si ve una asociación positiva entre los títulos universitarios y la productividad, es difícil saber, sin más análisis, si esta relación es causal. Después de todo, es probable que existan otras diferencias subyacentes entre las personas con y sin títulos. Y ofrecer subsidios de educación a los empleados sin título no los hará idénticos a los otros empleados que ya tienen un título. Ella necesitaría un experimento, o un experimento natural, para comprender mejor si esta relación es causal.

Ahora, suponga que el mismo gerente estaba lidiando con una pregunta ligeramente diferente: ¿Debería contratar a más graduados universitarios? Podría volver a observar la correlación entre los títulos universitarios y la productividad para considerar si contrataría a trabajadores más productivos ajustando la contratación para dar más peso a un título. En este caso, la correlación es útil, ya que ayuda a predecir quién será productivo, incluso si no dice nada sobre si el título está generando productividad.

Existe una diferencia sutil pero crítica entre estas dos preguntas. “¿Debería contratar a más graduados universitarios?” es un problema de predicción. “¿Debo subsidiar títulos universitarios para mis empleados?” es un problema de inferencia causal. En el primero, está tratando de evaluar si los títulos universitarios predicen la productividad. En otras palabras, ¿los tipos de personas que obtienen títulos universitarios son buenos empleados? En este último, está tratando de determinar si los títulos universitarios generan una mayor productividad.

Esta distinción es fundamental para los responsables de la toma de decisiones: al considerar la contratación de empleados con un título universitario, el gerente necesita herramientas predictivas, que pueden variar desde correlaciones básicas hasta algoritmos de aprendizaje automático más avanzados. Es posible que no necesite saber si los títulos tienen un efecto causal (o si, en cambio, el tipo de personas que obtienen títulos universitarios también son empleados productivos). Sin embargo, al considerar subsidiar títulos universitarios para sus empleados, su pregunta central debería ser comprender si es la educación universitaria real lo que causa una mayor productividad. Para determinar con éxito si los títulos ayudarán a mejorar el desempeño actual de los empleados, necesita las herramientas de inferencia causal, como experimentos o experimentos naturales, que se enfocan en comprender el impacto causal de hacer un cambio.

Aquí proporcionamos ejemplos de problemas comunes de predicción e inferencia causal. Destacamos las distinciones clave entre los dos tipos de problemas y señalamos las diferentes herramientas que los líderes necesitan para enfrentar cada uno.

Problemas comunes de inferencia causal

Los gerentes enfrentan regularmente decisiones que implican pensar en el impacto causal de diferentes opciones. ¿La contratación de consultores mejorará la productividad de nuestra empresa? ¿Los salarios más altos reducirán la rotación? ¿La publicidad en las redes sociales atraerá nuevos clientes?

Todas estas preguntas han sido respondidas utilizando los métodos de inferencia causal de las ciencias sociales. Por ejemplo, las economistas Emma Harrington y Natalia Emanuel, junto con una gran empresa de tecnología, examinaron los salarios en los centros de llamadas y almacenes de la empresa. En 2019, la empresa aumentó el salario de los trabajadores del almacén de $16 a $18 la hora. Al observar el momento del aumento salarial, los investigadores pudieron ver el efecto de salarios más altos en la productividad utilizando un enfoque de diferencias en diferencias. Descubrieron que los aumentos no solo aumentaron la productividad, sino que también un aumento de $ 1 redujo las posibilidades de que un empleado renunciara en un 19%. Resulta que fue rentable aumentar los salarios, ya que los salarios aumentan más de lo que se pagaron por sí mismos a través del aumento de la productividad y la disminución de la rotación.

Como segundo ejemplo, considere un análisis recientepor Brett Gordon, Florian Zettelmeyer, Neha Bhargava y Dan Chapsky, que analiza las campañas publicitarias realizadas en Facebook. Al observar 15 campañas publicitarias en EE. UU. que constan de aproximadamente 1600 millones de impresiones publicitarias, los investigadores comparan las estimaciones del impacto de los anuncios en Facebook a partir de experimentos con las estimaciones de correlaciones no experimentales. El equipo descubrió que las correlaciones no experimentales entre los anuncios y las intenciones de compra eran engañosas, ya que los anuncios están dirigidos y tienden a mostrarse a los usuarios que ya están dispuestos a comprar un producto. Por ejemplo, los anuncios de detergente para ropa se mostrarán a las personas que ya están dispuestas a comprar detergente para ropa, incluso en ausencia del anuncio. Luego, los autores investigaron diferentes enfoques no experimentales para controlar las características de los usuarios y descubrieron que la correlación seguía siendo engañosa a pesar de los controles. Incluso los controles estadísticos más avanzados no eliminaron este problema de "sesgo de selección". Esto se debe a que el sesgo de selección es especialmente grave en el contexto de los anuncios en línea, donde los anuncios están muy orientados y los efectos tienden a ser pequeños por impresión, lo que significa que incluso pequeñas cantidades de sesgo pueden generar estimaciones generales muy engañosas. En ese contexto, los experimentos pueden ser una forma poderosa de superar el sesgo de selección e identificar el impacto causal de los anuncios. Incluso los controles estadísticos más avanzados no eliminaron este problema de "sesgo de selección". Esto se debe a que el sesgo de selección es especialmente grave en el contexto de los anuncios en línea, donde los anuncios están muy orientados y los efectos tienden a ser pequeños por impresión, lo que significa que incluso pequeñas cantidades de sesgo pueden generar estimaciones generales muy engañosas. En ese contexto, los experimentos pueden ser una forma poderosa de superar el sesgo de selección e identificar el impacto causal de los anuncios. Incluso los controles estadísticos más avanzados no eliminaron este problema de "sesgo de selección". Esto se debe a que el sesgo de selección es especialmente grave en el contexto de los anuncios en línea, donde los anuncios están muy orientados y los efectos tienden a ser pequeños por impresión, lo que significa que incluso pequeñas cantidades de sesgo pueden generar estimaciones generales muy engañosas. En ese contexto, los experimentos pueden ser una forma poderosa de superar el sesgo de selección e identificar el impacto causal de los anuncios.

Un tercer ejemplo proviene del mundo de los productos financieros, donde uno de nosotros (Dean), con sus colegas Jeremy Burke, Julian Jamison, Kata Mihaly y Jonathan Zinman, realizaron un estudio con una cooperativa de ahorro y crédito en St. Louis. Examinó un popular producto de préstamo de "construcción de crédito" diseñado para ayudar a aquellos que querían establecer un historial de crédito a hacerlo. De hecho, si solo buscara una correlación, encontraría que las personas que se beneficiaron del producto diseñado para generar puntajes de crédito continuaron construyendo puntajes de crédito: ¡éxito! Pero debido a que la cooperativa de ahorro y crédito había aleatorio las ofertas, encontraron muchas personas similares a esos clientes exitosos a los que no se les había ofrecido ese producto que también desarrollaron buenos puntajes de crédito por su cuenta. Una vez más, tenemos el problema de la correlación de títulos universitarios: las personas que son el tipo de personas que lo quieren, tienden a ser del tipo que tiene éxito. No fue el producto el que lo hizo, pero la correlación podría hacerle pensar que lo fue.

Estos son solo tres de muchos ejemplos de cómo el conjunto de herramientas de inferencia causal puede responder preguntas críticas en áreas que van desde operaciones hasta estrategia y marketing.

Problemas comunes de predicción

Si sus empleados o clientes son un grupo de autoselección, ¿eso significa que no tiene suerte? No, descubrir que un producto de mejora crediticia parece no conducir a un aumento en los puntajes, podría interpretarse como una falla del producto, pero no es una falla de la información. Recuerde que la decisión de un usuario de usar el producto resultó ser bastante predictiva de si su puntaje mejoraría. Si usted es el banco, esa es información que puede usar. Por ejemplo, es posible que desee utilizar información similar para evaluar los riesgos crediticios. Los bancos pueden estar más dispuestos a otorgar crédito a las personas con puntajes crediticios bajos que eligen usar un producto de mejora crediticia en comparación con las personas que no usan el producto. La razón es simple: el uso del producto predice el comportamiento futuro, aunque no esté causando el comportamiento.

Los gerentes de todas las industrias enfrentan regularmente decisiones que implican hacer predicciones.

El aprendizaje automático y la inteligencia artificial son extremadamente valiosos en estos contextos. Nuestra propia investigación ha documentado el potencial de los algoritmos para conducir a procesos de contratación y promoción más eficientes en áreas que van desde maestros hasta oficiales de policía. Un trabajo reciente ha explorado más a fondo estas ideas y ha descubierto que los algoritmos tienen el potencial de aumentar tanto la eficiencia como la equidad en la contratación. Por ejemplo, considere un artículo reciente de los economistas Danielle Li, Lindsey Raymond y Peter Bergman, que examina el valor de usar un algoritmo para evaluar los currículums, con datosen aproximadamente 90 000 solicitudes de empleo para una empresa de Fortune 500 entre 2016 y 2019. Al comparar varios algoritmos con tomadores de decisiones humanos, los investigadores encontraron que los algoritmos ayudaron a identificar mejores candidatos en la selección que las personas, lo que llevó a una mayor probabilidad de que los candidatos fueran contratado. Además, cuando se diseñaron cuidadosamente, los algoritmos condujeron tanto a candidatos de mayor calidad como a candidatos demográficamente más diversos. Pero, para llegar allí, la organización necesitaba darse cuenta de que hay un elemento de predicción en la contratación y necesitaba tener claro cuáles eran sus objetivos de contratación.

Como tercer ejemplo, suponga que fuera a ver una correlación entre las cocinas más populares de un año determinado en Boston y las cocinas más populares del año anterior en Nueva York. Incluso si el vínculo no es causal, la correlación es valiosa. Por ejemplo, puede ser útil para los restaurantes que buscan innovar en sus menús. Uno de nosotros (Mike) ha visto surgir este tipo de preguntas en su trabajo con Yelp, donde es posible observar conjuntos de datos a gran escala para responder a este tipo de preguntas. Este trabajo ha ayudado a descubrir formas en que los datos de las empresas tecnológicas pueden arrojar luz sobre la evolución de la actividad económica. Por ejemplo, los datos de Yelp pueden ayudar a proporcionar información sobre las formas en que la gentrificación afecta a los diferentes tipos de empresas. También puede ayudar a predecir cambios.en la actividad económica. En términos más generales, los datos de las empresas de tecnología han sido una nueva fuente importante de información, y ahora se han utilizado ampliamente para la inferencia causal y los problemas de predicción.

Elegir la maquinaria adecuada

“Nos estamos ahogando en información pero hambrientos de sabiduría”. Esta cita, del biólogo EO Wilson, captura la esencia del ecosistema empresarial moderno. El mundo está inundado de datos. Y los avances en el análisis de datos en las últimas décadas tienen el potencial de mejorar las decisiones gerenciales en prácticamente todos los sectores y para una amplia gama de problemas. Una gran cantidad de literatura económica y estadística ha explorado las formas en que la inteligencia artificial ha reducido el costo de hacer predicciones, en entornos que van desde la contratación hasta la inversión y los automóviles sin conductor. Paralelamente, el desarrollo de herramientas de inferencia causal ha sido reconocido en los premios Nobel de Economía de 2019 y 2021. Ambos son importantes para las decisiones comerciales.

Sin embargo, los líderes con demasiada frecuencia malinterpretan los patrones empíricos y pierden oportunidades para participar en el pensamiento basado en datos. Para aprovechar mejor los datos, los líderes deben comprender los tipos de problemas que los datos pueden ayudar a resolver, así como la diferencia entre los problemas que se pueden resolver con una predicción mejorada y los que se pueden resolver con una mejor comprensión de la causalidad.

Michael Luca es profesor asociado de administración de empresas Lee J. Styslinger III en la Escuela de Negocios de Harvard y coautor (con Max H. Bazerman) de The Power of Experiments: Decision Making in a Data-Driven World (de próxima publicación en MIT Press).

 no sé

Dean Karlan es profesor en la Escuela de Administración Kellogg de Northwestern y fundador de Innovations for Poverty Action.