Si dice que algo es "probable", ¿qué tan probable es que la gente piense que lo es?
Por Andrew Mauboussin y Michael J. Mauboussin
Harvard Business Review
Comunicación
La gente usa palabras imprecisas para describir la posibilidad de eventos todo el tiempo: "Es probable que llueva" o "Hay una posibilidad real de que se presenten antes que nosotros" o "Es dudoso que las enfermeras ataquen". No solo son tan probabilísticas. términos subjetivos, pero también pueden tener interpretaciones muy diferentes. Una persona es "bastante probable" es otra "lejos de estar segura". Nuestra investigación muestra cuán amplias pueden ser estas brechas en la comprensión y los tipos de problemas que pueden derivarse de estas diferencias en la interpretación.
En un famoso ejemplo (al menos, es famoso si te gusta este tipo de cosas), en marzo de 1951, la Oficina de Estimaciones Nacionales de la CIA publicó un documento que sugería que un ataque soviético contra Yugoslavia en el año era una "posibilidad seria". "Sherman Kent, un profesor de historia en Yale que fue llamado a Washington, DC para co-dirigir la Oficina de Estimaciones Nacionales, estaba desconcertado acerca de qué, exactamente, significaba" posibilidad seria ". Lo interpretó como que significaba que la probabilidad de ataque era de alrededor del 65%. Pero cuando preguntó a los miembros del Consejo de Estimaciones Nacionales qué pensaban, escuchó cifras del 20% al 80%. Un rango tan amplio era claramente un problema, ya que las implicaciones políticas de esos extremos eran marcadamente diferentes. Kent reconoció que la solución era usar números, señalando con tristeza: "No usamos números ... y parecía que estábamos utilizando mal las palabras".
No ha cambiado mucho desde entonces. Hoy las personas en el mundo de los negocios, la inversión y la política continúan usando palabras imprecisas para describir los posibles resultados. ¿Por qué? Phil Tetlock, profesor de psicología en la Universidad de Pensilvania, que ha estudiado el pronóstico en profundidad, sugiere que "la verborrea vaga le da seguridad política".
Cuando usas una palabra para describir la probabilidad de un resultado probabilístico, tienes mucho margen de maniobra para que te veas bien después de los hechos. Si ocurre un evento predicho, uno puede declarar: "Te dije que probablemente sucedería". Si no sucede, la alternativa podría ser: "Solo dije que probablemente sucedería". Estas palabras ambiguas no solo permiten al hablante para evitar ser inmovilizado pero también permitir que el receptor interprete el mensaje de una manera consistente con sus nociones preconcebidas. Obviamente, el resultado es una mala comunicación.
Para tratar de abordar este tipo de comunicaciones confusas, Kent mapeó la relación entre las palabras y las probabilidades. En la versión más conocida, mostró frases que incluían palabras o frases probabilísticas para unas dos docenas de oficiales militares de la Organización del Tratado del Atlántico Norte y les pidió que tradujeran las palabras en números. Estas personas estaban acostumbradas a leer informes de inteligencia. Los oficiales llegaron a un consenso para algunas palabras, pero sus interpretaciones estaban por todos lados para otros. Otros investigadores ya han tenido resultados similares.
Creamos una nueva encuesta con un par de objetivos en mente. Uno fue para aumentar el tamaño de la muestra, incluidas las personas fuera de la inteligencia y las comunidades científicas. Otra era ver si podíamos detectar cualquier diferencia por edad o género o entre aquellos que aprendieron inglés como lengua primaria o secundaria.
Aquí están las tres lecciones principales de nuestro análisis.
Harvard Business Review
Comunicación
La gente usa palabras imprecisas para describir la posibilidad de eventos todo el tiempo: "Es probable que llueva" o "Hay una posibilidad real de que se presenten antes que nosotros" o "Es dudoso que las enfermeras ataquen". No solo son tan probabilísticas. términos subjetivos, pero también pueden tener interpretaciones muy diferentes. Una persona es "bastante probable" es otra "lejos de estar segura". Nuestra investigación muestra cuán amplias pueden ser estas brechas en la comprensión y los tipos de problemas que pueden derivarse de estas diferencias en la interpretación.
En un famoso ejemplo (al menos, es famoso si te gusta este tipo de cosas), en marzo de 1951, la Oficina de Estimaciones Nacionales de la CIA publicó un documento que sugería que un ataque soviético contra Yugoslavia en el año era una "posibilidad seria". "Sherman Kent, un profesor de historia en Yale que fue llamado a Washington, DC para co-dirigir la Oficina de Estimaciones Nacionales, estaba desconcertado acerca de qué, exactamente, significaba" posibilidad seria ". Lo interpretó como que significaba que la probabilidad de ataque era de alrededor del 65%. Pero cuando preguntó a los miembros del Consejo de Estimaciones Nacionales qué pensaban, escuchó cifras del 20% al 80%. Un rango tan amplio era claramente un problema, ya que las implicaciones políticas de esos extremos eran marcadamente diferentes. Kent reconoció que la solución era usar números, señalando con tristeza: "No usamos números ... y parecía que estábamos utilizando mal las palabras".
No ha cambiado mucho desde entonces. Hoy las personas en el mundo de los negocios, la inversión y la política continúan usando palabras imprecisas para describir los posibles resultados. ¿Por qué? Phil Tetlock, profesor de psicología en la Universidad de Pensilvania, que ha estudiado el pronóstico en profundidad, sugiere que "la verborrea vaga le da seguridad política".
Cuando usas una palabra para describir la probabilidad de un resultado probabilístico, tienes mucho margen de maniobra para que te veas bien después de los hechos. Si ocurre un evento predicho, uno puede declarar: "Te dije que probablemente sucedería". Si no sucede, la alternativa podría ser: "Solo dije que probablemente sucedería". Estas palabras ambiguas no solo permiten al hablante para evitar ser inmovilizado pero también permitir que el receptor interprete el mensaje de una manera consistente con sus nociones preconcebidas. Obviamente, el resultado es una mala comunicación.
Para tratar de abordar este tipo de comunicaciones confusas, Kent mapeó la relación entre las palabras y las probabilidades. En la versión más conocida, mostró frases que incluían palabras o frases probabilísticas para unas dos docenas de oficiales militares de la Organización del Tratado del Atlántico Norte y les pidió que tradujeran las palabras en números. Estas personas estaban acostumbradas a leer informes de inteligencia. Los oficiales llegaron a un consenso para algunas palabras, pero sus interpretaciones estaban por todos lados para otros. Otros investigadores ya han tenido resultados similares.
Creamos una nueva encuesta con un par de objetivos en mente. Uno fue para aumentar el tamaño de la muestra, incluidas las personas fuera de la inteligencia y las comunidades científicas. Otra era ver si podíamos detectar cualquier diferencia por edad o género o entre aquellos que aprendieron inglés como lengua primaria o secundaria.
Aquí están las tres lecciones principales de nuestro análisis.
Lección 1: Usa probabilidades en lugar de palabras para evitar interpretaciones erróneas.
Nuestra encuesta solicitó a los miembros del público en general que adjuntasen probabilidades a 23 palabras o frases comunes que aparecen en orden aleatorio. La exposición a continuación resume los resultados de 1,700 encuestados.
La gran variación de la probabilidad de que las personas se adhieran a ciertas palabras salta inmediatamente. Mientras que algunos se interpretan de manera bastante restringida, otros se interpretan ampliamente. La mayoría de las personas, aunque no todas, piensan que "siempre" significa "100% del tiempo", por ejemplo, pero el rango de probabilidad que más atribuyen a un evento con una "posibilidad real" de ocurrir se extiende entre 20% y 80%. En general, encontramos que la palabra "posible" y sus variaciones tienen amplios rangos e invitan a la confusión.
También descubrimos que los hombres y las mujeres ven algunas palabras probabilísticas de manera diferente. Como muestra la siguiente tabla, las mujeres tienden a colocar probabilidades más altas con palabras y frases ambiguas como "tal vez", "posiblemente" y "podría suceder". Aquí nuevamente, vemos que "posible" y sus variaciones invitan particularmente a la interpretación errónea. Este resultado es consistente con el análisis del equipo de ciencia de datos en Quora, un sitio donde los usuarios hacen y responden preguntas. Ese equipo descubrió que las mujeres usan palabras y frases inciertas con más frecuencia que los hombres, incluso cuando tienen tanta confianza.
No vimos diferencias significativas en la interpretación entre grupos de edad o entre hablantes nativos y no nativos de inglés, con una excepción: la frase "slam dunk". En promedio, los hablantes nativos de inglés interpretaron que la frase indicaba un 93% de probabilidad, mientras que los no nativos los oradores ponen la cifra en 81%. Este resultado ofrece una advertencia para evitar frases culturalmente sesgadas en general y metáforas deportivas en particular cuando intentas ser claro.
Para asuntos de importancia donde la comprensión mutua es vital, evite las palabras o frases no numéricas y pase directamente a las probabilidades.
Nuestra encuesta solicitó a los miembros del público en general que adjuntasen probabilidades a 23 palabras o frases comunes que aparecen en orden aleatorio. La exposición a continuación resume los resultados de 1,700 encuestados.
La gran variación de la probabilidad de que las personas se adhieran a ciertas palabras salta inmediatamente. Mientras que algunos se interpretan de manera bastante restringida, otros se interpretan ampliamente. La mayoría de las personas, aunque no todas, piensan que "siempre" significa "100% del tiempo", por ejemplo, pero el rango de probabilidad que más atribuyen a un evento con una "posibilidad real" de ocurrir se extiende entre 20% y 80%. En general, encontramos que la palabra "posible" y sus variaciones tienen amplios rangos e invitan a la confusión.
También descubrimos que los hombres y las mujeres ven algunas palabras probabilísticas de manera diferente. Como muestra la siguiente tabla, las mujeres tienden a colocar probabilidades más altas con palabras y frases ambiguas como "tal vez", "posiblemente" y "podría suceder". Aquí nuevamente, vemos que "posible" y sus variaciones invitan particularmente a la interpretación errónea. Este resultado es consistente con el análisis del equipo de ciencia de datos en Quora, un sitio donde los usuarios hacen y responden preguntas. Ese equipo descubrió que las mujeres usan palabras y frases inciertas con más frecuencia que los hombres, incluso cuando tienen tanta confianza.
No vimos diferencias significativas en la interpretación entre grupos de edad o entre hablantes nativos y no nativos de inglés, con una excepción: la frase "slam dunk". En promedio, los hablantes nativos de inglés interpretaron que la frase indicaba un 93% de probabilidad, mientras que los no nativos los oradores ponen la cifra en 81%. Este resultado ofrece una advertencia para evitar frases culturalmente sesgadas en general y metáforas deportivas en particular cuando intentas ser claro.
Para asuntos de importancia donde la comprensión mutua es vital, evite las palabras o frases no numéricas y pase directamente a las probabilidades.
Lección 2: Usa enfoques estructurados para establecer probabilidades.
Como se discutió, una de las razones por las que las personas usan palabras ambiguas en lugar de probabilidades precisas es para reducir el riesgo de equivocarse. Pero las personas también protegen con palabras porque no están familiarizadas con las formas estructuradas de establecer probabilidades.
Una gran cantidad de literatura muestra que tendemos a confiar demasiado en nuestros juicios. Por ejemplo, en otra encuesta les pedimos a los encuestados que respondieran 50 preguntas verdaderas o falsas (por ejemplo, "La distancia de la tierra del sol es constante a lo largo del año") y para estimar su confianza. Más de 11,000 personas participaron. Los resultados muestran que la confianza promedio en responder correctamente fue del 70%, mientras que el número promedio de preguntas respondidas correctamente fue solo del 60%. Nuestros encuestados confiaban demasiado en 10 puntos porcentuales, un hallazgo que es común en la investigación psicológica.
Los estudios de pronósticos probabilísticos en la comunidad de inteligencia contrastan. Los analistas más experimentados generalmente están bien calibrados, lo que significa que en un gran número de predicciones, sus suposiciones subjetivas sobre las probabilidades y los resultados objetivos (lo que realmente ocurre) se alinean bien. De hecho, cuando la calibración está desactivada, a menudo es el resultado de una falta de confianza.
¿Cómo se establecen las probabilidades de forma inteligente?
Cuando las probabilidades son ambiguas, a diferencia de una situación de juego simple (donde hay un 50% de posibilidades de cara o cruz), se trata de lo que los teóricos de decisión llaman probabilidades subjetivas. Estos no pretenden ser la probabilidad correcta, pero reflejan las creencias personales de un individuo sobre el resultado. Debe actualizar sus estimaciones de probabilidad subjetiva cada vez que obtenga información relevante.
Una forma de precisar su probabilidad subjetiva es comparar su estimación con una apuesta concreta. Digamos que se espera que un competidor lance una nueva oferta el próximo trimestre que amenace con interrumpir su producto más rentable. Está tratando de evaluar la probabilidad de que la introducción no suceda. La forma de enmarcar su apuesta podría ser: "Si el producto no se lanza, recibo $ 1 millón, pero si se lanza, no consigo nada".
Ahora imagine un tarro lleno de 25 canicas verdes y 75 canicas azules. Cierras los ojos y seleccionas una canica. Si es verde, recibes $ 1 millón, y si es azul, no obtienes nada. Usted sabe que tiene una probabilidad de uno en cuatro (25%) de obtener una canica verde y ganar el dinero.
Ahora, ¿en cuál preferiría apostar: la falla de lanzamiento o el sorteo de la jarra?
Si elige el tarro, eso indica que cree que la posibilidad de ganar esa apuesta (25%) es mayor que la posibilidad de ganar la apuesta fallida del producto. Por lo tanto, debe creer que la probabilidad de que el lanzamiento del producto de su competidor falle es inferior al 25%.
De esta forma, usar un punto de referencia objetivo ayuda a identificar su probabilidad subjetiva. (Para probar otros niveles de probabilidad, simplemente ajuste mentalmente la proporción de mármoles verdes y azules en el jarrón. Con 10 mármoles verdes y 90 azules, ¿todavía sacaría del jarrón en lugar de tomar la apuesta de falla del producto? Debe pensar hay menos de un 10% de posibilidades de que el producto no se lance).
Lección 3: Busque comentarios para mejorar su pronóstico.
Ya sea que estés usando términos vagos o números precisos para describir probabilidades, lo que realmente estás haciendo es pronosticar. Si afirma que hay "una posibilidad real" de que se lance el producto de su competidor, está prediciendo el futuro. En los negocios y en muchos otros campos, ser un buen pronosticador es importante y requiere práctica. Pero simplemente hacer un montón de pronósticos no es suficiente: necesitas comentarios. Asignar probabilidades proporciona esto al permitirle mantener puntaje de su desempeño.
Los escritores de opinión y los intelectuales públicos a menudo hablan sobre el futuro, pero normalmente no expresan sus convicciones con la suficiente precisión como para permitir un seguimiento preciso del desempeño. Por ejemplo, un analista podría especular, "Facebook probablemente seguirá siendo la red social dominante en los próximos años". Es difícil medir la precisión de este pronóstico porque es subjetivo y la frase probabilística sugiere un amplio rango de probabilidades. Una afirmación como "Hay un 95% de probabilidad de que Facebook tenga más de 2.500 millones de usuarios mensuales dentro de un año" es precisa y cuantificable. Además, la precisión del pronóstico del analista se puede medir directamente, proporcionando retroalimentación sobre el rendimiento.
Los mejores pronosticadores hacen muchos pronósticos precisos y realizan un seguimiento de su rendimiento con una métrica, como una puntuación de Brier. Este tipo de seguimiento del desempeño requiere predecir un resultado categórico (Facebook tendrá más de 2.5 mil millones de usuarios mensuales) durante un período de tiempo específico (dentro de un año) con una probabilidad específica (95%). Es una disciplina difícil de dominar, pero necesaria para mejorar. Y mientras mejores sean tus pronósticos, mejores serán tus decisiones. Algunos recursos en línea facilitan la tarea. El Good Judgment Open (fundado por Tetlock y otros científicos de decisión) y Metaculus brindan preguntas para practicar el pronóstico. Los mercados de predicción, incluido PredictIt, le permiten poner dinero real detrás de sus pronósticos.
La próxima vez que descubra que un acuerdo u otro resultado comercial es "improbable" o, como alternativa, "prácticamente cierto", deténgase y pregúntese: ¿qué porcentaje de probabilidad, en qué período de tiempo, presentaría este resultado? Enmarque su predicción de esa manera, y será claro para usted y para los demás en qué posición se encuentra verdaderamente.
Andrew Mauboussin es un científico de datos en Twitter en San Francisco.
Michael J. Mauboussin es director de investigación en BlueMountain Capital Management y profesor adjunto en Columbia Business School en la ciudad de Nueva York. Su último libro es The Success Equation.
Como se discutió, una de las razones por las que las personas usan palabras ambiguas en lugar de probabilidades precisas es para reducir el riesgo de equivocarse. Pero las personas también protegen con palabras porque no están familiarizadas con las formas estructuradas de establecer probabilidades.
Una gran cantidad de literatura muestra que tendemos a confiar demasiado en nuestros juicios. Por ejemplo, en otra encuesta les pedimos a los encuestados que respondieran 50 preguntas verdaderas o falsas (por ejemplo, "La distancia de la tierra del sol es constante a lo largo del año") y para estimar su confianza. Más de 11,000 personas participaron. Los resultados muestran que la confianza promedio en responder correctamente fue del 70%, mientras que el número promedio de preguntas respondidas correctamente fue solo del 60%. Nuestros encuestados confiaban demasiado en 10 puntos porcentuales, un hallazgo que es común en la investigación psicológica.
Los estudios de pronósticos probabilísticos en la comunidad de inteligencia contrastan. Los analistas más experimentados generalmente están bien calibrados, lo que significa que en un gran número de predicciones, sus suposiciones subjetivas sobre las probabilidades y los resultados objetivos (lo que realmente ocurre) se alinean bien. De hecho, cuando la calibración está desactivada, a menudo es el resultado de una falta de confianza.
¿Cómo se establecen las probabilidades de forma inteligente?
Cuando las probabilidades son ambiguas, a diferencia de una situación de juego simple (donde hay un 50% de posibilidades de cara o cruz), se trata de lo que los teóricos de decisión llaman probabilidades subjetivas. Estos no pretenden ser la probabilidad correcta, pero reflejan las creencias personales de un individuo sobre el resultado. Debe actualizar sus estimaciones de probabilidad subjetiva cada vez que obtenga información relevante.
Una forma de precisar su probabilidad subjetiva es comparar su estimación con una apuesta concreta. Digamos que se espera que un competidor lance una nueva oferta el próximo trimestre que amenace con interrumpir su producto más rentable. Está tratando de evaluar la probabilidad de que la introducción no suceda. La forma de enmarcar su apuesta podría ser: "Si el producto no se lanza, recibo $ 1 millón, pero si se lanza, no consigo nada".
Ahora imagine un tarro lleno de 25 canicas verdes y 75 canicas azules. Cierras los ojos y seleccionas una canica. Si es verde, recibes $ 1 millón, y si es azul, no obtienes nada. Usted sabe que tiene una probabilidad de uno en cuatro (25%) de obtener una canica verde y ganar el dinero.
Ahora, ¿en cuál preferiría apostar: la falla de lanzamiento o el sorteo de la jarra?
Si elige el tarro, eso indica que cree que la posibilidad de ganar esa apuesta (25%) es mayor que la posibilidad de ganar la apuesta fallida del producto. Por lo tanto, debe creer que la probabilidad de que el lanzamiento del producto de su competidor falle es inferior al 25%.
De esta forma, usar un punto de referencia objetivo ayuda a identificar su probabilidad subjetiva. (Para probar otros niveles de probabilidad, simplemente ajuste mentalmente la proporción de mármoles verdes y azules en el jarrón. Con 10 mármoles verdes y 90 azules, ¿todavía sacaría del jarrón en lugar de tomar la apuesta de falla del producto? Debe pensar hay menos de un 10% de posibilidades de que el producto no se lance).
Lección 3: Busque comentarios para mejorar su pronóstico.
Ya sea que estés usando términos vagos o números precisos para describir probabilidades, lo que realmente estás haciendo es pronosticar. Si afirma que hay "una posibilidad real" de que se lance el producto de su competidor, está prediciendo el futuro. En los negocios y en muchos otros campos, ser un buen pronosticador es importante y requiere práctica. Pero simplemente hacer un montón de pronósticos no es suficiente: necesitas comentarios. Asignar probabilidades proporciona esto al permitirle mantener puntaje de su desempeño.
Los escritores de opinión y los intelectuales públicos a menudo hablan sobre el futuro, pero normalmente no expresan sus convicciones con la suficiente precisión como para permitir un seguimiento preciso del desempeño. Por ejemplo, un analista podría especular, "Facebook probablemente seguirá siendo la red social dominante en los próximos años". Es difícil medir la precisión de este pronóstico porque es subjetivo y la frase probabilística sugiere un amplio rango de probabilidades. Una afirmación como "Hay un 95% de probabilidad de que Facebook tenga más de 2.500 millones de usuarios mensuales dentro de un año" es precisa y cuantificable. Además, la precisión del pronóstico del analista se puede medir directamente, proporcionando retroalimentación sobre el rendimiento.
Los mejores pronosticadores hacen muchos pronósticos precisos y realizan un seguimiento de su rendimiento con una métrica, como una puntuación de Brier. Este tipo de seguimiento del desempeño requiere predecir un resultado categórico (Facebook tendrá más de 2.5 mil millones de usuarios mensuales) durante un período de tiempo específico (dentro de un año) con una probabilidad específica (95%). Es una disciplina difícil de dominar, pero necesaria para mejorar. Y mientras mejores sean tus pronósticos, mejores serán tus decisiones. Algunos recursos en línea facilitan la tarea. El Good Judgment Open (fundado por Tetlock y otros científicos de decisión) y Metaculus brindan preguntas para practicar el pronóstico. Los mercados de predicción, incluido PredictIt, le permiten poner dinero real detrás de sus pronósticos.
La próxima vez que descubra que un acuerdo u otro resultado comercial es "improbable" o, como alternativa, "prácticamente cierto", deténgase y pregúntese: ¿qué porcentaje de probabilidad, en qué período de tiempo, presentaría este resultado? Enmarque su predicción de esa manera, y será claro para usted y para los demás en qué posición se encuentra verdaderamente.
Andrew Mauboussin es un científico de datos en Twitter en San Francisco.
Michael J. Mauboussin es director de investigación en BlueMountain Capital Management y profesor adjunto en Columbia Business School en la ciudad de Nueva York. Su último libro es The Success Equation.
No hay comentarios:
Publicar un comentario