Cómo nuestra empresa aprendió a hacer mejores predicciones
Por Danny Hernandez
Harvard Business Review
Toma de decisiones
En Silicon Valley, todos hacen apuestas. Los fundadores apostaron años de sus vidas en encontrar el ajuste del mercado del producto, los inversionistas apuestan billones en el valor futuro de startups ambiciosos, y los ejecutivos apuestan que sus estrategias aumentarán las perspectivas de una compañía. Aquí, predecir el futuro no es una superpotencia teórica, es parte del trabajo.
Pero nuestro enfoque de la predicción parece atascado en el pasado. La mayoría de las previsiones de negocios no incluyen resultados mensurables y no se registran, por lo que es difícil saber si estamos incluso mejorando en ellos.
La investigación del psicólogo organizacional Philip Tetlock, el coautor de Superforecasting, sugiere una alternativa. Estudiando torneos de predicción donde expertos anónimos predijeron eventos futuros, Tetlock encontró que algunos pronosticadores podían predecir constantemente mejor que otros. En lugar de poseer algún talento innato, los llamados "superfortecters" demuestran lo que Tetlock describe como una "mentalidad de crecimiento", o una voluntad de aprender de los errores del pasado y actualizar continuamente sus prioridades teóricas. Nuestra capacidad de predecir, como cualquier otra habilidad, puede mejorar con la práctica.
En Twitch, una filial de Amazon, vimos la promesa en esta investigación. Si un individuo puede ganar una ventaja predictiva, también puede una empresa. Hemos creado un programa que enseña a todos nuestros empleados a convertirse en mejores pronosticadores independientemente de sus antecedentes cuantitativos, su rol organizativo o su área de experiencia.
Tomando una señal de aprendizaje de la máquina, los empleados de Twitch entrenan sus poderes de pronóstico contra los datos históricos del mundo real. Se anima a nuestro personal a predecir rápidamente y se les da retroalimentación inmediata para que sus pronósticos sean más precisos. Nuestro objetivo es aprovechar el pronóstico para tomar las decisiones "de alta calidad y alta velocidad" que Jeff Bezos pide en su carta de 2017 a los accionistas. A través de la predicción, estamos mejor equipados para atender a los millones de jugadores que usan nuestra plataforma todos los días, mientras se mantienen por delante de la competencia.
Hemos aprendido mucho de nuestras experiencias en Twitch y hemos descubierto algunas prácticas recomendadas sobre cómo las organizaciones pueden implementar sus propios programas de entrenamiento de predicción, crear una cultura de pronóstico y anticipar mejor el futuro.
El arco de previsión en Twitch
Las predicciones numéricas ofrecen una gama de beneficios para grandes organizaciones innovadoras como Twitch. Ambos son precisos y concisos, y fáciles de comunicar a través de los equipos de trabajo. Hacer predicciones en términos de probabilidades matemáticas obliga a los empleados a cuantificar sus propias incertidumbres sobre eventos futuros. Pueden agregarse y promediar múltiples predicciones para el mismo evento y, por lo tanto, ayudar a los gerentes a entender lo que piensan los equipos o divisiones enteros. Estas predicciones numéricas aclaran las decisiones, motivan a los empleados y ayudan a los equipos a comunicar preocupaciones.
Mi creencia en el pronóstico se cimentó cuando vi su poder en un proyecto que corría. Twitch es una plataforma para la difusión de videojuegos. Tenemos un producto llamado modo host, que le da a un broadcaster la posibilidad de recibir la transmisión en vivo de otro canal en su propia página de canal. Quería que mejoráramos el modo host, facilitando que las banderas crearan y administraran una lista de canales para que se alojen automáticamente cuando no esté conectado.
Así que como básicamente todo el mundo, tuve una idea para una característica que estaba convencido de que era extremadamente importante, pero que me faltaba la autoridad directa para dar prioridad. La mayoría de las personas nunca obtienen el buy-in que necesitan en este momento. Así que decidí hacer una predicción:
Un equipo fue asignado para trabajar en el anfitrión automático, y solicité las predicciones de todo el mundo para verificar que teníamos buy-in. Nuestro ingeniero tenía un 75% de confianza en que habíamos alcanzado nuestro objetivo, y nuestro liderazgo en las alianzas fue del 70%. Mi mentor ejecutivo era un poco más cauteloso, al 50%, pero en su mayor parte todos creíamos, y sabíamos que todos creíamos. Y cuando surgieron grandes decisiones, usamos nuestras predicciones existentes como punto de partida para esas conversaciones. Por ejemplo, preguntamos: ¿Debemos hacer el empuje para lanzar para TwitchCon? Parecía ser el lugar perfecto para que los socios hicieran acuerdos de promoción cruzados, pero muchas otras cosas se estaban lanzando allí y nos arriesgamos a perderse en el ruido. Nuestras alianzas lideran, Steve Lin, confiaba en que el lanzamiento en TwitchCon aumentaría nuestras posibilidades de alcanzar nuestro objetivo en un 10%. Con base en esa predicción, todo nuestro equipo estuvo de acuerdo en que el lanzamiento en TwitchCon aumentaría sustancialmente nuestras posibilidades de éxito. Debido a nuestras predicciones, nuestro equipo estaba completamente alineado.
Hoy en día, la característica es un éxito. Más de la mitad de nuestros socios son auto-hosting, y los canales que hacen que 10 de sus compañeros se auto-alojen crecen un 10% en promedio.
Al mismo tiempo, yo estaba ayudando a otros líderes hacer pronósticos. Pero el crecimiento de la predicción en Twitch había sido generalmente limitado por mis esfuerzos para facilitar, enseñar y evangelizar. Hoy en día, la formación que hemos desarrollado nos está permitiendo superar esa limitación y aumentar la previsión en toda la empresa.
Ampliamos la formación a los gerentes de productos, ingenieros, ejecutivos, investigadores, diseñadores, desarrollo de negocios - básicamente, cualquiera que quiera influir en el Twitch producto. Aunque no todo el mundo está acostumbrado a la predicción numérica, la formación que ofrecemos facilita que cualquiera se sienta cómodo.
Primero capacitamos a los empleados no previendo el futuro, sino estimando las anteriores métricas de Twitch. Entender estos números no sólo es esencial para entender el negocio de Twitch, sino que también ayuda a los empleados a acostumbrarse a estimar. Por ejemplo:
Así es como Tetlock mismo describió estos "cuestionarios de confianza" en un artículo de Harvard Business Review el año pasado:
Harvard Business Review
Toma de decisiones
En Silicon Valley, todos hacen apuestas. Los fundadores apostaron años de sus vidas en encontrar el ajuste del mercado del producto, los inversionistas apuestan billones en el valor futuro de startups ambiciosos, y los ejecutivos apuestan que sus estrategias aumentarán las perspectivas de una compañía. Aquí, predecir el futuro no es una superpotencia teórica, es parte del trabajo.
Pero nuestro enfoque de la predicción parece atascado en el pasado. La mayoría de las previsiones de negocios no incluyen resultados mensurables y no se registran, por lo que es difícil saber si estamos incluso mejorando en ellos.
La investigación del psicólogo organizacional Philip Tetlock, el coautor de Superforecasting, sugiere una alternativa. Estudiando torneos de predicción donde expertos anónimos predijeron eventos futuros, Tetlock encontró que algunos pronosticadores podían predecir constantemente mejor que otros. En lugar de poseer algún talento innato, los llamados "superfortecters" demuestran lo que Tetlock describe como una "mentalidad de crecimiento", o una voluntad de aprender de los errores del pasado y actualizar continuamente sus prioridades teóricas. Nuestra capacidad de predecir, como cualquier otra habilidad, puede mejorar con la práctica.
En Twitch, una filial de Amazon, vimos la promesa en esta investigación. Si un individuo puede ganar una ventaja predictiva, también puede una empresa. Hemos creado un programa que enseña a todos nuestros empleados a convertirse en mejores pronosticadores independientemente de sus antecedentes cuantitativos, su rol organizativo o su área de experiencia.
Tomando una señal de aprendizaje de la máquina, los empleados de Twitch entrenan sus poderes de pronóstico contra los datos históricos del mundo real. Se anima a nuestro personal a predecir rápidamente y se les da retroalimentación inmediata para que sus pronósticos sean más precisos. Nuestro objetivo es aprovechar el pronóstico para tomar las decisiones "de alta calidad y alta velocidad" que Jeff Bezos pide en su carta de 2017 a los accionistas. A través de la predicción, estamos mejor equipados para atender a los millones de jugadores que usan nuestra plataforma todos los días, mientras se mantienen por delante de la competencia.
Hemos aprendido mucho de nuestras experiencias en Twitch y hemos descubierto algunas prácticas recomendadas sobre cómo las organizaciones pueden implementar sus propios programas de entrenamiento de predicción, crear una cultura de pronóstico y anticipar mejor el futuro.
El arco de previsión en Twitch
Las predicciones numéricas ofrecen una gama de beneficios para grandes organizaciones innovadoras como Twitch. Ambos son precisos y concisos, y fáciles de comunicar a través de los equipos de trabajo. Hacer predicciones en términos de probabilidades matemáticas obliga a los empleados a cuantificar sus propias incertidumbres sobre eventos futuros. Pueden agregarse y promediar múltiples predicciones para el mismo evento y, por lo tanto, ayudar a los gerentes a entender lo que piensan los equipos o divisiones enteros. Estas predicciones numéricas aclaran las decisiones, motivan a los empleados y ayudan a los equipos a comunicar preocupaciones.
Mi creencia en el pronóstico se cimentó cuando vi su poder en un proyecto que corría. Twitch es una plataforma para la difusión de videojuegos. Tenemos un producto llamado modo host, que le da a un broadcaster la posibilidad de recibir la transmisión en vivo de otro canal en su propia página de canal. Quería que mejoráramos el modo host, facilitando que las banderas crearan y administraran una lista de canales para que se alojen automáticamente cuando no esté conectado.
Así que como básicamente todo el mundo, tuve una idea para una característica que estaba convencido de que era extremadamente importante, pero que me faltaba la autoridad directa para dar prioridad. La mayoría de las personas nunca obtienen el buy-in que necesitan en este momento. Así que decidí hacer una predicción:
- Si construimos autohogar, estoy 70% seguro de que, dentro de 8 semanas, el 15% de nuestros socios (nuestros principales influyentes) se auto-hosting.
Un equipo fue asignado para trabajar en el anfitrión automático, y solicité las predicciones de todo el mundo para verificar que teníamos buy-in. Nuestro ingeniero tenía un 75% de confianza en que habíamos alcanzado nuestro objetivo, y nuestro liderazgo en las alianzas fue del 70%. Mi mentor ejecutivo era un poco más cauteloso, al 50%, pero en su mayor parte todos creíamos, y sabíamos que todos creíamos. Y cuando surgieron grandes decisiones, usamos nuestras predicciones existentes como punto de partida para esas conversaciones. Por ejemplo, preguntamos: ¿Debemos hacer el empuje para lanzar para TwitchCon? Parecía ser el lugar perfecto para que los socios hicieran acuerdos de promoción cruzados, pero muchas otras cosas se estaban lanzando allí y nos arriesgamos a perderse en el ruido. Nuestras alianzas lideran, Steve Lin, confiaba en que el lanzamiento en TwitchCon aumentaría nuestras posibilidades de alcanzar nuestro objetivo en un 10%. Con base en esa predicción, todo nuestro equipo estuvo de acuerdo en que el lanzamiento en TwitchCon aumentaría sustancialmente nuestras posibilidades de éxito. Debido a nuestras predicciones, nuestro equipo estaba completamente alineado.
Hoy en día, la característica es un éxito. Más de la mitad de nuestros socios son auto-hosting, y los canales que hacen que 10 de sus compañeros se auto-alojen crecen un 10% en promedio.
Al mismo tiempo, yo estaba ayudando a otros líderes hacer pronósticos. Pero el crecimiento de la predicción en Twitch había sido generalmente limitado por mis esfuerzos para facilitar, enseñar y evangelizar. Hoy en día, la formación que hemos desarrollado nos está permitiendo superar esa limitación y aumentar la previsión en toda la empresa.
Ampliamos la formación a los gerentes de productos, ingenieros, ejecutivos, investigadores, diseñadores, desarrollo de negocios - básicamente, cualquiera que quiera influir en el Twitch producto. Aunque no todo el mundo está acostumbrado a la predicción numérica, la formación que ofrecemos facilita que cualquiera se sienta cómodo.
Primero capacitamos a los empleados no previendo el futuro, sino estimando las anteriores métricas de Twitch. Entender estos números no sólo es esencial para entender el negocio de Twitch, sino que también ayuda a los empleados a acostumbrarse a estimar. Por ejemplo:
- ¿Cuántos espectadores concurrentes hicieron Twitch promedio el año pasado?
- ¿Cuánto creció la audiencia año tras año en el 2016?
- ¿Qué porcentaje de nuestra audiencia proviene del móvil?
Así es como Tetlock mismo describió estos "cuestionarios de confianza" en un artículo de Harvard Business Review el año pasado:
- "Se pide a los participantes las estimaciones de rango general (Por ejemplo, "¿Cuántos años tenía Martin Luther King Jr. cuando murió?") O específicos de la empresa (como "¿Cuánto impuesto federal pagó nuestra firma en el último año?"). La tarea de los predictores es dar su mejor estimación en la forma de un rango y asignarle cierto grado de confianza; por ejemplo, uno podría adivinar con un 90% de confianza de que el Dr. King tenía entre 40 y 55 años cuando fue asesinado (tenía 39 años). El objetivo es medir no el conocimiento de dominio de los participantes, sino, más bien, qué tan bien saben lo que no saben. Como Will Rogers notó irónicamente: "No es lo que no sabemos que nos mete en problemas; Es lo que sabemos que no es así".
Los participantes comúnmente descubren que la mitad o más de sus rangos de confianza del 90% no contienen la respuesta verdadera". Aquí hay otro ejemplo que puede probar: ¿Cuál es su intervalo de confianza del 80% para cuánto Los ingresos de Amazon Web Services crecieron en 2016? Para la respuesta y más ejemplos, puede ver un entrenamiento disponible públicamente que he presentado como una visión general de Silicon Valley.
Sobre múltiples rondas de preguntas, los intervalos de confianza individuales se ajustan para igualar su nivel personal de incertidumbre. El experto en gestión de riesgos Douglas Hubbard -un pionero en la ciencia de la decisión- ha demostrado que se requieren setenta preguntas para calibrar la evaluación de probabilidades de tal manera que los participantes estimen que el 90% de las probabilidades ocurren realmente ocurren el 90% del tiempo.
Proporcionamos inmediatamente las respuestas correctas, por lo que la retroalimentación inmediata puede ayudar a los empleados a calibrar sus evaluaciones.
Nuestro personal aprende rápidamente si sus estimaciones están sobre o insuficientes. La mejor calibración significa que las estimaciones de los empleados están más basadas en la realidad y conduce a una menor resistencia al pensamiento probabilístico ya la predicción en general. De los empleados que han participado en esta capacitación, el 96% de los participantes dice que lo recomendaría a un colega. Creemos que el programa de entrenamiento ha tenido tanto éxito, ya que una mejor comprensión de estos números fundamentales es útil cuando se evalúan ideas, se navega la contención de recursos y se establecen las expectativas.
Una vez que el personal de Twitch ha calibrado sus predicciones practicando con algunas métricas, Hacer predicciones que deberían impactar su trabajo. Un lugar fácil para empezar es pedirles que predecir cuánto costará un nuevo proyecto en términos de tiempo o dinero. En el informe Chaos del Grupo Standish de 2016, encontraron que sólo el 16% de los proyectos de software fueron completados con las especificaciones originales a tiempo y dentro del presupuesto. Mejorar la capacidad de los empleados para estimar las fechas de finalización del proyecto y los recursos necesarios para lograr estos objetivos ayuda a nuestra empresa a mantenerse en el camino.
Aquí hay una conversación real entre un gerente de Twitch y un empleado que incorpora nuestro uso de la previsión:
- Gerente: X hecho este trimestre.
- Empleado: ¿Qué tan sorprendido estaría si no se hiciera al final del trimestre?
- Gerente: En realidad no es eso Preciado El proyecto Y es mi principal prioridad y proyectos como X han tomado un mes completo en el pasado.
- Empleado: Así que es poco probable que se haga este trimestre. ¿Cuándo se está el 80% seguro de que lo harán?
- Gerente: Siento 80% de confianza en poder entregarlo a finales de junio.
Eso suena bien. Déjeme saber si eso cambia. Este tipo de enfoque cambia cómo piensa acerca de su trabajo. Siempre que le digo a alguien que voy a hacer cualquier cosa, me pregunto: ¿estoy al menos 80% seguro de que voy a hacer eso? Si la respuesta es sí, genial. Pero si es no, inmediatamente reajustar las expectativas y decir algo como: "Lo siento, pero de manera realista voy a necesitar tres semanas para conseguir que a usted, en lugar de uno".
Desafíos de la Predicción
Incorporando pronóstico flash en Twitch es un iterativo y proceso de mejoramiento. A pesar de la promesa de predicción y las respuestas entusiasta de nuestros empleados, nos encontramos con tres problemas importantes a la hora de implementar el entrenamiento de predicción:
- Escepticismo de que la predicción no funciona y que las predicciones no pueden ser exactas.
- El temor de los empleados de que no tienen suficiente previsión para hacer predicciones o que sus predicciones serán malinterpretados por los gerentes o colegas y utilizados en su contra.
- Creencia de que no hay suficiente evidencia para hacer predicciones.
Después de proporcionar exitosamente el entrenamiento de predicción a más de 200 de nuestro personal, hemos desarrollado varias prácticas recomendadas para asegurar el despliegue más suave de futuras entregas del programa.
Siempre que hablo sobre predicciones, pregunto: "¿Estás de acuerdo en que sería realmente valioso si fuéramos 20-30% mejores en predecir cuán impactante sería tu trabajo y cuánto tiempo tomaría?" Nadie ha estado en desacuerdo.
Sigo esa pregunta con la evidencia de que tales mejoras es posible. Philip Tetlock encontró en un experimento controlado aleatorizado que las habilidades de pronóstico de los participantes podrían mejorar más del 14% en menos de una hora leyendo sus instrucciones.
Eso es típicamente suficiente para animar a la gente a hacer la hora de entrenamiento de calibración que he preparado y la capacitación no el resto. Hubbard ha dado esta capacitación a más de 1.000 personas en una variedad de empresas e industrias y esto es lo que observó:
- La calibración parece eliminar muchas objeciones al análisis probabilístico en la toma de decisiones. Antes del entrenamiento de calibración, la gente podría sentir que cualquier estimación subjetiva era inútil. Podrían creer que la única manera de conocer un [intervalo de confianza] es hacer las matemáticas que recuerdan vagamente de las estadísticas del primer semestre. Pueden desconfiar del análisis probabilístico en general porque todas las probabilidades les parecen arbitrarias. Pero después de haber sido calibrado, casi nunca he oído que ofrecen un desafío tal.
Algunos empleados de Twitch se preocuparon de que el entrenamiento de predicción podría revelar a sus colegas su falta de previsión. Otros pensaban que sus predicciones podrían ser mal empleadas por la gerencia. Hacemos explícito que las predicciones son una herramienta para tomar buenas decisiones y tener más impacto.
Estar en lo cierto no es la métrica principal de ningún equipo. Nuestro entrenamiento de calibración es anónimo, porque no queremos que las personas se sientan avergonzadas por las predicciones que hacen antes de ser calibradas. Pero no podemos confiar en el anonimato para los proyectos reales que estamos llevando a cabo, porque las predicciones más importantes son de las personas más cercanas al proyecto, ya que tienen la mejor información.
Estamos activamente tratando de construir una cultura que promueve la "seguridad psicológica , "Definido como" una sensación de confianza de que el equipo no rechazará o castigar a alguien por hablar ". Google encontró que la seguridad era el predictor más importante de los equipos exitosos, y la profesora Amy Edmondson de Harvard Business School ha encontrado que es esencial para el aprendizaje en equipo. Enseñamos a los líderes a hacer el primer pronóstico, explicar su razonamiento, y solicitar las previsiones de su equipo. La esperanza es que el valor de la información que sale de esas conversaciones deja claro que hablar es trabajo de todos.
La objeción final que he escuchado es que no hay suficiente evidencia para hacer un buen pronóstico. Pero en Twitch creemos que si hay suficiente evidencia para considerar seguir adelante con un plan, debe haber suficiente evidencia para predecir su éxito. Por supuesto, no todas las predicciones deben ser rigurosas y formales. Animamos a los empleados a revisar las pruebas que tienen y hacer las mejores previsiones posibles, combinando tanto los datos como la intuición. Ser capaz de apoyarse en la intuición es clave para tomar decisiones rápidas y cuantificar esa intuición en la forma de predicción nos ayuda a mantenerse responsable.
Recuerde: todos hacemos apuestas sobre el futuro, ya sea que los llamemos o no. Seleccionamos una carrera basada en las percepciones sobre sus perspectivas; Asumimos proyectos basados en lo que pensamos que podemos lograr; contratamos a empleados basándonos en cómo predecimos que realizarán. No tenemos la opción de no hacer predicciones en nuestra vida laboral, pero tenemos una opción para tratar de hacer mejores. Los individuos pueden mejorar en la predicción, y lo mismo pueden hacer organizaciones enteras. El autor agradece a Lauren Wagner, quien aportó conocimientos que contribuyeron en gran medida a este artículo.
Danny Hernández es un científico de datos en Twitch, a la que se unió hace seis años cuando todavía se le llamaba Xarth. También consulta para organizaciones líderes como GiveWell y Open Philanthropy que quieren mejorar sus pronósticos. Conéctate con Danny en @hernandez_danny.
Editores originales conservan todos los derechos.
No hay comentarios:
Publicar un comentario