8 cosas que hacer antes de ejecutar un experimento empresarial
Por Linnea Gandhi y Erik Johnson
ANALÍTICA
Harvard Business Review
Los experimentos de negocios, especialmente en formatos digitales como las pruebas A / B, se han disparado en la última década. Y por una buena razón. La experimentación promete el poder del método científico para reducir la incertidumbre: ¿Deberíamos lanzar este producto? ¿Qué mensaje maximiza el compromiso del consumidor? ¿Dará esta herramienta un ROI suficiente cuando se extienda a todos los empleados?
Sin embargo, esa promesa tiene un precio que pocos líderes empresariales están dispuestos a pagar. Y como evangelistas experimentales, somos parcialmente culpables. En nuestro entusiasmo, no dedicamos el tiempo suficiente a explicar las inversiones organizativas necesarias para aprovechar todo el potencial de esta herramienta.
Los líderes empresariales a menudo tienen la impresión de que la experimentación es una caja negra brillante y brillante que simplemente se conecta a la organización: los datos fluyen, las estadísticas hacen su magia y algunos Ph.D. en tu equipo de ciencia de datos te da una respuesta que esperas (sin saber realmente por qué) tiene un valor de p por debajo de 0.05. Esta mentalidad de plug-and-play puede ser costosa, ya que esconde resultados confusos en un paquete agradable que genera una confianza peligrosamente infundada en datos, habilidades y estrategias defectuosas.
Este es un escenario que enfrentamos recientemente: imagina gastar medio año y unos cuantos millones de dólares en una serie de experimentos de back office para probar rigurosamente las nuevas tecnologías de un posible proveedor. A mitad de camino, el proveedor informa de resultados positivos, significativos para el negocio (atados muy bien con un arco, por supuesto) y pide que se detenga la prueba antes de tiempo. Usted tiene un equipo interno de científicos de datos que investigan los diseños. Descubrieron que el proveedor subestimó las pruebas, los datos están llenos de confusiones y los resultados no son estadísticamente significativos. ¿Qué haces? Según la experiencia de los autores, ya que está lejos de ser hipotético, los costos irrecuperables, la inercia y el razonamiento optimista de su jefe lo llevan a adoptar la oferta del proveedor de todos modos.
Si los experimentadores realmente queremos llevar el rigor de la ciencia a los negocios, tenemos la responsabilidad de abrir la caja negra, desglosar las estadísticas y las complejidades operativas, y sumar exactamente lo que le costará a la organización usar esta herramienta en su totalidad. .
Hemos aprendido estos costos de la manera más difícil, diseñando, destruyendo, ejecutando y rescatando experimentos en múltiples contextos organizacionales. A través de estos ensayos y tribulaciones, ha surgido una lista de verificación para implementar experimentos en organizaciones empresariales. Esperamos que le ayude a prepararse para invertir mejor e implementar la experimentación.
Asegúrate de que puedas medir. Los experimentos dependen de la medida. Si no puede medir correctamente la atribución de un anuncio digital a una venta, por ejemplo, no tendrá suerte en realizar un experimento para descubrir qué anuncios son realmente efectivos. ¿No has invertido en buena medida todavía? No proceda a # 2.
Pagar por un buen traductor. Con demasiada frecuencia, los experimentos se dejan a los comercializadores digitales o gerentes de productos que carecen de la fluidez estadística para diseñar, implementar y analizar los experimentos correctamente. Se requiere experiencia estadística real para que la experimentación funcione. Igual de importante es la capacidad de traducir. Cuando su "experto en estadísticas" está discutiendo un análisis de poder, por ejemplo, debería poder usar términos que reflejen su apetito de riesgo (por falsos positivos y negativos), el precio que está dispuesto a pagar financiera o temporalmente (por un tiempo determinado). tamaño de la muestra), y un impacto lo suficientemente significativo como para cambiar su estrategia (es decir, su efecto detectable mínimo). Al contratar, asegúrese de evaluar la capacidad de comunicar estos conceptos a los gerentes de productos, a los comercializadores y a otros colaboradores.
Encuentre un arenero para jugar. Antes de realizar experimentos en cualquier cosa con altas apuestas, intente diseñar y ejecutar una prueba A / B simple desde cero en un entorno que usted controle por completo. Por ejemplo, envíe una encuesta a sus colegas: invite a la mitad con un correo electrónico y a la mitad con otro, y vea qué versión produce más aperturas y clics. Calcule el análisis de poder a mano, analice las implicaciones de cada entrada, incluso si tiene que buscar en Google cada término o acuda a su experto en estadística interno para obtener asesoramiento. Planifique su implementación con la mayor cantidad de detalles posible, teniendo en cuenta lo que podría (y lo hará) ir mal, y escríbalo para que pueda llenar los vacíos después del hecho. Luego ejecútelo, recopile sus datos y analícelos, incluso si sus habilidades de Excel o R están oxidadas. Su experimento será difícil, y sus resultados probablemente no valdrán nada, pero la experiencia lo ayudará a comprender mejor y diseñar mejor los entresijos de futuras pruebas. En la experimentación, debes caminar antes de poder correr.
Difunde tus huevos experimentales a través de varias canastas. Experimentar negocios es como el capitalismo de riesgo, no el comercio diario. Las grandes "victorias" pueden ser pocas y distantes entre sí, pero esos ganadores generalmente tendrán un gran impacto. A medida que se adentre en experimentos comerciales más significativos, reúnalos y ejecútelos como "carteras". Ejecute varios tratamientos a la vez, si su muestra lo permite. Si no, planee varios experimentos en diferentes canales, para que se ejecuten de forma simultánea o secuencial, pero todos bajo el mismo paraguas estratégico. El encuadre de sus pruebas como un portafolio protege a cada individuo de las presiones de la organización para obtener resultados "positivos" mediante pirateos u otra manipulación de los resultados. Además, es probable que realice una gran cantidad de experimentos, pero solo unos pocos proporcionarán rendimientos de gran tamaño.
Abrazar el sistema de amigos. Como parte de la difusión de sus apuestas, comprométase a experimentar con otra persona en una parte diferente de la organización. Aprenderás más de los errores y éxitos de los demás que de cualquier libro de texto. De hecho, en una clase de laboratorio de Chicago Booth donde enseñamos a los MBA cómo experimentar con proyectos prácticos, su sesión favorita es aquella en la que intercambian historias de guerra. Además, sembrará las semillas de la institucionalización del conocimiento experimental en toda la organización.
Hazlo público. Los científicos de todas las disciplinas realizan cada vez más experimentos de "pre-registro", publicando diseños detallados y análisis planificados públicamente antes del lanzamiento. (La medicina lo ha hecho durante décadas). La práctica ayuda a detectar errores, compartir aprendizajes y vincular a los experimentadores con el proverbial mástil cuando podrían verse tentados a modificar los resultados después del hecho. Si bien la ventaja competitiva prohíbe que la mayoría de las empresas compartan ese tipo de intercambio público, debería haber pocas objeciones para completar una plantilla sobre lo que planea hacer, cuándo y por qué, y publicarla internamente como su presupuesto anual u objetivos estratégicos. El escrutinio constructivo es una parte crítica del proceso experimental, así que déle la bienvenida y hágalo fácil para sus partes interesadas.
Más que dinero, presupuesto de tiempo. En la primavera de 2018, Pandora publicó los resultados de un experimento que abordaba una pregunta fundamental sobre su negocio: ¿qué nivel de anuncios impulsa a los usuarios libres a suscribirse, en lugar de abandonar el servicio por completo? El experimento tardó 21 meses en completarse y requirió un tamaño de muestra de 35 millones de usuarios. Los conocimientos experimentales, incluso en entornos de prueba relativamente más fáciles como los productos digitales, requieren tiempo y escala.
Lo más importante, los incentivos de revisión. Como cualquier nueva iniciativa, los experimentos a menudo fracasan debido al "rechazo de órganos" cultural. Requieren tomar riesgos a corto plazo y, a menudo, fracasan, todo al servicio del aprendizaje a largo plazo y pocas empresas le dan palmaditas en la espalda por fallas, incluso si usted re tomando efectivamente uno para el equipo. Recientemente trabajamos con una compañía de atención médica cuyo liderazgo abrazó sinceramente el método científico, invirtiendo recursos para probar la experimentación en muchos canales del negocio. Sin embargo, estos ejecutivos tuvieron dificultades para realizar un seguimiento y, de hecho, permitir que su equipo lance sus experimentos diseñados. ¿Por qué? Las demandas de los inversores presionaron a los ejecutivos para que analicen incluso los pequeños disparos en los resultados semanales y envíen a sus equipos luchando para responder, postergando la experimentación semana tras semana. Si se toma en serio la experimentación, necesita revisar los incentivos comerciales tradicionales. Vincule los bonos a los resultados en un horizonte plurianual o, mejor aún, a las métricas que señalan el cumplimiento de los procesos racionales de toma de decisiones. Además, para mitigar el dolor potencial de un experimento "fallido", invite a las partes interesadas de la organización a apostar en los resultados de cada experimento; aumentarás el compromiso y también recopilarás comentarios sobre la intuición de la organización.
El negocio se trata de tomar decisiones operativas, de marketing y de productos bajo incertidumbre. El método científico puede ayudarnos a reducir esa incertidumbre, ya un precio, financiero, operacional y cultural, que las organizaciones deben estar listas para pagar en el transcurso de semanas o meses, sino años. Cuanto más se adueñen los propietarios de productos, los gerentes generales, los ejecutivos y, quizás lo más importante, los inversionistas que controlan la paciencia organizativa, es más probable que obtengamos los beneficios de llevar la ciencia a los negocios.
Linnea Gandhi es profesora adjunta de ciencias del comportamiento en Chicago Booth y dirige BehavioralSight, una firma dedicada a aplicar la investigación académica en los negocios.
Erik Johnson es un investigador de comportamiento en Morningstar, donde aplica los principios de la ciencia del comportamiento y la investigación cuantitativa a los procesos de marketing y las comunicaciones.
ANALÍTICA
Harvard Business Review
Los experimentos de negocios, especialmente en formatos digitales como las pruebas A / B, se han disparado en la última década. Y por una buena razón. La experimentación promete el poder del método científico para reducir la incertidumbre: ¿Deberíamos lanzar este producto? ¿Qué mensaje maximiza el compromiso del consumidor? ¿Dará esta herramienta un ROI suficiente cuando se extienda a todos los empleados?
Sin embargo, esa promesa tiene un precio que pocos líderes empresariales están dispuestos a pagar. Y como evangelistas experimentales, somos parcialmente culpables. En nuestro entusiasmo, no dedicamos el tiempo suficiente a explicar las inversiones organizativas necesarias para aprovechar todo el potencial de esta herramienta.
Los líderes empresariales a menudo tienen la impresión de que la experimentación es una caja negra brillante y brillante que simplemente se conecta a la organización: los datos fluyen, las estadísticas hacen su magia y algunos Ph.D. en tu equipo de ciencia de datos te da una respuesta que esperas (sin saber realmente por qué) tiene un valor de p por debajo de 0.05. Esta mentalidad de plug-and-play puede ser costosa, ya que esconde resultados confusos en un paquete agradable que genera una confianza peligrosamente infundada en datos, habilidades y estrategias defectuosas.
Este es un escenario que enfrentamos recientemente: imagina gastar medio año y unos cuantos millones de dólares en una serie de experimentos de back office para probar rigurosamente las nuevas tecnologías de un posible proveedor. A mitad de camino, el proveedor informa de resultados positivos, significativos para el negocio (atados muy bien con un arco, por supuesto) y pide que se detenga la prueba antes de tiempo. Usted tiene un equipo interno de científicos de datos que investigan los diseños. Descubrieron que el proveedor subestimó las pruebas, los datos están llenos de confusiones y los resultados no son estadísticamente significativos. ¿Qué haces? Según la experiencia de los autores, ya que está lejos de ser hipotético, los costos irrecuperables, la inercia y el razonamiento optimista de su jefe lo llevan a adoptar la oferta del proveedor de todos modos.
Si los experimentadores realmente queremos llevar el rigor de la ciencia a los negocios, tenemos la responsabilidad de abrir la caja negra, desglosar las estadísticas y las complejidades operativas, y sumar exactamente lo que le costará a la organización usar esta herramienta en su totalidad. .
Hemos aprendido estos costos de la manera más difícil, diseñando, destruyendo, ejecutando y rescatando experimentos en múltiples contextos organizacionales. A través de estos ensayos y tribulaciones, ha surgido una lista de verificación para implementar experimentos en organizaciones empresariales. Esperamos que le ayude a prepararse para invertir mejor e implementar la experimentación.
Asegúrate de que puedas medir. Los experimentos dependen de la medida. Si no puede medir correctamente la atribución de un anuncio digital a una venta, por ejemplo, no tendrá suerte en realizar un experimento para descubrir qué anuncios son realmente efectivos. ¿No has invertido en buena medida todavía? No proceda a # 2.
Pagar por un buen traductor. Con demasiada frecuencia, los experimentos se dejan a los comercializadores digitales o gerentes de productos que carecen de la fluidez estadística para diseñar, implementar y analizar los experimentos correctamente. Se requiere experiencia estadística real para que la experimentación funcione. Igual de importante es la capacidad de traducir. Cuando su "experto en estadísticas" está discutiendo un análisis de poder, por ejemplo, debería poder usar términos que reflejen su apetito de riesgo (por falsos positivos y negativos), el precio que está dispuesto a pagar financiera o temporalmente (por un tiempo determinado). tamaño de la muestra), y un impacto lo suficientemente significativo como para cambiar su estrategia (es decir, su efecto detectable mínimo). Al contratar, asegúrese de evaluar la capacidad de comunicar estos conceptos a los gerentes de productos, a los comercializadores y a otros colaboradores.
Encuentre un arenero para jugar. Antes de realizar experimentos en cualquier cosa con altas apuestas, intente diseñar y ejecutar una prueba A / B simple desde cero en un entorno que usted controle por completo. Por ejemplo, envíe una encuesta a sus colegas: invite a la mitad con un correo electrónico y a la mitad con otro, y vea qué versión produce más aperturas y clics. Calcule el análisis de poder a mano, analice las implicaciones de cada entrada, incluso si tiene que buscar en Google cada término o acuda a su experto en estadística interno para obtener asesoramiento. Planifique su implementación con la mayor cantidad de detalles posible, teniendo en cuenta lo que podría (y lo hará) ir mal, y escríbalo para que pueda llenar los vacíos después del hecho. Luego ejecútelo, recopile sus datos y analícelos, incluso si sus habilidades de Excel o R están oxidadas. Su experimento será difícil, y sus resultados probablemente no valdrán nada, pero la experiencia lo ayudará a comprender mejor y diseñar mejor los entresijos de futuras pruebas. En la experimentación, debes caminar antes de poder correr.
Difunde tus huevos experimentales a través de varias canastas. Experimentar negocios es como el capitalismo de riesgo, no el comercio diario. Las grandes "victorias" pueden ser pocas y distantes entre sí, pero esos ganadores generalmente tendrán un gran impacto. A medida que se adentre en experimentos comerciales más significativos, reúnalos y ejecútelos como "carteras". Ejecute varios tratamientos a la vez, si su muestra lo permite. Si no, planee varios experimentos en diferentes canales, para que se ejecuten de forma simultánea o secuencial, pero todos bajo el mismo paraguas estratégico. El encuadre de sus pruebas como un portafolio protege a cada individuo de las presiones de la organización para obtener resultados "positivos" mediante pirateos u otra manipulación de los resultados. Además, es probable que realice una gran cantidad de experimentos, pero solo unos pocos proporcionarán rendimientos de gran tamaño.
Abrazar el sistema de amigos. Como parte de la difusión de sus apuestas, comprométase a experimentar con otra persona en una parte diferente de la organización. Aprenderás más de los errores y éxitos de los demás que de cualquier libro de texto. De hecho, en una clase de laboratorio de Chicago Booth donde enseñamos a los MBA cómo experimentar con proyectos prácticos, su sesión favorita es aquella en la que intercambian historias de guerra. Además, sembrará las semillas de la institucionalización del conocimiento experimental en toda la organización.
Hazlo público. Los científicos de todas las disciplinas realizan cada vez más experimentos de "pre-registro", publicando diseños detallados y análisis planificados públicamente antes del lanzamiento. (La medicina lo ha hecho durante décadas). La práctica ayuda a detectar errores, compartir aprendizajes y vincular a los experimentadores con el proverbial mástil cuando podrían verse tentados a modificar los resultados después del hecho. Si bien la ventaja competitiva prohíbe que la mayoría de las empresas compartan ese tipo de intercambio público, debería haber pocas objeciones para completar una plantilla sobre lo que planea hacer, cuándo y por qué, y publicarla internamente como su presupuesto anual u objetivos estratégicos. El escrutinio constructivo es una parte crítica del proceso experimental, así que déle la bienvenida y hágalo fácil para sus partes interesadas.
Más que dinero, presupuesto de tiempo. En la primavera de 2018, Pandora publicó los resultados de un experimento que abordaba una pregunta fundamental sobre su negocio: ¿qué nivel de anuncios impulsa a los usuarios libres a suscribirse, en lugar de abandonar el servicio por completo? El experimento tardó 21 meses en completarse y requirió un tamaño de muestra de 35 millones de usuarios. Los conocimientos experimentales, incluso en entornos de prueba relativamente más fáciles como los productos digitales, requieren tiempo y escala.
Lo más importante, los incentivos de revisión. Como cualquier nueva iniciativa, los experimentos a menudo fracasan debido al "rechazo de órganos" cultural. Requieren tomar riesgos a corto plazo y, a menudo, fracasan, todo al servicio del aprendizaje a largo plazo y pocas empresas le dan palmaditas en la espalda por fallas, incluso si usted re tomando efectivamente uno para el equipo. Recientemente trabajamos con una compañía de atención médica cuyo liderazgo abrazó sinceramente el método científico, invirtiendo recursos para probar la experimentación en muchos canales del negocio. Sin embargo, estos ejecutivos tuvieron dificultades para realizar un seguimiento y, de hecho, permitir que su equipo lance sus experimentos diseñados. ¿Por qué? Las demandas de los inversores presionaron a los ejecutivos para que analicen incluso los pequeños disparos en los resultados semanales y envíen a sus equipos luchando para responder, postergando la experimentación semana tras semana. Si se toma en serio la experimentación, necesita revisar los incentivos comerciales tradicionales. Vincule los bonos a los resultados en un horizonte plurianual o, mejor aún, a las métricas que señalan el cumplimiento de los procesos racionales de toma de decisiones. Además, para mitigar el dolor potencial de un experimento "fallido", invite a las partes interesadas de la organización a apostar en los resultados de cada experimento; aumentarás el compromiso y también recopilarás comentarios sobre la intuición de la organización.
El negocio se trata de tomar decisiones operativas, de marketing y de productos bajo incertidumbre. El método científico puede ayudarnos a reducir esa incertidumbre, ya un precio, financiero, operacional y cultural, que las organizaciones deben estar listas para pagar en el transcurso de semanas o meses, sino años. Cuanto más se adueñen los propietarios de productos, los gerentes generales, los ejecutivos y, quizás lo más importante, los inversionistas que controlan la paciencia organizativa, es más probable que obtengamos los beneficios de llevar la ciencia a los negocios.
Linnea Gandhi es profesora adjunta de ciencias del comportamiento en Chicago Booth y dirige BehavioralSight, una firma dedicada a aplicar la investigación académica en los negocios.
Erik Johnson es un investigador de comportamiento en Morningstar, donde aplica los principios de la ciencia del comportamiento y la investigación cuantitativa a los procesos de marketing y las comunicaciones.
No hay comentarios:
Publicar un comentario