Usando experimentos para lanzar nuevos productos
Por Jeff Fossett, Duncan Gilchrist y Michael Luca
Harvard Business Review
Investigación y desarrollo
Más que nunca, los administradores están usando ensayos controlados aleatorios a gran escala (es decir, experimentos) para guiar las decisiones. Esto ha llevado a logros impresionantes para organizaciones que van desde Amazon hasta el gobierno del Reino Unido. Estamos entusiasmados con el auge de los experimentos en organizaciones y hemos pasado gran parte de los últimos años pensando en cómo diseñarlos e interpretarlos. Al mismo tiempo, hemos visto que la experimentación sigue siendo desigual en todas las organizaciones y dentro de ellas, y muchas empresas luchan con formas de comenzar o expandir la experimentación.
Una forma sencilla y a menudo ignorada por las empresas más grandes para experimentar es aleatorizar la introducción de nuevos productos en un conjunto de mercados. Para ver cómo esto puede ser valioso, considere cómo Uber implementó su servicio Express Pool en 2018.
En ese momento, la compañía ya estaba ejecutando UberPool, un servicio que permite a los pasajeros ir en la misma dirección para compartir viajes y costos. Con UberPool, los pasajeros son recogidos y dejados donde quieran, al igual que con otros servicios de Uber. Pero con el servicio Express Pool, que cuesta incluso menos que UberPool, a los pasajeros generalmente se les pide que caminen distancias cortas para llegar a sus viajes y llegar a sus destinos.
En 2018, en el período previo al lanzamiento de Express Pool, Uber nos encargó a uno de nosotros (Duncan, quien administra un grupo de economistas y científicos de datos dentro de la compañía) que evaluara la probabilidad de éxito. ¿Cuántos usuarios optarían por participar y cómo afectaría el servicio al ecosistema Uber más amplio y más complejo?
Para responder a esas preguntas, Duncan y su equipo realizaron un experimento, lanzaron Express Pool en seis grandes mercados y luego compararon las métricas de las ciudades de lanzamiento con las de otros. Aprovechando los avances recientes en métodos experimentales, especialmente un método estadístico que le permitió a Uber usar una combinación ponderada de otras ciudades para formar un grupo de control "sintético" más adecuado, el equipo pudo descubrir las formas en que el despliegue influenció a Uber uso. Como era de esperar, Express Pool creó nuevos tipos de partidos de viaje. Pero el experimento también tuvo en cuenta el efecto que Express Pool tuvo en los productos Uber existentes y dejó en claro que lanzarlo tendría un buen sentido comercial. Como resultado, Uber pudo introducir con confianza Express Pool en muchos de sus principales mercados. Esta confianza, y el hallazgo que la inspiró, no hubiera sido posible sin el experimento.
Los mercados en línea ahora abundan, desde Uber y Airbnb hasta Rover y Tinder. Y Uber no está solo entre estas compañías al recurrir a experimentos a nivel de mercado para probar nuevos productos e innovaciones.
Airbnb (donde Jeff solía trabajar como científico de datos) recientemente realizó un experimento para probar el impacto de un nuevo diseño de página de destino en el ranking de motores de búsqueda y el tráfico. Para ejecutar el experimento, Airbnb aprovechó el hecho de que tenía páginas de destino con diferentes URL para diferentes mercados (San Francisco, Boston, Nueva York, etc.). Esto significaba que podían aleatorizar las diferentes URL para incluir el nuevo diseño o no, aislando así el efecto del diseño en el tráfico del motor de búsqueda. Y al hacerlo, pudieron demostrar que el nuevo diseño fue un éxito: resultó que la nueva página de destino estaba impulsando un aumento de ~ 3.5% en el tráfico de búsqueda, una mejora correspondiente a decenas de millones de visitantes por día para la plataforma. Sobre la base de estos hallazgos, Airbnb lanzó el nuevo diseño para todos los mercados.
No solo las empresas de tecnología pueden utilizar experimentos a gran escala para probar nuevos productos e innovaciones. Considere lo que podría hacer una cadena de restaurantes al decidir si ofrecer un nuevo sándwich de pavo y aguacate. Un enfoque tradicional para una decisión como esta podría ser implementar el sándwich en un par de tiendas estratégicamente elegidas, dirigir algunos grupos focales y estudiar las ventas históricas de otros productos. Si a la gente le gusta el sándwich en esas tiendas, el negocio podría desplegarlo en todas sus tiendas y esperar que tenga éxito a nivel nacional. Este tipo de enfoque proporcionaría información sobre el problema, pero tiene limitaciones importantes. Por ejemplo, sería difícil saber si el nuevo sándwich eliminó otras compras. Y sería un desafío ver si esto incrementó el número total de clientes. Si la cadena complementara este enfoque con un ensayo aleatorio a gran escala, al extender el sándwich a un conjunto de mercados seleccionados al azar, podrían aprender mucho más sobre los efectos que el agregado del sándwich podría tener en general en las ventas (tanto para nuevos y productos existentes), retención de clientes y satisfacción del cliente.
Hemos visto que las empresas pierden oportunidades importantes para la experimentación y hemos visto experimentos que sufren desafíos de implementación e interpretación. Para las compañías que buscan probar nuevos productos de manera experimental, aquí hay algunas pautas para comenzar:
1) Decida qué métricas son más importantes para usted y luego proponga hipótesis sobre cómo podrían comportarse. Invierta en la recopilación de datos y decida por adelantado qué resultados experimentales constituirán el éxito o el fracaso. Crea un mapa desde los datos hasta las decisiones. Recuerde, es genial si más personas compran un producto, pero no tanto si esto lleva a más llamadas de atención al cliente.
2) Elija un subconjunto aleatorio de mercados (por ejemplo, regiones, ciudades o franquicias) en el que lanzar el producto. Los resultados de la experimentación a nivel de mercado suelen ser ruidosos, por lo que una vez que tenga en mente un conjunto de mercados, piense detenidamente si podrá detectar los efectos que está esperando. (Los cálculos de potencia requieren muchas suposiciones, pero pueden ayudar a resolver esto).
3) Asegúrese de hacer un seguimiento no solo de si su nuevo producto está funcionando, sino también de cómo su lanzamiento afecta a los productos existentes. Express Pool por sí solo puede parecer un éxito, pero si no aumenta lo suficiente el mercado global de viajes, probablemente sea menos valioso de lo que parece. Del mismo modo, cuando Airbnb lanza nuevos productos, la empresa debe pensar en cómo se ven afectadas las reservas a través de los productos existentes. Y cuando Starbucks lanzó sus bocadillos de huevo sous vide (si no los has probado, te recomendamos que lo hagas), tenía que considerar no solo las ventas de los bocados de huevo, sino también si eliminaban otros elementos del menú.
4) Asegúrese de entender por qué su producto está teniendo éxito o está fallando. Las métricas de primera línea, como los ingresos y las ventas, no cuentan toda la historia. ¿El nuevo producto está mejorando los resultados para algunos tipos de clientes mientras que los perjudica para otros? ¿El nuevo producto ayudó a una parte de su embudo de adquisición pero dañó a otra? ¿Se alinean estos movimientos con su hipótesis previa al experimento? Comprender por qué se ha movido una métrica puede ayudarlo a tomar una decisión de implementación y también a comprender cómo innovar dentro de un espacio de producto.
Jeff Fossett es un estudiante de doctorado en la Escuela de Negocios de Harvard, y anteriormente trabajó como científico de datos en Airbnb
Duncan Gilchrist es gerente de ciencia de datos en Uber Technologies. Él tiene un Ph.D. en Economía de la Empresa de la Universidad de Harvard.
Michael Luca es el Profesor Asociado de Administración de Empresas Lee J. Styslinger III en la Escuela de Negocios de Harvard.
Harvard Business Review
Investigación y desarrollo
Más que nunca, los administradores están usando ensayos controlados aleatorios a gran escala (es decir, experimentos) para guiar las decisiones. Esto ha llevado a logros impresionantes para organizaciones que van desde Amazon hasta el gobierno del Reino Unido. Estamos entusiasmados con el auge de los experimentos en organizaciones y hemos pasado gran parte de los últimos años pensando en cómo diseñarlos e interpretarlos. Al mismo tiempo, hemos visto que la experimentación sigue siendo desigual en todas las organizaciones y dentro de ellas, y muchas empresas luchan con formas de comenzar o expandir la experimentación.
Una forma sencilla y a menudo ignorada por las empresas más grandes para experimentar es aleatorizar la introducción de nuevos productos en un conjunto de mercados. Para ver cómo esto puede ser valioso, considere cómo Uber implementó su servicio Express Pool en 2018.
En ese momento, la compañía ya estaba ejecutando UberPool, un servicio que permite a los pasajeros ir en la misma dirección para compartir viajes y costos. Con UberPool, los pasajeros son recogidos y dejados donde quieran, al igual que con otros servicios de Uber. Pero con el servicio Express Pool, que cuesta incluso menos que UberPool, a los pasajeros generalmente se les pide que caminen distancias cortas para llegar a sus viajes y llegar a sus destinos.
En 2018, en el período previo al lanzamiento de Express Pool, Uber nos encargó a uno de nosotros (Duncan, quien administra un grupo de economistas y científicos de datos dentro de la compañía) que evaluara la probabilidad de éxito. ¿Cuántos usuarios optarían por participar y cómo afectaría el servicio al ecosistema Uber más amplio y más complejo?
Para responder a esas preguntas, Duncan y su equipo realizaron un experimento, lanzaron Express Pool en seis grandes mercados y luego compararon las métricas de las ciudades de lanzamiento con las de otros. Aprovechando los avances recientes en métodos experimentales, especialmente un método estadístico que le permitió a Uber usar una combinación ponderada de otras ciudades para formar un grupo de control "sintético" más adecuado, el equipo pudo descubrir las formas en que el despliegue influenció a Uber uso. Como era de esperar, Express Pool creó nuevos tipos de partidos de viaje. Pero el experimento también tuvo en cuenta el efecto que Express Pool tuvo en los productos Uber existentes y dejó en claro que lanzarlo tendría un buen sentido comercial. Como resultado, Uber pudo introducir con confianza Express Pool en muchos de sus principales mercados. Esta confianza, y el hallazgo que la inspiró, no hubiera sido posible sin el experimento.
Los mercados en línea ahora abundan, desde Uber y Airbnb hasta Rover y Tinder. Y Uber no está solo entre estas compañías al recurrir a experimentos a nivel de mercado para probar nuevos productos e innovaciones.
Airbnb (donde Jeff solía trabajar como científico de datos) recientemente realizó un experimento para probar el impacto de un nuevo diseño de página de destino en el ranking de motores de búsqueda y el tráfico. Para ejecutar el experimento, Airbnb aprovechó el hecho de que tenía páginas de destino con diferentes URL para diferentes mercados (San Francisco, Boston, Nueva York, etc.). Esto significaba que podían aleatorizar las diferentes URL para incluir el nuevo diseño o no, aislando así el efecto del diseño en el tráfico del motor de búsqueda. Y al hacerlo, pudieron demostrar que el nuevo diseño fue un éxito: resultó que la nueva página de destino estaba impulsando un aumento de ~ 3.5% en el tráfico de búsqueda, una mejora correspondiente a decenas de millones de visitantes por día para la plataforma. Sobre la base de estos hallazgos, Airbnb lanzó el nuevo diseño para todos los mercados.
No solo las empresas de tecnología pueden utilizar experimentos a gran escala para probar nuevos productos e innovaciones. Considere lo que podría hacer una cadena de restaurantes al decidir si ofrecer un nuevo sándwich de pavo y aguacate. Un enfoque tradicional para una decisión como esta podría ser implementar el sándwich en un par de tiendas estratégicamente elegidas, dirigir algunos grupos focales y estudiar las ventas históricas de otros productos. Si a la gente le gusta el sándwich en esas tiendas, el negocio podría desplegarlo en todas sus tiendas y esperar que tenga éxito a nivel nacional. Este tipo de enfoque proporcionaría información sobre el problema, pero tiene limitaciones importantes. Por ejemplo, sería difícil saber si el nuevo sándwich eliminó otras compras. Y sería un desafío ver si esto incrementó el número total de clientes. Si la cadena complementara este enfoque con un ensayo aleatorio a gran escala, al extender el sándwich a un conjunto de mercados seleccionados al azar, podrían aprender mucho más sobre los efectos que el agregado del sándwich podría tener en general en las ventas (tanto para nuevos y productos existentes), retención de clientes y satisfacción del cliente.
Hemos visto que las empresas pierden oportunidades importantes para la experimentación y hemos visto experimentos que sufren desafíos de implementación e interpretación. Para las compañías que buscan probar nuevos productos de manera experimental, aquí hay algunas pautas para comenzar:
1) Decida qué métricas son más importantes para usted y luego proponga hipótesis sobre cómo podrían comportarse. Invierta en la recopilación de datos y decida por adelantado qué resultados experimentales constituirán el éxito o el fracaso. Crea un mapa desde los datos hasta las decisiones. Recuerde, es genial si más personas compran un producto, pero no tanto si esto lleva a más llamadas de atención al cliente.
2) Elija un subconjunto aleatorio de mercados (por ejemplo, regiones, ciudades o franquicias) en el que lanzar el producto. Los resultados de la experimentación a nivel de mercado suelen ser ruidosos, por lo que una vez que tenga en mente un conjunto de mercados, piense detenidamente si podrá detectar los efectos que está esperando. (Los cálculos de potencia requieren muchas suposiciones, pero pueden ayudar a resolver esto).
3) Asegúrese de hacer un seguimiento no solo de si su nuevo producto está funcionando, sino también de cómo su lanzamiento afecta a los productos existentes. Express Pool por sí solo puede parecer un éxito, pero si no aumenta lo suficiente el mercado global de viajes, probablemente sea menos valioso de lo que parece. Del mismo modo, cuando Airbnb lanza nuevos productos, la empresa debe pensar en cómo se ven afectadas las reservas a través de los productos existentes. Y cuando Starbucks lanzó sus bocadillos de huevo sous vide (si no los has probado, te recomendamos que lo hagas), tenía que considerar no solo las ventas de los bocados de huevo, sino también si eliminaban otros elementos del menú.
4) Asegúrese de entender por qué su producto está teniendo éxito o está fallando. Las métricas de primera línea, como los ingresos y las ventas, no cuentan toda la historia. ¿El nuevo producto está mejorando los resultados para algunos tipos de clientes mientras que los perjudica para otros? ¿El nuevo producto ayudó a una parte de su embudo de adquisición pero dañó a otra? ¿Se alinean estos movimientos con su hipótesis previa al experimento? Comprender por qué se ha movido una métrica puede ayudarlo a tomar una decisión de implementación y también a comprender cómo innovar dentro de un espacio de producto.
Jeff Fossett es un estudiante de doctorado en la Escuela de Negocios de Harvard, y anteriormente trabajó como científico de datos en Airbnb
Duncan Gilchrist es gerente de ciencia de datos en Uber Technologies. Él tiene un Ph.D. en Economía de la Empresa de la Universidad de Harvard.
Michael Luca es el Profesor Asociado de Administración de Empresas Lee J. Styslinger III en la Escuela de Negocios de Harvard.
No hay comentarios:
Publicar un comentario