Doxa 1195

Investigación: cuando las pruebas A/B no te cuentan toda la historia

Por Eva Ascarza

Marketing

Harvard Business Review

#doxa #marketing #investigación #demográficos #cliente #estrategía #ROI

Resumen. Cuando se trata de prevención de abandono, los especialistas en marketing tradicionalmente comienzan identificando qué clientes tienen más probabilidades de abandonar y luego ejecutan pruebas A/B para determinar si una intervención de retención propuesta será efectiva para retener a esos clientes de alto riesgo. Si bien esta estrategia puede ser efectiva, el autor comparte una nueva investigación basada en experimentos de campo con más de 14,000 clientes que sugiere que no siempre es la mejor manera de maximizar el ROI en la inversión en marketing. En cambio, el autor sostiene que las empresas deben utilizar datos de prueba A/B junto con los datos demográficos y de comportamiento de los clientes para determinar qué subgrupo de clientes será más sensible a la intervención específica que se está considerando. Es importante destacar que los datos sugieren que este subgrupo no corresponde necesariamente al grupo de clientes de "alto riesgo"; en otras palabras, es muy posible que la intervención no sea tan eficaz para retener a los clientes de alto riesgo como lo será en retener algún otro grupo de clientes. Al identificar las características que realmente se correlacionan con una alta sensibilidad a una intervención determinada, los especialistas en marketing pueden orientar sus campañas de manera proactiva a los clientes que serán más receptivos a ellas, reduciendo en última instancia las tasas de abandono y aumentando el ROI.

Cada año, los especialistas en marketing gastan miles de millones de dólares en campañas destinadas a atraer, retener y aumentar las ventas de los clientes. Sin embargo, a pesar de esta inversión masiva, puede ser extremadamente difícil determinar qué tan efectivas son realmente estas iniciativas y cómo se pueden mejorar. Un método común para medir el retorno de la inversión (ROI) de una campaña es ejecutar una prueba A/B : los especialistas en marketing se dirigirán a los clientes con dos intervenciones diferentes y luego compararán los resultados entre los dos grupos. Con el enfoque correcto para el análisis, estas pruebas A/B pueden proporcionar información útil, pero también tienen el potencial de ser muy engañosas.

Para comprender las deficiencias de cómo se emplean a menudo las pruebas A / B, es útil considerar un ejemplo hipotético. Imagine que trabaja para una gran organización artística que está preocupada por la disminución de las tasas de retención entre sus miembros. Está pensando en enviar un pequeño obsequio junto con la notificación de renovación a los miembros que ha determinado que corren un mayor riesgo de cancelar sus membresías, pero como eso tiene un costo, debe asegurarse de que la intervención sea efectiva antes de continuar. de forma más amplia. Así que decide ejecutar una pequeña campaña piloto, eligiendo al azar un grupo de miembros "en riesgo" para recibir un regalo y otro que no, para ver si los que reciben el regalo tienen más probabilidades de renovar.

Ahora, digamos que no encuentra ninguna diferencia en las tasas de retención entre los miembros que reciben el regalo y los del grupo de control. Si finalizara su análisis allí, probablemente lo llevaría a cancelar el programa de obsequios, ya que los datos parecen sugerir que enviar obsequios no tiene ningún impacto en la retención. Pero tras un examen más detenido de los datos, es posible que descubra que para un determinado subgrupo de clientes, como los que habían visitado el lugar en el último año, el obsequio aumentó significativamente sus posibilidades de renovación, mientras que para los clientes que no lo habían hecho visitó el lugar durante mucho tiempo, el obsequio en realidad los hizo menos propensos a renovar, tal vez porque sirvió como un recordatorio más destacado de la poca frecuencia con que habían estado usando su membresía.El uso de una prueba A/B para evaluar el efecto promedio de una intervención puede ocultar información importante sobre qué clientes probablemente sean más o menos receptivos a esa campaña (si el análisis sugiere que la intervención tiene un resultado positivo, negativo o, como en este ejemplo, un efecto insignificante), lo que lleva a los especialistas en marketing a tomar decisiones equivocadas sobre qué campañas ejecutar con qué clientes.

Optimización de campañas de prevención de abandono

Esto no es solo hipotético; de hecho, este ejemplo se basa en una organización real con la que trabajé como parte de mi investigación. Cuando se trata de aumentar la retención, las empresas suelen identificar a los clientes de " alto riesgo ", es decir, los clientes cuyo comportamiento reciente u otras características sugieren que es muy probable que cancelen sus suscripciones o dejen de comprar el producto de una empresa, y luego ejecutan pruebas A/B para determinar si sus campañas de retención serán efectivas con este grupo. Si bien esta es una estrategia comprensible (ciertamente no desea desperdiciar recursos de marketing en clientes que no iban a abandonar de todos modos), mi investigaciónsugiere que puede ser seriamente contraproducente, ya que puede llevar a los especialistas en marketing a tomar decisiones erróneas que realmente reducen las tasas de retención generales y el ROI en el gasto de marketing.

Específicamente, realicé experimentos de campo con dos grandes empresas que estaban implementando campañas de retención. En la primera parte de mi estudio, las empresas desarrollaron intervenciones de reducción de abandono y luego realizaron pruebas A/B que rastrean las tasas de abandono de un total de más de 14.000 clientes, donde un grupo de clientes asignado al azar recibió las intervenciones y el otro no. A continuación, recopilé un rico conjunto de datos de información del cliente, incluida la actividad reciente y el compromiso con la empresa, la permanencia como cliente de la empresa, la ubicación y otras métricas que se utilizaron para predecir el riesgo de abandono, y examiné cuáles de estas características se correlacionaban con un respuesta positiva a las campañas de retención.

En ambas empresas, descubrí que los clientes que habían sido identificados como de mayor riesgo de abandono no eran necesariamente los mejores objetivos para los programas de retención; de hecho, había poca correlación entre el nivel de riesgo de abandono de los clientes y su sensibilidad a las intervenciones. . Los datos mostraron que no eraun grupo distinto de clientes que respondieron enérgicamente a cada intervención (clientes con características demográficas o de comportamiento particulares que se correlacionaron consistentemente con una probabilidad mucho menor de abandonar después de recibir las intervenciones), pero ese grupo de "alta sensibilidad" casi no se superponía con las personas identificado como "alto riesgo de abandono". Y esto tuvo serias implicaciones para el ROI: mi análisis descubrió que si las dos empresas gastaran la misma cantidad de presupuesto de marketing dirigido al grupo de alta sensibilidad en lugar del grupo de alto riesgo de deserción, reduciría sus tasas de deserción en un adicional. 5% y 8% respectivamente.

Por supuesto, los factores específicos que hacen que un cliente sea más propenso a ser receptivo a una campaña de retención variarán de una organización a otra e incluso de una campaña a otra, pero ejecutar programas piloto como los descritos anteriormente puede ayudarlo a identificar las características que serán los mejores predictores. de la sensibilidad de sus clientes a una intervención específica. Por ejemplo, una de las organizaciones en mi estudio era una empresa de telecomunicaciones con acceso a datos detallados sobre métricas de comportamiento, como la cantidad de llamadas que los clientes habían hecho en el último mes, la cantidad de mensajes de texto que enviaron, gigabytes de datos descargados y más. . Para esta empresa, los datos mostraron que la última vez que un cliente se había comprometido con la empresa predijo su nivel de riesgo de abandono, pero no tuvo ningún impacto en su sensibilidad a la intervención de abandono.Lo que predijo la sensibilidad fue su uso de datos, lo que sugiere que para maximizar el ROI, la empresa debería considerar dirigir su campaña de retención no a los clientes que no se habían involucrado en mucho tiempo, sino a los clientes que usaron la mayor cantidad de datos.

Pasar de la predicción a la prescripción

Entonces, ¿qué significa esto para los especialistas en marketing? La idea clave es que las intervenciones de marketing deben enfocarse en función de la respuesta esperada de cada cliente a esa intervención, no en lo que se espera que hagan los clientes en ausencia de esa intervención. En cierto sentido, los especialistas en marketing son como los médicos: los médicos no solo brindan tratamientos aleatorios a los pacientes que tienen más probabilidades de morir, sino que prescriben tratamientos específicos a los pacientes que tienen más probabilidades de responder positivamente a esos tratamientos.

En lugar de tratar de predecir lo que harán los clientes (es decir, tratar de determinar su riesgo de abandono), los especialistas en marketing deben centrarse en cómo los diferentes tipos de clientes responderán a campañas particulares y luego diseñar campañas que tengan más probabilidades de ser efectivas para reducir el abandono. entre un grupo determinado de clientes. Las empresas deben aprovechar los datos de las pruebas A/B no simplemente para intentar medir la eficacia general de una campaña entre todos los clientes, sino también para explorar qué tipos de clientes serán más sensibles a determinadas intervenciones. Eso significa combinar la transacción histórica de los clientes y los datos demográficos con los datos recopilados a través de pruebas A/B para identificar los comportamientos y rasgos que hacen que un cliente tenga más probabilidades de responder a una intervención en particular. Afortunadamente,muchas empresas ya recopilan todos estos datos; es simplemente una cuestión de aprovecharlos de una manera nueva.

***

El concepto de campañas de marketing dirigidas no es nada nuevo, pero es fundamental pensar detenidamente cómo está tomando esas decisiones de segmentación. En lugar de simplemente adivinar qué factores podrían indicar que alguien es un objetivo fuerte, o centrarse en un grupo que se ha considerado de alta prioridad (como los clientes con alto riesgo de abandono), las empresas deben apuntar a los clientes que serán los más sensibles a la intervención específica. están implementando. Para maximizar el ROI, los especialistas en marketing deben dejar de preguntarse: "¿Esta intervención es efectiva?" y empiece a preguntar: "¿Para quién es más eficaz esta intervención?" - y luego orientar sus campañas en consecuencia.

Eva Ascarza es profesora asociada de administración de empresas de la familia Jakurski en Harvard Business School.