CASO:

Experimentos publicitarios en RestaurantGrades

Shirley A. Critic es la fundadora de RestaurantGrades (RG), una plataforma de reseas de restaurantes (similar a Yelp o TripAdvisor) con una cantidad impresionante de reseas en lnea escritas por comensales normales. Shirley est contenta con el crecimiento y la posicin de la empresa en la industria. , y tiene evidencia convincente de que las reseas de RG tienen una influencia importante en las elecciones de restaurantes que hace la gente. Sin embargo, se han planteado dudas sobre la eficacia de la principal fuente de ingresos de la empresa: la venta de anuncios a los restaurantes. Para comprender mejor este problema, Shirley decidi realizar un ensayo controlado aleatorio a gran escala con un grupo de control y dos grupos de tratamiento: un tratamiento para probar el impacto de sus anuncios actuales en las ventas de restaurantes y el otro tratamiento para probar el impacto de un diseo de anuncio alternativo al que est considerando cambiarse. Su equipo realiz el experimento y encontr los resultados en la hoja de clculo adjunta. Siendo una nerd de los datos (en el mejor sentido posible) y sabiendo que el diablo suele estar en los detalles, Shirley quiere ver los resultados ella misma. Quiere saber si los anuncios publicitarios de su empresa realmente funcionan y si deben seguir con el diseo actual o cambiar al diseo alternativo.

Antecedentes de los anuncios de RG

En RG, cada restaurante tiene una pgina de perfil con informacin operativa que incluye su horario, nmero de telfono y ubicacin, donde los usuarios de RG que han visitado el restaurante pueden dejar comentarios para otros usuarios. Los usuarios tambin pueden descubrir y buscar restaurantes en la plataforma usando filtros, y pueden hacer reservas y pedir comida a travs de la pgina de perfil de un restaurante. La mayora de los ingresos de RG provienen de la venta de anuncios a travs de su equipo de ventas, que llama en fro a los restaurantes para tratar de convencerlos de que anuncien en la plataforma. Los anuncios, etiquetados como resultados de bsqueda patrocinados, se colocan en una seccin separada encima de los resultados orgnicos para las bsquedas que realizan los usuarios. Los paquetes de anuncios se compran por alrededor de $ 300 por mes y los anunciantes deben suscribirse a un contrato de un ao. Si bien RG utiliza un algoritmo de bsqueda muy parecido al de Google que determina cundo y qu anuncios se muestran dada la bsqueda de restaurantes de un usuario en la plataforma, los restaurantes tienen poco que decir sobre qu trminos de bsqueda activarn sus anuncios. Sin embargo, tienen la garanta de que sus anuncios se mostrarn un mnimo de 1.000 veces al mes a los usuarios. El algoritmo de bsqueda actual de RG muestra anuncios de restaurantes activados por tipo de cocina dentro de un radio de 0,5 millas de la bsqueda de un usuario. Por ejemplo, si un usuario busca restaurantes italianos en Harvard Square, el algoritmo elegir dos restaurantes italianos dentro de Harvard Square para anunciar. El equipo de ingeniera ha realizado una variedad de pruebas para observar cmo responden los usuarios a diferentes tipos de anuncios en diferentes bsquedas y ha diseado un algoritmo de bsqueda alternativo. En lugar de elegir dos restaurantes por cocina, el algoritmo alternativo muestra anuncios cuando un usuario busca un restaurante especfico y elige dos restaurantes con calificaciones y horarios similares. Si bien el equipo de Shirley est razonablemente satisfecho con la forma en que el algoritmo actual muestra los anuncios, est abierto a la posibilidad de que el diseo alternativo sea significativamente mejor (o significativamente peor) para brindar beneficios a sus anunciantes.

Experimento

Para el experimento, el equipo de Shirley seleccion al azar 30 000 restaurantes que estaban activos en su plataforma pero que no publicitaban actualmente, lo que arroj una muestra que es representativa de su poblacin de restaurantes en los EE. UU. Sin embargo, durante el mes de duracin del experimento, 10 000 restaurantes fueron elegidos al azar para recibir anuncios gratuitos utilizando el enfoque publicitario actual, y otros 10,000 restaurantes fueron seleccionados al azar para recibir los anuncios diseados alternativamente. La principal diferencia entre estos dos grupos de tratamiento era que el diseo alternativo usaba un algoritmo muy diferente para decidir cundo entregar anuncios y qu anuncios emparejar con cada bsqueda, como se describi anteriormente. Los 10.000 restaurantes restantes no recibieron anuncios. Ninguno de los restaurantes fue informado sobre el experimento o los anuncios.

Hoja de clculo

El suplemento de la hoja de clculo para este ejercicio (HBS No. 916-702) contiene los resultados que el equipo de Shirley observ para los 30 000 restaurantes durante el experimento de un mes. La unidad de observacin es un restaurante-mes, por lo que los datos de cada restaurante estn en una sola fila. Por ejemplo, en una fila, las pginas vistas se refieren al nmero de visitas nicas a la pgina de RG de un restaurante durante ese mes. Las variables de resultado incluidas son las siguientes:

Nombre de la variable	Definicin
Identificacin del negocio	El identificador nico del restaurante.
tratamiento	=0: en el grupo de control = 1: en el primer grupo de tratamiento (anuncios que usan el algoritmo actual) = 2: en el segundo grupo de tratamiento (anuncios que utilizan un algoritmo alternativo)
tipo de restaurante	=cadena: cadena de restaurantes = independiente: restaurantes independientes
pginas vistas	# de visitas a la pgina de RG del restaurante por mes
llamadas	# de llamadas telefnicas realizadas desde la pgina de RG mvil del restaurante por mes
reservas	# de reservas realizadas desde la pgina RG del restaurante por mes

PREGUNTAS

1. Dado que hay un conjunto de restaurantes en la plataforma que han comprado anuncios y otro que no ha comprado anuncios, por qu se requiere una prueba A/B? No podemos comparar los resultados de los restaurantes que lo hacen y los que no lo hacen para encontrar la efectividad de la publicidad?

2. Qu variable de resultado es ms til para medir la efectividad de la publicidad? Cmo hars esta eleccin? Por favor explique su respuesta