1.4K anunciantes en línea
1.4K anunciantes en línea
Queremos conocer tus impresiones, ideas y sugerencias de la Comunidad de Anunciantes de AdWords.
Guiame
favorite_border
Responder

Repartir tráfico equitativo entre experimento y control

Estudiante ✭
# 1
Estudiante ✭

Buenas a tod@s,

 

Mi problema consiste en que no me parecen fiables los experimentos de Adwords. Me explico.

 

Quiero hacer un experimento en el que pruebo un anuncio nuevo en un grupo concreto con mucho volumen. Quiero comparar el CTR del anuncio nuevo que pongo en "experiment only" con otro de control que pongo en "control only".

 

En el grupo solo tengo 4 anuncios, estos dos de DESKTOP y otros dos de MOBILE. 

 

Ya he activado el experimento de Adwords y he puesto que se reparta 50-50 el tráfico para experimento y control. 

 

El grupo en el que se encuentran los 4 anuncios está en "experiment & control".

 

Cuando acaba el experimento, voy a evaluar cómo ha ido y veo que se ha repartido más el volumen a un anuncio que al otro... entonces no puedo sacar conclusiones fiables.

 

Tengo varias opciones por lo que podría ocurrir: 

 

1º)  La configuración de la campaña está en "Optimized for conversions" y por este motivo sigue dándole tráfico solo a los anuncios con mayor probabilidad de conversión, o mayor probabilidad de click en el caso de que no haya histórico de conversión.

 

En este caso, debería cambiar la configuración de rotación de anuncios a EQUITATIVO cuando activo un experimento????

 

2º) Por el mero hecho de que el rendimiento de uno de los dos anuncios es mejor,  en cuanto a CTR, sale más en las subastas. Aunque esta opción no la veo muy probable. Pero he leido:

 

https://support.google.com/adwords/answer/2375390

 

Y dice que puede haber diferencias entre volumen de impresiones solo por el rendimiento (que no me parece justo porque si programo el experimento y pongo 50-50, es porque quiero sacar los anuncios 50-50 no por su rendimiento, si fuera por el rendimiento tendría la configuración de la campaña como yo quiera y listo)

 

 

En definitiva, me gustaría confirmar, si para repartir el volumen entre experimento y control de forma equitativa activando los experimentos de Adwords, debo cambiar la configuración de la campaña a "Rotate evenly" a parte de elegir la opción de 50-50 en la programación del experimento.

 

Gracias por vuestra atención,

 

Juanjo.


Soluciones aceptadas
Marcado como solución aceptada.
Solución
Aceptado por el autor del tema Juan José M
septiembre 2015

Re: Repartir tráfico equitativo entre experimento y control

Profesor ✭
# 4
Profesor ✭
Juan, no elijas nunca otra opción que no sea rotar equitativamente (rotate evenly). Y utiliza una calculadora de tests A/B para tú mismo elegir qué anuncios son mejores en base a su tasa de conversión, y siempre con una certeza estadística de 99% o más.
"Optimized for click" sólo espera unos días o una semana aproximadamente y se basa en el CTR. Si utilizas esa opción, no estarás utilizando datos estadísticamente relevantes ya que como te comenté AdWords elige un tamaño de muestra demasiado chico y erróneo, y te estarás basando en una métrica (CTR) que no es un KPI, no te dice realmente cómo te está yendo. El único que ganaría con esa opción sería Google.

En la teoría los anuncios ganan distinto % de subastas por su relevancia... pero en la práctica yo veo otra cosa, de la cual no logro descifrar su lógica...

Espero que te sirva Emoticono feliz

Saludos!

Ver la solución en mensaje original publicado


Todas las respuestas

Re: Repartir tráfico equitativo entre experimento y control

Profesor ✭
# 2
Profesor ✭
Hola Juan José

Te recomiendo siempre poner "rotate evenly", ya que AdWords "optimiza" con un sample size incorrecto (no hace un test A/B como corresponde).
Por otro lado, la diferencia de impresiones según me han dicho en soporte de AdWords cuando consulté es porque los anuncios ganan distinta cantidad de subastas por más que salgan equitativamente a las mismas.
Te recomiendo setear siempre "rotate evenly" como te comenté antes, y usar una calculadora de tests A/B externa. A mi los experimentos no me ha gustado como funcionan, sobretodo cuando terminan.

Y por último: por qué te basas en el CTR? Si mides conversiones, ten en cuenta de que un anuncio puede tener una mejor tasa de conversión y un peor CTR. Emoticono feliz
Si mides conversiones y te basas en el CTR para los tests, te irás alejando del objetivo poco a poco.

Saludos!

Re: Repartir tráfico equitativo entre experimento y control

Estudiante ✭
# 3
Estudiante ✭
Muchas gracias Luan,

Si a ver, deberíamos tener la configuración de las campañas en "Optimized for click", para que todo cuadre en cuanto a objetivos.

Y otra pregunta: ¿Sabes porqué ganan diferentes subastas, saliendo uno más que el otro, estando la rotación equitativa? ¿se fijan en el CTR del anuncio y la relevancia del mismo con la búsqueda, o siguen algún otro criterio estadístico para decidir esto?

Saludos, Juanjo.
Marcado como solución aceptada.
Solución
Aceptado por el autor del tema Juan José M
septiembre 2015

Re: Repartir tráfico equitativo entre experimento y control

Profesor ✭
# 4
Profesor ✭
Juan, no elijas nunca otra opción que no sea rotar equitativamente (rotate evenly). Y utiliza una calculadora de tests A/B para tú mismo elegir qué anuncios son mejores en base a su tasa de conversión, y siempre con una certeza estadística de 99% o más.
"Optimized for click" sólo espera unos días o una semana aproximadamente y se basa en el CTR. Si utilizas esa opción, no estarás utilizando datos estadísticamente relevantes ya que como te comenté AdWords elige un tamaño de muestra demasiado chico y erróneo, y te estarás basando en una métrica (CTR) que no es un KPI, no te dice realmente cómo te está yendo. El único que ganaría con esa opción sería Google.

En la teoría los anuncios ganan distinto % de subastas por su relevancia... pero en la práctica yo veo otra cosa, de la cual no logro descifrar su lógica...

Espero que te sirva Emoticono feliz

Saludos!