Al momento de escribir éste artículo puedo asegurar que 1 de cada 2 publicaciones en LinkedIn está relacionada con inteligencia artificial. Sin duda, la irrupción de ésta tecnología está haciendo un gran ruido en el escenario mundial y con razón. Tal como mencioné en mi anterior artículo “AI Marketer: Inteligencia Artificial aplicada al growth marketing” y con mayor profundidad en mi e-book “AI for Marketers”, la inteligencia artificial es una tecnología tan transformadora y disruptiva sólo comparable con la irrupción de Internet hace ya más de 30 años.
Si pudiéramos trazar todos los avances tecnológicos entre Internet y la inteligencia artificial, sin duda, nos encontraríamos con todo lo relacionado al almacenamiento y análisis de datos lo cual dio vida a un mandamiento: ser data-driven. Estoy seguro que vamos a coincidir que previo a la IA, 1 de cada 2 publicaciones en LinkedIn tenían que ver con Data y cómo cada decisión personal o empresarial debe estar sustentada por datos.
A nivel profesional de marketing digital, podemos decir que el avance en data impulsó la experimentación hasta convertirla en otro mandamiento si lo que buscamos es crecimiento real. Tanto es así que nadie puede llamarse growth marketer o hacer growth sin entender cómo experimentar y analizar datos. Es decir, no existe característica más distintiva del growth marketer que su capacidad para experimentar (lo cuál es inherente a ser data-driven).
¿Qué es la experimentación?
Antes de entrar en cómo la inteligencia artificial está impactando en la experimentación, vamos a definir éste concepto de una forma sencilla: se trata de aplicar el método científico para establecer relaciones de causalidad entre cambios que realizamos en nuestro objeto de estudio, siendo en growth marketing, un activo digital como una app, una página web, un e-mail o anuncios.
El objetivo de identificar estas causalidades es encontrar qué funciona y que no a través de la validación de una hipótesis para luego poder escalar ese aprendizaje o “descubrimiento” sin caer en tu sesgo de qué te parece que funciona. Por ejemplo, en términos generales, puedes experimentar con la hipótesis de que “colocando un pop-up con una invitación a suscribirse a tu newsletter hará que las suscripciones aumenten en un 20%”.
Adicionalmente, la experimentación tiene otros objetivos que vienen implícitos en su naturaleza y que son fundamentales sobre todo en entornos digitales: minimizar riesgos y optimizar recursos. Ambos están íntimamente relacionados, pero hablamos de minimizar riesgos cuando a través de experimentar con un grupo reducido de usuarios podemos probar si algo funciona o no sin comprometer toda la operación de una empresa. Y de la mano con esto, hablamos de optimizar recursos ya que podemos experimentar el cambio que buscamos realizar en una menor escala y en una menor cantidad de tiempo que nos llevaría realizarlo a gran escala.
El método científico para experimentar
No es la intención de éste artículo profundizar en el paso a paso de cómo experimentar (pronto estará disponible el curso “AI for Experimentation” donde podrás aprender desde 0) pero sí vamos a decir que experimentar no se trata de probar dos versiones de, por ejemplo, una página web donde realices un cambio a una de ellas y lo pruebas en un tiempo arbitrario con una cantidad de usuarios arbitrarios y quién logré una mejor performance en una métrica particular es la ganadora.
Digamos que en nuestra caja de herramientas a la hora de experimentar necesitamos comprender y establecer ciertos conceptos como: tamaño de muestra, Conversion baseline, MDE (Minimum Detectable Effect), Significancia estadística y Poder estadístico.
Estas 5 variables están relacionadas entre sí y cualquier cambio en una de ellas resultará en el cambio de otras, pero el objetivo es entender cómo puedo estar seguro de que el resultado del experimento sea fiable. Si es la primera vez que lees estos conceptos, no te asustes, ya que es importante que los entiendas pero existen calculadoras que nos ayudan a ajustar las variables para nuestros experimentos como la calculadora de CXL o de Optimizely.
Vamos a un ejemplo práctico rápido para que quede súper claro cómo usar las variables de experimentación para conseguir resultados fiables. Siguiendo con el ejemplo de implementar un pop-up en mi sitio web para incrementar las suscripciones, usaremos la calculadora de CXL para realizar un A/B Testing con los siguiente datos inventados de mi sitio web:
- Tamaño de muestra: ésta métrica depende del tráfico que puedas generar, digamos, 500 por cada página.
- Conversion baseline: digamos que el 2% de los usuarios se suscriben
- MDE (Minimum Detectable Effect): 100%, es el cambio mínimo que necesito ver debido a la significancia estadística y poder estadístico estándar de fiabilidad.
- Significancia estadística: 95%, este valor es un porcentaje estándar de fiabilidad
- Poder estadístico: 80%, este valor es un porcentaje estándar de fiabilidad
Si le he dicho que podía generar un tráfico de 500 usuarios por página, ¿por qué me sugiere que el tamaño de muestra por variante requerido es “927”? Sencillamente porqué por debajo de ese nivel de usuarios, el resultado no sería fiable. Incluso nos sugiere que el experimento debería durar 20 días.
Para familiarizarse con cómo se interrelacionan estas variables, te invito a que repases los conceptos, ingreses a la calculadora y juegues con ella antes de implementarla en tu día a día.
Me gustaría finalizar ésta breve introducción a la experimentación afirmando algo que puede ser obvio pero experimentar es mucho más que pruebas A/B. Existen una variedad de metodologías y cada una de ellas tiene su naturaleza como el Multi-variable test o Funnel Test. Mientras que en la primera experimentamos con varias páginas con variantes (en lugar de sólo 1 como en el A/B testing), en la segunda experimentamos con una serie de páginas relacionadas entre sí, como un checkout de un e-commerce.
Inteligencia Artificial aplicada a la experimentación
Como no podía ser de otra forma, la Inteligencia Artificial nos puede ayudar en varias tareas ligadas al proceso de experimentación. Como habrás notado, a la hora de experimentar tenemos que tener en consideración varias cuestiones:
- Necesitamos tener en claro nuestros datos
- Necesitamos entender dónde y qué experimentar generando hipótesis
- Necesitamos entender cuál metodología de experimentación es la mejor para cada una de nuestras hipótesis (A/B Test? Funnel Test?)
- Necesitamos establecer eficientemente las variables del experimento en cuestión.
La inteligencia artificial puede ayudarnos en los 4 puntos mencionados, pero en éste artículo vamos a ver un ejemplo práctico para trabajar el punto 2 y 3. Veremos una secuencia de prompts sencillos tomando como ejemplo la startup donde actualmente me encuentro liderando el equipo de growth: Glitzi (Y Combinator Company), una startup de spa y belleza a domicilio:
“Eres experto en experimentación y trabajas para Glitzi, una app de servicios a domicilio de spa y belleza.
Identifica las principales tendencias de consumo en wellness & beauty durante 2023 y sugiere hipótesis sobre cómo estas tendencias podrían afectar la demanda de los masajes a domicilio en el futuro cercano.
Luego traduce éstas tendencias en hipótesis y experimentos concretos que tengan como objetivo generar más engagement con nuestros clientes y mayor adquisición de nuevos clientes.
Para cada experimento sugiere:
- La metodología más efectiva como A/B Testing, Multi-variable Test o Funnel Test
- La metodología más efectiva de validación de la hipótesis considerando variables como: conversion baseline, MDE, Tamaño de muestra, significancia estadística y poder estadístico
Considera preguntarme sobre datos que necesites para poder cumplir eficientemente con tu tarea con el objetivo de que sólo reste implementar los experimentos.
Usa bullets points para tu respuesta para ser conciso y cita la fuente de tu información”
Veamos la respuesta que GPT4 logró en 5 segundos por partes:
- Tendencias: me propocionó 5 tendencias siendo la que más relevante para mi el “Aumento de la Personalización” y argumenta que “los consumidores demandan servicios y productos más personalizados que se ajusten a sus necesidades específicas”
- Hipótesis: me proporcionó una hipótesis para cada una de las 5 tendencias siendo para el “aumento de la personalización” una opción muy vaga “la oferta de masajes personalizados según necesidades del cliente aumentará la demanda”.
- Experimento y metodologías: para validar la hipótesis planteada sugirió:
- Una hipótesis “más detallada”: “ofrecer masajes personalizados incrementará la retención de clientes en un 20%”
- Un experimento sumando una variable de ajuste de tiempo: dar la opción a que los usuarios puedan elegir el tiempo de sus masajes en vez de los tiempos estándar de 60 o 90 minutos.
- Una metodología específica: A/B Testing
- Me dio las variables a usar en este experimento: conversión base, MDE, significancia estadística de 95% y poder estadístico de 80%.
- Me pidió que le diera los datos de conversión base y la conversión esperada en este experimento.
Le pasé los datos que me pidió: mi conversión base es de 4% y espero aumentarla a 6%. Con ésta información finalizó el proceso con la siguiente respuesta:
Algo interesante para remarcar: las calculadoras de experimentación como la de CXL que mencionamos anteriormente, pueden variar en los resultados provistos e incluso diferir con GPT. Esto se debe a que existen ciertos parámetros que las calculadoras no revelan como, por ejemplo, la desviación estadística.
Espero que te haya servido esta breve introducción sobre cómo aplicar la inteligencia artificial a la experimentación y desde ya, hazme saber si tienes algún comentario y hablemos.