Un piloto puede demostrar que las personas usan tu producto, que la implementación es posible o que una métrica mejoró. Pero eso no significa automáticamente que tu producto causó esa mejora. Para hablar de causalidad necesitas comparar lo ocurrido con una estimación razonable de qué habría pasado sin tu solución.

El CDC diferencia entre evaluar resultados e impacto: una evaluación de resultados observa si hubo cambios; una evaluación de impacto intenta determinar si esos cambios fueron causados por la intervención.

Antes de elegir el diseño, ¿qué quieres validar?

No todos los pilotos buscan demostrar impacto. Primero define qué pregunta quieres responder:

• ¿Las personas pueden utilizar el producto? Valida usabilidad.

• ¿Lo utilizan durante varias semanas? Valida adopción.

• ¿La operación funciona en condiciones reales? Valida implementación.

• ¿Mejora un resultado específico? Valida resultados.

• ¿La mejora ocurrió gracias al producto? Busca demostrar causalidad.

Las primeras preguntas pueden responderse con pilotos simples. La última necesita un diseño más riguroso.

¿Cuándo usar un diseño preexperimental?

Utilízalo cuando quieres obtener evidencia inicial, tienes pocos participantes o todavía estás probando si la solución puede implementarse.

En este diseño normalmente trabajas con un solo grupo. Puedes medirlo antes y después de utilizar el producto, pero no tienes un grupo de control comparable.

Ejemplo de diseño preexperimental

Realizas una capacitación con 30 personas. Aplicas una evaluación antes, implementas la capacitación y vuelves a evaluar al finalizar.

Si el resultado aumenta de 50 a 70 puntos, puedes afirmar que hubo una mejora durante el periodo. Pero no puedes asegurar que la capacitación causó la mejora. Las personas también pudieron aprender por experiencia, práctica, otros recursos o factores externos.

El diseño de un solo grupo con pretest y postest es útil como primera aproximación, pero tiene amenazas importantes para la validez. La literatura metodológica advierte que este tipo de estudio no permite descartar explicaciones alternativas con suficiente fuerza. Ver referencia en PubMed.

Úsalo cuando:

• Estás en una etapa temprana del producto.

• Quieres probar usabilidad, adopción o implementación.

• Solo tienes acceso a un grupo.

• Necesitas detectar señales antes de invertir más.

• Todavía no necesitas demostrar impacto causal.

¿Qué puedes concluir?

Los participantes mejoraron después de utilizar el producto.

No deberías decir:

El producto provocó la mejora.

¿Cuándo usar un diseño cuasi-experimental?

Utilízalo cuando necesitas comparar resultados, pero no puedes asignar aleatoriamente a los participantes.

Esto ocurre frecuentemente cuando los grupos ya existen: salones, universidades, empresas, sucursales, ciudades o cohortes anteriores.

Ejemplo de diseño cuasi-experimental

Una universidad ya tiene cuatro salones definidos. Dos utilizan tu producto y dos continúan con la metodología habitual. Evalúas a todos antes y después de la intervención.

Este diseño es más fuerte que medir únicamente al grupo que utilizó el producto. Sin embargo, los salones podrían ser distintos desde el inicio: docentes diferentes, niveles previos, horarios o características de los estudiantes.

Por eso debes medir la línea base y comprobar si los grupos eran comparables antes de comenzar. El What Works Clearinghouse considera la equivalencia inicial un elemento central para evaluar la calidad de los diseños cuasi-experimentales.

Úsalo cuando:

• Ya existen grupos definidos.

• No puedes cambiar quién recibe la solución.

• Necesitas una comparación más sólida.

• Puedes medir ambos grupos antes y después.

• Puedes identificar un grupo de comparación razonablemente parecido.

¿Qué puedes concluir?

Un cuasi-experimento bien diseñado puede aportar evidencia más fuerte sobre el efecto del producto, pero necesita más supuestos y controles que un experimento aleatorizado.

Siempre debes explicar cómo seleccionaste los grupos, qué diferencias existían inicialmente y qué variables intentaste controlar. No basta con tener dos grupos: tienen que ser comparables.

¿Cuándo usar un diseño experimental?

Utilízalo cuando puedes asignar aleatoriamente personas o grupos entre tratamiento y control.

La asignación aleatoria busca que ambos grupos sean similares antes de comenzar. De esta forma, la principal diferencia entre ellos debería ser la presencia de tu producto.

Ejemplo de diseño experimental

Tienes 200 nuevos usuarios. Asignas aleatoriamente a 100 al onboarding actual y a 100 al nuevo onboarding. Después comparas activación, retención o conversión.

También puedes asignar salones completos. Si distribuyes aleatoriamente los salones entre tratamiento y control, sigue siendo un experimento, aunque no hayas asignado individualmente a cada estudiante.

Según la guía de evaluación del CDC, los diseños experimentales usan asignación aleatoria y permiten demostrar con mayor fuerza una relación causal entre la intervención y los resultados.

Úsalo cuando:

• Puedes controlar la asignación de participantes.

• Existe una métrica específica de impacto.

• Tienes suficientes participantes o grupos.

• La randomización no genera un problema ético u operativo.

• Necesitas evidencia fuerte para escalar, vender o invertir.

¿Qué puedes concluir?

Cuando la asignación aleatoria se ejecuta correctamente y no existen problemas graves de abandono o contaminación entre grupos, el diseño experimental permite sostener con mayor fuerza que las diferencias fueron causadas por la intervención.

¿Qué diseño debería elegir tu startup?

No lo elijas según tu industria. Elígelo según el nivel de evidencia que necesitas y el control que tienes sobre el piloto.

• Preexperimental: quieres encontrar una señal inicial.

• Cuasi-experimental: necesitas comparar, pero los grupos ya existen.

• Experimental: puedes asignar aleatoriamente y necesitas demostrar causalidad.

Un piloto temprano no tiene que demostrar causalidad para ser útil. Puede ayudarte a descubrir si las personas usan el producto, si la implementación funciona y qué deberías corregir.

El error aparece cuando utilizas evidencia preexperimental y la presentas como prueba de impacto.

Preguntas frecuentes

¿Un piloto demuestra que mi producto funciona?

No necesariamente. Puede demostrar que el producto se puede implementar, que las personas lo usan o que una métrica cambió. Para afirmar que el producto causó ese cambio necesitas un diseño que permita descartar explicaciones alternativas.

¿Necesito siempre un grupo de control?

No para validar usabilidad, adopción o implementación. Sí necesitas algún tipo de comparación sólida cuando quieres estimar qué habría ocurrido sin tu producto y acercarte a una conclusión causal.

¿Un pretest y un postest demuestran impacto?

No por sí solos. Demuestran que hubo una diferencia entre dos momentos, pero esa diferencia también puede deberse a práctica, maduración, eventos externos u otros factores.

¿Dos salones forman automáticamente un cuasi-experimento?

No. Necesitas definir cuál recibe la intervención, cuál funciona como comparación y comprobar si ambos eran comparables antes de comenzar. Si asignas aleatoriamente los salones, el diseño puede ser experimental por clusters.

¿Cuál es el mejor diseño para una startup?

El diseño más simple que responda la decisión que necesitas tomar. En una etapa temprana puede bastar un preexperimento; para vender impacto o escalar una intervención necesitarás evidencia comparativa más fuerte.

Antes de comenzar tu próximo piloto, responde esta pregunta:

¿Quiero saber si el producto puede funcionar, si los resultados mejoraron o si la mejora fue causada por mi producto?