There’s an English version here.

Preparando la charla “Full loop analytics framework” que voy a dar en ILA 19 en Medellín, y que obviamente está centrada en analytics, estuve leyendo mucho sobre el tema.

Acá les dejo algunas cosas interesantes que fui rescatando de todas las lecturas.

El contexto es clave

En su artículo “Observations on Data, Metrics and Goals”, Dan Hill dice “Goals are three things: a metric, a value and a moment in time. When a goal feels wrong, it´s usually missing one of these”. Por ejemplo, “incrementar las ventas en 10% en los próximos 3 meses”.

Yo agregaría un cuarto componente: el contexto. Es importante tener en cuenta el contexto de las métricas para darles el sentido e interpretación correctos. Por ejemplo, el objetivo del 10% es realista? Es alto o es bajo? Si durante los últimos 3 meses las ventas se incrementaron en 1% mes a mes, entonces un 10% no es realista.

Tener contexto ayuda a tener un panorama completo y nos da la información necesaria para tener las conversaciones adecuadas.

Expectativas vs realidad

En el mismo artículo, y relacionado con el punto anterior, también dice “Explain variance to forecast, not variance to hope”. Y me pareció una gran observación.

Ahora… si bien el forecast debería estar elaborado en función de comportamientos pasados y otros factores ambientales y de negocio, muchas veces los objetivos del forecast están planteados en función de la esperanza y no de la realidad.

Siguiendo con el ejemplo anterior, puede ser que ese 10% de incremento que se puso como objetivo esté efectivamente en el forecast, pero que ese forecast responda más a una esperanza que a una realidad.

Así, si incorporamos el cuarto componente, el del contexto, podemos observar que ese 10% no sólo no es realista en términos de forecast, sino en términos de expectativas también. Nuevamente, incorporar el contexto nos sirve para explicar los resultados y tener las conversaciones correctas.

…

De la presentación de Jack Martin (ex Head of Product en Roomgo) “How to identify relevant KPIs” para Product School también rescato varios puntos importantes, que son los que vamos a ver a continuación.

Funnels: poner el foco en los que abandonaron

En su presentación habla de no enfocarse sólo en el final del funnel porque ahí están sólo los usuarios que terminaron el proceso y nos perdemos de saber lo que le pasó a los que abandonaron.

Aquéllos que quedaron a mitad de camino del funnel son los usuarios que más nos interesan por dos motivos:

• Por un lado, por su potencial: ya tenían intención de convertir pero no lo lograron, asique es posible que tengan más permeabilidad y por eso son aquéllos sobre los que más poder de influencia tenemos.
• Además, son los que tienen la información más valiosa: son los que nos pueden decir cuál es el problema con mi producto o flujo. La información que nos den nos permitirá pensar mejoras para muchos más usuarios.

La visión holística es clave

Objetivos enfocados en una visión de corto plazo orientada a resultados nos pueden llevar a tomar malas decisiones. Por ejemplo, si en la home el sitio decidimos eliminar información de producto para incrementar el CTR hacia páginas de producto.

Puede ser que esto incremente el CTR pero crea fricción con los usuarios, que ahora tienen que hacer más esfuerzo para encontrar información de producto que les permita tomar decisiones de compra, y siempre está el riesgo de que o no la encuentren o no quieran hacer el esfuerzo, y por lo tanto abandonen la compra.

Si encima nuestra competencia sí tiene la información de producto a la mano, más riesgo tenemos de perder ventas. Así, el CTR puede ser que aumente en lo inmediato, pero si esta mejora viene a costo de la experiencia, en el corto y mediano plazo esto puede disminuir las ventas.

Por eso, lo importante es mirar el journey completo más que momentos o métricas específicas. Porque puede ocurrir que por optimizar partes del funnel terminemos resintiendo los resultados totales.

En otras palabras, si nos concentramos en métricas aisladas podemos llegar a confundir el árbol por el bosque y no darnos cuenta de que una mejora en un punto específico del journey o funnel en realidad está resintiendo el proceso en su totalidad.

KPIs y Preguntas de negocio

Este punto es muy obvio, pero muchas veces se pasa por alto: todas las métricas deben responder preguntas de negocio o producto. Sino, no se sabe cómo interpretar los KPIs.

Por ejemplo, más visitas a las páginas de ayuda, es bueno o malo? Si tomamos este KPI de forma aislada, podemos pensar que tenemos un problema: más visitas quiere decir que más gente tiene problemas con nuestro producto.

Sin embargo, si el objetivo de negocio es que más gente utilice los canales digitales abandonando el telefónico, un aumento en las visitas a las páginas de ayuda es positivo, siempre y cuando esto esté correlacionado con una disminución en el volumen o duración de los llamados.

En otras palabras, es importante asociar KPIs a preguntas de negocio y no medirlos de forma aislada porque podemos llegar a las conclusiones equivocadas

Cohorts

Cuando hacemos cambios en el producto, es importante medir resultados utilizando cohorts porque si miramos los datos en forma agregada podemos sacar conclusiones equivocadas.

Por ejemplo, si hacemos cambios en el checkout, tenemos que hacer un cohort con los usuarios viejos (los que ya realizaron una compra) y otro con los usuarios nuevos para hacer una correcta medición de los resultados.

Es importante hacer esto porque probablemente a los usuarios viejos, que ya están acostumbrados al diseño anterior, el cambio los confunda y tengan problemas al inicio mientras que a los usuarios nuevos este cambio les facilite la interacción.

Así, si mezclamos a ambos públicos en un mismo resultado podemos ensuciar las conclusiones.