Se cree que tomar decisiones basadas en datos es decir, «ser data driven» equivale a tomar decisiones objetivas y por lo tanto mejores decisiones.
Pero esta creencia tiene tres grandes problemas:
- el primero es pensar que los números son objetivos,
- el segundo es pensar que lo que se mide, o es susceptible de ser medido cuantitativamente es más importante que aquéllo que no se puede medir a escala o que se mide de manera cualitativa,
- y el tercero es pensar que los números que elegimos son una representación total y objetiva de aquéllo que estamos midiendo.
Problema #1 – Objetividad de los datos
El problema es que los datos no son objetivos. El número es el número, sí, pero muchas veces viene atravesado o influenciado por decisiones previas: qué se mide, cómo se mide, cómo se define la métrica, qué período se toma, qué segmento se incluye, qué queda afuera. O sea: antes de que existan los números, ya hubo una interpretación humana.
Veamos esto con un ejemplo general y luego uno más específico relacionado con productos digitales.
IPC (índice de precios al consumidor)
El IPC (índice de precios al consumidor) es un índice que mide la variación promedio de precios de una canasta de bienes y servicios representativa del consumo de los hogares, y se la usa para seguir la inflación.
El IPC mide la variación de precios de una canasta definida de bienes y servicios, construida para representar el consumo promedio de ciertos hogares en un lugar y período determinados. Esa canasta tiene ponderaciones: no pesa lo mismo alimentos que transporte, salud, alquiler o recreación.
Si bien el índice es objetivo, puede incluir subjetividades en términos de qué ítems se incluyen, cuáles quedan afuera o cómo se hace la ponderación. Si se excluyen ciertos ítems, o se baja la ponderación de cosas que aumentaron mucho, entonces la inflación va a dar un valor más bajo del que realmente experimentan las personas en su día a día.
Así, si bien el IPC podría considerarse objetivo por ser un número que surge de una operación matemática, tiene subjetividades subyacentes respecto de qué se consideró para calcularlo.
Usuarios activos, Heavy users
Ahora vamos con otro ejemplo más ligado al día a día de los diseñadores y product managers. Por ejemplo, pensemos en «usuarios activos», «engagement», o «heavy users».
- Si somos una app y definimos usuarios activos como «usuarios que entraron a la aplicación» en vez de como «usuarios que hicieron por lo menos una transacción» claramente en el primer caso el número va a ser mayor porque no todos los que entran hacen algo. Cuando definimos la forma en que medimos algo ya estamos introduciendo subjetividades.
- Lo mismo pasa con heavy users: supongamos que somos una app de viajes tipo Uber. La cantidad de heavy users que contemos va a ser distinta si consideramos que alguien es heavy user si hace 1 viaje por semana a uno que hace 2 viajes por mes.
Es decir, las métricas son números, pero no por ello están exentos de sesgos y por lo tanto, no son objetivos por el solo hecho de ser números.
Por eso ser «data driven» es una falacia. Pensar que usar solo datos es objetivo solo reemplaza un sesgo visible por otro más sofisticado y menos evidente.
Problema #2 – Lo que no se mide cuantitativamente no es importante
También está la trampa de creer que aquéllo que puede medirse a escala es más importante que lo que no puede medirse o se mide cualitativamente.
Por ejemplo, clicks, tiempo en pantalla, scroll depth o cantidad de features usadas suelen ser fáciles de capturar. En cambio, confianza, comprensión, percepción de valor, reducción de fricción o calidad son más difíciles de medir, y cuando se miden, es a través de formas cualitativas.
Más tiempo, más páginas = más engagement
Después de un rediseño, vemos que los usuarios pasan más tiempo en la app, hay más clicks, más páginas vistas y con eso concluimos que hay más engagement y el rediseño fue un éxito. Pero también podría ser que todo eso se deba a que completar una tarea ahora cuesta más porque en vez de mejorar introdujimos fricción, o que la navegación es menos clara. Si no sabemos qué hay detrás de los números, no podemos hacer una interpretación correcta.
Por eso es que la información cualitativa agrega un componente muy valioso a la hora de ser «data driven». El número es el número, pero necesitamos información para interpretarlo correctamente. Por eso, muchas veces el componente cualitativo es clave para interpretar correctamente los números.
Así como antes vimos que un número, por el solo hecho de ser número no necesariamente implica objetividad, con este ejemplo también vemos por más que el número sea «objetivo», su interpretación puede ser subjetiva.
Si no sabemos qué hay detrás de ese número, podemos interpretarlo de cualquier forma y por lo tanto, mal interpretarlo. Y con eso, tomar decisiones equivocadas aún cuando fueron tomadas en base a números.
Acá nuevamente un número es un número, el «problema» es cómo lo interpretamos. Y esto nos lleva al tercer problema: el sesgo de la selección.
Problema #3 – Sesgo de selección de variables
El sesgo en la selección de las variables o métricas a observar es otro de los problemas que alimentan la ilusión de objetividad asociada al discurso data driven.
Muchas veces creemos que los datos que analizamos representan “la realidad”, cuando en verdad representan solo el recorte de realidad que decidimos medir. Y ese recorte puede llevarnos a ver una «realidad» distinta, no porque los datos estén mal, sino porque las variables elegidas no alcanzan para mostrar el fenómeno completo. Así, aún haciendo un análisis riguroso basado en datos, podemos tener una visión parcial o distorsionada de lo que está ocurriendo que nos lleva a tomar decisiones, como mínimo, sub-óptimas.
Por ejemplo, si después de rediseñar el flujo de cotización de un seguro de viaje eliminamos pasos y vemos que ahora hay menos clicks y que el recorrido lleva menos tiempo que antes, podríamos concluir que la experiencia mejoró, dar el proyecto por exitoso y pasar al siguiente. Después de todo, tomamos la decisión basados en datos: “objetivamente” hay menos pasos, menos clicks y menos tiempo en la tarea. Pero… ¿aumentaron las ventas?
Cuando medimos uso sin medir resultados estamos siendo data-driven sobre una representación incompleta de la realidad, y eso puede llevarnos a tomar decisiones sub-óptimas. En otras palabras, se confunde objetividad con relevancia: medir bien no es lo mismo que medir lo importante.
Conclusión
Los números no son objetivos por el solo hecho de ser números. Están atravesados por decisiones sobre qué se midió, cómo se midió, qué se dejó afuera y cómo se interpretó lo observado. Por eso, usar datos para tomar decisiones no garantiza, por sí solo, mejores decisiones.
La falacia del enfoque data driven aparece cuando confundimos datos con objetividad, objetividad con relevancia, y medición con comprensión. Podemos estar mirando números correctos, bien calculados y analizados con rigor, y aun así tomar decisiones sub-óptimas.
Por eso, más que data driven, es mejor ser data informed. Esto implica usar datos cuantitativos como insumo, pero no como el único. Una buena decisión combina evidencia cuantitativa con información cualitativa, entendimiento del problema, pensamiento crítico, criterio de producto, conocimiento del usuario, estrategia de negocio y lectura del contexto.
