La IA no sabe de métricas: sabe cuáles existen y cómo se calculan, y en función de eso incluso puede crearlas y proponer fórmulas. Pero que tenga el vocabulario no quiere decir que tenga el conocimiento.

Esto pasa porque la IA está entrenada en cómo se habla de métricas (posts, casos de éxito, presentaciones) pero no en cómo se instrumentan. El discurso sobre medición es público y abundante, pero la realidad de la instrumentación es privada.

Por eso, muchas veces propone «métricas» que suenan bien, y como ese vocabulario es tan elocuente, quien no sabe de métricas no sabe que está proponiendo cosas que o no son métricas, o no son medibles, o no son relevantes.

… Que sea una métrica

El término «métrica» se usa (erróneamente) para referirse tanto a lo cuantitativo como a lo cualitativo. Cuando hablamos de métricas, estamos hablando siempre de datos cuantitativos. Cuando es cualitativo, no es métrica, es información. Y muchas veces, la IA propone como métricas cosas que son observaciones cualitativas.

Por otro lado, una métrica para comunicar efectivamente tiene que tener por lo menos 2 cosas:

• una unidad de medida (cantidad, promedio, %)
• referencia temporal (día, mes, semana, año)

Y, si corresponde con lo que estamos midiendo,

• un objeto (por cliente, por usuario registrado)
• una acción (que se registran, que ingresan a su cuenta, etc.)

… Que sea medible

Muchas veces, la IA propone cosas que son inmedibles. Por ejemplo:

• «Tiempo neto ahorrado»: para saber cuánto tiempo se ahorró habría que ver como se resuelve eso sin el bot.
• en primer lugar, qué es «mejor»? En qué sentido, respecto a qué? Y además, cómo podemos medir sin IA? contra qué lo vamos a comparar?

… Que sea relevante

Muchas métricas suenan interesantes pero no aportan ningún tipo de información relevante. Por ejemplo, «cantidad de preguntas realizadas al bot»: pueden subir si el bot es útil, pero también si no da información correcta o clara y los usuarios tienen que re-preguntar.

Un ejemplo

Supongamos que estamos trabajando en un bot con IA para autogestión en una telco y le preguntamos a la IA qué métricas podríamos usar para medirlo.

Más allá de que este pedido está mal hecho porque falta un objetivo (esto es material para otro post, pero quienes ya hicieron el curso de métricas entienden la importancia de esto para poder medir), la IA nos tira esto:

Etapa	Métrica	Cálculo
Uso	​​​	Usuarios que activan la función ÷ usuarios que tuvieron acceso a ella
Uso	Tareas completadas con IA	Usuarios que completan tareas con IA ÷ usuarios que completan la tarea sin IA
Uso	Reintentos	Sesiones con una nueva instrucción sobre la misma tarea ÷ sesiones con IA
Uso	Edición del resultado	Resultados modificados antes de usarse ÷ resultados generados
Uso	Descarte	Resultados rechazados o eliminados ÷ resultados generados
Experiencia	Finalización de tarea	Tareas completadas ÷ tareas iniciadas con IA. Requiere definir un evento de finalización observable
Experiencia	Tiempo total por tarea	Tiempo desde el inicio hasta la finalización, incluyendo reintentos y edición
Experiencia	Tiempo neto ahorrado	Tiempo total promedio sin IA − tiempo total promedio con IA
Experiencia	Escalamiento	Tareas que terminan en soporte o intervención humana ÷ tareas iniciadas con IA
Calidad del resultado	Tasa de error verificado	Resultados con errores detectados mediante revisión o una prueba definida ÷ resultados revisados
Resultado	Costo por tarea completada	Costo de IA, revisión y soporte ÷ tareas completadas

 

Otras métricas a considerar:

• relevancia, completitud y exactitud
• si el resultado fue mejor que sin IA

La IA devolvió una lista que parece rigurosa porque es larga, tiene nombres, categorías y fórmulas. Pero como decíamos antes, muchas de estas o no son métricas, o no son medibles o no son relevantes.

• En primer lugar, a muchas métricas les falta una unidad de medida. La IA propone que midamos cantidades absolutas de usuarios o porcentajes? Por las fórmulas pareciera ser %, pero también se podrían contar cantidades absolutas…
• «Adopción de IA» no es pertinente. La IA del bot no es un botón que se activa o no. Ya la tiene.
• «Reintentos» es una idea útil mal formulada. Habla de «instrucciones» y «tareas», que es lenguaje de otro tipo de producto, aunque lo podríamos reemplazar por «repregunta». Pero para medirlo, primero hay que definir reglas para saber qué cuenta como repregunta y para eso no hay una regla general sino que es caso por caso, aún si este análisis es asistido por IA.
• «Tiempo total de la tarea»: una típica métrica de UX. Pero, es realmente relevante si le tomó tiempo? O importa más si la resolvió?
• «Tiempo neto ahorrado» suena bien, especialmente porque el «neto» que la hace sonar seria y contable, porque no es total, es «neto». Pero también es inmedible: cómo sé cuánto tiempo se ahorró? contra qué se compara?
• «Relevancia, completitud y exactitud» es información cualitativa, no es una métrica. Es algo que queremos saber, pero que es difícil medir cuantitativamente.
• «Si el resultado fue mejor que sin IA» es inmedible. Cómo podríamos saber la calidad de la alternativa?
• Por otro lado, «edición del resultado» y «descarte» no corresponden a muchas interacciones con ese bot
• Y «tareas completadas» otra típica métrica de UX de la que uno no dudaría, puede no ser medible si la consulta es «no entiendo mi factura».

Esto pasa sin IA también

Proponer información cualitativa como métrica, proponer «métricas» que son inmedibles, y tratar de medir cosas que no son relevantes no es nuevo. Esto pasa igual sin IA.

Pero con IA este problema se exacerba porque la IA hace sonar todo mucho más plausible. Uno puede dudar de sus ideas, pero es menos probable que dude si lo propone la IA.

Por eso si saber de métricas ya era importante, lo es más aún en contextos de uso de IA.

La importancia de saber de métricas en tiempos de IA

Por todo lo anterior, saber de métricas es lo que permite saber si una respuesta de IA que tiene apariencia de precisión es realmente algo que sirve.

El tema es que muchas veces los diseñadores proponen métricas como una carta de intención, pero como luego nunca terminan midiendo, no se dan cuenta que muchas de las métricas propuestas no sirven. Y al final del día el resultado es que sin métricas no se puede demostrar aporte. Solo se puede mostrar producción, pero no resultados.

Cuando la IA hace cada vez más fácil y rápida la producción, el rol del diseño se sostiene por sus resultados. Por eso, saber medir, aún usando IA, es clave.