# Por qué es importante saber de métricas aún con IA

- Link: https://www.solmesz.com/es/articulos/importancia-saber-metricas-con-ia
- Published: 2026-09-28T13:25:56-03:00
- Author: Sol Mesz

La IA no sabe de métricas: sabe cuáles existen y cómo se calculan, y en función 
de eso incluso puede crearlas y proponer fórmulas. Pero que tenga el vocabulario
no quiere decir que tenga el conocimiento.

Esto pasa porque la IA está entrenada en cómo se _habla_ de métricas (posts, casos
de éxito, presentaciones) pero no en cómo se _instrumentan_. El discurso sobre medición
es público y abundante, pero la realidad de la instrumentación es privada.

Por eso, muchas veces propone «métricas» que suenan bien, y como ese vocabulario
es tan elocuente, quien no sabe de métricas no sabe que está proponiendo cosas que
o no son métricas, o no son medibles, o no son relevantes.

### … Que sea una métrica

El término «métrica» se usa (erróneamente) para referirse tanto a lo cuantitativo
como a lo cualitativo. **Cuando hablamos de métricas, estamos hablando siempre de
datos cuantitativos. Cuando es cualitativo, no es métrica, es información. **Y muchas
veces, la IA propone como métricas cosas que son observaciones cualitativas.

Por otro lado, una métrica para comunicar efectivamente tiene que tener _por lo 
menos_ 2 cosas:

 * una unidad de medida (cantidad, promedio, %)
 * referencia temporal (día, mes, semana, año)

Y, si corresponde con lo que estamos midiendo,

 * un objeto (por cliente, por usuario registrado)
 * una acción (que se registran, que ingresan a su cuenta, etc.)

### … Que sea medible

Muchas veces, la IA propone cosas que son inmedibles. Por ejemplo:

 * «Tiempo neto ahorrado»: para saber cuánto tiempo se ahorró habría que ver como
   se resuelve eso sin el bot.
 * en primer lugar, qué es «mejor»? En qué sentido, respecto a qué? Y además, cómo
   podemos medir sin IA? contra qué lo vamos a comparar?

### … Que sea relevante

Muchas métricas suenan interesantes pero no aportan ningún tipo de información relevante.
Por ejemplo, «cantidad de preguntas realizadas al bot»: pueden subir si el bot es
útil, pero también si no da información correcta o clara y los usuarios tienen que
re-preguntar.

## Un ejemplo

Supongamos que estamos trabajando en un bot con IA para autogestión en una telco
y le preguntamos a la IA qué métricas podríamos usar para medirlo.

Más allá de que este pedido está mal hecho porque falta un objetivo (esto es material
para otro post, pero quienes ya hicieron el [curso de métricas](https://www.solmesz.com/es/curso/curso-metricas-diseno)
entienden la importancia de esto para poder medir), la IA nos tira esto:

  |  **Etapa** |  **Métrica** |  **Cálculo** |  
   |  Uso |  **​​​** |  Usuarios que activan la función ÷ usuarios que tuvieron acceso a ella |  
 |  Uso |  **Tareas completadas con IA** |  Usuarios que completan tareas con IA ÷ usuarios que completan la tarea sin IA |  
 |  Uso |  **Reintentos** |  Sesiones con una nueva instrucción sobre la misma tarea ÷ sesiones con IA |  
 |  Uso |  **Edición del resultado** |  Resultados modificados antes de usarse ÷ resultados generados |  
 |  Uso |  **Descarte** |  Resultados rechazados o eliminados ÷ resultados generados |  
 |  Experiencia |  **Finalización de tarea** |  Tareas completadas ÷ tareas iniciadas con IA. Requiere definir un evento de finalización observable |  
 |  Experiencia |  **Tiempo total por tarea** |  Tiempo desde el inicio hasta la finalización, incluyendo reintentos y edición |  
 |  Experiencia |  **Tiempo neto ahorrado** |  Tiempo total promedio sin IA − tiempo total promedio con IA |  
 |  Experiencia |  **Escalamiento** |  Tareas que terminan en soporte o intervención humana ÷ tareas iniciadas con IA |  
 |  Calidad del resultado |  **Tasa de error verificado** |  Resultados con errores detectados mediante revisión o una prueba definida ÷ resultados revisados |  
 |  Resultado |  **Costo por tarea completada** |  Costo de IA, revisión y soporte ÷ tareas completadas |

** **

**Otras métricas a considerar:**

 * relevancia, completitud y exactitud
 * si el resultado fue mejor que sin IA

La IA devolvió una lista que _parece_ rigurosa porque es larga, tiene nombres, categorías
y fórmulas. Pero como decíamos antes, muchas de estas o no son métricas, o no son
medibles o no son relevantes.

 * En primer lugar, a muchas métricas les falta una **unidad de medida**. La IA 
   propone que midamos cantidades absolutas de usuarios o porcentajes? Por las fórmulas
   pareciera ser %, pero también se podrían contar cantidades absolutas…
 * **«Adopción de IA»** no es pertinente. La IA del bot no es un botón que se activa
   o no. Ya la tiene.
 * **«Reintentos»** es una idea útil mal formulada. Habla de «instrucciones» y «
   tareas», que es lenguaje de otro tipo de producto, aunque lo podríamos reemplazar
   por «repregunta». Pero para medirlo, primero hay que definir reglas para saber
   qué cuenta como repregunta y para eso no hay una regla general sino que es caso
   por caso, aún si este análisis es asistido por IA.
 * **«Tiempo total de la tarea»**: una típica métrica de UX. Pero, es realmente 
   relevante si le tomó tiempo? O importa más si la resolvió?
 * **«Tiempo neto ahorrado»** suena bien, especialmente porque el «neto» que la 
   hace sonar seria y contable, porque no es total, es «neto». Pero también es inmedible:
   cómo sé cuánto tiempo se ahorró? contra qué se compara?
 * «**Relevancia, completitud y exactitud**» es información cualitativa, no es una
   métrica. Es algo que queremos saber, pero que es difícil medir cuantitativamente.
 * «**Si el resultado fue mejor que sin IA**» es inmedible. Cómo podríamos saber
   la calidad de la alternativa?
 * Por otro lado, «**edición del resultado**» y «**descarte**» no corresponden a
   muchas interacciones con ese bot
 * Y «**tareas completadas**» otra típica métrica de UX de la que uno no dudaría,
   puede no ser medible si la consulta es «no entiendo mi factura».

## Esto pasa sin IA también

Proponer información cualitativa como métrica, proponer «métricas» que son inmedibles,
y tratar de medir cosas que no son relevantes no es nuevo. Esto pasa igual sin IA.

Pero con IA este problema se exacerba porque la IA hace sonar todo mucho más plausible.
Uno puede dudar de sus ideas, pero es menos probable que dude si lo propone la IA.

**Por eso si saber de métricas ya era importante, lo es más aún en contextos de 
uso de IA.**

## La importancia de saber de métricas en tiempos de IA

Por todo lo anterior, **saber de métricas es lo que permite saber si una respuesta
de IA que tiene apariencia de precisión **es realmente algo que sirve.

El tema es que muchas veces los diseñadores proponen métricas como una carta de 
intención, pero como luego nunca terminan midiendo, no se dan cuenta que muchas 
de las métricas propuestas no sirven. Y al final del día el resultado es que sin
métricas no se puede demostrar aporte. Solo se puede mostrar producción, pero no
resultados.

**Cuando la IA hace cada vez más fácil y rápida la producción, el rol del diseño
se sostiene por sus resultados. Por eso, saber medir, aún usando IA, es clave.**

 

[[