WER (tasa de error de palabra)
Porcentaje de palabras que una transcripción automática cambia, quita o añade respecto al texto correcto. Cuanto más baja, mejor.
La WER (del inglés «word error rate») es la medida más habitual de la calidad de una transcripción automática. Se compara el texto del sistema con un texto de referencia correcto y se cuentan las palabras sustituidas, eliminadas y añadidas. La suma se divide entre el número de palabras de la referencia.
Ejemplo: si la referencia tiene 100 palabras y el sistema cambia 2, se salta 1 y añade 1, la WER es del 4 %. La precisión que se suele anunciar es 100 % menos la WER, en este caso un 96 %.
- Mira con qué audio se midió: frases leídas con buen sonido dan cifras mejores que una reunión real con ruido.
- Mira cómo se normalizó: quitar mayúsculas, puntuación o formato de números cambia el resultado.
- Una cifra no lo dice todo: no es lo mismo fallar un artículo que el nombre de un cliente.
Echo midió una WER del 2,63 % con 80 frases en español del conjunto público FLEURS, es decir, un 97,4 % de palabras correctas. Los fallos que quedaron fueron sobre todo nombres propios raros y formato de horas. El método completo está en precisión.
