Por qué cuatro jueces dan cuatro puntajes (y cómo se mide)
Termina el tul. Los cuatro jueces levantan su puntaje: 9,6, 9,2, 9,4 y 8,8. Los cuatro vieron la misma ejecución, desde la misma mesa, con el mismo reglamento. Nadie hizo trampa. Y sin embargo el resultado depende de a qué jueces le tocó ese competidor.
Esto no es una anécdota de tu torneo local. Pasa en todos los deportes juzgados por un panel, y en artes marciales está medido.
Lo que dicen los datos
En 2023 un grupo de investigadores de la Universidad Técnica de Viena y de universidades de Turquía publicó un estudio con 16 árbitros de kickboxing. Les mostraron combates en video en una herramienta de entrenamiento llamada JudgED y compararon cada decisión contra la decisión correcta. Después contrastaron esos resultados con las decisiones reales del Campeonato Mundial WAKO de 2021.
- La precisión media fue del 43 %: menos de la mitad de las decisiones coincidió con la correcta.
- El acuerdo entre árbitros fue bajo, con una kappa de Fleiss entre 0,37 y 0,40.
- El tiempo de reacción promedio fue de un segundo. En un segundo cabe una combinación completa.
- La conclusión de los autores: hace falta más entrenamiento para mejorar la precisión de las decisiones.
La kappa de Fleiss mide cuánto coinciden varios evaluadores más allá de lo que coincidirían por azar. Cero es azar puro, uno es acuerdo perfecto. Un 0,4 se suele leer como acuerdo apenas moderado. No es un panel que falle de vez en cuando: es un panel que, en buena parte de las decisiones, no está aplicando el mismo criterio.
De dónde sale el desacuerdo
Casi nunca de no saber el reglamento. Las causas son más incómodas porque no se corrigen leyendo:
El ángulo
Cada juez mira desde un lugar distinto. En combate, una patada que llega limpia al tronco vista desde una esquina puede llegar al brazo vista desde la otra. En tul, el pie que vuelve al punto de partida se ve distinto desde el centro de la mesa que desde un extremo.
La velocidad y la atención
Un juez de tul tiene que ver la postura, la altura, la onda, la respiración, la mano que no golpea y el pie que pivota, todo a la vez y en cada movimiento. Nadie lo ve todo. Cada juez ve una muestra, y las muestras de cuatro jueces no son la misma.
El umbral
Este es el más importante. Dos jueces ven la misma vacilación. Uno la descuenta y el otro no, porque para él no duró "más de una fracción de segundo". Los dos conocen la regla. Lo que difiere es dónde ponen la línea. Ese umbral personal se forma con la experiencia de cada uno y nadie lo ve, ni siquiera el propio juez, hasta que se compara.
El cansancio y la deriva
El juez de la primera llave de la mañana no es el mismo de la última de la tarde. Los umbrales se mueven a lo largo del día sin que nadie lo decida.
La regla misma
"Más de una fracción de segundo", "falta de potencia", "dinámica", "controlada en el blanco". Todo reglamento de un deporte juzgado tiene zonas que dependen del criterio. Están ahí a propósito: no se puede escribir una regla para cada caso. Pero cada una es un lugar donde el panel se puede separar.
Sesgo y ruido: dos problemas distintos
Cuando un juez se aleja del panel puede ser por dos razones, y conviene separarlas:
- Sesgo: se aleja siempre en la misma dirección. Es el juez que da sistemáticamente 0,2 menos que el resto. Es fácil de corregir una vez que se ve, porque es estable.
- Ruido: se aleja en direcciones distintas cada vez. Hoy más estricto, mañana más permisivo, sin patrón. Es más grave, porque no se corrige con un ajuste: hay que entrenar el criterio.
Un juez con sesgo y sin ruido es casi tan útil como uno perfecto. Un juez sin sesgo pero con mucho ruido acierta "en promedio" y se equivoca en cada combate.
El reglamento ya cuenta con el desacuerdo
Fíjate en cómo se decide un tul o un combate en Taekwon-Do ITF: no gana el promedio más alto. Cada juez vota, y gana quien tiene la mayoría con al menos dos votos. El sistema está diseñado para que el desacuerdo de un juez no decida solo. Es una defensa razonable, pero es una defensa: no reduce el desacuerdo, lo diluye.
Cómo se mide la consistencia de un panel
Medir es sencillo de explicar y difícil de hacer sin herramientas:
- Todos califican lo mismo. Los mismos videos, en una sola pasada, sin pausa ni retroceso, sin hablar entre ellos.
- Hay una referencia. Puede ser la puntuación de un juez experto, grabada en sincronía con el video, o la mediana de muchos jueces. La mediana y no el promedio: un juez que se va muy lejos mueve el promedio y casi no mueve la mediana.
- Se calcula la diferencia de cada juez contra la referencia, en cada video, y se convierte en una precisión.
- Se repite en el tiempo. Una medición es una foto. Varias son una tendencia, y separan el sesgo del ruido.
- Se mira dónde, no solo cuánto. Si los clicks están registrados en el tiempo del video, se sabe en qué segundo se separó cada juez. Ahí está la conversación útil.
Qué cambia cuando se mide
Un juez que recibe su diferencia después de cada video aprende algo que ningún curso le dice: en qué dirección se equivoca. Si siempre da más que el panel, sabe qué buscar. Si unas veces da más y otras menos, sabe que su problema es de atención o de umbral, no de reglamento.
Para un panel, medir significa poder decir algo que hoy casi ninguna federación puede: cuánto coinciden sus jueces, y si esa cifra mejora de un año al siguiente.
Preguntas frecuentes
¿Por qué los jueces de artes marciales dan puntajes distintos?
Por el ángulo desde el que miran, por la cantidad de cosas que hay que ver a la vez, por el umbral personal con que deciden los casos límite y por el cansancio a lo largo del día. Casi nunca es por no conocer el reglamento.
¿Qué es la kappa de Fleiss?
Una medida estadística de cuánto coinciden varios evaluadores más allá del azar. Cero es azar puro y uno es acuerdo perfecto. En el estudio con árbitros de kickboxing fue de 0,37 a 0,40.
¿Es mejor comparar contra la mediana o contra el promedio?
Contra la mediana. Un juez que se aleja mucho mueve el promedio de todo el panel y casi no mueve la mediana, así que la mediana es una referencia más estable.
¿Cómo sé si soy un juez estricto o permisivo?
Calificando los mismos videos que otros jueces y mirando tu diferencia contra la referencia muchas veces. Si siempre te alejas hacia el mismo lado es sesgo. Si cambia de lado, es ruido.
Fuentes
- Hoelbling, D. y otros (2023). JudgED: Comparison between Kickboxing Referee Performance at a Novel Serious Game for Judging Improvement and at World Championships. Applied Sciences, 13(17), 9549.
- ITF, Official ITF Rules of Competition, versión 2026-1: decisión por mayoría de votos de los jueces.