hiddenrows

Guías prácticas para trabajar con agentes de IA, con un laboratorio al final de cada una

última edición=16 de octubre · 24 piezas · 14 breves
regla=solo lo verificado como hecho
llamadas a un modelo por visita=0
Evaluación

Acertar una vez de diez y acertar diez de diez no son lo mismo

Un agente que acierta el 80 % de las veces falla casi siempre si lo que necesitas es que acierte diez veces seguidas. En un proceso de negocio, esa es la cifra que importa, y no es la que se publica.

2 min de lectura publicado el 18 sept 2026

La idea

Los rankings de agentes publican lo que se llama pass@k: la probabilidad de acertar al menos una vez en k intentos. Es una cifra generosa, y para el trabajo de un programador que va a revisar el resultado tiene sentido. Para un proceso que se ejecuta solo, todos los días, hace falta la contraria: acertar las k veces. Con un 80 % de acierto por intento, diez seguidos salen bien el 10,7 % de las veces.

La diferencia no es un tecnicismo: es la distancia entre una demostración que impresiona y algo que puedes dejar funcionando sin mirarlo. Y la fiabilidad está mejorando mucho más despacio que la capacidad.

→ 10,7 %

Probabilidad de acertar k veces seguidas

tu agentereferencia: 95 % y 99 % por intento
Supone intentos independientes: pass^k = p^k. Pasa el cursor por la gráfica para ver cada k.
Los datos que lo sostienen
  • V Una prueba de atención al cliente publicada en junio de 2024 lo enseñó pronto: hasta los modelos punteros de entonces resolvían menos de la mitad de las gestiones, y exigirles ocho aciertos seguidos bajaba el resultado por debajo del 25 %.
  • V La Universidad de Princeton lo confirmó con dos años más de perspectiva (feb-2026): mientras la capacidad sube sin parar, la constancia apenas mejora. Son dos curvas distintas, y la que importa para producción es la plana.
  • S Toby Ord, investigador de Oxford, lo llevó al terreno del tiempo (may-2025): si la probabilidad de meter la pata por minuto se mantiene, un agente que termina bien la mitad de las tareas de una hora acierta el 25 % en las de dos horas y el 6 % en las de cuatro. Los errores se multiplican, no se suman.
  • V De ahí que el horizonte temporal que publica METR, un laboratorio independiente que mide capacidades de agentes, haya que leerlo con cuidado (ene-2026): que aguante tareas de X horas acertando la mitad de las veces no significa que puedas delegarle las de media hora si necesitas un 98 % de acierto.
  • V Cómo se mide en tu caso (Anthropic, ene-2026): repite cada tarea varias veces, puntúa el estado final —no el camino— y lee las trazas de las que fallaron. O Hamel Husain y Shreya Shankar, que se dedican a esto, insisten en que veinte o cincuenta casos sacados de fallos reales valen más que cualquier plataforma de medición.
hiddenrows · proyecto personal de divulgación de Miguel Yepes Contenido divulgativo, puede contener errores · sin garantías · Aviso legal · Privacidad · llms.txt