Evaluación3 artículos
Cómo saber si tu agente es fiable: monta tu primera evaluación en una tarde
«Funciona bien» no es una medida: sin repeticiones, sin criterio de éxito y sin leer las trazas, lo que tienes es una impresión formada por las veces que miraste. Esta guía monta en una tarde la evaluación mínima que sí permite decidir, y explica qué números mirar y cuáles ignorar.
Para que un fichero no se modifique: la norma en el CLAUDE.md y un freno detrás
Una norma puede vivir en cinco sitios, y cada uno garantiza una cosa distinta. Dos de los cinco los hemos medido con 30 ejecuciones reales: la norma escrita aguantó las 10 veces, y el freno en código rechazó los 6 intentos que hubo.
Acertar una vez de diez y acertar diez de diez no son lo mismo
Un agente que acierta el 80 % de las veces falla casi siempre si lo que necesitas es que acierte diez veces seguidas. En un proceso de negocio, esa es la cifra que importa, y no es la que se publica.