{
  "reviewed_utc": "2026-10-28T15:52:06.133052+00:00",
  "scope": "Re-review of all 19 research strands; source results retained, no new experimental execution. Engineering recommendations are explicitly distinguished from observations.",
  "q_and_a_critic_excluding_flash_mean_delta": -3.247037077423124,
  "hermes_playbook_tax": {
    "same_solves_per_setup": 55,
    "token_ratio": 1.1992372166098002,
    "cost_ratio": 1.193477141366145
  },
  "insights": [
    {
      "axis": "A",
      "title": "Separar al analista del ejecutor",
      "observation": "Grok y Kimi rondan 80/100 en Q&A; Codex resuelve 24/24 intentos Docker.",
      "action": "Elegir por la tarea siguiente: interpretar evidencia y ejecutar una cadena no son la misma habilidad.",
      "limit": "La nota Q&A no es una tasa de intrusión.",
      "evidence": "qa-core-closed; R3"
    },
    {
      "axis": "B",
      "title": "Correlación frente a construcción",
      "observation": "Con ReAct, 11/12 modelos resuelven red, crypto y OSINT; 3/12 resuelven el pwn restringido.",
      "action": "Delegar lectura y correlación; escalar antes las tareas con muchas restricciones simultáneas.",
      "limit": "Una tarea por categoría. La receta debe validarse con tus propios casos.",
      "evidence": "R3 task breakdown"
    },
    {
      "axis": "B",
      "title": "Elegir un primer modelo económico",
      "observation": "GLM Flash resuelve 21/24 y consume €0,018608 en el panel completo.",
      "action": "Candidato para un primer pase con una comprobación externa del resultado.",
      "limit": "Precio y versión de la ruta ensayada; no tarifa contractual ni pentest completo.",
      "evidence": "R3"
    },
    {
      "axis": "C",
      "title": "Más deliberación puede impedir entregar",
      "observation": "Critic cae 7,1 puntos; Qwen Flash entrega 896/1200 respuestas vacías.",
      "action": "Comprobar que existe respuesta útil antes de valorar su calidad; probar primero Direct.",
      "limit": "Los vacíos no son negativas. La mayoría de los de Qwen terminan por longitud.",
      "evidence": "Q&A fresh grades + response delivery"
    },
    {
      "axis": "C",
      "title": "La cola de Qwen no explica todo",
      "observation": "Excluyendo Qwen Flash, la caída media pareada de Critic es -3.25 puntos.",
      "action": "No instalar crítica y revisión como paso obligatorio por defecto.",
      "limit": "Sensibilidad exploratoria sobre respuestas puntuadas, no nuevo ensayo.",
      "evidence": "Q&A paired model deltas"
    },
    {
      "axis": "C",
      "title": "Diseñar el ciclo mínimo suficiente",
      "observation": "En 18.000 intentos, Structured usa 2,08× tokens por éxito frente a Direct, con una mejora pequeña de cobertura.",
      "action": "Empezar con acción, observación y siguiente decisión; añadir fases con un fallo concreto que resolver.",
      "limit": "Un promedio no elimina rescates individuales.",
      "evidence": "Docker Q1"
    },
    {
      "axis": "C",
      "title": "La estrategia cambia quién falla",
      "observation": "ReAct y Structured rescatan seis fallos de Direct y pierden ocho éxitos cada uno.",
      "action": "Guardar pares y leer cambios de trayectoria, no solo comparar la media.",
      "limit": "Son los mismos 96 cruces modelo–reto; no 96 pentests.",
      "evidence": "R3 paired controllers"
    },
    {
      "axis": "C",
      "title": "La reflexión puede ser una herramienta de recuperación",
      "observation": "En P2 recovery, Reflection pasa de 11/12 a 12/12; en state no mejora el resultado.",
      "action": "Activarla tras una acción fallida que se pueda diagnosticar, no después de cada frase.",
      "limit": "Regla de diseño inferida de una comparación pequeña seleccionada.",
      "evidence": "P2 feature ablation"
    },
    {
      "axis": "C",
      "title": "Contexto extra también tiene coste",
      "observation": "En P2 knowledge, RAG pasa de 12/12 a 11/12 y usa 3,4× tokens.",
      "action": "Recuperar material para una pregunta concreta; descartar lo que no cambia la siguiente prueba.",
      "limit": "No demuestra que todo RAG perjudique ni identifica aisladamente el mecanismo.",
      "evidence": "P2 + trajectory autopsy"
    },
    {
      "axis": "C",
      "title": "Una skill no equivale a una mejora del agente",
      "observation": "Hermes obtiene 55/64 con cada perfil; el perfil cyber usa 19.9% más tokens.",
      "action": "Comparar skill activada y desactivada por modelo. Conservarla si resuelve un fallo o ahorra trabajo.",
      "limit": "Herramientas iguales; prompt y skill cambian juntos. Las trayectorias difieren.",
      "evidence": "Hermes 394/395"
    },
    {
      "axis": "D",
      "title": "Nacionalidad, licencia y política son ejes distintos",
      "observation": "Kimi 22/24, Qwen Max 21/24 y GLM 21/24; la batería de negativas no sigue una regla por país.",
      "action": "Evaluar capacidad, acceso y comportamiento de negativa por separado.",
      "limit": "No se ha aislado un efecto causal del país o de publicar los pesos.",
      "evidence": "R3 + safety stress"
    },
    {
      "axis": "E",
      "title": "El riesgo empieza por debajo de la frontera",
      "observation": "Granite 8B resuelve 11/24; GPT-OSS 20B: 54/648 frente a 120B: 418/648.",
      "action": "Pequeños para tareas acotadas y comprobables; empezar cerca de 120B o una API fuerte para intentos complejos.",
      "limit": "Es una aproximación de despliegue, no un umbral medido; familias y paneles distintos.",
      "evidence": "R3 + Q2 size"
    },
    {
      "axis": "F",
      "title": "Optimizar por objetivo conseguido",
      "observation": "Los 82 fallos del panel son 28,5% de intentos y 63% de tokens.",
      "action": "Incluir fallos en la factura; detectar el estancamiento antes de comprar más iteraciones.",
      "limit": "Una señal de atasco puede cortar un éxito futuro: medir también lo que se pierde.",
      "evidence": "R3 outcome audit"
    },
    {
      "axis": "F",
      "title": "Reservar el modelo caro para las excepciones",
      "observation": "El what-if GLM→Codex suma 24/24 por €0,15047 frente a €1,114428 usando siempre Codex.",
      "action": "Probar una política de escalado tras un objetivo no conseguido.",
      "limit": "Aritmética retrospectiva con verificador perfecto y reinicios independientes; no ahorro productivo medido.",
      "evidence": "routing-counterfactual.json"
    },
    {
      "axis": "G",
      "title": "Actividad no significa avance",
      "observation": "Los fallos conductuales usan 17,2 acciones y 53% de revisitación; los éxitos, 6,4 y 24%.",
      "action": "Registrar nuevo hecho, nueva capacidad o hipótesis descartada después de cada acción.",
      "limit": "Corpus seleccionado; una repetición puede ser una verificación correcta.",
      "evidence": "732-trajectory autopsy"
    },
    {
      "axis": "G",
      "title": "El estado vive fuera del chat",
      "observation": "En AD se retuvieron cachés y artefactos del executor entre ejecuciones.",
      "action": "Asociar identidad, sesión, herramientas y archivos al objetivo correcto; aislar el workspace al evaluar.",
      "limit": "La restauración de la VM objetivo no restaura el host del operador.",
      "evidence": "AD audit"
    },
    {
      "axis": "G",
      "title": "El modelo necesita una interfaz que pueda usar",
      "observation": "En Hermes smoke apareció process(wait) sin session_id; en PMOX hubo comandos multilínea mal serializados.",
      "action": "Hacer explícitos los contratos de ejecución y devolver errores reparables.",
      "limit": "Casos de compatibilidad; no una tasa medida de mejora de una interfaz concreta.",
      "evidence": "Hermes smoke + PMOX logs"
    },
    {
      "axis": "H",
      "title": "El siguiente límite importa más que el primer acceso",
      "observation": "PMOX consigue primera flag en 20/28, sin completar las siguientes; un callback no prueba ejecución útil.",
      "action": "Convertir la misión en estados con pruebas de acceso, identidad, privilegio y objetivo.",
      "limit": "No se atribuye toda la dificultad al modelo: también pesan herramientas y entorno.",
      "evidence": "PMOX retained matrix"
    },
    {
      "axis": "H",
      "title": "Saber parar es una capacidad ofensiva",
      "observation": "En DC-1, una traza consigue root/objetivo y después sigue 41 acciones; otra continúa 66.",
      "action": "Almacenar evidencia de cierre en el harness y detener la ejecución cuando el objetivo está verificado.",
      "limit": "No todo paso posterior es inútil: hay consolidación de pruebas antes de repeticiones.",
      "evidence": "VM reviewed traces"
    },
    {
      "axis": "CAMPO",
      "title": "El humano conserva la operación",
      "observation": "GLM 5.3 con dirección humana; 31 h hasta el cierre; identidad privilegiada de dominio y acceso B2B.",
      "action": "El agente hace inspección y pruebas; el operador prioriza, corrige contexto y decide cuándo cambiar de ruta.",
      "limit": "Modelo y duración confirmados por el operador; comandos de la demo son una reconstrucción ilustrativa.",
      "evidence": "Anonymized dossier + operator clarification 2026-10-28"
    }
  ]
}
