PAU MUÑOZ · BSIDES LISBON 2026

Del resultado a la decisión.

Veinte hallazgos convertidos en decisiones de ingeniería. Los resultados describen los ensayos retenidos; las recomendaciones son puntos de partida que conviene probar con tus tareas y herramientas.

01 / A

Separar al analista del ejecutor

Lo observado. Grok y Kimi rondan 80/100 en Q&A; Codex resuelve 24/24 intentos Docker.

Qué probar en tu agente. Elegir por la tarea siguiente: interpretar evidencia y ejecutar una cadena no son la misma habilidad.

La nota Q&A no es una tasa de intrusión.

Evidencia: qa-core-closed; R3 · Análisis y denominadores

02 / B

Correlación frente a construcción

Lo observado. Con ReAct, 11/12 modelos resuelven red, crypto y OSINT; 3/12 resuelven el pwn restringido.

Qué probar en tu agente. Delegar lectura y correlación; escalar antes las tareas con muchas restricciones simultáneas.

Una tarea por categoría. La receta debe validarse con tus propios casos.

Evidencia: R3 task breakdown · Análisis y denominadores

03 / B

Elegir un primer modelo económico

Lo observado. GLM Flash resuelve 21/24 y consume €0,018608 en el panel completo.

Qué probar en tu agente. Candidato para un primer pase con una comprobación externa del resultado.

Precio y versión de la ruta ensayada; no tarifa contractual ni pentest completo.

Evidencia: R3 · Análisis y denominadores

04 / C

Más deliberación puede impedir entregar

Lo observado. Critic cae 7,1 puntos; Qwen Flash entrega 896/1200 respuestas vacías.

Qué probar en tu agente. Comprobar que existe respuesta útil antes de valorar su calidad; probar primero Direct.

Los vacíos no son negativas. La mayoría de los de Qwen terminan por longitud.

Evidencia: Q&A fresh grades + response delivery · Análisis y denominadores

05 / C

La cola de Qwen no explica todo

Lo observado. Excluyendo Qwen Flash, la caída media pareada de Critic es -3.25 puntos.

Qué probar en tu agente. No instalar crítica y revisión como paso obligatorio por defecto.

Sensibilidad exploratoria sobre respuestas puntuadas, no nuevo ensayo.

Evidencia: Q&A paired model deltas · Análisis y denominadores

06 / C

Diseñar el ciclo mínimo suficiente

Lo observado. En 18.000 intentos, Structured usa 2,08× tokens por éxito frente a Direct, con una mejora pequeña de cobertura.

Qué probar en tu agente. Empezar con acción, observación y siguiente decisión; añadir fases con un fallo concreto que resolver.

Un promedio no elimina rescates individuales.

Evidencia: Docker Q1 · Análisis y denominadores

07 / C

La estrategia cambia quién falla

Lo observado. ReAct y Structured rescatan seis fallos de Direct y pierden ocho éxitos cada uno.

Qué probar en tu agente. Guardar pares y leer cambios de trayectoria, no solo comparar la media.

Son los mismos 96 cruces modelo–reto; no 96 pentests.

Evidencia: R3 paired controllers · Análisis y denominadores

08 / C

La reflexión puede ser una herramienta de recuperación

Lo observado. En P2 recovery, Reflection pasa de 11/12 a 12/12; en state no mejora el resultado.

Qué probar en tu agente. Activarla tras una acción fallida que se pueda diagnosticar, no después de cada frase.

Regla de diseño inferida de una comparación pequeña seleccionada.

Evidencia: P2 feature ablation · Análisis y denominadores

09 / C

Contexto extra también tiene coste

Lo observado. En P2 knowledge, RAG pasa de 12/12 a 11/12 y usa 3,4× tokens.

Qué probar en tu agente. Recuperar material para una pregunta concreta; descartar lo que no cambia la siguiente prueba.

No demuestra que todo RAG perjudique ni identifica aisladamente el mecanismo.

Evidencia: P2 + trajectory autopsy · Análisis y denominadores

10 / C

Una skill no equivale a una mejora del agente

Lo observado. Hermes obtiene 55/64 con cada perfil; el perfil cyber usa 19.9% más tokens.

Qué probar en tu agente. Comparar skill activada y desactivada por modelo. Conservarla si resuelve un fallo o ahorra trabajo.

Herramientas iguales; prompt y skill cambian juntos. Las trayectorias difieren.

Evidencia: Hermes 394/395 · Análisis y denominadores

11 / D

Nacionalidad, licencia y política son ejes distintos

Lo observado. Kimi 22/24, Qwen Max 21/24 y GLM 21/24; la batería de negativas no sigue una regla por país.

Qué probar en tu agente. Evaluar capacidad, acceso y comportamiento de negativa por separado.

No se ha aislado un efecto causal del país o de publicar los pesos.

Evidencia: R3 + safety stress · Análisis y denominadores

12 / E

El riesgo empieza por debajo de la frontera

Lo observado. Granite 8B resuelve 11/24; GPT-OSS 20B: 54/648 frente a 120B: 418/648.

Qué probar en tu agente. Pequeños para tareas acotadas y comprobables; empezar cerca de 120B o una API fuerte para intentos complejos.

Es una aproximación de despliegue, no un umbral medido; familias y paneles distintos.

Evidencia: R3 + Q2 size · Análisis y denominadores

13 / F

Optimizar por objetivo conseguido

Lo observado. Los 82 fallos del panel son 28,5% de intentos y 63% de tokens.

Qué probar en tu agente. Incluir fallos en la factura; detectar el estancamiento antes de comprar más iteraciones.

Una señal de atasco puede cortar un éxito futuro: medir también lo que se pierde.

Evidencia: R3 outcome audit · Análisis y denominadores

14 / F

Reservar el modelo caro para las excepciones

Lo observado. El what-if GLM→Codex suma 24/24 por €0,15047 frente a €1,114428 usando siempre Codex.

Qué probar en tu agente. Probar una política de escalado tras un objetivo no conseguido.

Aritmética retrospectiva con verificador perfecto y reinicios independientes; no ahorro productivo medido.

Evidencia: routing-counterfactual.json · Análisis y denominadores

15 / G

Actividad no significa avance

Lo observado. Los fallos conductuales usan 17,2 acciones y 53% de revisitación; los éxitos, 6,4 y 24%.

Qué probar en tu agente. Registrar nuevo hecho, nueva capacidad o hipótesis descartada después de cada acción.

Corpus seleccionado; una repetición puede ser una verificación correcta.

Evidencia: 732-trajectory autopsy · Análisis y denominadores

16 / G

El estado vive fuera del chat

Lo observado. En AD se retuvieron cachés y artefactos del executor entre ejecuciones.

Qué probar en tu agente. Asociar identidad, sesión, herramientas y archivos al objetivo correcto; aislar el workspace al evaluar.

La restauración de la VM objetivo no restaura el host del operador.

Evidencia: AD audit · Análisis y denominadores

17 / G

El modelo necesita una interfaz que pueda usar

Lo observado. En Hermes smoke apareció process(wait) sin session_id; en PMOX hubo comandos multilínea mal serializados.

Qué probar en tu agente. Hacer explícitos los contratos de ejecución y devolver errores reparables.

Casos de compatibilidad; no una tasa medida de mejora de una interfaz concreta.

Evidencia: Hermes smoke + PMOX logs · Análisis y denominadores

18 / H

El siguiente límite importa más que el primer acceso

Lo observado. PMOX consigue primera flag en 20/28, sin completar las siguientes; un callback no prueba ejecución útil.

Qué probar en tu agente. Convertir la misión en estados con pruebas de acceso, identidad, privilegio y objetivo.

No se atribuye toda la dificultad al modelo: también pesan herramientas y entorno.

Evidencia: PMOX retained matrix · Análisis y denominadores

19 / H

Saber parar es una capacidad ofensiva

Lo observado. En DC-1, una traza consigue root/objetivo y después sigue 41 acciones; otra continúa 66.

Qué probar en tu agente. Almacenar evidencia de cierre en el harness y detener la ejecución cuando el objetivo está verificado.

No todo paso posterior es inútil: hay consolidación de pruebas antes de repeticiones.

Evidencia: VM reviewed traces · Análisis y denominadores

20 / CAMPO

El humano conserva la operación

Lo observado. GLM 5.3 con dirección humana; 31 h hasta el cierre; identidad privilegiada de dominio y acceso B2B.

Qué probar en tu agente. El agente hace inspección y pruebas; el operador prioriza, corrige contexto y decide cuándo cambiar de ruta.

Modelo y duración confirmados por el operador; comandos de la demo son una reconstrucción ilustrativa.

Evidencia: Anonymized dossier + operator clarification 2026-10-28 · Análisis y denominadores