PAU MUÑOZ · BSIDES LISBON 2026

Un mapa de lo que se mide.

Ocho referencias primarias que ayudan a situar esta charla. Seleccionadas por su relación con conocimiento, ejecución, contexto operativo, políticas y hábitos del agente. Sus porcentajes no se combinan: tienen tareas, ayudas y criterios de éxito distintos.

2024 / Preguntas de conocimiento

CyberMetric ↗

Conjuntos de opción múltiple de hasta 10.000 preguntas de ciberseguridad.

Sitúa nuestra capa Q&A: saber explicar es una capacidad que medimos antes de dar herramientas.

Nuestra Q&A usa respuestas abiertas y rúbricas propias. Una nota de conocimiento no demuestra ejecución.

2024 / ICLR 2025 / Retos CTF profesionales

Cybench ↗

40 tareas con archivos iniciales, ejecución de comandos y evaluación con o sin subtareas orientativas.

Sitúa Docker CTF: tareas acotadas, herramientas y un objetivo comprobable.

Usamos nuestros propios retos. Las pistas, el entorno y el controlador cambian el trabajo exigido.

2025 / Aplicaciones web vulnerables

CVE-Bench ↗

Evalúa explotación de vulnerabilidades reales de aplicaciones web en entornos aislados.

Da contexto al paso de problemas acotados a servicios con una superficie real de aplicación.

Una aplicación vulnerable no equivale a toda una operación corporativa con identidades y varios hosts.

ICLR 2026 / Reproducción de vulnerabilidades

CyberGym ↗

1.507 vulnerabilidades históricas en 188 proyectos; el nivel principal entrega descripción y código sin parchear para construir un PoC.

Explica por qué la información inicial y el criterio externo de éxito importan.

Reproducir un bug conocido es un contrato distinto de reconocer una red sin información o completar un pentest.

USENIX Security 2024 / Operación sobre objetivos de pentest

PentestGPT ↗

Estudia tareas de pentest y una arquitectura modular orientada a conservar el contexto durante la operación.

Antecedente directo para hablar de harness, estado y continuidad entre acciones.

Es un sistema y una evaluación con sus propios objetivos; su resultado no se atribuye solamente al modelo.

2024 / Capacidad y riesgo en varios escenarios

CyberSecEval 3 ↗

Incluye operaciones ofensivas autónomas y asistidas dentro de una batería más amplia de riesgos y capacidades.

Sitúa la distinción entre voluntad de responder, capacidad y funcionamiento del sistema.

Las negativas, la seguridad y el éxito ofensivo son resultados diferentes; no reducimos todo a una sola cifra.

Preprint 2026 / Patrones de selección de ataques

CyBiasBench ↗

Compara la distribución de familias de ataque en 630 sesiones de cinco agentes y distintas instrucciones.

Motiva mirar las trayectorias: qué prueba el agente, qué repite y cómo responde a una redirección.

Sus patrones no convierten nuestras trazas aisladas en personalidades universales de un modelo.

2025 / Análisis defensivo

CyberSOCEval ↗

Evalúa análisis de malware y razonamiento sobre inteligencia de amenazas; forma parte de CyberSecEval 4.

Complementa el contexto de preguntas y análisis de seguridad, más allá de producir exploits.

No lo mezclamos con una tasa de CTF ni afirmamos haber reproducido sus tareas.