GPT-4o берёт 85%+ на CyberMetric-10000 и обгоняет пятилетних специалистов — но ставишь ту же модель перед binary exploitation в NYU CTF Bench: пейлоад синтаксически верный, контекст теряется на третьем шаге, флаг не найден.CAIBench...
LLM бенчмарк кибербезопасность: CyberMetric, NYU CTF Bench и InterCode CTF — где модели упираются в потолок
Источник: codeby.net