Kabir Acharya skrev nyligen att CTF-scenen är död. Formuleringen är hård, men huvudpoängen är svår att avfärda: resultatlistorna i öppna CTF-tävlingar mäter inte längre samma sak som tidigare.

CTF står för Capture the Flag. Inom cybersäkerhet handlar det vanligtvis om tävlingar där lag löser tekniska säkerhetsutmaningar för att hitta dolda textsträngar, så kallade flaggor. En uppgift kan gå ut på att ta sig in i en liten webbapp, analysera en binärfil, utnyttja en minnesbugg, dekryptera ett meddelande eller undersöka digitala spår. Lämna in flaggan, få poäng och klättra i resultatlistan.

Under många år var en hög CTF-placering en användbar, om än ofullständig, signal. Den visade att ett lag kunde analysera binärfiler, läsa märklig kod, kombinera buggar, skriva verktyg under tidspress och fortsätta när den uppenbara vägen tog slut. Den bevisade inte att någon skulle bli en bra säkerhetsingenjör, men den sa något verkligt.

Nu säger resultatlistan något mer svårtolkat. Den kan fortfarande spegla mänsklig skicklighet. Men den kan också spegla hur mycket beräkningskapacitet ett lag kan betala för, hur väl deras agenter är uppsatta, hur snabbt de kan fördela uppgifter parallellt, vilka modeller de har tillgång till och hur bekväma de är med att låta en agent beta av den första halvan av uppgifterna.

Öppna CTF-tävlingar blir alltmer en fråga om tokens.

Codex-tokens, Claude-tokens och Kimi-tokens i miljöer med öppna modellvikter. Men resultatet beror nu också på vem som använder mest beräkningsresurser för inferens på ett genomtänkt sätt. Det förändrar tävlingsformen.

Det pekar också på ett större problem. AI gör inte bara arbetet snabbare. Det förändrar vad gamla mätetal betyder. När kostnaden för att ta fram ett resultat rasar börjar mätetalet för det resultatet mäta något annat.

Därför är CTF-tävlingar intressanta även för den som aldrig deltar. De är en offentlig och lättbegriplig version av ett problem som företag kommer att möta internt. Instrumentpanelen finns kvar. Siffran fortsätter att stiga. Men arbetet bakom siffran har förändrats.

Verktyg har alltid varit en del av CTF

Det är frestande att säga: än sen, CTF-deltagare har alltid använt verktyg. Det stämmer. Ingen seriös deltagare löser allt för hand. De använder dekompilatorer, fuzzers, symbolisk exekvering, exploitmallar, verktyg för nätverkspaket, skript från gamla lösningsbeskrivningar och en hög med ful Pythonkod för engångsbruk. Verktygen har alltid varit en del av hantverket.

En dekompilator hjälper dig att förstå programmet. En fuzzer hjälper dig att utforska beteenden. En villkorslösare hjälper dig att hitta värden som uppfyller givna villkor. Du måste fortfarande förstå problemet tillräckligt väl för att styra verktyget, avfärda felaktiga spår och förstå vad resultatet betyder.

Med dagens mest kapabla agenter flyttas den gränsen. Modellen kan läsa uppgiften, välja verktyg, skriva lösningsskriptet, felsöka sina egna misstag och lämna tillbaka flaggan. Människan kan fortfarande spela en viktig roll, särskilt i svåra problem. Men för en växande andel lätta och medelsvåra uppgifter är människan mer operatör än problemlösare.

De gamla verktygen var som en miniräknare. Du matade in operationen, fick tillbaka resultatet och stod själv för tänkandet. En avancerad agent liknar mer en lagkamrat. Du ger den uppgiften, låter den arbeta i trettio minuter och kommer tillbaka till en redan inlämnad flagga. Arbetet den gjorde medan du var borta är det arbete som tidigare definierade deltagarens kunnande.

Om resultatlistan ska rangordna människors säkerhetskompetens försämrar obegränsad agentanvändning signalen.

Testresultaten är nu alltför relevanta för att avfärda

Det här vore lättare att ignorera om AI:s förmåga inom cybersäkerhet fortfarande mest var ett marknadsföringslöfte. De offentliga resultaten pekar nu åt andra hållet.

Anthropics Project Glasswing gjorde Claude Mythos Preview tillgänglig för utvalda säkerhetsteam och organisationer som utvecklar kritisk programvara. Enligt Anthropic har Mythos Preview redan hittat tusentals tidigare okända sårbarheter i kritisk infrastruktur. Företaget beskriver den som sin starkaste modell för programmering och agentbaserade uppgifter.

Brittiska AI Security Institutes utvärdering av Claude Mythos Preview är mer användbar än marknadsföringen. AISI rapporterar att Mythos löste CTF-uppgifter på expertnivå i 73 procent av fallen och blev den första modellen att genomföra hela ”The Last Ones”, en simulerad attack mot ett företagsnätverk i 32 steg, i tre av tio försök.

Sedan nådde OpenAI:s GPT-5.5 ungefär samma nivå. I AISI:s utvärdering av GPT-5.5 klarade GPT-5.5 71,4 procent av cyberuppgifterna på expertnivå, jämfört med 68,6 procent för Mythos Preview, och genomförde samma övning i 32 steg i två av tio försök. AISI lyfte också fram en uppgift inom binäranalys som tog en mänsklig expert ungefär tolv timmar. GPT-5.5 löste den på tio minuter och 22 sekunder till en API-kostnad på 1,73 dollar.

De här siffrorna ska inte läsas som att ”AI kan genomföra en verklig intrångskampanj”. AISI är tydliga med att övningsmiljön är kontrollerad, svagt försvarad och inte motsvarar ett verkligt system med förstärkt skydd. Men för CTF-tävlingar talar den begränsningen snarare för relevansen: även CTF-uppgifter är avgränsade tekniska problem. Testmiljön liknar en CTF-tävling betydligt mer än ett verkligt företagsnätverk.

MindStudios jämförelse av GPT-5.5 och Claude Mythos gör samma praktiska poäng: skillnaden i förmåga mellan de ledande modellerna är så liten att tillgänglighet, kostnad och samordning börjar spela lika stor roll som det rena testresultatet.

Den viktiga förändringen är inte bara att modellerna blir bättre. Det är att delar av specialistarbete som krävt stor möda blir billiga, upprepningsbara och möjliga att utföra parallellt. Det är det som underminerar öppna CTF-tävlingar.

Utvecklingen betydde mer än poängen

CTF handlade aldrig bara om slutplaceringen. Det var en stege att klättra på.

Du började med webbuppgifter för nybörjare. Sedan kanske kryptografi. Därefter enklare exploatering, följt av heap-exploatering. Till sist satt du klockan tre på natten och analyserade något märkligt inbyggt system medan fyra lagkamrater diskuterade i chatten. Varje steg krävde lite mer av dig. Resultatlistan gjorde utvecklingen synlig. Du kunde känna att du blev bättre eftersom resultatet förändrades.

Det var den utvecklingen som formade säkerhetsspecialister. Poängen visade bara hur det gick.

En nybörjare i dag ställs inför ett dåligt val. Använd agenter tidigt och gå miste om ansträngningen som bygger intuition. Eller avstå från agenter och se lagen ovanför röra sig snabbare med en verktygskedja som de låtsas bara är vanliga verktyg. Oavsett val blir utvecklingen svårare att bedöma rättvist.

Den verkliga förlusten är inte att någon kan fuska sig igenom en medelsvår uppgift. Det är att nybörjare inte längre kan använda de öppna tävlingarna för att se var de står och vad de behöver lära sig härnäst. Scenen finns kvar, men den kan inte längre visa en nybörjare att träningen ger resultat.

Uppgiftsförfattarna har få utvägar

Arrangörerna har ingen enkel lösning. Skriver de vanliga uppgifter löser agenterna för mycket. Skriver de uppgifter för att stoppa agenter blir de ofta sämre även för människor: mer gissningsbetonade, mer konstlade och mer beroende av knep som snabbt blir inaktuella. Förbjuder de AI är reglerna nästan omöjliga att upprätthålla i öppna tävlingar på nätet.

Slutna finaler kan fortfarande fungera. Tävlingar på plats kan fortfarande fungera. Utbildningsmiljöer kan fortfarande fungera. Hantverket att skapa uppgifter är inte dött.

Men den stora, öppna CTF-tävlingen på nätet, där vem som helst kan delta och resultatlistan behandlas som ett globalt mått på skicklighet, har ett allvarligt mätproblem. Problemet växer när inferens blir billigare.

Vad ska ersätta den gamla signalen?

Vid rekrytering behöver CTF-placeringar nu mer sammanhang. Ett lagresultat från 2026 är inte samma slags underlag som ett lagresultat från 2019.

För att bedöma kompetens behöver man titta närmare på själva arbetet. Vad gjorde personen faktiskt? Kan personen förklara buggen, spåret som inte fungerade, det märkliga felsökningsögonblicket eller varför en skyddsåtgärd spelade roll? Kan personen resonera sig igenom ett mindre problem i realtid utan att gömma sig bakom en konversationslogg? Är koden begriplig? Förklarar personen osäkerhet på ett bra sätt?

Nybörjare bör fortfarande lära sig genom uppgifter av CTF-typ, men resultatlistan bör spela mindre roll. Miljöer som Hack The Box, picoGym och interna övningsnätverk kan vara bättre för att bygga intuition eftersom målet är tydligt: lär dig tekniken, inte att slå ett lag som kör 200 agenter parallellt.

För tävlingar kan arrangörer behöva tydligare kategorier: utan AI, med AI-stöd, med agenter, på plats eller med krav på lösningsbeskrivning. Ingen är perfekt. En klass utan AI fungerar bara så länge alla lag är ärliga. Ett enda lag som i hemlighet kör en agent räcker för att förvränga resultatet för alla andra, och i en öppen nättävling är det nästan omöjligt att upptäcka. Men det är sämre att låtsas att det bara finns en resultatlista och att den fortfarande betyder samma sak som för fem år sedan.

Den större lärdomen

CTF är bara ett ovanligt synligt exempel på ett större problem med AI-införande. AI förändrar inte bara hur arbetet utförs. Det förändrar vad siffrorna betyder.

När kod blir billigare att generera blir antal kodrader och pull requests sämre mått på utvecklingsframsteg. När rapporter blir billigare att producera blir rapportvolym ett sämre mått på analys. När det blir billigare att hitta sårbarheter blir antalet sårbarheter ett sämre mått på förbättrad säkerhet.

Resultatet ser likadant ut. Kostnaden för att ta fram det förändras. Sedan börjar mätetalet vilseleda.

Det är vad som har hänt med resultatlistan i öppna CTF-tävlingar. Den ser fortfarande ut som en resultatlista. Där finns fortfarande lag, poäng, lösta uppgifter och placeringar. Men det som ligger bakom har förändrats från främst mänsklig säkerhetskompetens till en blandning av mänsklig skicklighet, modellförmåga, samordning och tokenbudget.

Det betyder inte att säkerhetsspecialister ska ignorera AI. Tvärtom. Alla som tar säkerhet på allvar behöver förstå hur systemen fungerar, var de hjälper och var de brister.

Den gamla CTF-resultatlistan var ett grovt mått på människor som löste svåra problem. Den nya är alltmer ett mått på människor och agenter som använder beräkningsresurser för att lösa problem parallellt.

Det kan fortfarande vara intressant. Det kan till och med bli en egen tävlingsform.

Men det är inte samma tävling.

Resultatlistan är inte död. Den har bara fel etikett.

All forskning