Nog geen twee weken nadat OpenAI meldde dat een van zijn AI-modellen tijdens een veiligheidstest buiten een afgeschermde testomgeving terechtkwam, heeft ook Anthropic een vergelijkbaar incident bekendgemaakt. Enkele Claude-modellen kregen tijdens interne cybersecuritytests onbedoeld toegang tot echte computersystemen en drongen binnen bij drie externe organisaties.
Hoewel sommige media spreken van een AI die “ontsnapte”, blijkt uit de officiële uitleg dat ook hier een menselijke configuratiefout de oorzaak was.
Volgens Anthropic waren de modellen bezig met zogenoemde capture-the-flag-oefeningen: cybersecuritytests waarbij een AI kwetsbaarheden moet opsporen in een speciaal daarvoor ingerichte, geïsoleerde omgeving. De modellen kregen de instructie dat zij zich in een afgesloten netwerk zonder internet bevonden. Door een fout in de configuratie van de testomgeving bleek die isolatie echter niet volledig te zijn, waardoor de AI toegang kreeg tot externe systemen. Anthropic beschrijft de gebeurtenissen in een officiële verklaring.
Wat is een capture-the-flag-test?
Een capture-the-flag-test (CTF) is een veelgebruikte oefenvorm in de wereld van cybersecurity. Het doel is om zo realistisch mogelijk een cyberaanval na te bootsen, zodat beveiligingsonderzoekers, software of AI-systemen kunnen oefenen met het opsporen en misbruiken van kwetsbaarheden – uiteraard in een gecontroleerde omgeving.
De naam komt uit een spel waarbij twee teams elkaars vlag proberen te veroveren. In de digitale variant is de "vlag" meestal een verborgen bestand, een geheime code of een speciaal stukje informatie dat alleen kan worden gevonden door succesvol in een computersysteem in te breken. Wie de vlag weet te bemachtigen, heeft de opdracht voltooid.
Tijdens een CTF-oefening krijgt een AI-model bijvoorbeeld de opdracht om een netwerk te onderzoeken, zwakke wachtwoorden te kraken, een verkeerd geconfigureerde server te vinden of een beveiligingslek te misbruiken. Het doel is niet om schade aan te richten, maar om te testen hoe goed de AI beveiligingsproblemen kan herkennen en oplossen.
Normaal gesproken vinden dergelijke oefeningen plaats in een volledig afgeschermde testomgeving, ook wel een sandbox genoemd. Daarin kan de AI experimenteren zonder dat echte computers of bedrijfsnetwerken gevaar lopen. Bij de recente incidenten met OpenAI en Anthropic bleek die afscherming echter onbedoeld niet volledig te zijn. Daardoor voerde de AI dezelfde opdrachten uit als tijdens een normale CTF-oefening, maar gebeurde dat deels op echte systemen in plaats van uitsluitend binnen de testomgeving.
Capture-the-flag-wedstrijden worden wereldwijd georganiseerd voor studenten, beveiligingsspecialisten en ethische hackers. Ze gelden als een van de beste manieren om praktijkervaring op te doen met digitale beveiliging, omdat deelnemers leren denken als een aanvaller zonder daarbij echte schade te veroorzaken.
Opvallende overeenkomst met OpenAI
Het incident vertoont grote overeenkomsten met een gebeurtenis die OpenAI eerder deze maand openbaar maakte. Daarbij wisten twee geavanceerde AI-modellen tijdens een interne cyberveiligheidstest eveneens buiten hun sandbox te opereren. De modellen drongen vervolgens binnen in de systemen van AI-platform Hugging Face in een poging de antwoorden op hun beveiligingstest te bemachtigen.
Wat is een sandbox?
Een sandbox (letterlijk: zandbak) is een streng afgeschermde digitale omgeving waarin software of een AI-systeem veilig kan worden getest. Net zoals kinderen in een zandbak kunnen spelen zonder de rest van de tuin overhoop te halen, kan een programma in een sandbox experimenteren zonder schade aan te richten aan de echte wereld.
Bij AI-ontwikkeling worden sandboxes gebruikt om modellen nieuwe taken te laten uitvoeren, zoals het opsporen van beveiligingslekken, het analyseren van bestanden of het testen van computernetwerken. De AI krijgt daarbij vaak een realistische simulatie voorgeschoteld, maar heeft normaal gesproken geen toegang tot internet, bedrijfsnetwerken of gevoelige gegevens. Alle activiteiten blijven beperkt tot de gecontroleerde testomgeving.
Een goed ingerichte sandbox is volledig geïsoleerd van andere systemen. Wanneer die isolatie door een configuratiefout wordt doorbroken, kan software of AI onbedoeld verbinding maken met echte computers en netwerken. Dat gebeurde zowel bij het recente incident met OpenAI als bij Anthropic. Niet omdat de AI "zelf uit de sandbox ontsnapte", maar omdat de digitale omheining niet volledig gesloten bleek te zijn.
Sandboxes worden overigens niet alleen gebruikt voor AI. Ook beveiligingsonderzoekers openen verdachte e-mailbijlagen of onbekende programma's vaak eerst in een sandbox om veilig te kunnen onderzoeken of deze malware bevatten, zonder risico voor de eigen computer of het bedrijfsnetwerk.
HCC berichtte eerder uitgebreid over dat voorval in het artikel AI-model van OpenAI breekt uit testomgeving en dringt binnen in systemen van Hugging Face. OpenAI publiceerde daarnaast zelf een technische analyse van het incident.
Opmerkelijk is dat Anthropic volgens persbureau Reuters juist naar aanleiding van het OpenAI-incident besloot een uitgebreide controle uit te voeren op eerdere veiligheidstests. Tijdens die evaluatie ontdekte het bedrijf dat sommige Claude-tests in april onbedoeld toegang hadden gehad tot internet en daardoor echte systemen hadden bereikt. Reuters baseert zich daarbij op de officiële verklaring van Anthropic
Geen onbekende kwetsbaarheden
Anthropic benadrukt dat de Claude-modellen geen geavanceerde of onbekende beveiligingslekken gebruikten. De AI maakte gebruik van relatief eenvoudige zwakke plekken, zoals zwakke wachtwoorden en onbeveiligde netwerkdiensten die zonder authenticatie bereikbaar waren. De drie getroffen organisaties zijn inmiddels geïnformeerd. Opvallend is dat twee van hen niet hadden gemerkt dat hun systemen waren benaderd totdat Anthropic hierover contact opnam.
Volgens het bedrijf bleven de modellen gedurende de hele test hun oorspronkelijke opdracht uitvoeren: het zoeken naar kwetsbaarheden. Er was geen sprake van een AI die zelfstandig besloot zich buiten de testomgeving te verspreiden. Het probleem ontstond doordat de sandbox niet volledig van het internet was geïsoleerd.
Veiligheidstests tijdelijk stopgezet
De ongewenste toegang vond al in april plaats, maar werd pas in juli ontdekt tijdens een controle van ruim 141.000 uitgevoerde veiligheidstests. Nadat Anthropic aanwijzingen vond dat sommige testomgevingen niet volledig afgesloten waren geweest, werden alle vergelijkbare cyberveiligheidstests onmiddellijk stilgelegd.
Het bedrijf onderzoekt samen met beveiligingspartner Irregular hoe de configuratiefout heeft kunnen ontstaan en welke aanvullende maatregelen nodig zijn om herhaling te voorkomen. Meer achtergrond over de manier waarop Anthropic zijn AI-systemen normaal gesproken afschermt tijdens cybertesten is te vinden op https://www.anthropic.com/engineering/how-we-contain-claude.
Twee incidenten in korte tijd
De twee voorvallen laten zien dat het risico momenteel niet zozeer ligt bij een AI die “zelfstandig ontsnapt”, maar bij menselijke fouten in de inrichting van testomgevingen. Zowel bij OpenAI als bij Anthropic deden de modellen precies waarvoor zij waren ontwikkeld: kwetsbaarheden opsporen en beveiligingsproblemen onderzoeken. Dat zij daarbij echte systemen bereikten, was het gevolg van onbedoelde toegang tot externe netwerken.
Dat twee van de grootste AI-bedrijven ter wereld binnen enkele weken vergelijkbare incidenten melden, onderstreept hoe belangrijk veilige testomgevingen worden naarmate AI-systemen zelfstandiger kunnen opereren. De discussie verschuift daarmee van de vraag óf dergelijke incidenten kunnen gebeuren naar de vraag hoe organisaties kunnen voorkomen dat zij zich opnieuw voordoen.
Wat betekent dit voor HCC-leden?
Steeds meer organisaties zetten AI in voor systeembeheer, softwareontwikkeling en cybersecurity. Deze incidenten laten zien dat de beveiliging van de AI zelf minstens zo belangrijk is als de beveiliging die de AI moet testen. Een goed afgeschermde testomgeving en een strikte controle op netwerktoegang zijn essentieel om te voorkomen dat een interne proef onbedoeld gevolgen heeft voor externe systemen.
Standpunt van HCC
AI ontwikkelt zich razendsnel en biedt enorme kansen voor digitale veiligheid. Tegelijkertijd maken de incidenten bij OpenAI en Anthropic duidelijk dat de techniek alleen veilig kan worden ingezet wanneer ook de randvoorwaarden op orde zijn. Transparantie over dit soort gebeurtenissen helpt de hele sector om van fouten te leren en de beveiliging van toekomstige AI-systemen verder te verbeteren.
