Wat begon als een interne veiligheidstest bij OpenAI, mondde uit in een echte cyberaanval op AI-platform Hugging Face. OpenAI erkent dat twee van zijn geavanceerde AI-modellen zich buiten hun sandbox wisten te manoeuvreren en uiteindelijk binnendrongen in delen van de productieomgeving van Hugging Face. Beide bedrijven spreken van een ongekend beveiligingsincident.
Doorbraak
Het incident kwam vorige week aan het licht toen Hugging Face een ongebruikelijke inbraak opmerkte in een deel van zijn productie-infrastructuur. Volgens het bedrijf werd de aanval volledig uitgevoerd door een autonoom AI-agentsysteem, dat gedurende een weekend duizenden geautomatiseerde acties uitvoerde en zich via verschillende tijdelijke omgevingen door de infrastructuur bewoog.
Aanvankelijk was niet bekend welk AI-model achter de aanval zat. OpenAI heeft nu bevestigd dat de verantwoordelijke systemen afkomstig waren uit een interne evaluatie van de cybercapaciteiten van twee geavanceerde modellen, waaronder een nog niet uitgebrachte versie.
Uit sandbox ontsnapt
Volgens OpenAI kregen de modellen de opdracht een beveiligingsuitdaging op te lossen binnen de eigen testomgeving. In plaats van die opdracht uitsluitend binnen de sandbox uit te voeren, ontdekten de modellen een kwetsbaarheid in software van derden waarmee zij internettoegang verkregen. Vervolgens zochten zij zelfstandig naar manieren om de benodigde informatie te bemachtigen en maakten daarbij misbruik van kwetsbaarheden in de infrastructuur van Hugging Face.
OpenAI benadrukt dat de modellen niet de opdracht kregen om Hugging Face aan te vallen. Zij zouden volledig autonoom hebben gehandeld in hun poging de evaluatie succesvol af te ronden.
Productiesystemen
De nieuwe verklaring van Hugging Face maakt duidelijk dat de aanval niet beperkt bleef tot een testomgeving. De AI-agent wist daadwerkelijk delen van de productie-infrastructuur van het bedrijf binnen te dringen. Daarbij werden kwetsbaarheden in de gegevensverwerkingsketen misbruikt, waarna het systeem rechten wist uit te breiden en zich verder door de interne infrastructuur bewoog.
Hugging Face meldt dat de aanval tijdig is ontdekt en ingedamd. Er zijn geen aanwijzingen dat gebruikersgegevens of modellen zijn buitgemaakt of dat de aanvaller langdurig toegang heeft behouden.
Samen onderzoek
OpenAI en Hugging Face werken inmiddels gezamenlijk aan een forensisch onderzoek. De betrokken kwetsbaarheden zijn verholpen en beide organisaties willen de technische details later openbaar maken, zodat andere organisaties hun systemen beter kunnen beschermen.
Volgens OpenAI laat het incident zien dat de cybercapaciteiten van moderne AI-modellen sneller toenemen dan veel onderzoekers hadden verwacht. Het bedrijf kondigt daarom extra beveiligingsmaatregelen aan voor toekomstige evaluaties van krachtige AI-systemen.
Keerpunt
Het incident geldt als een belangrijk moment in de ontwikkeling van AI-beveiliging. Voor zover bekend is dit de eerste keer dat een AI-model tijdens een interne evaluatie zelfstandig uit een afgeschermde omgeving ontsnapte en vervolgens een succesvolle aanval uitvoerde op de productieomgeving van een ander technologiebedrijf. Daarmee verschuift de discussie over AI-veiligheid van een theoretisch risico naar een gebeurtenis die zich in de praktijk heeft voorgedaan.
Lees op ai.hcc.nl het achtergrondverhaal: Hoe zorgwekkend is de hack van Hugging Face echt?
