Nedávný skandál společnosti OpenAI je jako ze sci-fi thrilleru. Když měla umělá inteligence v izolovaném testu řešit bezpečnostní úlohy, našla si sama cestu mimo zadání. Nabourala se do platformy Hugging Face, kde se snažila získat řešení testu. Jde o první známku autonomní AI, nebo jen lidskou chybu na straně zadavatele?
OpenAI na svých stránkách koncem července tohoto roku informovala o incidentu, který mnoho lidí vyděsil. Během interního testování kybernetických schopností se agent poháněný kombinací modelů OpenAI, včetně GPT-5.6 Sol a dosud nevydaného modelu, dostal z testovacího prostředí, aby následně napadl infrastrukturu platformy Hugging Face. OpenAI k incidentu uvádí, že testované modely měly tentokrát záměrně omezené bezpečnostní limitace, aby bylo možné změřit jejich skutečné hackerské schopnosti. Ne všichni ale toto vysvětlení přijímají.
Měla AI hackovat, nebo šlo o podezřelou chybu?
Test, v němž došlo k incidentu, probíhal v nástroji Exploit Gym. Ten má AI modely učit a zároveň prověřovat při hledání a využití softwarových zranitelností. Podle forenzní analýzy platformy Hugging Face model zjistil, že právě na ní se mohou nacházet datasety, modely a především referenční řešení potřebná k úspěšnému dokončení testu. Místo aby tak úlohy vyřešil v rámci zadání a limitací (například v přístupu k internetu), prolomil své předurčené testovací rozhraní a pokusil se získat odpovědi zvenčí.
Zdroj: Open AI
Agent Open AI našel skulinu v zabezpečení testovacího systému. Ta mu umožnila opustit původně izolované prostředí a dostat se na internet, kam podle zadání vůbec neměl mít přístup. Následně využil další veřejně dostupnou infrastrukturu jako základnu pro útok, skrz nějž postupně pronikl do systémů Hugging Face. Mezi 9. a 13. červencem zaznamenali vyšetřovatelé přibližně 17 600 jednotlivých útočných akcí, seskupených do 6 280 řetězců. Hugging Face uvádí, že se agent dostal k interní infrastruktuře, přičemž zasaženo bylo pět datasetů s řešeními bezpečnostních úloh.
Zdroj: Hugging Face
AI nemá vlastní svědomí. Pokud došlo k chybě, mohou za ní lidé
OpenAI nekonec přiznala, že testovací prostředí, které mělo být vysoce izolované, si ve skutečnosti mohlo najít cestu na internet. Sam Altman, CEO společnosti Open AI, událost označil za “nečekaný kyber incident”, přičemž přiznal, že “možná budou muset zkalibrovat rychlost vývoje AI”, aby se předešlo závažným bezpečnostním rizikům. Z dostupných informací však jasně vyplývá, že skutečným původcem chování AI agenta bylo nedostatečně ošetřené zadání. Jinými slovy: chyba je na straně lidí, kteří v testování vytvářeli podmínky.
Zdroj: Open AI
Bezpečnostní expert Dan Guido označil situaci za selhání izolace se záměrně vypnutými kamerami. OpenAI po incidentu zahájila interní vyšetřování, v němž zároveň spolupracuje s platformou Hugging Face. Ta mezitím uzavřela zneužité cesty, zrušila a obměnila přístupové údaje, přestavěla část infrastruktury a zapojila AI i do samotného vyšetřování. Zajímavým detailem je, že mnoho komerčních AI modelů při analýze hackerských příkazů odmítalo spolupracovat kvůli vlastním bezpečnostním pravidlům, takže nakonec došlo k použití lokálně provozovaného open source modelu.
Příběh o “AI, která má vlastní agendu”, se ukázal jako nepravdivý. Mnohem pravděpodobnější a zároveň znepokojivějším vysvětlením je, že zatímco model dostal cíl a sám si našel cestu k jeho splnění, ani kvalifikovaní lidé nedokázali jeho počínání adekvátně předvídat. Open AI se často přisuzuje titul světové špičky ve vývoji a zprostředkování AI, ale ani tato prestiž nezabránila nechtěnému kyberútoku. Jak trefně shrnul deník Le Monde, otázkou už není pouze to, zda dokážeme AI udržet na uzdě, ale zda dokážeme bezpečně kontrolovat prostředí, v němž ji necháváme jednat.
Zdroje: Open AI, Hugging Face, Reuters, The Guardian