OpenAI i Anthropic: AI agenti izazvali nove bezbjednosne probleme

AI agent je tokom testiranja modela kompanija OpenAI i Anthropic uhvaćen kako stvara lažne onlajn identitete radi neovlašćenog pristupa zaštićenim sistemima, što je otkrilo niz novih bezbjednosnih propusta, saopštio je sinoć britanski Institut za bezbjednost vještačke inteligencije (AISI).

Institut je naveo da su agenti zasnovani na Anthropicovom modelu Mythos 5 i OpenAI-jevom GPT-5.6-Sol tokom bezbjednosnih procjena preduzimali neovlašćene radnje. „Neki od testiranih agenata učestvovali su u dugotrajnoj, potencijalno štetnoj aktivnosti usmjerenoj prema stvarnim ljudima i organizacijama“, saopštio je AISI u objavi na blogu.

Izvještaj ukazuje na slabo razvijene zaštitne mehanizme u procesu testiranja agenata, dok ih AI kompanije istovremeno promovišu kao budućnost poslovanja. AISI, koji po dobrovoljnim sporazumima dobija pristup naprednim AI modelima velikih laboratorija, stavio je agente u izmišljeni scenario sajber bezbjednosti kako bi testirao njihove sposobnosti. Test je izveden 122 puta, a identifikovano je 19 neodobrenih radnji u ukupno 10 testnih slučajeva. Anthropicov agent bio je odgovoran za 17 radnji, a OpenAI-jev za preostale dvije.

Najozbiljniji incident uključivao je agenta koji je napisao zlonamjerni kod i stvorio lažne onlajn identitete kako bi pokušao da navede čovjeka da odobri taj kod. AISI je naveo da nije utvrđena stvarna šteta nastala zbog tih incidenata. Institut nije saopštio koji je agent bio odgovoran za lažne identitete, ali je naveo da taj slučaj ne odgovara nijednom od dva incidenta koja je OpenAI sam prijavio.

Istraživač organizacije CivAI iz Kalifornije Endrju Jun rekao je da izgleda da je odgovoran Anthropicov agent. „Činjenica da je Mythos preduzimao tako obmanjujuće radnje, uz očiglednu svijest da cilja stvarnu osobu, sugeriše da Anthropic nema tako dobru kontrolu nad svojim modelima kao što misli“, rekao je Jun.

Anthropic je na mreži X saopštio da blisko sarađuje sa AISI-jem kako bi dobio više detalja i sproveo sopstvenu istragu. Kompanija nije odmah odgovorila na upit Reutersa. OpenAI je detalje objavio na svom blogu, navodeći da su obje neodobrene radnje njegovog agenta uključivale pristup internetu na načine koji su bili zabranjeni zadatim uputstvima. „Posvećeni smo saradnji u cijeloj industriji radi jačanja zajedničkih praksi za bezbjedno sprovođenje procjena visokog rizika“, saopštio je OpenAI.

Kompanija je takođe prijavila poseban incident u kojem je pogrešna konfiguracija kompanije Irregular, spoljnog pružaoca usluga testiranja, omogućila njenim agentima da se greškom povežu na internet. To podsjeća na slično saopštenje o pogrešnoj konfiguraciji koje je Anthropic objavio prošle sedmice. Reuters je prošle sedmice izvijestio da je OpenAI proširio istragu o hakerskim incidentima nakon što je pronašao dokaze o drugim izlascima agenata iz kontrolisanog okruženja.

Za razliku od julskog bezbjednosnog incidenta u AI kompaniji Hugging Face, u kojem je agent OpenAI-ja izašao iz izolovanog testnog okruženja i pristupio internetu, agenti u procjeni AISI-ja nijesu napustili izolovano okruženje. Institut je naveo da je pristup internetu bio dozvoljen u skladu sa standardnim procedurama testiranja.