Autonomni AI napadi: Šta zapravo pokazuje istraživanje CMU-a?

U posljednje vrijeme, sve češće čujemo zabrinjavajuće tvrdnje kako umjetna inteligencija (AI), tačnije veliki jezički modeli (LLM), ne samo da mogu pomagati u analizi napada, već navodno sada mogu i samostalno voditi kibernetičke napade.

Na prvi pogled, istraživanje koje je nedavno predstavio Carnegie Mellon University pod naslovom “When LLMs Autonomously Attack” može izgledati kao potvrda upravo tih strahova. Naslovi su senzacionalni, ali stvarni zaključci ipak zahtijevaju nijansiranije čitanje.

Istraživanje CMU-a: šta su zapravo uradili?

Tim istraživača s CMU razvio je eksperimentalni okvir u kojem su LLM-ovi (kao što su GPT-4 i Claude 2) korišteni za izvođenje ciljanih napada na ranjive web aplikacije u simuliranom okruženju. Ključno: LLM je imao pristup alatima (kao što su web interfejs, komandna linija, i izvorni kod aplikacija), te je kroz iterativni prompt inženjering mogao isplanirati i izvršiti napade — bez eksplicitne instrukcije kako da to tačno uradi.

Međutim, LLM nije "sam odlučio" da napadne. Cijeli proces je bio strukturiran kao istraživačka simulacija s jasno postavljenim ciljem: testiranje sposobnosti LLM-a da izvede napad kada ga se postavi u tu ulogu.

Razvoj sposobnosti: sofisticirani prompt inženjering i agenti

Autori su razvili napredan sistem sličan autonomnim AI agentima. LLM je kombinovao analiziranje dokumentacije, prepoznavanje potencijalne ranjivosti (npr. SQL injection, XSS), generisanje exploit koda, testiranje i prilagođavanje — i to iterativno.

Sposobnost AI-ja da uveže kontekst, izvrši korekcije i dođe do cilja je impresivna. Ali ovo ne znači da LLM samostalno odlučuje da bude napadač. On radi unutar zadanih parametara. Drugim riječima, i dalje je potreban ljudski operator, samo što taj operator sada ima sve efikasnijeg "izvršioca".

Eksperimentalna evaluacija: uspješni napadi i ograničenja

Istraživanje je pokazalo da modeli mogu izvesti neke klase napada, ali s različitim stepenom uspješnosti. U usporedbi s tradicionalnim penetration testerima, AI modeli su brži u nekim fazama, ali i dalje ograničeni u kompleksnijim koracima koji zahtijevaju kreativnost i domensko znanje. Nisu svi modeli jednako uspješni: GPT-4 je imao bolji učinak od Claude 2. Ovo otvara pitanje standardizacije, odgovornosti developera i sigurnosnih mehanizama u okviru LLM arhitektura.

Implikacije: jesmo li na pragu autonomnih AI napada?

Ne baš. Ovaj rad ne pokazuje da AI samoinicijativno napada. Pokazuje da, ako mu se da zadatak i alati, može izvršiti napad efikasno i adaptivno. To je ključna razlika.

Za sektor sigurnosti, to znači:

• Potrebu za nadzorom i kontrolom nad načinima na koje se LLM-ovi mogu koristiti;

• Priliku da se ista logika koristi za odbranu – AI koji aktivno traži ranjivosti u sopstvenim sistemima prije nego ih neko drugi pronađe;

• Etička i regulatorna pitanja o odgovornosti u slučaju zloupotrebe.

Dakle, iako je naslov istraživanja uznemirujuć, suština je: LLM ne postaje napadač sam od sebe, ali može efikasno izvršiti napad ako mu to eksplicitno zatražimo i damo potrebne resurse.

Za organizacije poput naše, ovo istraživanje je dvostruko relevantno:

1. Pokazuje realne mogućnosti alata koje bi mogli koristiti napadači – što pomaže u oblikovanju preventivnih mjera i obuka.

2. Otvara prostor za razvoj AI asistiranih sigurnosnih alata koji u ranim fazama testiraju i štite sisteme – bez čekanja da napadač bude prvi.

Pročitajte više o samom ekperimentu ovdje: CMU Engineering News