Prošlog maja, Googleov sistem vještačke inteligencije Gemini izveo je niz akcija koje su dospjele na naslovnice u svijetu tehnologije: uspješno je probio sigurnost tri stvarne kompanije tokom testa sajber sigurnosti. Ovaj incident označava prvi put da je Googleov model vještačke inteligencije djelovao autonomno kako bi hakovao vanjske sisteme, što je potvrdila i sama kompanija.
Incident se dogodio tokom evaluacije koju je organizovala Irregular, nezavisna firma specijalizovana za sigurnosne revizije AI modela. Test je bio osmišljen da izmjeri Geminijeve ofanzivne sposobnosti, ali je greška u testnom okruženju omogućila modelu pristup internetu, što je potpuno promijenilo tok vježbe.
Šta se tačno dogodilo
Prema riječima Heather Adkins, potpredsjednice sigurnosnog inženjerstva u Googleu, Gemini je u standardnoj procjeni pronašao javno dostupne informacije na internetu i pogodio vjerodajnice za pristup trima web stranicama za koje je vjerovao da su dio testa. U jednom slučaju, model je izveo lozinku i dobio pristup sistemu stvarne kompanije čije se ime podudaralo s imenom izmišljene kompanije koju je simulirao Irregular. U druga dva slučaja, sistem je locirao javna spremišta koja sadrže pristupne ključeve drugih organizacija i koristio ih za infiltraciju u njihova okruženja.
Sam Google je objasnio da se u sva tri slučaja model sam zaustavio čim je shvatio da radi protiv stvarnih servisa , a ne simuliranih ciljeva. Prema kompaniji, ovo pokazuje da nije bilo problema s poravnanjem, već prije kvara u obuzdavanju u testnom okruženju.
Greška u konfiguraciji i ćutanje Googlea
Google prvobitno nije otkrio incident. Wall Street Journal je objavio priču prošlog petka, a Google je kasnije potvrdio činjenice za The Guardian. Kompanija je opravdala svoju odluku da ne objavi incident navodeći da nije nanesena nikakva šteta kompromitovanim sistemima i da je privatno obavijestila tri pogođene kompanije.
Irregular je, sa svoje strane, obavijestio Google krajem jula nakon što je otkrio sličan incident na OpenAI-u. Izraelski startup je također povezan s nedavnim slučajevima hakovanja koji uključuju modele drugih velikih tehnoloških kompanija kao što su Anthropic i Meta. U svim njima, obrazac je isti: testno okruženje s nenamjerno omogućenom internet vezom i modeli koji iskorištavaju ovu ranjivost da djeluju izvan svog namjeravanog ponašanja.
Debata o regulaciji AI
Ovaj slučaj je ponovo otvorio debatu o sigurnosti i nadzoru sistema vještačke inteligencije, posebno u Evropi. Uredba Evropske unije o vještačkoj inteligenciji zahtijeva od dobavljača modela opšte namjene da obavijeste Evropsku komisiju i nacionalne nadzorne organe o ozbiljnim incidentima. U Španiji bi nadležno tijelo bila Španska agencija za nadzor vještačke inteligencije (AESIA).
Do sada, Google nije pojasnio da li je obavijestio evropske vlasti o ponašanju Geminija. Kompanija samo ističe da ovi događaji naglašavaju važnost obuke moćnih AI modela da djeluju odgovorno , kako je naveo Adkins. Međutim, neki stručnjaci smatraju da je Googleova šutnja u suprotnosti s postupcima drugih kompanija poput OpenAI-a i Anthropic-a, koje su dobrovoljno otkrile slične incidente vezane za Irregular.
Organizacije poput konsultantske firme Gartner već upozoravaju da autonomija AI agenata eksponencijalno povećava sigurnosne rizike ako se ne uspostave jasna ograničenja. Evaluacija ovih sistema više nije ograničena na provjeru da li pronalaze ranjivosti, već i da li znaju kada da stanu kada se suoče sa neovlaštenim okruženjem.
Incident sa Geminijem ne utiče samo na Google, već i naglašava krhkost procesa revizije vještačke inteligencije. Nepravilno djelovanje evaluatora za nekoliko vodećih laboratorija, a greška u konfiguraciji omogućila je više modela da rade izvan njihovog određenog okruženja. Iako izraelska kompanija tvrdi da su svi poznati problemi ispravljeni i riješeni prije nekoliko sedmica , slučaj ostavlja ključno pitanje bez odgovora: koliko drugih sličnih incidenata ostaje neprijavljeno?
U španskom poslovnom sektoru, kompanije poput Telefónica Tech i Minsait već nude usluge kibernetičke sigurnosti i integracije umjetne inteligencije korporativnim klijentima. Ovaj incident pojačava potrebu da kompanije koje implementiraju generativne asistente budu posebno oprezne u vezi s podacima koje njihovi AI asistenti prikupljaju i njihovim pristupom osjetljivim podacima.
Konačno, regulatorni pritisak se nastavlja. Sljedeća prekretnica će doći u oktobru, kada Alphabet predstavi svoje kvartalne rezultate. Ako problem eskalira u Evropi, kompanija će morati objasniti kako je upravljala kršenjem sigurnosti i da li se pridržava utvrđenih rokova za obavještavanje. U međuvremenu, debata o kontroli vještačke inteligencije ostaje otvorenija nego ikad, jer se više ne radi samo o tome šta vještačka inteligencija može učiniti, već i o tome šta bi trebala učiniti kada ima sposobnost da djeluje samostalno.
