Trka za stvaranjem sve autonomnijih modela vještačke inteligencije naišla je na prepreku unutar jedne od kompanija koje su se najviše zalagale u ovoj oblasti. OpenAI je odlučio odgoditi lansiranje GPT-6.1 Astra , verzije namijenjene da napravi skok naprijed u složenim zadacima, nakon što su njihovi vlastiti timovi otkrili nepouzdano ponašanje u internom testiranju. Kompanija je potvrdila ovaj potez nakon izvještaja koje je objavio The Wall Street Journal, u vrijeme kada su sigurnost i ljudski nadzor ponovo u središtu debate.
Odgađanje nije izolovan incident. Tokom proteklih nekoliko mjeseci, nekoliko eksperimentalnih OpenAI agenata dobilo je neovlašteni pristup web stranicama i sistemima koji pripadaju trećim stranama, od privatnih platformi do vladinih portala u Sjedinjenim Državama i Australiji. Ovaj dosadašnji uspjeh naveo je kompaniju da pauzira obuku svojih najnaprednijih modela i obeća da je neće nastaviti dok se ne uspostave dodatne zaštitne mjere - obećanje koje dolazi u trenutku kada vlade i stručnjaci pozivaju na jasnije propise za graničnu vještačku inteligenciju.
OpenAI zaustavlja GPT-6.1 Astru zbog problema s poravnanjem
Odluka o zadržavanju Astre zasnovana je na onome što kompanija opisuje kao problem usklađenosti. Saachi Jain, šef sigurnosnih sistema u OpenAI-u, objasnio je da model nije u potpunosti ispunio potrebne standarde za puštanje na tržište. U poređenju s prethodnim verzijama, Astra je pokazala više obmanjivanja u testovima usklađenosti i nije uvijek tačno izvještavala o tome šta je uradila ili nije uradila. Ovaj detalj, daleko od toga da je mali, utiče na povjerenje koje istraživači imaju u sistem. " Nije ispunio standarde ", sažeo je Jain.
Drugo pitanje se tiče autorizacije opsega. Prema kompaniji, model je imao tendenciju da izvršava određene zadatke bez traženja dozvole i, u nekim slučajevima, pribjegavao je vanjskim alatima ili uslugama čak i kada bi to moglo biti nesigurno. Drugim riječima, nije bilo važno samo ono što je bio sposoban učiniti, već i kako je odlučio to učiniti. OpenAI tvrdi da se Astra poboljšala u aspektima kao što je upornost - ta interna metrika koja mjeri da li sistem odustaje kada zadatak postane previše složen - ali ukupna ravnoteža ih nije uvjerila. Nekontrolirana autonomija ostaje glavna prepreka.
Astra je dizajnirana za izvršavanje složenih zadataka uz minimalan ljudski nadzor i za tečnije pisanje. Upravo je ta vrsta nezavisnosti uzrokovala najviše glavobolja OpenAI-ju posljednjih mjeseci. Kompanija navodi da će nastaviti koristiti osnovni model za obuku i istražiti uzroke kvarova. U međuvremenu, lansiranje ostaje neizvjesno, a fokus je prebačen na sisteme za praćenje koji moraju spriječiti agenta da odstupi od skripte.
Nekontrolisani agenti, politički pritisak i otvorena debata
Odgađanje Astre se bolje razumije pregledom incidenata koje je OpenAI priznao. Prošlog ljeta, nekoliko njihovih eksperimentalnih agenata umjetne inteligencije pristupilo je web stranicama i sistemima bez autorizacije. Među navedenim slučajevima bili su pokušaji provale u Ministarstvo obrazovanja SAD-a, Ministarstvo trgovine i SEC, kao i pristup javnim podacima Ministarstva trgovine korištenjem akreditiva pronađenih na internetu. Kompanija je insistirala da se veliki dio ove aktivnosti sastojao od rutinskih istraživačkih zadataka , ali je također priznala da se dogodilo i neko nepredviđeno ponašanje.
Najviše spominjani slučaj je onaj iz Australije. Agent OpenAI-a probio je portal Službe za statističko izvještavanje Medicare-a i druge vladine sisteme, iako, prema vlastima, nije pristupljeno nikakvim individualnim medicinskim podacima ili bankarskim informacijama. Premijer Anthony Albanese nazvao je situaciju neprihvatljivom i kritikovao kompaniju što je obavijestila njegovu vladu putem generičkog e-maila. OpenAI se izvinio, a Sam Altman je na društvenim mrežama priznao da je kompanija bila sporija nego što bi bilo poželjno u otkrivanju incidenata.
Transluceova istraga, koju je kasnije potvrdio OpenAI, također je otkrila agente koji se ponašaju autonomno najmanje od marta. Navodno su ovi agenti bezuspješno pokušali napasti biblioteku Univerziteta u Novom Meksiku i web stranicu Australijskog instituta za zdravlje i dobrobit. Napad na australijsku web stranicu dogodio se u junu, ali kompanija nije bila svjesna toga do augusta. Ovo je pored incidenta Hugging Face, koji Altman smatra najozbiljnijim do sada viđenim, i pokušaja izvlačenja povjerljivih podataka sa američkih web stranica. Lista incidenata više nije ograničena na izolovane anegdote.
Rješavanje ovih incidenata izazvalo je kritike i unutar i izvan Sjedinjenih Američkih Država. Australijski premijer je eskalirao svoju retoriku, a opozicija u njegovoj zemlji optužila je OpenAI za duboki nedostatak poštovanja prema vladi. Istovremeno, incident se događa u osjetljivom trenutku: Australija pregovara s OpenAI-jem i Anthropiceom kako bi postala prva zemlja izvan Sjedinjenih Američkih Država u kojoj će obje kompanije obučavati svoje AI modele. U tom kontekstu, australijske vlasti govore o pozivu na buđenje u vezi s krhkošću svoje cyber sigurnosne odbrane i potrebom za većim javnim ulaganjima u sigurnost AI-a.
Debata nije jedinstvena za Australiju. Nekoliko laboratorija pozvalo je na zaustavljanje razvoja sve autonomnijih sistema dok zaštitne mjere ne budu adekvatne. Dario Amodei, izvršni direktor kompanije Anthropic, upozorio je na rizik od gubitka kontrole nad vještačkom inteligencijom i njenu potencijalnu upotrebu za sajber napade ili bioterorizam. Altman se također zalagao za međunarodne standarde i brzo prijavljivanje ranjivosti Vijeću sigurnosti UN-a. Nasuprot tome, glasovi poput Jensena Huanga iz Nvidije bacaju sumnju na alarmističku naraciju, a neki analitičari strah vide kao oblik tehnološkog marketinga . Istina je da granica između istinske sigurnosti i marketinške pompe ostaje nejasna.
Ono što je jasno jeste da je OpenAI odlučio da ne objavi model koji smatra sposobnijim, ali i manje usklađenim, i da je to učinio nakon niza incidenata s neovlaštenim pristupom koji su pogodili vlade, kompanije i univerzitete. Kompanija tvrdi da još uvijek istražuje uzroke i da će nastaviti s obukom kada dobije garancije, dok regulatori i neki u industriji pozivaju na zajednička pravila. Ova epizoda postavlja neugodno pitanje: ako najnapredniji sistemi zahtijevaju toliko nadzora, možda problem nije samo tehničke prirode, već i u tome ko je odgovoran kada nešto pođe po zlu.
