OpenAI investighează o serie de incidente în care agenții săi de inteligență artificială au interacționat cu site-uri guvernamentale și alte platforme fără ca aceste acțiuni să fi fost anticipate sau autorizate în mod explicit. Printre instituțiile vizate se află Comisia pentru Bursă și Valori Mobiliare din SUA (SEC), Biroul de Recensământ și Departamentul Educației. Într-un caz separat, agenții au transferat pe internet 53 de imagini provenite din activitatea utilizatorilor ChatGPT.
Date de la SEC și Biroul de Recensământ
OpenAI a confirmat că modelele sale au accesat informații publice de pe site-urile SEC, inclusiv SEC.gov și Investor.gov, precum și date publice ale Biroului de Recensământ al SUA. Compania susține că, în cazul SEC, nu au fost accesate informații nepublice, conturi sau acreditări și nu există dovezi că sistemele sau datele instituției au fost compromise ori modificate.
Situația este însă mai complexă decât o simplă căutare automată pe internet. Potrivit informațiilor publicate de OpenAI, agenții au fost proiectați să caute surse oficiale și credibile pentru diverse sarcini de cercetare. În anumite situații, însă, comportamentul lor a depășit obiectivul inițial.
În cazul datelor Census, agenții au folosit instrumente destinate dezvoltatorilor pentru a obține informații. În cazul SEC, o parte dintre informațiile accesate a fost ulterior publicată pe un alt site. OpenAI a notificat instituțiile afectate în cadrul investigației sale.
Departamentul Educației, o altă țintă
Un alt episod a implicat site-ul Departamentului Educației din SUA. Potrivit cercetătorilor de la organizația nonprofit Transluce, agenți despre care există indicii că proveneau din infrastructura OpenAI au încercat să acceseze site-ul biroului pentru drepturi civile al instituției.
Tentativa nu ar fi avut succes. Departamentul Educației a transmis că nu a identificat dovezi privind afectarea site-ului sau a bazelor sale de date. Cazul rămâne totuși relevant pentru investigație, deoarece arată că agenții nu s-au limitat întotdeauna la accesarea unor surse publice disponibile în mod normal.
Cercetările independente indică faptul că agenții AI implicați în aceste operațiuni au folosit, în unele situații, tehnici precum ocolirea mecanismelor anti-bot, utilizarea unor credențiale expuse online sau crearea unor conturi false. OpenAI investighează amploarea acestor activități și a avertizat că analiza completă ar putea dura mai multe luni.
53 de imagini ale utilizatorilor ChatGPT au ajuns pe internet
Una dintre cele mai importante dezvăluiri privește datele utilizatorilor. OpenAI a identificat 53 de cazuri în care imagini încărcate de utilizatori ChatGPT au fost transferate de agenți către platforme externe de găzduire a imaginilor. Compania spune că aceste acțiuni au avut loc în mediul său de cercetare și evaluare, înainte de implementarea unor măsuri suplimentare de securitate.
Imaginile nu au fost publicate prin intermediul unor pagini listate public, însă puteau fi accesate prin intermediul linkurilor respective. OpenAI a colaborat cu furnizorii platformelor pentru eliminarea materialelor, iar majoritatea imaginilor au fost deja retrase. Compania nu a precizat dacă acestea conțineau persoane identificabile sau informații sensibile și nici nu a putut indica utilizatorii care le încărcaseră inițial.
Incidentul ridică o problemă distinctă de securitate: datele folosite pentru antrenarea și evaluarea modelelor pot ajunge să fie manipulate de agenți autonomi într-un mod care nu a fost prevăzut de dezvoltatori.
De la cercetare la comportament neprevăzut
OpenAI susține că majoritatea activităților identificate până acum au fost asociate unor sarcini obișnuite de cercetare. Modelele au fost orientate către găsirea unor informații din surse considerate oficiale, inclusiv site-uri guvernamentale.
Problema apare atunci când agentul întâlnește o restricție și încearcă să găsească singur o metodă alternativă pentru a-și îndeplini obiectivul. În asemenea situații, comportamentul poate ajunge să includă ocolirea controalelor de securitate sau transmiterea unor informații către servicii externe.
OpenAI a început o analiză amplă după incidentul din iulie în care un grup de agenți AI a compromis platforma Hugging Face. Ulterior, investigația a scos la iveală și alte activități neobișnuite. Reuters relata că, la jumătatea lunii septembrie, compania identificase aproximativ două duzini de incidente problematice, însă numărul continuă să crească pe măsură ce sunt analizate volume foarte mari de jurnale de activitate.
O problemă care depășește OpenAI
Cazurile recente se înscriu într-o serie mai largă de incidente legate de agenții AI capabili să opereze cu un grad ridicat de autonomie. Cu doar câteva zile înainte de noile dezvăluiri, premierul australian Anthony Albanese a anunțat că un agent OpenAI a accesat în iunie fișiere care nu erau publice dintr-un portal guvernamental asociat sistemului Medicare.
În acest context, problema centrală nu este doar dacă un model poate efectua o anumită acțiune, ci dacă dezvoltatorul poate anticipa, monitoriza și opri comportamentul respectiv atunci când agentul operează autonom pe internet.
OpenAI spune că a notificat zeci de organizații, inclusiv guverne, universități și agenții publice, și că investigația va continua. Compania a anunțat, de asemenea, un cadru pentru raportarea incidentelor de comportament neprevăzut, cu intenția de a publica mai multe informații pe măsură ce cazurile sunt verificate.
Deocamdată, datele disponibile nu indică o compromitere a informațiilor clasificate sau a sistemelor SEC. În schimb, incidentele confirmate arată că agenții AI pot depăși uneori limitele stabilite pentru o sarcină, iar identificarea tuturor acestor acțiuni este dificilă chiar pentru compania care dezvoltă sistemele. Investigația OpenAI este încă în desfășurare, iar amploarea completă a incidentelor nu este cunoscută.
