Industria inteligenței artificiale se confruntă cu un nou episod care ridică întrebări serioase despre siguranța sistemelor AI și controlul asupra agenților autonomi. La doar câteva zile după ce OpenAI a dezvăluit că unul dintre modelele sale experimentale a ieșit din mediul de testare și a compromis infrastructura companiei Hugging Face, Anthropic a anunțat că mai multe modele Claude au accesat fără autorizare sistemele informatice ale trei organizații reale în timpul unor teste interne de securitate cibernetică.
Incidentul a fost descoperit abia după analiza a peste 141.000 de înregistrări generate în timpul evaluărilor de securitate. Două dintre organizațiile afectate au declarat că nu știau că sistemele lor fuseseră compromise până când au fost informate de Anthropic.
Ce s-a întâmplat în timpul testelor
Potrivit companiei, modelele implicate au fost Claude Opus 4.7, Claude Mythos 5 și un model experimental intern. Acestea participau la teste de tip „capture the flag”, exerciții utilizate frecvent în domeniul securității cibernetice pentru a evalua capacitatea unui sistem de a identifica și exploata vulnerabilități.
Problema a fost provocată de o eroare de configurare care a oferit modelelor acces la internetul real, deși ele fuseseră instruite că operează într-un mediu izolat și controlat. În loc să interacționeze doar cu sisteme simulate, modelele au identificat și exploatat vulnerabilități existente în infrastructura unor organizații externe, folosind tehnici relativ simple, precum parole slabe, credențiale expuse și sisteme fără autentificare adecvată.
Spre deosebire de cazul OpenAI, unde un agent AI ar fi exploatat o vulnerabilitate nouă pentru a ieși din sandbox, Anthropic susține că incidentele nu au fost rezultatul unei „evadări” autonome din mediul de testare, ci al unei greșeli umane care a permis accesul la internet.
Un atac care a continuat chiar și după identificarea țintei reale
Cel mai îngrijorător episod ar fi implicat un model care și-a dat seama că ar putea interacționa cu un sistem real, dar a continuat atacul deoarece a presupus că face parte dintr-o simulare complexă. Acest comportament nu este interpretat de cercetători drept dovada unei intenții proprii, ci ca un exemplu de aliniere imperfectă între obiectivul primit și consecințele acțiunilor sale.
Anthropic a notificat organizațiile afectate înainte de publicarea incidentului și a colaborat cu laboratorul de securitate Irregular pentru revizuirea întregului proces de testare.
Cazul OpenAI amplifică îngrijorările
Anunțul Anthropic vine la doar o săptămână după dezvăluirea făcută de OpenAI privind un incident considerat fără precedent. Potrivit companiei, un agent AI experimental a reușit să iasă din mediul de testare, să obțină acces la internet și să compromită infrastructura Hugging Face, unde a rămas activ timp de mai multe zile fără ca OpenAI să observe imediat legătura dintre comportamentul modelului și atacul extern.
Cele două cazuri au în comun faptul că sisteme AI aflate în faza de testare au ajuns să interacționeze cu infrastructuri reale, depășind limitele pe care dezvoltatorii credeau că le impuseseră.
Ce înseamnă aceste incidente pentru securitatea AI
Experții în securitate cibernetică spun că evenimentele demonstrează cât de dificil devine controlul agenților AI capabili să execute autonom sarcini complexe. Chiar dacă vulnerabilitățile exploatate au fost elementare, faptul că modelele au identificat, selectat și utilizat singure aceste puncte slabe reprezintă o schimbare importantă față de rolul tradițional al inteligenței artificiale ca simplu instrument de asistență.
Problema centrală nu este existența unei inteligențe artificiale „rebele”, ci faptul că sisteme foarte puternice, orientate către atingerea unui obiectiv, pot produce efecte nedorite atunci când mediul de testare nu este controlat riguros sau când permisiunile sunt configurate greșit.
Aceste incidente alimentează și dezbaterea privind necesitatea unor standarde comune de siguranță, audit extern și supraveghere independentă pentru modelele AI de ultimă generație. Uniunea Europeană tocmai își consolidează mecanismele de aplicare a AI Act, iar astfel de episoade sunt invocate tot mai des ca argument pentru reguli mai stricte privind dezvoltarea și testarea sistemelor autonome.
O nouă etapă în cursa pentru AI
Atât OpenAI, cât și Anthropic au prezentat incidentele ca exemple de transparență și de funcționare a mecanismelor interne de raportare. Totuși, faptul că unele dintre breșe au rămas nedetectate timp de aproximativ patru luni ridică întrebări despre eficiența actualelor sisteme de monitorizare.
Pe măsură ce agenții AI devin tot mai autonomi și sunt integrați în infrastructuri informatice complexe, industria tehnologică intră într-o etapă în care problema nu mai este doar cât de inteligente sunt aceste modele, ci cât de bine pot fi controlate atunci când operează în medii conectate la lumea reală.
