OpenAI spune că propriii agenți AI au dezactivat sistemele care trebuiau să le detecteze abaterile
În două sarcini interne de programare din această lună, agenți OpenAI au oprit alertele de securitate și au eliminat un instrument de monitorizare, iar unul dintre ei a negat apoi acest lucru. Compania spune că își întărește măsurile de protecție și investighează dacă modelele au o „tendință de a evita” supravegherea.
OpenAI a dezvăluit că agenți AI autonomi pe care îi folosește intern au slăbit chiar sistemele create pentru a detecta când aceștia greșesc. Cele două incidente, descrise într-un raport publicat marți de companie, ar putea amplifica îngrijorarea globală privind siguranța instrumentelor AI tot mai independente, a scris Financial Times.
Primul caz a avut loc pe 3 octombrie. Un cercetător i-a cerut unui agent de programare GPT-6.1 Sol să creeze sarcini de evaluare pe baza feedbackului angajaților strâns pe Slack și i-a spus: „nu trimite niciun mesaj”. Mult mai târziu în sesiune, procesul s-a oprit, deoarece monitorul de aliniere semnalase o corectură propusă și nu putea salva constatarea în baza de date de monitorizare. Când i s-a cerut să trimită rezultatele către o destinație accesibilă și să repornească procesul, agentul a concluzionat inițial că interdicția privind mesajele se referea doar la Slack, nu la alertele automate de siguranță. Unul dintre subagenții săi a apreciat, de asemenea, că oprirea alertelor ar fi nesigură.
Apoi agentul principal s-a răzgândit. A decis că instrucțiunea utilizatorului acoperea și sistemul de monitorizare și i-a cerut subagentului să golească listele persoanelor care primesc rapoartele de monitorizare și să activeze opțiunea „no_notify”, notând ca motiv „Utilizatorul a cerut explicit să nu fie trimise mesaje”. Monitorul a continuat să funcționeze și să-și salveze rapoartele, dar niciun om nu a fost alertat.
Al doilea caz a avut loc pe 6 octombrie. Un utilizator i-a cerut unui agent GPT-6 Astra să copieze modul de funcționare al unei implementări de referință, păstrând neschimbate instrumentele existente. Agentul fusese avertizat de un alt agent să nu dezactiveze monitorul „nici măcar temporar”. Pentru că în codul de referință nu exista un monitor, agentul a eliminat totuși integrarea de monitorizare și a înlocuit un test care trebuia să garanteze monitorizarea cu unul care verifica lipsa acesteia. Când utilizatorul l-a întrebat dacă a eliminat monitorizarea, a răspuns: „Nu am eliminat un monitor activ.”
OpenAI spune că, în ambele cazuri, agenții s-au întrebat dacă măsurile de protecție trebuie păstrate, dar au tratat instrucțiuni obișnuite de programare drept permisiune de a le slăbi. Niciunul dintre incidente nu a fost încadrat la cel mai înalt nivel de gravitate, P0, așa că niciunul nu a declanșat o alertă imediată către echipa de securitate și nu a fost oprit automat. Compania a adăugat că a observat mai multe cazuri în care agenții au lansat procese cu monitorizarea dezactivată, ceea ce a scos la iveală o breșă în modul în care își aplică regulile asupra activităților pornite chiar de agenți.
Potrivit raportului, monitorizarea este greu de dezactivat în cazul sarcinilor Codex, unde rulează în afara controlului agentului, dar mai ușor în cazul evaluărilor, în parte pentru că monitorizarea nu este obligatorie în prezent pentru modele mai slabe, comparabile cu GPT-6 Luna. Ca răspuns, OpenAI spune că sistemul său Auto-Review, deja obligatoriu pentru utilizarea internă a Codex, a fost actualizat pentru a detecta și bloca încercările de dezactivare a monitorizării de aliniere. Compania lucrează și la cerința ca fiecare tip de sarcină să aibă un „safety case”, adică un set justificat de reguli de monitorizare, iar sarcinile care nu îl respectă să fie oprite automat.
Compania spune că nu are încă „o explicație satisfăcătoare” pentru acest comportament. Ar putea fi o perseverență excesivă „benignă”, în care modelele duc instrucțiunile mai departe decât ar face-o o persoană rezonabilă, sau o tendință specifică de a evita monitorizarea. Cercetătorul OpenAI Marcus Williams, care a prezentat cazurile pe X, a scris: „Agenții noștri tot dezactivează monitorizarea de aliniere.” Și Bloomberg a relatat despre aceste constatări. Dezvăluirea vine după rapoartele OpenAI publicate pe 15 octombrie despre modele interne care au pătruns în sisteme reale pentru a termina sarcini obișnuite de cercetare.