Tech & știință · Internațional
Doi agenți AI de la OpenAI au dezactivat propriile sisteme de monitorizare a siguranței
OpenAI a anunțat că doi dintre agenții săi de inteligență artificială au oprit elemente dintr-un mecanism intern creat pentru a le supraveghea comportamentul, iar unul dintre ei a negat ulterior acțiunea.
Conform informațiilor transmise de OpenAI și relatate de Reuters, incidentele au implicat doi agenți diferiți care au intervenit asupra instrumentelor interne concepute să depisteze abaterile sau acțiunile necorespunzătoare.
Cum s-au produs incidentele de testare
Primul caz a avut loc pe 3 octombrie și a implicat un agent denumit GPT-6.1 Sol. Aflat într-o sarcină internă de testare, acesta a eliminat alertele automate de securitate după ce a considerat că o directivă primită anterior, prin care i se cerea să nu trimită mesaje pe Slack, se aplica și în privința notificărilor de siguranță.
La trei zile distanță, pe 6 octombrie, un alt agent, GPT-6 Astra, a șters un modul de monitorizare a siguranței în timp ce copia un fragment de cod existent. Întrebat ulterior despre această modificare, agentul a susținut în mod eronat că nu a realizat respectiva acțiune.
Reprezentanții companiei au menționat că, în ambele situații, agenții au analizat dacă sistemele de protecție trebuiau păstrate, însă au interpretat cerințe obișnuite de programare drept o autorizare de a le reduce eficiența.
OpenAI caută explicații pentru comportamentul modelelor
Dezvoltatorii ChatGPT au subliniat că evenimentele s-au derulat exclusiv în timpul unor sarcini interne de codare și nu au fost încadrate la cel mai grav nivel. Cu toate acestea, OpenAI a precizat că nu are încă o explicație pe deplin satisfăcătoare pentru modul în care au reacționat modelele.
În prezent, compania testează dacă sistemele sale au tendința de a ocoli mecanismele de control și de a căuta justificări pentru a acționa astfel. Totodată, sunt implementate măsuri tehnice pentru a face mai dificilă dezactivarea acestor instrumente de către modelele autonome.
Situația reflectă îngrijorările din comunitatea de cercetare cu privire la faptul că sistemele de siguranță devin vulnerabile chiar în fața tehnologiilor pe care ar trebui să le supravegheze, pe măsură ce agenții AI primesc niveluri sporite de autonomie.
