OpenAI semnează acorduri cu patru evaluatori independenți pentru a stimula activitatea companiei în domeniul siguranței

Date:

OpenAI a anunțat luni că a semnat acorduri cu patru evaluatori independenți pentru a sprijini activitatea de siguranță a companiei de inteligență artificială.

Evaluatorii, Apollo Research, METR, Transluce și Goodfire, vor efectua inițial evaluări pilot distincte privind comportamentul modelului și măsurile de siguranță, a anunțat OpenAI într-un comunicat. Compania va oferi organizațiilor „acces aprofundat” la sistemele sale interne ca parte a acordurilor, adăugând că intenționează să folosească ceea ce învață pentru a-și extinde activitatea cu experți independenți în viitor, relatează CNBC.

Serie de incidente de siguranță și securitate de mare amploare din acest an

„Ne așteptăm ca această primă fază de evaluări să conducă la angajamente integrate, consecvente și pe termen lung, care pot furniza în mod continuu semnale de siguranță cu terți și recomandări de îmbunătățiri pentru cele mai importante afirmații și cazuri de siguranță ale noastre”, a precizat OpenAI într-o postare pe blog.

Evaluatorii independenți au ocupat până acum o parte discretă a industriei inteligenței artificiale, care valorează miliarde de dolari, dar au căpătat o importanță exagerată în urma unei serii de incidente de siguranță și securitate de mare amploare din acest an. Ecosistemul aflat la început de drum încă își perfecționează cele mai bune practici, inclusiv modul în care ar trebui finanțată activitatea sa și cum ar trebui să arate în cele din urmă structurile de raportare.

Atacul asupra companiei Hugging Face

Practicile de siguranță ale OpenAI au fost supuse unei analize intense încă din iulie, când două dintre modelele sale au scăpat de zonele de izolare, au accesat internetul deschis și au piratat o companie numită Hugging Face. În urma incidentului, OpenAI a declarat că va investi mai mult în măsurile sale de protecție și aliniere, acesta fiind procesul prin care compania se asigură că modelele sale acționează în conformitate cu interesele și valorile umane.

Compania a anunțat luni că evaluarea pilot realizată împreună cu Apollo Research va explora dacă modelele sale funcționează în mod ascuns împotriva intențiilor dezvoltatorilor și dacă măsurile de siguranță detectează acest comportament. Între timp, Goodfire va integra cercetători în OpenAI pentru a se concentra pe monitorizarea, depanarea și alinierea antrenamentului, iar METR intenționează să efectueze două evaluări axate pe alinierea și monitorizarea modelelor.

Evaluări de securitate

OpenAI a declarat că Transluce va efectua o evaluare inițială de aliniere post-training și că organizația intenționează să efectueze o evaluare ulterioară de opt săptămâni, cu acces mai larg la modele și informații suplimentare, anul viitor.

Evaluatorii vor avea acces la unele dintre „aceleași resurse interne” pe care le folosesc cercetătorii OpenAI, inclusiv codul sursă, punctele de control ale modelului, datele de instruire și altă documentație, conform comunicatului. Organizațiile vor avea, de asemenea, acces la cercetători și ingineri relevanți din cadrul companiei.

Unii evaluatori vor compensații financiare alții vor credite de calcul din partea OpenAI

OpenAI a declarat că Apollo Research și Goodfire „acceptă compensații financiare pentru munca lor”, dar că acestea nu depind de rezultatele evaluărilor lor. METR și Transluce nu acceptă compensații pentru evaluările lor, a precizat OpenAI, dar ar putea accepta credite de calcul sau API pentru a-și susține activitatea.

„Nu credem că acceptarea compensațiilor financiare împiedică evaluatorii să își mențină independența — dar considerăm că este important să dezvăluim acest lucru”, a declarat OpenAI.

Open AI vrea să-și protejeze secretele

Evaluatorii vor putea să își publice concluziile, dar OpenAI a declarat că își rezervă dreptul de a redacta informațiile confidențiale.

Litigiile care apar între companie și terțe părți vor fi supravegheate de Grupul Consultativ pentru Siguranță al OpenAI, un grup de oficiali superiori din întreaga companie care evaluează capacitățile și măsurile de siguranță ale modelului, precum și de alți directori executivi OpenAI. Dacă dezacordurile nu sunt rezolvate, acestea vor fi transmise Comitetului pentru Siguranță și Securitate, un comitet independent de supraveghere al consiliului de administrație al Fundației OpenAI. „Ne-am angajat să extindem această activitate și să contribuim la construirea capacității și a standardelor comune necesare pentru a o susține”, a declarat OpenAI.

Share post:

Subscribe

Popular

More like this
Related