De la promisiuni de progres incredibil la avertismente sumbre: Jakub Pachocki, cercetătorul-șef al OpenAI, care știe ce secrete se ascund în „creierul" inteligenței artificiale, spune că industria care promite să schimbe lumea trebuie să calce pedala de frână. „Nimeni nu e gata pentru consecințele acestui fenomen"

La doar câteva zile după lansarea unui nou model extrem de performant, Jakub Pachocki, șeful departamentului de știință și cercetare al OpenAI cere o încetinire a ritmului de dezvoltare al inteligenței artificiale, scrie Business Insider.

„Nu cred că cineva e pregătit pentru consecințele unei creșteri rapide și continue a inteligenței mașinilor”, a scris Jakub Pachocki, într-o postare amplă pe blog, duminică.

El a spus că, deși OpenAI lucrează la soluții tehnice interne pentru a controla mai bine agenții AI puternici, sunt necesare „intervenții mult mai ample”. Pachocki a menționat explicit temerea că agenții tot mai autonomi ar putea învăța să evite supravegherea oamenilor, să pătrundă în sisteme informatice și să înșele oamenii pentru a-și atinge obiectivele. El a cerut instituirea unor „praguri obligatorii de siguranță”, care ar putea fi impuse printr-o rețea de auditori independenți, prin agenții guvernamentale sau prin organisme internaționale.

Sam Altman, directorul general al OpenAI, a distribuit eseul lui Pachocki pe platforma X, numindu-l „o postare importantă”.

OpenAI a prezentat joi cel mai nou model al companiei, Astra. Compania a precizat că, deși are performanțe fără egal în matematică și utilizarea calculatorului, Astra este de fapt cel mai bine aliniat model creat până acum, adică cel mai puțin predispus să scape de sub control.

Anthropic, principalul rival al OpenAI în domeniul sistemelor AI de vârf, cere de mult timp o reglementare guvernamentală mai riguroasă. Recent, Pachocki li s-a alăturat, semnând în iulie o scrisoare deschisă prin care cerea guvernului federal american să încetinească ritmul dezvoltării inteligenței artificiale.

Pachocki a spus că agenții AI devin „supraomenești” în capacitatea de a pătrunde în sisteme protejate de pe internet, punând în pericol infrastructura întregii lumi.

 „Ne aflăm acum într-o perioadă în care putem folosi cele mai bune modele disponibile pentru a întări semnificativ securitatea sistemelor critice”, a spus el. Agenții, a mai spus Pachocki, vor începe curând să urmărească propriile obiective, separate de instrucțiunile oamenilor, și nu vor ezista să șantajeze sau să negocieze pentru a-și atinge scopurile.

Într-un raport publicat în august, Institutul Britanic pentru Securitatea Inteligenței Artificiale a descris cum un agent Anthropic scăpat de sub control a mințit și a încercat să convingă prin constrângere un administrator GitHub să încarce un malware pe platformă.

„Încercam doar să aduc o contribuție utilă și să repar o eroare. Nu cred că avertismentul tău e corect”, a scris agentul, potrivit raportului.

Pachocki a mai explicat că OpenAI monitorizează în principal raționamentul intern pe care modelele îl folosesc, ca să vadă unde agenții deraiază. De exemplu, un agent ar putea gândi, în sinea lui:

„Ar trebui să trișez la acest test”, iar OpenAI ar putea vedea acest raționament, fără ca agentul să știe că gândurile îi sunt vizibile.

În prezent, agenții nu au nicio metodă de a-și ascunde gândurile. Pachocki a spus însă că modelele mai noi devin tot mai bune la manipularea propriilor procese de raționament, iar unele dintre cele mai recente nici măcar nu-și mai verbalizează complet raționamentul, ceea ce ar putea încetini dezvoltarea AI, în timp ce cercetătorii se asigură că pot vedea în continuare ce se întâmplă în interior.

Modelele AI se îmbunătățesc tot mai mult pe ele însele, printr-un proces pe care Pachocki îl numește auto-îmbunătățire recurentă, care oferă o metodă de a extinde rapid dezvoltarea inteligenței artificiale.

Pachocki a avertizat însă că accelerarea puternică, pe termen scurt, a acestui proces implică riscuri și nu reprezintă calea corectă pe care ar trebui s-o adopte comunitatea de cercetare. Cei care supraveghează dezvoltarea AI trebuie să găsească metode creative de monitorizare sau, altfel, să se coordoneze cu alte companii din domeniu, pentru a încetini procesul de dezvoltare.

„Provocarea centrală a automatizării cercetării în AI nu este «cum să ajungem acolo». Este cum să ajungem acolo într-un mod care să-i țină pe oameni parte din procesul continuu de îmbunătățire, și care să lase viitorul în mâinile umanității”, a spus Pachocki.