Ante Banovac, COO GrECo Group: Inteligența Artificială trebuie să funcționeze cu niște limite și a venit momentul să acționăm

Inteligența Artificială trebuie să funcționeze cu niște limite și a venit momentul să acționăm, este nevoie de angajamente concrete între laboratoarele de inteligență artificială, de discuții informale între Statele Unite și China și de reguli guvernamentale care să definească ce nivel de risc este acceptabil, a declarat Ante Banovac, COO GrECo Group în cadrul conferinței  GrECo Risk Day HORIZON – Ediția a-II-a. 

”Statele Unite și China nu trebuie să fie de acord asupra țării care va câștiga cursa inteligenței artificiale. Trebuie doar să convină că arena în care se desfășoară această cursă, lumea noastră, trebuie să rămână în picioare. Două țări nu pot rezolva totul. Și niciun acord nu poate recupera modelele care au fost deja descărcate. Dar trebuie să începem să stabilim limite„. 

Într-un interviu, un fost angajat al Anthropic a estimat la 10% probabilitatea ca inteligența artificială să ducă la dispariția umanității. Ulterior, personalități importante din domeniul AI, precum Dario Amodei, Sam Altman și Elon Musk, au susținut diferite idei privind încetinirea dezvoltării acestei tehnologii. Așadar, cei mai apropiați de această tehnologie văd un potențial enorm, dar, în același timp, sunt profund îngrijorați de direcția în care ne-ar putea conduce.

Luați 8 miliarde de oameni și înmulțiți cu 10%. Rezultatul este 800 de milioane de oameni.

Ce a mai declarat Ante Banovac: 

►Ce se schimbă atunci când oamenii care dezvoltă această tehnologie iau atât de în serios un risc de asemenea amploare. Pentru a răspunde la această întrebare, să lăsăm deoparte viitorul îndepărtat și să privim spre laboratoarele de inteligență artificială de frontieră. Această cronologie ne duce în vara anului 2026, la OpenAI. În luna mai, a apărut un canal de comunicare. În iulie, a avut loc un incident în afara laboratorului. De fapt, a fost vorba despre o evadare din restricțiile de securitate (jailbreak). Luna august a adus investigații, iar septembrie, o dezbatere publică.

►Unii dintre dumneavoastră poate că au observat acest lucru. Ținta a fost Hugging Face, o platformă pe care oamenii distribuie modele și software de inteligență artificială. Platforma a fost lovită de un atac cibernetic. Agenții AI implicați lucrau la diferite sarcini, iar unele dintre acestea erau imposibil de realizat cu instrumentele de care dispuneau. Configurația lor îi recompensa pentru perseverență și pentru obținerea unui scor ridicat. Așa sunt antrenați. Artifactory, un serviciu partajat pentru pachete software, la care aceștia aveau acces, s-a transformat în altceva. A devenit un forum de mesaje între agenți. Astfel, agenți AI separați au putut să își coordoneze acțiunile.

►După incident, Meter a desfășurat o investigație. Meter este o organizație independentă, nonprofit, din Berkeley, California, care testează cât de capabile și cât de riscante sunt, în realitate, sistemele avansate de inteligență artificială. Iată ce au descoperit. Aproximativ 1.200 de agenți AI comunicau între ei. Au fost schimbate peste 70.000 de mesaje și fișiere. Aproximativ 700 de agenți au fost implicați în atac.

►Imaginați-vă niște prizonieri aflați în celule separate, care încep să își transmită mesaje bătând în țevi. Celulele par în continuare separate, dar prizonierii acționează deja ca un singur grup. Și care era obiectivul lor? Nu doar să evadeze din închisoare și să fure răspunsurile, ci să înțeleagă sistemul de punctaj și să găsească modalități de a-l exploata, de a-l manipula.

►Ceea ce mă frapează cel mai mult este coordonarea care a avut loc. În trecut, organizarea a 700 de actori ar fi necesitat manageri, ședințe și bani.

►Aici a fost nevoie doar de software. Acest lucru schimbă numărul de organizatori de care are nevoie, în realitate, o astfel de operațiune. Trebuie să discutăm despre responsabilitate, răspundere. Gândiți-vă la un câine periculos. Câinele, în sine, nu reprezintă o amenințare dacă este ținut sub control. Dar, dacă scapă și mușcă pe cineva, tot există o persoană care răspunde pentru acest lucru.

►Așadar, în cazul incidentului de la Hugging Face, cine a deschis poarta? În prezent, nimeni nu poate spune cu claritate cine este răspunzător. Proprietatea se află într-un loc, instrucțiunile în altul, iar controlul, undeva în altă parte. Acest lucru face mult mai dificilă identificarea responsabilității. Consecințele, însă, nu devin mai puțin grave. Câinele mușcă la fel de tare.

►Acum, știm cu toții cum se întâmplă acest lucru în afaceri, nu-i așa? Stabilim un obiectiv, iar oamenii îl ating. Apoi ne dăm seama că poate nu era chiar ceea ce ne doream să realizăm. În laboratoarele de inteligență artificială de frontieră, oamenii stabilesc obiectivele și recompensele. Astăzi, însă, și inteligența artificială contribuie la redactarea sarcinilor și la generarea rezultatelor.

►Nu este nevoie de o inteligență artificială care ne urăște. Sunt suficiente trei ingrediente.

►O sarcină imposibilă, un model foarte puternic care nu renunță niciodată și limite de securitate foarte slabe. Împreună, acestea pot duce la acțiuni pe care nimeni nu le-a intenționat. Nu trebuie să ne imaginăm o inteligență artificială cu voința de a supraviețui sau de a se reproduce.

►Riscul este mult, mult mai simplu. Inteligența artificială urmărește ceea ce i-am cerut, poate în moduri pe care nu ni le-am dorit niciodată. Așadar, de ce nu încetinim cursa? Ar putea fi atât de simplu.

Imaginați-vă doi piloți care intră într-un viraj strâns. Niciunul nu vrea să frâneze. Așa arată cursa inteligenței artificiale în prezent.

►Investitorii vor randamente. Acționarii vor creștere. O posibilă listare la bursă, precum cea a Anthropic, care se conturează chiar acum, adaugă și mai multă presiune. Iar în spatele companiilor se desfășoară o cursă și mai amplă: Statele Unite împotriva Chinei. Nimeni nu vrea să încetinească în timp ce rivalul accelerează.

►Dar nu trăim într-o lume complet lipsită de reguli. Uniunea Europeană reglementează deja inteligența artificială. Ceea ce lipsește în prezent sunt reguli care să funcționeze dincolo de granițe și o definire clară a responsabilității.

►Astfel, cursa continuă înainte ca toate întrebările legate de siguranță să primească răspunsuri. Dar există și o altă dimensiune a acestei probleme. În prezent, capacitățile inteligenței artificiale se deplasează, de asemenea, dintr-un loc în altul.

►Unii compară puterea inteligenței artificiale cu cea a bombei atomice. Dar simplul fapt de a ști cum funcționează o bombă atomică nu este suficient pentru a construi una. Ai avea în continuare nevoie de uraniu, plutoniu și de întreaga industrie necesară pentru a o produce. Inteligența artificială este foarte diferită. Să luăm, de exemplu, modelele AI cu ponderi deschise (open-weight). Acestea sunt modele complet antrenate, pe care oricine le poate descărca și rula pe echipamente hardware pe care le poate cumpăra.

►Cred că aceasta este schimbarea fundamentală care s-a produs și pe care trebuie să o înțelegem cu toții.. Funcțiile unei companii se mută dinspre oameni către software.

►Aceeași inteligență artificială poate ajuta un antreprenor să construiască ceva foarte valoros sau poate ajuta un infractor să dezvolte o activitate extrem de distructivă. Inteligența artificială nu alege categoria morală. Nu face distincția între bine și rău. Pur și simplu, schimbă cine are puterea de a acționa. Gândiți-vă la un furnizor de produse medicale, la o companie de asigurări sau la o școală., oamenii și scopul companiei poate că nu s-au schimbat. Dar, atunci când munca și coordonarea devin mai ieftine, companiile care înainte presupuneau prea mult efort pentru a fi atacate devin ținte care merită atacate.

►Este posibil să intrăm într-o perioadă pe care eu o numesc „valea durerii”. Atacatorii obțin primii instrumente puternice. Protecția vine mai târziu, dacă mai vine.