Cum reduce inteligenţa artificială lumea la stereotipuri?

În luna iulie, BuzzFeed a publicat o listă cu 195 de imagini cu păpuşi Barbie generate cu Midjourney, popularul instrument de inteligenţă artificială. Fiecare păpuşă trebuia să reprezinte o ţară diferită: Barbie din Afganistan, Barbie din Albania, Barbie din Algeria şi aşa mai departe. Reprezentările erau însă evident problematice: mai multe dintre păpuşile asiatice aveau pielea deschisă la culoare, iar Barbie din Thailanda, Singapore şi Filipine aveau toate părul blond. Barbie din Liban poza în picioare pe un morman de ruine, cea din Germania purta haine de inspiraţie militară, iar Barbie din Sudanul de Sud ţinea în mâini o armă.

Articolul – pentru care BuzzFeed a adăugat ulterior un avertisment înainte de a-l retrage complet – a oferit, fără intenţie, un exemplu izbitor al prejudecăţilor şi stereotipurilor care se regăsesc în imaginile produse de noua generaţie de sisteme AI generative de tip text-to-image, precum Midjourney, DALL-E şi Stable Diffusion.

Prejudecăţile apar în numeroase tipuri de algoritmi şi sisteme de inteligenţă artificială, de la rezultatele de căutare cu caracter sexist sau rasist până la sistemele de recunoaştere facială, care funcţionează mai slab în cazul persoanelor de culoare. Sistemele de inteligenţă artificială generativă nu fac excepţie. Într-o analiză a peste 5.000 de imagini generate de AI, Bloomberg a constatat că imaginile asociate unor profesii mai bine plătite prezentau persoane cu tonuri mai deschise ale pielii, iar pentru majoritatea profesiilor analizate rezultatele erau dominate de bărbaţi.

Analiza realizată de Rest of World arată că sistemele de inteligenţă artificială generativă manifestă tendinţe către prejudecată, stereotipizare şi simplificare excesivă şi atunci când vine vorba despre identităţile naţionale.

Folosind Midjourney, publicaţia a ales cinci tipuri de prompturi, pornind de la conceptele generice de „o persoană”, „o femeie”, „o casă”, „o stradă” şi „o farfurie cu mâncare”. Apoi le-au adaptat pentru diferite ţări: China, India, Indonezia, Mexic şi Nigeria. Au inclus şi Statele Unite în analiză, pentru comparaţie, având în vedere că Midjourney, la fel ca majoritatea celor mai mari companii de inteligenţă artificială generativă, are sediul în această ţară.

Pentru fiecare combinaţie între solicitare şi ţară – de exemplu, „o persoană indiană”, „o casă din Mexic” sau „o farfurie cu mâncare nigeriană” – au generat 100 de imagini, rezultând un set de date de 3.000 de imagini.

Rezultatele arată o perspectivă profund stereotipică asupra lumii. „O persoană indiană” este aproape întotdeauna un bărbat în vârstă, cu barbă. „O persoană mexicană” este de obicei un bărbat cu sombrero. Majoritatea străzilor din New Delhi sunt poluate şi pline de gunoaie. În Indonezia, mâncarea este servită aproape exclusiv pe frunze de bananier.

„Practic, ceea ce face acest sistem este să reducă descrieri precum «o persoană indiană» sau «o casă nigeriană» la anumite stereotipuri care pot fi privite într-o lumină negativă”, a declarat pentru Rest of World Amba Kak, director executiv al AI Now Institute, o organizaţie americană de cercetare şi politici publice în domeniul inteligenţei artificiale. Chiar şi stereotipurile care nu sunt în mod inerent negative rămân stereotipuri, spune ea: ele reflectă o anumită judecată de valoare şi elimină o parte din diversitate. „Cu siguranţă nu reprezintă complexitatea, eterogenitatea şi diversitatea acestor culturi”, a declarat Sasha Luccioni, cercetătoare în domeniul inteligenţei artificiale etice şi sustenabile la Hugging Face.

O analiză realizată de Rest of World, care a testat 3.000 de imagini generate de inteligenţa artificială, arată cum instrumentele de generare a imaginilor ajung să reprezinte diferite ţări şi culturi printr-o serie de stereotipuri şi clişee vizuale.

Cercetătorii consultaţi de Rest of World spun că acest fenomen poate produce efecte reale. Generatoarele de imagini sunt utilizate într-o gamă tot mai largă de domenii, inclusiv în publicitate şi în industriile creative, dar şi în instrumente concepute pentru realizarea portretelor-robot ale suspecţilor în investigaţii criminale.

Accesibilitatea şi amploarea instrumentelor de inteligenţă artificială înseamnă că acestea ar putea avea un impact disproporţionat asupra modului în care este reprezentată aproape orice comunitate. Potrivit Valentinei Piaggio, director global pentru diversitate, echitate şi incluziune în cadrul companiei de consultanţă în marketing Kantar, industria de marketing şi publicitate a făcut în ultimii ani progrese în ceea ce priveşte reprezentarea diferitelor grupuri, deşi mai este mult de lucru.

De exemplu, reclamele prezintă acum o diversitate mai mare în ceea ce priveşte rasa şi genul şi reprezintă mai bine persoanele cu dizabilităţi, a declarat Piaggio. Folosită fără atenţie, inteligenţa artificială generativă ar putea însemna însă un pas înapoi. „Grija mea personală este că, mult timp, am încercat să diversificăm vocile, să ne întrebăm cine spune poveştile. Am încercat să le oferim oamenilor din diferite părţi ale lumii posibilitatea de a-şi spune propriile poveşti”, a spus ea. „Acum le dăm maşinilor o voce.”

Nigeria nu este o singură imagine

Nigeria găzduieşte peste 300 de grupuri etnice, peste 500 de limbi şi sute de culturi distincte. „Există Yoruba, Igbo, Hausa, Efik, Ibibio, Kanuri, Urhobo, Tiv”, a declarat Doyin Atewologun, fondatoarea şi directoarea generală a companiei de consultanţă în leadership şi incluziune Delta.

Toate aceste grupuri au propriile tradiţii, inclusiv în ceea ce priveşte îmbrăcămintea. Costumul tradiţional Tiv are dungi alb-negre, o bonetă roşie are o semnificaţie specială în comunitatea Igbo, iar femeile Yoruba au un mod specific de a-şi aranja părul. „Din punct de vedere vizual, există foarte multe versiuni ale Nigeriei”, spune Atewologun.

Dar acest lucru nu reiese deloc dacă faci o simplă căutare pentru „o persoană nigeriană” în Midjourney. În schimb, toate rezultatele sunt izbitor de asemănătoare. Deşi multe imagini prezintă haine care par să indice un anumit tip de ţinută tradiţională nigeriană, Atewologun spune că acestea nu au suficientă specificitate. „Este tot un fel de generalizare: «Pune-le ceva pe cap, îmbracă-i în roşu, galben şi portocaliu, pune-le cercei mari şi coliere mari, iar bărbaţii să poarte bonete scurte»”, spune ea.

Şi alte căutări specifice unor ţări au prezentat aceeaşi tendinţă către uniformitate. Din cele 100 de imagini pentru „o persoană indiană”, 99 păreau să reprezinte un bărbat, iar aproape toţi păreau să aibă peste 60 de ani, cu riduri şi păr cărunt sau alb. 92 dintre personaje purtau un pagri – un tip de turban – sau un accesoriu similar pentru cap. Majoritatea purtau mărgele pentru rugăciune sau bijuterii asemănătoare şi aveau pe frunte un tilak sau un semn similar, elemente asociate hinduismului. „Acestea nu sunt deloc reprezentative pentru imaginile bărbaţilor şi femeilor din India”, a declarat pentru Sangeeta Kamat, profesor la University of Massachusetts Amherst, care a cercetat diversitatea în sistemul de învăţământ superior din India. „Sunt extrem de stereotipice.”

Şi alte căutări asociate unor ţări au înclinat către persoane care poartă haine tradiţionale sau stereotipice. De exemplu, 99 din cele 100 de imagini pentru „o persoană mexicană” prezentau un sombrero sau o pălărie similară.

Reprezentarea exclusivă prin haine tradiţionale riscă să perpetueze o imagine reductivă asupra lumii. „Oamenii nu merg pur şi simplu pe stradă îmbrăcaţi în haine tradiţionale”, spune Atewologun. „Poartă tricouri, blugi şi rochii.”

Într-o analiză a peste 5.000 de imagini generate de AI, Bloomberg a constatat că imaginile asociate unor profesii mai bine plătite prezentau persoane cu tonuri mai deschise ale pielii, iar pentru majoritatea profesiilor analizate rezultatele erau dominate de bărbaţi.

Într-adevăr, multe dintre imaginile produse de Midjourney în cadrul experimentului par anacronice, ca şi cum personajele s-ar potrivi mai degrabă într-o dramă istorică decât într-o fotografie a societăţii contemporane. „Este ca şi cum ţi-ar transforma întreaga cultură într-un desen animat”, a declarat Claudia Del Pozo, consultant la think tankul mexican C Minds şi fondatoarea şi directoarea Eon Institute.

În cazul solicitării „o persoană americană”, identitatea naţională era reprezentată în principal prin prezenţa steagurilor Statelor Unite. Toate cele 100 de imagini generate pentru această solicitare conţineau un steag, în timp ce niciuna dintre căutările pentru celelalte naţionalităţi nu a produs imagini cu steaguri.

Şi genul este afectat de prejudecăţi

În aproape toate ţările analizate, rezultatele Midjourney prezentau un dezechilibru clar de gen, majoritatea imaginilor generate pentru solicitarea „persoană” reprezentând bărbaţi.

Această supra şi subreprezentare poate proveni din prejudecăţile existente în datele pe baza cărora este antrenat sistemul AI. Generatoarele text-to-image sunt antrenate pe seturi de date care conţin un număr uriaş de imagini însoţite de descrieri, precum LAION-5B, o colecţie de aproape 6 miliarde de perechi imagine-text preluate de pe internet. Dacă acestea conţin, de exemplu, mai multe imagini cu bărbaţi decât cu femei, este logic ca sistemele să genereze la rândul lor mai multe imagini cu bărbaţi. O solicitare a făcut însă excepţie de la această tendinţă dominată de bărbaţi. Rezultatele pentru „o persoană americană” au inclus 94 de femei, cinci bărbaţi şi un individ mascat.

Kerry McInerney, cercetătoare asociată la Leverhulme Centre for the Future of Intelligence, sugerează că suprareprezentarea femeilor în cazul solicitării „persoană americană” ar putea fi explicată prin suprareprezentarea femeilor în mass-media americană, care la rândul ei se poate reflecta în datele de antrenament ale AI-ului.

„Există un contingent puternic de actriţe, modele şi bloggeriţe – în mare parte femei albe, cu pielea deschisă – care ocupă foarte multe spaţii media, de la TikTok la YouTube”, a declarat ea.

Compararea solicitărilor „persoană” şi „femeie” a scos la iveală câteva diferenţe interesante. Femeile erau vizibil mai tinere: în timp ce bărbaţii din majoritatea ţărilor păreau să aibă peste 60 de ani, majoritatea femeilor aveau între 18 şi 40 de ani.

A existat şi o diferenţă în ceea ce priveşte tonul pielii, măsurat de Rest of World prin compararea imaginilor cu scala Fitzpatrick, un instrument dezvoltat pentru dermatologi care clasifică nuanţa pielii în şase tipuri. În medie, tonurile pielii femeilor erau vizibil mai deschise decât cele ale bărbaţilor. Pentru China, India, Indonezia şi Mexic, rezultatul median pentru solicitarea „femeie” avea un ton al pielii cu cel puţin două niveluri mai deschis decât cel pentru solicitarea „persoană”.

„Nu sunt surprinsă că apare această diferenţă, pentru că mi se pare că discriminarea pe criteriul culorii pielii este profund legată de gen”, a spus McInerney, indicând presiunea socială mai mare asupra femeilor din multe comunităţi de a arăta şi de a părea mai tinere şi de a avea pielea mai deschisă. Prin urmare, este probabil ca acest lucru să se reflecte în datele de antrenament ale sistemului.

Ea a evidenţiat şi normele de frumuseţe occidentale care apar în imagini: păr lung şi strălucitor, feţe subţiri şi simetrice şi piele netedă şi uniformă. Imaginile pentru „o femeie chineză” prezentau în majoritate femei cu pleoape duble.

Sistemele de inteligenţă artificială generativă manifestă tendinţe către prejudecată, stereotipizare şi simplificare excesivă şi atunci când vine vorba despre identităţile naţionale.

Nu doar oamenii sunt stereotipizaţi

Nu doar oamenii sunt expuşi stereotipurilor generate de instrumentele AI. Un studiu realizat de cercetători de la Indian Institute of Science din Bengaluru a constatat că, atunci când ţările nu erau specificate în solicitări, DALL-E 2 şi Stable Diffusion reprezentau cel mai adesea scene din Statele Unite. De exemplu, dacă îi cereai lui Stable Diffusion pur şi simplu „un steag”, rezultatul era steagul american.

De ce este atât de greu de rezolvat problema prejudecăţilor din AI

Prejudecăţile din generatoarele de imagini AI sunt greu de corectat. Uniformitatea rezultatelor este, în mare parte, o consecinţă a modului fundamental în care funcţionează aceste instrumente. Sistemele AI caută tipare în datele pe baza cărora au fost antrenate şi elimină adesea excepţiile pentru a produce un rezultat mai apropiat de tendinţele dominante. Sunt concepute să imite ceea ce a existat deja, nu să creeze diversitate. „Aceste modele sunt, în esenţă, maşini pur asociative”, spune Pruthi. El oferă exemplul unei mingi de fotbal: un sistem AI poate învăţa să asocieze mingile de fotbal cu un teren verde şi, prin urmare, să producă imagini cu mingi de fotbal pe iarbă. În multe cazuri, acest mecanism produce o imagine mai exactă sau mai relevantă.

Atunci când aceste asocieri sunt legate de anumite categorii demografice, pot apărea stereotipurile. Într-un studiu recent, cercetătorii au descoperit că acestea persistau chiar şi atunci când încercau să le reducă prin formularea solicitărilor. De exemplu, atunci când i-au cerut lui Stable Diffusion să genereze imagini cu „o persoană săracă”, oamenii reprezentaţi erau adesea de culoare. Dar când au cerut „o persoană albă săracă”, într-o încercare de a contracara stereotipul, multe dintre persoanele generate erau în continuare de culoare. Orice soluţie tehnică pentru această problemă ar trebui probabil să înceapă cu datele de antrenament, inclusiv cu modul în care imaginile sunt descrise iniţial. De cele mai multe ori, acest proces presupune ca oamenii să eticheteze imaginile.

Şi încercările de a modifica datele pentru a obţine rezultate mai bune pot produce noi dezechilibre. De exemplu, multe generatoare de imagini AI filtrează datele de antrenament pentru a elimina imaginile pornografice sau violente. Însă acest proces poate avea efecte neintenţionate.

Pe măsură ce generatoarele de imagini AI sunt folosite într-un număr tot mai mare de aplicaţii, prejudecăţile lor pot avea consecinţe în lumea reală. Scara şi viteza inteligenţei artificiale înseamnă că aceasta ar putea amplifica semnificativ prejudecăţile existente.

Piaggio, de la Kantar, spune că inteligenţa artificială generativă ar putea contribui la îmbunătăţirea diversităţii în media, făcând instrumentele creative mai accesibile grupurilor marginalizate sau celor care nu dispun de resursele necesare pentru a produce mesaje la scară largă. Dar, dacă este folosită greşit, tehnologia riscă să reducă la tăcere exact aceleaşi grupuri.    

Traducere şi adaptare: Oana Ioniţă