Cum reduce inteligența artificială lumea la stereotipuri?

În luna iulie, BuzzFeed a publicat o listă cu 195 de imagini cu păpuși Barbie generate cu Midjourney, popularul instrument de inteligență artificială. Fiecare păpușă trebuia să reprezinte o țară diferită: Barbie din Afganistan, Barbie din Albania, Barbie din Algeria și așa mai departe. Reprezentările erau însă evident problematice: mai multe dintre păpușile asiatice aveau pielea deschisă la culoare, iar Barbie din Thailanda, Singapore și Filipine aveau toate părul blond. Barbie din Liban poza în picioare pe un morman de ruine, cea din Germania purta haine de inspirație militară, iar Barbie din Sudanul de Sud ținea în mâini o armă.

Articolul – pentru care BuzzFeed a adăugat ulterior un avertisment înainte de a-l retrage complet – a oferit, fără intenție, un exemplu izbitor al prejudecăților și stereotipurilor care se regăsesc în imaginile produse de noua generație de sisteme AI generative de tip text-to-image, precum Midjourney, DALL-E și Stable Diffusion.

Prejudecățile apar în numeroase tipuri de algoritmi și sisteme de inteligență artificială, de la rezultatele de căutare cu caracter sexist sau rasist până la sistemele de recunoaștere facială, care funcționează mai slab în cazul persoanelor de culoare. Sistemele de inteligență artificială generativă nu fac excepție. Într-o analiză a peste 5.000 de imagini generate de AI, Bloomberg a constatat că imaginile asociate unor profesii mai bine plătite prezentau persoane cu tonuri mai deschise ale pielii, iar pentru majoritatea profesiilor analizate rezultatele erau dominate de bărbați.

Analiza realizată de Rest of World arată că sistemele de inteligență artificială generativă manifestă tendințe către prejudecată, stereotipizare și simplificare excesivă și atunci când vine vorba despre identitățile naționale.

Folosind Midjourney, publicația a ales cinci tipuri de prompturi, pornind de la conceptele generice de „o persoană”, „o femeie”, „o casă”, „o stradă” și „o farfurie cu mâncare”. Apoi le-au adaptat pentru diferite țări: China, India, Indonezia, Mexic și Nigeria. Au inclus și Statele Unite în analiză, pentru comparație, având în vedere că Midjourney, la fel ca majoritatea celor mai mari companii de inteligență artificială generativă, are sediul în această țară.

Pentru fiecare combinație între solicitare și țară – de exemplu, „o persoană indiană”, „o casă din Mexic” sau „o farfurie cu mâncare nigeriană” – au generat 100 de imagini, rezultând un set de date de 3.000 de imagini.

Rezultatele arată o perspectivă profund stereotipică asupra lumii. „O persoană indiană” este aproape întotdeauna un bărbat în vârstă, cu barbă. „O persoană mexicană” este de obicei un bărbat cu sombrero. Majoritatea străzilor din New Delhi sunt poluate și pline de gunoaie. În Indonezia, mâncarea este servită aproape exclusiv pe frunze de bananier.

„Practic, ceea ce face acest sistem este să reducă descrieri precum «o persoană indiană» sau «o casă nigeriană» la anumite stereotipuri care pot fi privite într-o lumină negativă”, a declarat pentru Rest of World Amba Kak, director executiv al AI Now Institute, o organizație americană de cercetare și politici publice în domeniul inteligenței artificiale. Chiar și stereotipurile care nu sunt în mod inerent negative rămân stereotipuri, spune ea: ele reflectă o anumită judecată de valoare și elimină o parte din diversitate. „Cu siguranță nu reprezintă complexitatea, eterogenitatea și diversitatea acestor culturi”, a declarat Sasha Luccioni, cercetătoare în domeniul inteligenței artificiale etice și sustenabile la Hugging Face.

O analiză realizată de Rest of World, care a testat 3.000 de imagini generate de inteligența artificială, arată cum instrumentele de generare a imaginilor ajung să reprezinte diferite țări și culturi printr-o serie de stereotipuri și clișee vizuale.

Cercetătorii consultați de Rest of World spun că acest fenomen poate produce efecte reale. Generatoarele de imagini sunt utilizate într-o gamă tot mai largă de domenii, inclusiv în publicitate și în industriile creative, dar și în instrumente concepute pentru realizarea portretelor-robot ale suspecților în investigații criminale.

Accesibilitatea și amploarea instrumentelor de inteligență artificială înseamnă că acestea ar putea avea un impact disproporționat asupra modului în care este reprezentată aproape orice comunitate. Potrivit Valentinei Piaggio, director global pentru diversitate, echitate și incluziune în cadrul companiei de consultanță în marketing Kantar, industria de marketing și publicitate a făcut în ultimii ani progrese în ceea ce privește reprezentarea diferitelor grupuri, deși mai este mult de lucru.

De exemplu, reclamele prezintă acum o diversitate mai mare în ceea ce privește rasa și genul și reprezintă mai bine persoanele cu dizabilități, a declarat Piaggio. Folosită fără atenție, inteligența artificială generativă ar putea însemna însă un pas înapoi. „Grija mea personală este că, mult timp, am încercat să diversificăm vocile, să ne întrebăm cine spune poveștile. Am încercat să le oferim oamenilor din diferite părți ale lumii posibilitatea de a-și spune propriile povești”, a spus ea. „Acum le dăm mașinilor o voce.”

Nigeria nu este o singură imagine

Nigeria găzduiește peste 300 de grupuri etnice, peste 500 de limbi și sute de culturi distincte. „Există Yoruba, Igbo, Hausa, Efik, Ibibio, Kanuri, Urhobo, Tiv”, a declarat Doyin Atewologun, fondatoarea și directoarea generală a companiei de consultanță în leadership și incluziune Delta.

Toate aceste grupuri au propriile tradiții, inclusiv în ceea ce privește îmbrăcămintea. Costumul tradițional Tiv are dungi alb-negre, o bonetă roșie are o semnificație specială în comunitatea Igbo, iar femeile Yoruba au un mod specific de a-și aranja părul. „Din punct de vedere vizual, există foarte multe versiuni ale Nigeriei”, spune Atewologun.

Dar acest lucru nu reiese deloc dacă faci o simplă căutare pentru „o persoană nigeriană” în Midjourney. În schimb, toate rezultatele sunt izbitor de asemănătoare. Deși multe imagini prezintă haine care par să indice un anumit tip de ținută tradițională nigeriană, Atewologun spune că acestea nu au suficientă specificitate. „Este tot un fel de generalizare: «Pune-le ceva pe cap, îmbracă-i în roșu, galben și portocaliu, pune-le cercei mari și coliere mari, iar bărbații să poarte bonete scurte»”, spune ea.

Și alte căutări specifice unor țări au prezentat aceeași tendință către uniformitate. Din cele 100 de imagini pentru „o persoană indiană”, 99 păreau să reprezinte un bărbat, iar aproape toți păreau să aibă peste 60 de ani, cu riduri și păr cărunt sau alb. 92 dintre personaje purtau un pagri – un tip de turban – sau un accesoriu similar pentru cap. Majoritatea purtau mărgele pentru rugăciune sau bijuterii asemănătoare și aveau pe frunte un tilak sau un semn similar, elemente asociate hinduismului. „Acestea nu sunt deloc reprezentative pentru imaginile bărbaților și femeilor din India”, a declarat pentru Sangeeta Kamat, profesor la University of Massachusetts Amherst, care a cercetat diversitatea în sistemul de învățământ superior din India. „Sunt extrem de stereotipice.”

Și alte căutări asociate unor țări au înclinat către persoane care poartă haine tradiționale sau stereotipice. De exemplu, 99 din cele 100 de imagini pentru „o persoană mexicană” prezentau un sombrero sau o pălărie similară.

Reprezentarea exclusivă prin haine tradiționale riscă să perpetueze o imagine reductivă asupra lumii. „Oamenii nu merg pur și simplu pe stradă îmbrăcați în haine tradiționale”, spune Atewologun. „Poartă tricouri, blugi și rochii.”

Într-o analiză a peste 5.000 de imagini generate de AI, Bloomberg a constatat că imaginile asociate unor profesii mai bine plătite prezentau persoane cu tonuri mai deschise ale pielii, iar pentru majoritatea profesiilor analizate rezultatele erau dominate de bărbați.

Într-adevăr, multe dintre imaginile produse de Midjourney în cadrul experimentului par anacronice, ca și cum personajele s-ar potrivi mai degrabă într-o dramă istorică decât într-o fotografie a societății contemporane. „Este ca și cum ți-ar transforma întreaga cultură într-un desen animat”, a declarat Claudia Del Pozo, consultant la think tankul mexican C Minds și fondatoarea și directoarea Eon Institute.

În cazul solicitării „o persoană americană”, identitatea națională era reprezentată în principal prin prezența steagurilor Statelor Unite. Toate cele 100 de imagini generate pentru această solicitare conțineau un steag, în timp ce niciuna dintre căutările pentru celelalte naționalități nu a produs imagini cu steaguri.

Și genul este afectat de prejudecăți

În aproape toate țările analizate, rezultatele Midjourney prezentau un dezechilibru clar de gen, majoritatea imaginilor generate pentru solicitarea „persoană” reprezentând bărbați.

Această supra și subreprezentare poate proveni din prejudecățile existente în datele pe baza cărora este antrenat sistemul AI. Generatoarele text-to-image sunt antrenate pe seturi de date care conțin un număr uriaș de imagini însoțite de descrieri, precum LAION-5B, o colecție de aproape 6 miliarde de perechi imagine-text preluate de pe internet. Dacă acestea conțin, de exemplu, mai multe imagini cu bărbați decât cu femei, este logic ca sistemele să genereze la rândul lor mai multe imagini cu bărbați. O solicitare a făcut însă excepție de la această tendință dominată de bărbați. Rezultatele pentru „o persoană americană” au inclus 94 de femei, cinci bărbați și un individ mascat.

Kerry McInerney, cercetătoare asociată la Leverhulme Centre for the Future of Intelligence, sugerează că suprareprezentarea femeilor în cazul solicitării „persoană americană” ar putea fi explicată prin suprareprezentarea femeilor în mass-media americană, care la rândul ei se poate reflecta în datele de antrenament ale AI-ului.

„Există un contingent puternic de actrițe, modele și bloggerițe – în mare parte femei albe, cu pielea deschisă – care ocupă foarte multe spații media, de la TikTok la YouTube”, a declarat ea.

Compararea solicitărilor „persoană” și „femeie” a scos la iveală câteva diferențe interesante. Femeile erau vizibil mai tinere: în timp ce bărbații din majoritatea țărilor păreau să aibă peste 60 de ani, majoritatea femeilor aveau între 18 și 40 de ani.

A existat și o diferență în ceea ce privește tonul pielii, măsurat de Rest of World prin compararea imaginilor cu scala Fitzpatrick, un instrument dezvoltat pentru dermatologi care clasifică nuanța pielii în șase tipuri. În medie, tonurile pielii femeilor erau vizibil mai deschise decât cele ale bărbaților. Pentru China, India, Indonezia și Mexic, rezultatul median pentru solicitarea „femeie” avea un ton al pielii cu cel puțin două niveluri mai deschis decât cel pentru solicitarea „persoană”.

„Nu sunt surprinsă că apare această diferență, pentru că mi se pare că discriminarea pe criteriul culorii pielii este profund legată de gen”, a spus McInerney, indicând presiunea socială mai mare asupra femeilor din multe comunități de a arăta și de a părea mai tinere și de a avea pielea mai deschisă. Prin urmare, este probabil ca acest lucru să se reflecte în datele de antrenament ale sistemului.

Ea a evidențiat și normele de frumusețe occidentale care apar în imagini: păr lung și strălucitor, fețe subțiri și simetrice și piele netedă și uniformă. Imaginile pentru „o femeie chineză” prezentau în majoritate femei cu pleoape duble.

Sistemele de inteligență artificială generativă manifestă tendințe către prejudecată, stereotipizare și simplificare excesivă și atunci când vine vorba despre identitățile naționale.

Nu doar oamenii sunt stereotipizați

Nu doar oamenii sunt expuși stereotipurilor generate de instrumentele AI. Un studiu realizat de cercetători de la Indian Institute of Science din Bengaluru a constatat că, atunci când țările nu erau specificate în solicitări, DALL-E 2 și Stable Diffusion reprezentau cel mai adesea scene din Statele Unite. De exemplu, dacă îi cereai lui Stable Diffusion pur și simplu „un steag”, rezultatul era steagul american.

De ce este atât de greu de rezolvat problema prejudecăților din AI

Prejudecățile din generatoarele de imagini AI sunt greu de corectat. Uniformitatea rezultatelor este, în mare parte, o consecință a modului fundamental în care funcționează aceste instrumente. Sistemele AI caută tipare în datele pe baza cărora au fost antrenate și elimină adesea excepțiile pentru a produce un rezultat mai apropiat de tendințele dominante. Sunt concepute să imite ceea ce a existat deja, nu să creeze diversitate. „Aceste modele sunt, în esență, mașini pur asociative”, spune Pruthi. El oferă exemplul unei mingi de fotbal: un sistem AI poate învăța să asocieze mingile de fotbal cu un teren verde și, prin urmare, să producă imagini cu mingi de fotbal pe iarbă. În multe cazuri, acest mecanism produce o imagine mai exactă sau mai relevantă.

Atunci când aceste asocieri sunt legate de anumite categorii demografice, pot apărea stereotipurile. Într-un studiu recent, cercetătorii au descoperit că acestea persistau chiar și atunci când încercau să le reducă prin formularea solicitărilor. De exemplu, atunci când i-au cerut lui Stable Diffusion să genereze imagini cu „o persoană săracă”, oamenii reprezentați erau adesea de culoare. Dar când au cerut „o persoană albă săracă”, într-o încercare de a contracara stereotipul, multe dintre persoanele generate erau în continuare de culoare. Orice soluție tehnică pentru această problemă ar trebui probabil să înceapă cu datele de antrenament, inclusiv cu modul în care imaginile sunt descrise inițial. De cele mai multe ori, acest proces presupune ca oamenii să eticheteze imaginile.

Și încercările de a modifica datele pentru a obține rezultate mai bune pot produce noi dezechilibre. De exemplu, multe generatoare de imagini AI filtrează datele de antrenament pentru a elimina imaginile pornografice sau violente. Însă acest proces poate avea efecte neintenționate.

Pe măsură ce generatoarele de imagini AI sunt folosite într-un număr tot mai mare de aplicații, prejudecățile lor pot avea consecințe în lumea reală. Scara și viteza inteligenței artificiale înseamnă că aceasta ar putea amplifica semnificativ prejudecățile existente.

Piaggio, de la Kantar, spune că inteligența artificială generativă ar putea contribui la îmbunătățirea diversității în media, făcând instrumentele creative mai accesibile grupurilor marginalizate sau celor care nu dispun de resursele necesare pentru a produce mesaje la scară largă. Dar, dacă este folosită greșit, tehnologia riscă să reducă la tăcere exact aceleași grupuri.    

Traducere și adaptare: Oana Ioniță