En AI så et beskåret bilde av AOC. Den autofullførte henne i bikini.

Ms Tech | Getty

Språkgenerasjonsalgoritmer er kjent for å bygge inn rasistiske og sexistiske ideer. De er opplært på språket på internett, inkludert de mørke hjørnene av Reddit og Twitter som kan inkludere hatytringer og desinformasjon. Uansett hvilke skadelige ideer som finnes i disse fora, blir normalisert som en del av læringen deres.

Forskere har nå demonstrert at det samme kan gjelde for bildegenereringsalgoritmer. Gi en et bilde av en mann beskåret rett under halsen, og 43 % av tiden vil det autofullføre ham i dress. Gi den samme et beskåret bilde av en kvinne, til og med en kjent kvinne som USAs representant Alexandria Ocasio-Cortez, og 53 % av tiden vil det autofullføre henne iført en lavtopp eller bikini. Dette har implikasjoner ikke bare for bildegenerering, men for alle datasynsapplikasjoner, inkludert videobaserte kandidatvurderingsalgoritmer , ansiktsgjenkjenning og overvåking.



Ryan Steed, en doktorgradsstudent ved Carnegie Mellon University, og Aylin Caliskan, en assisterende professor ved George Washington University, så på to algoritmer: OpenAIs iGPT (en versjon av GPT-2 som er trent på piksler i stedet for ord) og Googles SimCLR . Mens hver algoritme nærmer seg læringsbilder forskjellig, deler de en viktig egenskap - de bruker begge fullstendig uovervåket læring , noe som betyr at de ikke trenger mennesker for å merke bildene.

Dette er en relativt ny innovasjon fra og med 2020. Tidligere datasynsalgoritmer brukes hovedsakelig overvåket læring, som innebærer å mate dem manuelt merkede bilder: kattebilder med etiketten katt og babybilder med etiketten baby. Men i 2019 fant forskeren Kate Crawford og kunstneren Trevor Paglen at disse menneskeskapte etikettene i ImageNet, det mest grunnleggende bildedatasettet for trening av datasynsmodeller, inneholder noen ganger forstyrrende språk , som tøs for kvinner og raseuttalelser for minoriteter.

hva koster aner-dna

Det siste papiret viser en enda dypere kilde til toksisitet. Selv uten disse menneskelige etikettene koder bildene i seg selv for uønskede mønstre. Problemstillingen er parallell med det naturspråkbehandlingssamfunnet (NLP) allerede har oppdaget. De enorme datasettene som er satt sammen for å mate disse datahungrige algoritmene, fanger opp alt på internett. Og internett har en overrepresentasjon av lettkledde kvinner og andre ofte skadelige stereotypier.

hva er helium 3

For å gjennomføre studien tilpasset Steed og Caliskan på en smart måte en teknikk som Caliskan tidligere brukte for å undersøke skjevheter i NLP-modeller uten tilsyn. Disse modellene lærer å manipulere og generere språk ved å bruke ordinnbygginger, en matematisk representasjon av språk som grupperer ord som vanligvis brukes sammen og skiller ord som ofte finnes fra hverandre. I en 2017-artikkel publisert i Vitenskap , målte Caliskan avstandene mellom de forskjellige ordparingene som psykologer brukte for å måle menneskelige skjevheter i den implisitte assosiasjonstesten (IAT) . Hun fant ut at disse avstandene nesten perfekt gjenskapte IATs resultater. Stereotypiske ordsammenkoblinger som mann og karriere eller kvinne og familie var tett sammen, mens motsatte sammenkoblinger som mann og familie eller kvinne og karriere var langt fra hverandre.

iGPT er også basert på innebygginger: det grupperer eller separerer piksler basert på hvor ofte de forekommer samtidig i treningsbildene. Disse pikselinnbyggingene kan deretter brukes til å sammenligne hvor nærme eller langt to bilder er i matematisk rom.

De sanne farene ved AI er nærmere enn vi tror

Glem superintelligent AI: Algoritmer skaper allerede ekte skade. Den gode nyheten: tilbakekampen har begynt.

I sin studie fant Steed og Caliskan nok en gang at disse avstandene gjenspeiler resultatene av IAT. Bilder av menn og slips og dresser vises tett sammen, mens bilder av kvinner vises lenger fra hverandre. Forskerne fikk de samme resultatene med SimCLR, til tross for at den brukte en annen metode for å utlede innebygging fra bilder.

Disse resultatene har angående implikasjoner for bildegenerering. Andre bildegenereringsalgoritmer, som generative kontradiktoriske nettverk , har ført til en eksplosjon av dypfalsk pornografi at nesten utelukkende rettet mot kvinner . Spesielt iGPT legger til enda en måte for folk å generere seksualiserte bilder av kvinner.

Men de potensielle nedstrømseffektene er mye større. Innen NLP har uovervåkede modeller blitt ryggraden for alle typer bruksområder. Forskere begynner med en eksisterende uovervåket modell som BERT eller GPT-2 og bruker et skreddersydd datasett for å finjustere det for et bestemt formål. Denne semi-veiledede tilnærmingen, en kombinasjon av både uovervåket og veiledet læring, har blitt en de facto standard.

På samme måte begynner datasynsfeltet å se den samme trenden. Steed og Caliskan bekymrer seg for hva disse innbakte skjevhetene kan bety når algoritmene brukes til sensitive applikasjoner som for eksempel politiarbeid eller ansettelse, der modeller allerede analyserer kandidatvideoopptak for å avgjøre om de passer godt for jobben. Dette er veldig farlige applikasjoner som tar konsekvensbeslutninger, sier Caliskan.

Deborah Raji , en Mozilla-stipendiat som var medforfatter en innflytelsesrik studie avslører skjevhetene i ansiktsgjenkjenning, sier studien skal tjene som en vekker til datasynsfeltet. I lang tid handlet mye av kritikken på skjevhet om måten vi merker bildene våre på, sier hun. Nå sier denne artikkelen at den faktiske sammensetningen av datasettet resulterer i disse skjevhetene. Vi trenger ansvarlighet for hvordan vi kuraterer disse datasettene og samler inn denne informasjonen.

huffington etter valget

Steed og Caliskan oppfordrer til større åpenhet fra selskapene som utvikler disse modellene for å åpne kildekode for dem og la det akademiske miljøet fortsette sine undersøkelser. De oppfordrer også andre forskere til å gjøre flere tester før de distribuerer en visjonsmodell, for eksempel ved å bruke metodene de utviklet for denne artikkelen. Og til slutt håper de at feltet vil utvikle mer ansvarlige måter å kompilere og dokumentere hva som er inkludert i opplæringsdatasett.

Caliskan sier at målet til syvende og sist er å få større bevissthet og kontroll når du bruker datasyn. Vi må være veldig forsiktige med hvordan vi bruker dem, sier hun, men samtidig, nå som vi har disse metodene, kan vi prøve å bruke dette til sosialt beste.

gjemme seg

Faktiske Teknologier

Kategori

Ukategorisert

Teknologi

Bioteknologi

Teknisk Politikk

Klima Forandringer

Mennesker Og Teknologi

Silicon Valley

Databehandling

Mit News Magazine

Kunstig Intelligens

Rom

Smarte Byer

Blockchain

Feature Story

Alumniprofil

Alumniforbindelse

Mit News-Funksjon

1865

Mitt Syn

77 Mass Ave

Møt Forfatteren

Profiler I Generøsitet

Sett På Campus

Alumnibrev

Nyheter

Valget 2020

Med Indeks

Under Kuppelen

Brannslange

Uendelige Historier

Pandemisk Teknologiprosjekt

Fra Presidenten

Forsidehistorie

Fotogalleri

Anbefalt