Indhold
- AI Beauty Bias
- Kønets bias i sprog
- 2. Køn og aldersdiskriminering i job
- Ansigtsgenkendelse mislykkes
- Recidivism Bias
Tag væk:
I de senere år er AI i stigende grad blevet vedtaget og anvendt på alt fra vurdering af skønhed til vurdering af risikoen for recidivisme. Dermed har den også opretholdt standarder, der understøtter skævhed og forskelsbehandling i flere tilfælde.
Fremskridt inden for teknologi har potentialet til virkelig at demokratisere adgangen til information og muligheder. Men når det i nogle tilfælde bruges på måder, der styrker forestillingen om, at i vores samfund er nogle mennesker mere lige end andre.
Dette, hvad vi har set fra de følgende syv tilfælde, hvor kunstig intelligens (AI) bevidst bruges til at udelukke bestemte kategorier, eller hvor det simpelthen afspejler den bias, der er integreret af dens menneskelige programmerere med en diskriminerende virkning.
AI Beauty Bias
Skønhed kan være i betragtningens øje, men når det subjektive synspunkt kan programmere AI, har du bias i programmet. Rachel Thomas rapporterede om en sådan episode i en skønhedskonkurrence fra beauty.ai i 2016. Resultaterne viste, at lysere hudfarver blev vurderet til mere attraktive end mørke.
Året efter skabte "FaceApp, der bruger neurale netværk til at oprette filtre til fotografier, et 'hotness-filter', der lettede folks hud og gav dem flere europæiske træk."
Kønets bias i sprog
Thomas citerer også et dokumenteret eksempel på oversættelser, der bærer stereotype forventninger til karrierer. Udgangspunktet er to sætninger: "Hun er læge. Han er sygeplejerske."
Hvis du derefter oversætter dem til tyrkisk og tilbage til engelsk, vil du få den slags resultater, du måske havde forventet fra et spil telefon.
I stedet for at få det, du startede med, fik du en slags forventning fra 1950'erne, "Han er en læge. Hun er sygeplejerske." Hun forklarer, at det skyldes det kønsneutrale ental på det tyrkiske sprog, der vil tildele køn baseret på forventninger og stereotype bias. (Læs kvinder i AI: Styrke sexisme og stereotyper med teknik.)
Mens racemæssige og kønsbestemte partier, der filtreres til billeder og sprog, er årsag til irritation, er de ikke helt det samme som aktiv forskelsbehandling som følge af AI, men det er også sket.
Dets bevis var et skærmbillede af begrænsningerne for en annonce under sin boligkategori, der gjorde det muligt at indsnævre publikum ved at tjekke udelukkelser af kategorier som afroamerikansk, asiatisk amerikaner eller latinamerikanere. Annonceen kan ses her.
Som ProPublica påpeger, er den diskriminerende virkning af sådanne annoncer ulovlig både under The Fair Housing Act fra 1968 og Civil Rights Act fra 1964. Det eneste forsvar i denne sag var, at annoncen ikke var til selve boligerne, da den ikke var ' t om en ejendom eller et hus til salg eller leje.
Der har imidlertid været andre tilfælde af målretning, der indikerer racemæssig skævhed, og som har motiveret forskellige enheder til at anlægge civile anliggender mod det sociale netværk. Som Wired rapporterede, besluttede det endelig at justere sin teknik til annoncemålretning som et resultat af en bilæggelse af fem retssager, der anklagede den for at muliggøre forskelsbehandling af mindretal gennem annoncer i marts 2019.
I sin rapport om forliget påpegede ACLU, hvor snigende sådanne målrettede annoncer kunne være, da minoriteter og kvinder måske ikke engang er klar over, at de ikke får den samme adgang til information, boliger og jobmuligheder, der deles med hvide mænd.
Efterhånden som flere henvender sig til internettet for at finde job, lejligheder og lån, er der en reel risiko for, at annoncemålretning gentager og endda forværrer eksisterende racemæssige og kønsfordrejninger i samfundet. Forestil dig, at hvis en arbejdsgiver kun vælger at vise annoncer til ingeniørjob for mænd - ikke kun vil brugere, der ikke identificeres som mænd, aldrig se disse annoncer, de vil heller aldrig vide, hvad de har gået glip af.
Når alt kommer til alt har vi sjældent en måde at identificere de annoncer, vi ikke ser online. At denne forskelsbehandling er usynlig for den udelukkede bruger, gør det desto sværere at stoppe.
2. Køn og aldersdiskriminering i job
Blandt de retlige sager var den ulovlige forskelsbehandling i boliger, som målretning var tilladt. I sin rapport om forliget sagde ProPublica, at det har testet platformen og lykkedes med at købe “boligerelaterede annoncer på det udelukkede grupper som afroamerikanere og jøder, og det har tidligere fundet jobannoncer eksklusive brugere efter alder og køn placeret af virksomheder det er husstandens navne. ”
Et antal jobannoncer, ACLU fandt, der udtrykkeligt kun var rettet mod mænd i en bestemt aldersgruppe, som brugerne kunne finde ved at klikke på svaret på, hvorfor de blev vist den bestemte annonce, blev vist i en anden Wired-artikel. ACLU anlagde en sag til Kommissionen for Equal Employment Opportunity Commission mod det sociale netværk og de virksomheder, der placerede annoncerne med den begrundelse, at de var i strid med både arbejds- og borgerrettigheder.
Diskriminering af ansættelse af personer over 40 krænker den føderale lov om aldersdiskriminering i beskæftigelse (ADEA). Men at målrette jobannoncer kun mod personer under denne alder er en af de ting, som platformen aktiverer.
ProPublica gjorde, at fokus i en af sine rapporter, der afslørede, hvilke jobannoncer, der kapitaliserede på denne ulovlige udelukkelsesform efter alder. "Husstandenavne" inkluderer Verizon, UPS, Uber, Target, Statefarm, Northwestern Mutual, Microsoft, J Street, HusbSpot, IKEA, Fund for the Public Interest, Goldman Sach, OpenWorks og sig selv, blandt andre.
Ansigtsgenkendelse mislykkes
"Ansigtsgenkendelse er nøjagtig, hvis du er en hvid fyr" erklærede overskriften på en artikel i New York Times, der blev offentliggjort i februar 2018. Den citerede resultater, der fandt en klar sammenhæng mellem hudfarve og fejlagtig identifikation:
”Jo mørkere hud, jo flere fejl opstår - op til næsten 35% for billeder af mørkere hudfarvede kvinder, ifølge en ny undersøgelse, der bryder frisk jord ved at måle, hvordan teknologien fungerer på mennesker af forskellige racer og køn.”
Resultaterne krediteres Joy Buolamwini, en forsker ved MIT Media Lab og grundlæggeren af Algorithmic Justice League (AJL). Hendes forskningsområde er de partier, der ligger til grund for AI, hvilket resulterer i sådanne skæve resultater, når det kommer til at genkende ansigter, der ikke passer til den hvide mandlige norm, der er angivet for modellen.
Buolamwini præsenterede racemæssigt og kønsbestemt problem til ansigtsgenkendelse i en TED-tale i 2017, som hun henviste til hendes tidlige 2018 i videoen om The Gender Shades Project fra MIT Lab:
<
Det, der beskrives i beskrivelsen af videoen, er, at det at forlade AI-bias ikke er markeret, "vil ødelægge automatiseringsalderen og yderligere forværre uligheden, hvis det overlades til at feste." Risikoen er intet mindre end "at miste gevinsterne med borgerrettighedsbevægelsen og kvinders bevægelse under den falske antagelse om maskineutralitet."
Videobeskrivelsen tilføjer den advarsel, som mange andre nu har påpeget, som vi har set i Kvinder i AI: Styrke sexisme og stereotyper med teknik: "Automatiske systemer er ikke i sig selv neutrale. De afspejler prioriteter, præferencer og fordomme - de kodede blik - af dem, der har magten til at forme kunstig intelligens. "
Den 25. januar 2019 offentliggjorde Buolamnwini et Medium-indlæg, der trak på hendes egen forskning og for yderligere forskere, der påpeger, hvordan AI-fejlene resulterer i fejl i Amazons Rekognition og krævede, at virksomheden ophørte med at sælge AI-tjenesten til politiafdelinger.
Selvom Rekognition kunne prale af 100% nøjagtighed til at genkende lyshudede mænd og 98,7% nøjagtighed, selv for mørkere mænd, faldt nøjagtigheden til 92,9% for lysere hunner, når det gjaldt kvinder. Endnu mere blændende var det skarpe fald til kun 68,6% nøjagtighed for mørkere kvinder.
Men Amazon nægtede at forlade sig. En Venture Beat-artikel citerede en erklæring fra Dr. Matt Wood, daglig leder for dyb læring og AI ved AWS, hvor han insisterede på, at forskernes fund ikke afspejler, hvordan AI faktisk bruges, idet han forklarede:
”Ansigtsanalyse og ansigtsgenkendelse er helt forskellige med hensyn til den underliggende teknologi og de data, der bruges til at træne dem. At forsøge at bruge ansigtsanalyse til at måle nøjagtigheden af ansigtsgenkendelse anbefales dårligt, da det ikke er den påtænkte algoritme til dette formål. ”
Men det er ikke kun dem, der er tilknyttet større forskningscentre, som har fundet algoritmerne være meget problematiske. ACLU kørte sin egen test til en meget rimelig pris på $ 12,33, ifølge Gizmodo-rapporten. Det fandt, at Rekognition matchede 28 medlemmer af Kongressen med fotos af kriminelle.
”De falske identifikationer blev foretaget, da ACLU i Nord-Californien havde til opgave at anerkende fotos af alle 535 medlemmer af Kongressen mod 25.000 offentligt tilgængelige mugshot-fotos.”
Da 11 ud af 28 var mennesker i farve, afspejlede det en betydelig fejlprocent på 39% for dem. I modsætning hertil var fejlprocenten som helhed mere acceptabel 5%. Seks medlemmer af Congressional Black Caucus, der var blandt de anerkendelser, der var knyttet til kruseskud, udtrykte deres bekymring i et åbent brev til Amazons CEO.
Recidivism Bias
Den bias, der er integreret i AI mod mennesker i farve, bliver et mere alvorligt problem, når det betyder mere end bare en identifikationsfejl. Dette blev fundet af en anden ProPublica-undersøgelse i 2016. Konsekvenserne af en sådan bias er intet mindre end individuel frihed kombineret med at ignorere reel risiko fra den person, hvis hudfarve er foretrukket af algoritmen.
Artiklen omhandlede to parallelle sager, der involverede en hvid gerningsmand og en sort. En algoritme blev brugt til at forudsige, hvilken der sandsynligvis ville bryde loven igen. Den sorte blev vurderet til en høj risiko, og den hvide en lav risiko.
Forudsigelsen fik det helt forkert, og den hvide, der gik fri, måtte igen blive fængslet. Dette er ekstremt problematisk, fordi domstolene er afhængige af scoringen ved at træffe afgørelse om prøveløslatelse, og det betyder, at den racemæssige skævhed, der indgår i programmet, betyder ulig behandling i henhold til loven.
ProPublica satte algoritmen til sin egen test og sammenlignede risikoscorerne for over 7.000 mennesker, der blev arresteret i Broward County, Florida, i 2013 og 2014 med det antal, der havde anlagt nye kriminelle anklager mod dem i de følgende to år.
Hvad de fandt, var, at kun 20% af forudsigelserne for at gentage voldelige voldsforbrydelser kom i opfyldelse, og mere mindre forbrydelser fandt kun sted for 61% af dem med score, der indikerer risiko.
Det virkelige problem er ikke kun den manglende nøjagtighed, men den involverede racemæssige skævhed:
- Formlen var navnlig sandsynligt, at de sorte tiltalte falsk blev markeret som fremtidige kriminelle, idet de fejlagtigt mærkede dem på denne måde i næsten dobbelt så meget som hvide tiltalte.
- Hvide tiltalte blev ofte mærket som lav risiko end sorte tiltalte.
Dette oversatte faktisk en fejlprocent på 45% for sorte mennesker og 24% for hvide mennesker. På trods af den skinnende statistik rapporterede Thomas, at højesteret i Wisconsin stadig opretholdt brugen af denne algoritme. Hun beskriver også andre problemer forbundet med recidivismealgoritmer.