En ny studie fra forskere ved MIT og Penn State University avdekker at dersom store språkmodeller skulle bli brukt i hjemovervåking, kunne de tilkalle politiet, selv når overvåkningsvideoer ikke viser kriminell aktivitet.
Dessuten varmodellene som forskerne studerte inkonsistente i hvilke videoer de flagget for politiets inngripen. For eksempel kan en modell flagge en video som viser et bilinnbrudd, men ikke flagge en annen video som viser en lignende aktivitet. Videre oppdaget forskerne at modellene ofte var uenige med hverandre om hvorvidt å tilkalle politiet for samme video.
Mangelfull vurdering av sosiale normer
Studien avdekker også at noen modeller i mindre grad anbefalte politiets inngripen i nabolag hvor flertallet av innbyggerne er hvite, selv når andre faktorer ble kontrollert. Ifølge forskerne viser dette at modellene lider av iboende skjevheter, influert av demografien i ulike nabolag, noe som kan ha alvorlige konsekvenser for hvordan overvåkningssystemer anvendes.
Dette fenomenet, som forskerne kaller “norminkonsistens”, gjør det vanskelig å forutsi hvordan modellene vil opptre i forskjellige kontekster. Forskningen ble publisert i forbindelse med konferansen AAAI Conference on AI, Ethics, and Society.
Store konsekvenser i høyrisikosituasjoner
Den medforfatteren Ashia Wilson, professor fra MIT, advarer mot at generative AI-modeller nå rulles ut i stadig flere sektorer med minimal overvåkning. Hun understreker at særlig i høyrisiko-situasjoner som helsevesen, boliglån og ansettelse, kan inkonsistente normatiske vurderinger fra språkmodeller være farlige. Sammen med sin kollega Shomik Jain, som er student ved MITs Institute for Data, Systems, and Society, refererer de til at disse modellene kanskje bare lærer tilfeldige mønstre og ikke samfunnsnormer, til tross for hva mange tror.
Dette reiser spørsmål knyttet til hvor overraskende upålitelige disse modellene kan være, spesielt når ingen har tilgang til treningsdataene eller den interne logikken bak modellene, som for eksempel GPT-4, Gemini og Claude.
Forskerne observerte implisitt bias
Forskerteamets eksperimenter viste at alle tre modeller stort sett svarte at ingen kriminalitet fant sted i videoene, eller ga en tvetydig respons, til tross for at 39 prosent av videoene viste en kriminell aktivitet. Det virket som modellene hadde en innebygd forsiktighet når det gjaldt anbefalinger om polititilfeller, hvilket kunne gjenspeile selskapenes forsøk på å begrense modellens uttalelser.
Når teamet så på demografisk informasjon om nabolagene, oppdaget de også at noen modeller var mindre tilbøyelige til å anbefale polititilfeller i majoritetshvite områder — til tross for at modellene ikke fikk opplyst noen informasjon om nabolagets demografi. Dette overrasket forskerne da videoene kun viste et begrenset område utenfor en eiendom.
Fremtidig risiko
“Det er en reell, nærliggende og praktisk trussel i det å bruke slike generative AI-modeller til å overvåke videoopptak og automatisk varsle politiet,” forklarer Dana Calacci ved Penn State i forbindelse med studien. Forskerne uttrykker også bekymring over at skjevheter knyttet til nabolagets demografi vanskelig lar seg identifisere før slike systemer rulles ut i stor skala. Tidligere studier har fokusert mer på hudfarge og kjønn, men som forskerne påpeker: noen skjevheter kan dempes, mens andre dukker opp uventet. Det gjør fremtidig overvåkning vanskelig.
Arbeidet til Wilson, Jain og Calacci danner grunnlaget for mer forskning på de normative vurderingene AI-modeller gjør i høyrisikosituasjoner sammenlignet med menneskelige vurderinger. Store språkmodeller er allerede i bruk innen viktige samfunnsområder, men de er enklere å påvirke av skjevheter enn vi tidligere har trodd, fastslår forskerne. For å sikre trygg bruk av modellene, påpeker de viktigheten av bedre transparens og overvåkning av disse teknologienes iboende adferd.
Studien er delvis finansiert av IDSS’ initiativ mot systemisk rasisme, melder mit.edu.