Varför AI ljuger: En forskares förklaring



Chattrobotarna har inget emot att hitta på källhänvisningar, människor eller händelseförlopp och presentera det som sanning. Vad är det egentligen som får AI:n att hitta på saker? – Det ligger i deras natur, säger forskaren Mattias Rost.

Det kan nästan kännas magiskt att se text skapas i chattrobotar som Chat GPT, Bard eller Pi. Utan protester hjälper de till med allt från att sammanfatta svåra textmassor, ge middagstips eller svara på faktafrågor. Men ofta blir det galet.

Men frågan om vad som får AI:n att hitta på saker – att hallucinera, som det kommit att kallas – är egentligen felställd, enligt AI-forskare. – Jag skulle säga att det är ett mindre mirakel att de kan ge dig svar som är faktamässigt korrekta i någon mening, säger Suresh Venkatasubramanian.

Mattias Rost är lektor vid Göteborgs universitet och förklarar att robotarna räknar ut sannolikheten för vad nästa ord i en mening är, får fram en lista och utifrån den väljs ett alternativ. Resultatet är på något sätt alltid någorlunda slumpmässigt. Men ju bättre modellen är, desto mer sannolikt är det att texten den spottar ur sig är sådan som vi kan förstå. Men det finns inget i dess underliggande natur som skulle vara att den är mer korrekt eller inte.

Exakt varför AI-tjänsterna spottar ut sig ett visst svar är ofta oklart. Likt den mänskliga hjärnan vet forskarna inte riktigt hur språkmodellerna gör sitt urval.

– Den hallucinerar hela tiden, det ligger i dess natur, det är bara det att väldigt ofta blir det rätt, säger Rost.

I somras bannades en advokat i USA för att ha använt Chat GPT för att förbereda ett rättsfall, där chattroboten glatt hittade på liknande fall som visade sig inte existera. Ett sätt att försöka att lösa problematiken är att lägga annan teknik ovanpå, som hjälper till med källhänvisning och faktagranskning.

Hallucinerandet i sig är heller inte dåligt, utan krävs för att kunna tänka utanför boxen. Inom forskning kan den exempelvis användas för att generera möjliga hypoteser, som att ta fram läkemedelsmolekyler att testa, eller en ny proteinstruktur. Då kan det vara bra med en kreativ assistent.

En chattbot, eller chattrobot, är en robot som det går att skriva med och som ger svar som påminner om dem som en människa skulle kunna ge. De kan användas som kundtjänst, som en slags personlig assistent eller som sällskap. Flera chattbotar bygger på generativ AI, som tränar på stora mängder data och lär sig att identifiera mönster och strukturer. Många företag har integrerat tekniken i sina existerande tjänster, som Microsoft och Google (sökmotorer), liksom Snapchat. Några aktuella är Open AI:s Chat GPT, Googles Bard, Amazons Q och Inflections Pi.