Microsofts chattbott Copilot gav ut felaktig information om politiska val

Ska vi ha en nyhet varje gång chattbottarna säger något fel?

För väldigt länge sedan på en praktikplats hade jag en riktigt allmänbildad person som kunde hur mycket som helst om precis vad som helst. Alla som mötte honom fascinerades hur bildad han var.
Det fanns bara ett pyttelitet problem. Det var att om han inte visste något så hittade han bara på information, det innebär att han hade svaret på vartenda fråga någon ställde honom, men precis allt fick faktagranskas. Och det kunde även vara så att han var insatt i något, men just detaljen hittade han på.

Exakt samma sak känner jag med Ai botarna idag, de som personen ovanför måste säga att de är mindre säkra på saker som de är osäkra på.

Jag ser detta dock bara som en naturlig utveckling. Liksom smartphones kom slutet av 90talet, när de blev så bra så att den stora skaran kände att en sådan skulle jag köpa kan diskuteras. Troligen någonstans mellan 2010 och några år senare.

*edit*
Ett exempel på personens påhitt. Var att säkert borttagning av maskinvara i Windows gör man för att skydda datorn emot ESD laddningar och han förklarade utförlörligt var ESD. Alla i rummet förutom mig imponerades.

Det står både att en tredjedel var sant och att 31% var felaktigt. Vad är det som gäller?

Det är exakt så AI fungerar så här längt

Det kanske var Copilot som räknade ut det.

'AI' visade sig inte alls vara neutral. Color me surprised.

AI idag är en avancerad sökmotor. Sökmotorer censureras

Båda kan gälla. Om 31% verifierats vara sant och 33% verifierats som falskt och resten är påståenden som inte kan bevisas vara sant eller falskt. Bara för att det som sägs inte kan bevisas vara sant behöver inte betyda att det är falskt. Och vice versa.

Enligt ChatGPT så bombades Göteborg under WWII. Efter det så litar jag inte mycket på ren fakta. Sammanfattningar däremot är den grym på.

Så som med alla andra verktyg så måste man lära sig hur de används.

Alltså, den är tränad på material framtaget av människor. Människor har känslor som yttrycker sig i materialet och färgar åt vad som skrivits åt ena eller andra hållet.

Vi människor förskönar, ljuger, demoniserar, baserat på vår agenda.

Så jag är inte det minsta förvånad över dessa resultat, och skulle aldrig använda mig av en ChatBot för att få fram fakta om något. Men finns andra sätt att utnyttja dessa bottar som inte innebär att man vill ha ren fakta, och det kan man ha stor nytta av dem med.

Men misstänker samtidigt att alla som predikar om hur AI är framtiden kanske inte är fullt så skeptiska som jag anser att man bör vara

AI har så oerhört mycket svagheter (precis som oss människor) så att sätta sin tillit till dem är nog ingen bra idé

Efter att ha kollat källan är det faktiskt precis så det var. Men det var 30% som var korrekt och 31% som var felaktig.

Således är det faktafel i sweclockers artikel och sättet det är skrivet på gör att man tror att de förväxlat sant och falskt.

Förstår inte varför det ens blir en nyhet, alla ai har ju fel och är ändå bombsäkra i sitt sätt att skriva. Om det är just politik eller annat spelar ingen större roll, allt som kommer ur dem behöver faktagranskas

Då har den rätt lika ofta som den har fel. Ungefär lika träffsäker som en aktierådgivares förmåga att slå börsindex

Problemet är väl inte så mycket att språkmodellerna ger oss felaktig information. Det är väl att många stannar i tanken att AI är dåligt och opålitligt när det borde gå vidare i reflektion att AI bara speglar oss människor och hur vi fungerar och beter oss. Jag är ofelbar, det är alltid någon annans fel. Hur kommer vi tillrätta med det problemet i samhället?

AI är i det här fallet en ren marknadsföringsterm. Verktyget heter LLM, som står för Large Language Model. Det är inte ett verktyg för att få faktabaserade svar - modellen själv saknar omdöme - utan för att få statistiskt plausibel respons på inmatade meningar, baserat på vansinniga mängder inläst och behandlad text. Vilken sorts text du matar modellen med har betydelse för vilken sorts svar du får. I tillägg kan modellen begränsas - ”censureras”, om man så vill - för att undvika givna ämnen. Det görs relativt ofta av större företag som inte vill att deras varumärke associeras med exempelvis porr, konspirationsteorier eller politisk extremism.

Men LLM:er är uttryckligen ett dåligt verktyg för att få aktuell och uppdaterad fakta: det är alltid upp till operatören att avgöra om svaret man fått är vettigt eller om det ens är värt att ställa en viss fråga.

Återigen: LLM:er har inget omdöme och inget konsekvenstänk. De lär sig inte varaktigt av sina interaktioner och kommer aldrig att ”tänka om” - helt enkelt för att de inte tänker. De är inte AI.

Vi människor har verktyg för att korrigera för våra felslut. Ett exempel är den vetenskapliga metoden, som när den utförs av en grupp människor leder till självkorrigerande beteende över tid även om individer i gruppen är mänskliga och gör mänskliga dumheter. Ett av problemen med denna metod är att den är ansträngande och obekväm att tillämpa och riskerar att leda till slutsatser man kanske inte gillar trots att de överensstämmer med kända data. En betydande del av jordens mänskliga befolkning vill inte betala det priset.