Inlägg

Inlägg som Oegat har skrivit i forumet
Av Oegat
Skrivet av storPutte:

<Uppladdad bildlänk>

Är lite svårt att få med hela på bild.

Fint! Smart med vägghylla, det var ju platseffektivt utan att snåla på innehåll. Blev det dyrt med alla plates till vägbanan? Jag har bara byggt med 1980- och 90-talens basplattor med väg, då blir det svårt att utnyttja utrymmet smart då vägen är i mitten.

Jag ser att muséet är färdigbyggt

Av Oegat
Skrivet av Yrch:

Gör lego inte set med riddare och borgar längre? (Var mina favoriter). Eller pirater och soldater för den delen heller?

Tror inte det, förutom denna nostalgipjäs från 2022, som egentligen är en tillbakablick: https://www.lego.com/en-us/product/lion-knights-castle-10305

Den fick jag i present och byggde i höst - första gången någonsin jag varit entusiastisk över att bygga efter instruktion. (Som barn tog jag alltid bara inspiration från de set jag fick, och byggde på frihand. Vilket ledde till att jag missade vissa byggtekniker.)

Skrivet av storPutte:

<Uppladdad bildlänk>

Håller på att bygga museumet till min lilla stad.
Har lagt mer pengar på lego än datorn detta året🫣

Snyggt! Får vi se en större vy med mer av stan?

Av Oegat

@Xeonist Jag tror vi är betydligt mer överens än vad som direkt framgår av mitt förra inlägg. Jag svarar på dina frågor i lite blandad ordning.

Skrivet av Xeonist:

...
Vad tror du att det finns för hinder? Hur känner du igen en "superintelligens"?

Mycket bra fråga hur man känner igen en superintelligens. Detta är inget jag tror på kommer att finnas i den bemärkelse de som använder begreppet tänker sig. Men att döma av beskrivningarna, så är väl ett tecken att man är jagad av beväpnade robotar med lasersikten istället för pupiller samtidigt som man drunknar i gem. Men mer seriöst så finns det ju alltid ett brett spann mellan de lösningar på problem man kan hitta själv, och de man kan känna igen som bra lösningar. Men det är såklart inte oändligt. En relaterad fråga är hur "generell" mänsklig intelligens egentligen är, eller om det vi har är specifika lösningar på specifikt mänskliga problem (likt hur vi bedömer förmågorna hos alla andra organismer förutom oss själva) som vi bara uppfattar som generella för att vi inte kan tänka oss något utanför våra förmågor.

Varför jag själv inte tror på datorbaserad AGI eller superintelligens har jag skrivit om i ett långt inlägg längre upp, men i korthet handlar det om att jag inte tror att alla de egenskaper som krävs kan realiseras i datormjukvara. Däremot tror jag de kan uppstå i t.ex. artificiella biologiska system, men då faller istället tesen om superintelligens, eftersom alla sådana hypoteser (som jag känner till) bygger på att AGI kan uppstå i en dator, för att sedan rekrytera mängder av beräkningsresurser för att göra det den redan gör men mycket snabbare. Icke-dator-baserad AI är det idag ingen som jobbar med, vilket gör att detta förblir en högst teoretisk möjlighet. (Sen tror jag att även om AGI uppstår så har boomers och doomers en alltför optimistisk uppfattning om vad intelligens egentligen kan åstadkomma!)

I alla fall, åter till vårt meningsutbyte -

Citat:

En iterativ process med mänsklig indata, du kommer liksom inte ifrån det.

SISO har varit ett begrepp så länge att jag tog för givet att alla var överens om det..
...

Min invändning handlade inte om dagens teknik utan mer principiellt om vad som är möjligt och inte, då jag uppfattade det som att du menar att det är principiellt omöjligt att skapa något smartare än en själv. Och då menar jag att det bara är väldigt snäva betydelser av "skapa" (snävare än vad AI-forskningen har till förfogande) som tydligt kan utesluta den möjligheten.

LLM:er kommer inte ifrån SISO, det håller jag helt med om. En AI som alls på något sätt liknar den intelligens som finns i djurriket förutsätter jag måste interagera med den fysiska verkligheten, inte bara med människogenererad text. (Fast där kommer en viktig begränsning på den föreställda superhastigheten som AGI-förespråkare menar att datorerna ska ge AI:n, för den kan i min version inte lära sig snabbare än omvärlden klarar av att svara på dess utforskande!)

Men jag är inte säker på att jag förstår dig fullt ut, för du nämner samtidigt evolutionen, och som jag ser det har den naturliga evolutionen redan visat att intelligens kan uppstå ur icke-intelligens (förutsatt att den fungerar som man normalt brukar anta d.v.s. utan inslag av s.k. "intelligent design"). Menar du att det inte skulle gå att enbart med kunskap om evolutionens principer, "skapa" en självförbättrande AI som tillåts möta den fysiska och sociala verkligheten som den är, och uppdatera sig själv beroende på resultat? Skapa inom citattecken just med tanke på det jag ser som en filosofisk fråga, om vem som egentligen är skaparen i en sådan process. Jag skulle vilja påstå att mänsklig intelligens är delvis skapad av människan. Men det är en filosofisk inveckling som vi kanske inte behöver just nu. Min poäng är bara att det är den typ av ingenjörskonst som jag beskriver här, som AGI-förespråkarna tänker sig.

Jag ser redan ett problem i det jag beskrev i förra stycket, och det är hur "resultat" ska mätas. Naturliga evolutionen har ju ett enkelt kriterium - överlevnad och i förlängningen fortplantning - men jag har svårare att komma på ett kriterium för artificiell evolution som inte bygger på att designern tänker ut detta (med de begränsingar det innebär). Detta problem kan eventuellt vara i linje med din invändning!

--

Ett annat möjligen upplysande exempel på hur jag tänker är från AI-forskningens historia. De första 20-30 åren som AI var ett begrepp dominerades forskningen av att smarta ingenjörer försökte skriva det längsta och mest komplicerade programmet, som skulle hantera varje möjlig eventualitet i programmets möte med den klass av problem det försökte lösa. I denna fas var AI helt begränsat av hur "smart" programmeraren var, vilka problem och lösningar hen kunde tänka sig.

Sen kom 80-talet med de neurala nätverken, och en del AI-labb skiftade fokus till att försöka modellera kända biologiska system så gott det går. Då byggde man datormodeller (och enstaka fysiska byggen) med (delar av) hjärnan som förlaga, och det visade sig att dessa kunde lösa en hel del ffa. perceptuella problem rätt så bra, där tidigare modeller gått bet. Men samtidigt försvann ingenjörernas detaljkontroll över hur lösningen kom till, och det blev ett separat problem att reda ut varför det fungerade. Vilket man i regel gjorde med tiden, men först efter att systemet var byggt.

Allt som vi kallar AI idag är arvtagare av dessa senare modeller, som grundas på inspiration från biologin. Och skaparna kan sällan veta helt på förhand vad de kommer att åstadkomma, eller förstå exakt hur de fungerar. Det verkar alltså inte längre här finnas någon tydlig koppling mellan skaparens intelligens, och systemets "intelligens" (eller förmågor oavsett vad man kallar dem).

Citat:

Sen tror jag inte på begreppet kollektiv intelligens. Absolut, 10 ingenjörer som arbetar ihop kan skapa något som överstiger 1 enskild ingenjörs kompetens. Men samma 10 ingenjörer kan lika väl inte lyckas skapa något alls, just för att dom har (försökt) jobba ihop.
Vilket i praktiken innebär att den kollektiva intelligensen blir lägre än en enskilds, eller åtminstone det praktiska resultatet av den.

Eftersom "The Dunbar Number" är ca. 150, så inför jag här "The Xeonist Number", som är 15. Inom "vetenskapliga" sammanhang är siffran 15, och den gäller även inom LLM. Med fler datakällor än så så kommer du oundvikligen stöta på datakällor som motsäger dom du redan har, med allt vad det innebär.

Detta är väl på sidan av det övriga, men intressant. Jag kan se sätt på vilka du har helt rätt. Men jag kan också tillåta mig att bredda betydelsen av kollektiv intelligens, till att även inkludera de som skapat förutsättningarna för att de 10 ingenjörerna alls kan få något gjort - deras tekniska utrustning, HR-avdelningen, den specifika terminologi de använder när de pratar om sin arbetsuppgift, mm. De hade inte kunnat göra något vettigt utan hjälp av ett otal intelligenta föregångare.

Det relaterar på ett IMO intressant sätt till AGI. Av allt jag sett av den hajpade AI-forskningen så existerar inte begrepp som kollektiv intelligens eller ens kultur, allt tycks bygga på att en enskild artificiell agent ska själv komma på alla smarta ideer, förvisso med input från människors kultur (t.ex. text som hos en LLM). Medan människans möjligheter att åstadkomma det vi gör idag, bygger på att vi under årtusenden utvecklat språk, byggt infrastruktur, skapat våra ekologiska nischer etc. i samspel med varandra - dvs kulturell evolution. Visst, AIn är tänkt att kunna utnyttja mycket av detta, men en öppen fråga är om det finns aspekter av intelligens som måste vara resultatet av tidigare interaktioner med likvärdiga agenter.

Citat:

(jag menar, tänk om det är så att det här är världens hype och bubbla, som inte leder till någonting, tänk vilka enorma resurser som har lagts på det här då, och alternativa saker dom resurserna dom hade kunnat läggas på)

Problemet här är nog mest att det vi idag kallar AI (LLM mm) har redan bevisat sig vara väldigt lukrativt och användbart, men tyvärr även för många dåliga syften. Och tekniken är i färd att låsas in och monopoliseras med hjälp av vaga hot om framtida ond superintelligens. Jag tror däremot inte att de som investerar i AI nu gör det för att de tror att en framtida kanske superintelligent AGI-maskin ska tjäna pengar åt dem, de ser profit på betydligt kortare horisont. Även om AGI-idéerna säkert tjänar en indirekt roll i att förstärka hypen.

Av Oegat
Skrivet av Xeonist:

För att förtydliga,det jag har sagt är omöjligt är att skapa något som är mer intelligent än en själv.

Detta tror jag är ett stickspår.

Jag kan knappast själv designa en maskin som är smartare än mig, och samtidigt förstå allt den gör. Men AGI-forskningen bygger väl snarare på att uppfinna maskiner som förbättrar sig själva, troligen då i en iterativ process med mycket trial-and-error (som kan gå mycket fortare än den biologiska evolutionen pga datortekniken). Då kan man ställa den filosofiska frågan om det är ingenjörerna som skapat maskinen eller maskinen som skapat sig själv, men det har ju ingen betydelse för maskinens eventuella intelligens.

Jag tror som sagt att det finns massor av andra hinder för både AGI generellt, och för superintelligens. Men att det skulle vara principiellt omöjligt baserat på att skaparen inte är smart nog, tror jag inte är ett sånt hinder.

Skrivet av trudelutt:

Det finns intressanta argument för att sannolikheten att vi lever i en simulering är höga.

Som jag skrev i ett inlägg längre upp, så bygger sådana argument på antagandet att medvetande och intelligens kan uppstå i ett datorprogram. Så det går inte riktigt att ta dessa sannolikhetsberäkningar som intäkt för att datorbaserad AGI/superintelligens är möjligt, utan att hamna i cirkelresonemang.

Av Oegat
Skrivet av maweric:

Nja, det där var väl mer en underklockning.

Sant, men bara tills dess du tryckt på knappen en gång, då blir den en överklockningspanel

(men, det är intressant att den kallades "Turbo" när det egentligen var motsatsen)

Av Oegat
Skrivet av Triton242:

Känns som denna produkten lanseras i en tid när övervklockning hör till historien.

Överklockningspanel från historien: https://en.wikipedia.org/wiki/Turbo_button

Av Oegat
Skrivet av Linda_Almighty:

Angenämt resonerande! 👍

Varför blev det inte "Solid State DEVICE" helt enkelt istället?
För att de ansvariga _inte_ befann sig i sweetspot:en mellan unga/okunniga/oerfarna kontra seniora/kunniga/halv-gaggiga? 🤔

Haha, ja Solid State Device vore förvisso inte lögn, men samtidigt är det lite för brett... även en ficklampa är ju en "device" utan rörliga delar eller flytande innehåll

Solid State Storage Device vore väl spot on, men förkortningar med fler än 3 tecken som inte bildar något enkelt uttalbart (typ RAID) är ju dödsdömda på förhand...

Vilken tur att detta är en gnälltråd, så att vi kan klaga fritt utan att behöva komma med bättre förslag själva

Av Oegat
Skrivet av Field-Mouse88:

Vad pratar du om? Ingenting blev ju sämre via valet, du fick bara en möjlighet att välja bort spårningen som alltid varit en del av Metas appar.

Alltså, det verkar ha gått att "gratis" tacka nej till spårning under en period, efter att EU hotat Facebook med vite, men innan de tänkte ut sin plan med betalalternativet.

Skrivet av Field-Mouse88:

Dom "spårar" ju dig för att ge dig riktad reklam. Utan det faller hela Facebooks affärsidé. Utan riktad reklam får vi räkna med fruktansvärt mycket mer reklam istället, och bara reklam för tråkig skit, inga nischade intressanta saker.

... och det var precis detta som hände mig under den perioden. Knappt ens någonting från vänner i flödet, bara irrelevant reklam varvat med obegripliga memes om Sydafrikas cricketlag och liknande.

Av Oegat

Så nu stärker Microsoft sin makt över OpenAI, och det hela blev ett bakslag för den senares strategi för "responsible" AI. De hade alltså en bolagsstruktur som skulle begränsa den rent kommersiella sidan av verksamheten, men den “klarade inte kontakt med fienden” som det brukar heta.

Det finns ett dilemma i "responsible AI"-konceptet.

I normala fallet, om man vill att en mjukvara ska tjäna mänskligheten snarare än enstaka kommersiella aktörer, är att göra den till öppen källkod. Om målet hade varit att förhindra att AI-genombrott monopoliseras av ett fåtal företag, så hade OpenAI kunnat släppa ChatGPT och andra saker de tar fram under en öppen licens. Problemet är bara att människorna bakom OpenAI har inte sett monopol som något hot, utan själva AI-programmet är hotet.

Om man tror att en AI som bara utvecklas för att bli så smart som möjligt kommer att bli självförbättrande och ta över hela världen, ja, då blir öppen källkod kontraproduktivt eftersom det då blir lättare för andra, förmodat mindre försiktiga aktörer att avsiktligt eller ej skapa den AGI som förgör mänskligheten. Det är samtidigt oklart hur man ska kunna hindra andra aktörer oavsett vad man själv utvecklar, och idén ”maktkoncentration är oproblematiskt så länge makten hamnar hos en schysst aktör” känns mer än lovligt naiv.

Men en än viktigare fråga är hur trovärdigt domedagscenariot egentligen är, i jämförelse med andra faror med tekniken? Det finns massor av sätt som människor kan ”vapenisera” (ursäkta anglicismen) AI, inte minst i de många informationskrig som utkämpas i detta nu. Låt en AI baserad på GPT analysera all din aktivitet på nätet, vad du läser och skriver på sociala medier, och sedan ge den uppdraget att skräddarsy den perfekta falska nyheten designad för att just du okritiskt ska tro på den. Det är bara ett exempel som jag kan fantisera ihop på rak arm, men vi kan vänta oss massor av liknande saker som vi behöver veta saker om tekniken för att kunna förutse och detektera. Men det faktum att nästan alla modeller som utvecklas just nu är slutna, gör det svårare för aktörer utanför fältet att bygga upp försvar och motstrategier mot anvädandet av AI i oärliga syften.

Det finns alltså två motstridiga problemformuleringar kring AI-säkerhet:

  1. Risken för AI-apokalyps, som kan minskas av att kod och språkmodeller är slutna

  2. Risken för att AI används som vapen eller för bedrägeri, som hade kunnat minskas av att kod och språkmodeller är öppna

I och med Microsofts styrning av OpenAI så riskerar vi få det sämsta av båda dessa.

Av Oegat
Skrivet av Dunde:

Galet...! Lika jävligt är begreppet "snurrdisk", det är utvisning från forumet. Borde stå i stadgarna att användande av dessa begrepp innebär en månads avstängning.

Nu blir jag nyfiken vad som är problemet mer specifikt? Det jag kan komma på är att "snurr-" är redundant eftersom alla diskar som kan komma ifråga i datorsammanhang snurrar.

För övrigt kan man också ondgöra sig över termerna "Solid State Disk" (det finns ingen skiva) och "Solid State Drive" (det finns inte heller något drivverk)... trots det verkar den senare termen vara den etablerade.

Av Oegat
Skrivet av CGI:

Hehe... och fysiska "möten, föreläsningar och andra samtal" är inte tröttsamma för hjärnan?

Gissningsvis! Här jämförde de dock fysiskt möte med videokonferens, och såg att deltagarna blev mer trötta när de såg lektionen på video.

Som jag tolkar det efter snabbläsning så såg visst deltagarna samma lektion (samma innehåll) två gånger, en gång med närvarande föreläsare och en gång på video. Men hälften fick se video först och andra halvan fick se den fysiska lektionen först. Jag tycker det hade varit rimligt att ha två lektioner med olika men ungefär lika svårt innehåll, inte så kul att se samma lektion för andra gången. Oavsett vilket så borde eventuell påverkan av det jämna ut sig, just eftersom hälften fick börja med video och hälften fysiskt.

Av Oegat
Skrivet av Mr Mr:

Och hur tycker du att NOYB låter?

Tack, redigerar

Av Oegat

NOYB låter som namnet på ett skejtpunkband från 1990-talet.

Av Oegat

Ja, det verkar alltså som att oron för framtida superintelligent AGI faktiskt var en signifikant del av skälen bakom kaoset i OpenAI. Detta stärks av att den tillfälliga VD:n som först tillsattes för att ersätta Altman, Emmet Shear, verkar vara en riktig AI-”doomer” (från SvD, betalvägg, men jag citerar det viktiga):

Citat:

När han [Emmet Shear] i somras gästade podden The Logan Bartlett Show kom han in på hur AI inom kort kommer kunna förbättra sig själv.
– Då kommer det gå väldigt, väldigt snabbt. Det är i sig själv väldigt farligt, för intelligens är makt.
Frågan om P(doom) kom upp, och Shear svarade att osäkerheten är väldigt stor.
– Men jag skulle säga att risken är mellan 5 och 50 procent. Kanske mellan 2 och 50.

[P(doom) = sannolikheten för att en superintelligent AGI utrotar eller förslavar mänskligheten]

Det väcker alltid intressanta följdfrågor när man försöker sätta sannolikheter på vad som egentligen är osäkerhet om verklighetens beskaffenhet. I spannet 2% - 50% ingår inte 0%, betyder det att han utesluter möjligheten att ett datorprogram visar sig inte kunna bli superintelligent? För detta är något vi ännu inte vet, vi kan bara anta det ena eller det andra tills superintelligens eventuellt uppstår. Men om naturlagarna omöjliggör algoritmisk superintelligens (eller medvetande, känslor, eller någon annan egenskap som vi väntar oss att en superintelligent maskin ska ha) så är P(doom) = 0, oavsett vad vi tror om saken – vi kommer däremot i det fallet troligen aldrig att få veta hur det ligger till.

Men, det handlar också om hur man ser på sannolikhet. Det jag skriver ovan är kompatibelt med den sannolikhetsteori som kallas frekventism, som ligger bakom de vanligaste statistiska metoderna. I den teorin skiljer man i regel på sannolikhet och osäkerhet likt hur jag gör ovan. Ett annat synsätt som blivit mer populärt de senaste 20 åren eller så, särskilt bland de som jobbar med AI, är bayesianism – det är en mer tillåtande teori, på så vis att den tillåter att sannolikheter används för att beskriva alla former av osäkerhet. Sannolikhet är där ett annat ord för att vi inte vet, även för händelser som redan hänt men som vi inte fått veta utfallet av. Dessa olika synsätt är relevanta för hur man ser på flera av de öppna frågorna i debatten om risker och möjligheter med framtida superintelligent AGI – så jag tänkte med utgångspunkt i detta dela några av mina tankar om AI.

---

TL;DR: Tyvärr, det finns ingen. Lång rant följer...

Finns slumpen?

Ovanstående om bayesianism och frekventism är intressant mest utifrån hur man pratar om sannolikhet. Men båda teorierna är också löst kopplade till alternativa teorier om slump, som i sin tur kan kopplas till hur vi kan bedöma risken för AI-apokalyps. Med slump menar jag här händelser som är genuint oförutsägbara, där ingen information finns tillgänglig som kan förutsäga en händelse innan den faktiskt har börjat.

  • (I) En möjlighet är att äkta slump inte finns, och allt är förutbestämt, vi vet bara inte vad som kommer att hända. Det vore helt kompatibelt med bayesianism, och det skulle också innebära att en tillräckligt intelligent varelse hade kunnat förutsäga allt som sker bara den vet tillräckligt mycket om utgångsläget. Jag får intrycket att detta är en latent accepterad teori bland de som oroar sig mest för AI-apokalyps, eller åtminstone att de menar att väldigt mycket är förutsägbart bara man har tillräckligt med data. Det som begränsar en intelligent varelses möjligheter att förutse händelser är här bara intelligensen, och vad den vet om naturlagarna och världens tillstånd just nu.

  • (II) En annan möjlighet är att slumpen är verklig, och det finns händelser som saknar orsak. Saker som skulle kunna vara exempel på detta vore radioaktiva sönderfall, samt spontan avfyrning av nervceller i en biologisk hjärna. En dator har ingen sådan mekanism, tvärtom så är den designad för att vara förutsägbar, och måste därför matas med slump från omvärlden för att åstadkomma slumpmässiga händelser. (s.k. slumpalgoritmer skapar inte slump, deras uppgift är att ta ett värde från en okänd fördelning som input, och mappa det till den fördelning som programmeraren vill ha). Denna möjlighet ligger mer i linje med frekventism. Om verklig slump finns, så följer att det är svårare att förutsäga framtiden, oaktat intelligens och tillgång till information om världen. Mycket är såklart fortfarande lagbundet och kan förutsägas, men långt ifrån allt.

Att uppskatta risken för farlig superintelligens

Hur trovärdig är hypotesen om att en självförbättrande superintelligent AGI kan uppstå och bli en fara för mänskligheten?

Silicon Valley och ett antal filosofer och andra forskare verkar tro på detta, själv är jag mer skeptisk. Som jag ser det är det två saker som måste vara sanna för att det ska ske.

  1. För att en superintelligent AGI ska kunna uppstå måste alla aspekter av intelligens utgöra beräkningsproblem, dvs. en maskin är intelligent i kraft av dess beräkningskapacitet. Det borde vara det samma som att säga att någon form av Computational Theory of Mind (CTOM) måste vara sann. Men detta vet vi inte idag. CTOM är inget krav för att vi någon gång ska kunna bygga en maskin eller artificiell organism som eventuellt är smartare än oss - vi människor utgör själva evidens för att materia kan vara intelligent - men jag uppfattar det som ett krav för superintelligens. För hypotesen om superintelligens bygger inte bara på att maskiner kan vara intelligenta, den bygger också på att dessa maskiner kan förbättra sig själva genom att samla på sig än större mängder beräkningskapacitet i form av datorhårdvara. Förutsättningarna för det finns bara om intelligensen själv kan realiseras som en beräkning, såvitt jag kan se.

  2. För att en superintelligent AGI ska kunna vinna ett krig mot människor som är medvetna av vad den försöker göra, förutsatt att den inte har direkt tillgång till kärnvapen, så måste den kunna förutse våra motdrag nästan varje gång. Det kopplar direkt tillbaka till (II) ovan, ju mindre förutsägbar världen och människorna i den är, desto svårare är det för AGI:n att kunna försvara sig mot våra försök att stänga av den. Åtminstone för människor har det visat sig otroligt svårt att utifrån historiska data förutsäga hur människor kommer att handla i framtiden. Det kan vara för att vi som försökt hittills är alltför dumma i huvudet, det kan också vara för att informationen inte finns för att den beror av slumpmässiga händelser som ännu inte hänt (alternativt utslag av en fri vilja, ifall en sådan finns – men det behöver vi inte anta för att min invändning ska fungera).

Själv är jag skeptisk till både (1) och (2), men jag kan inte utesluta någon av dem. CTOM har visat sig vara en ganska dålig modell av mänsklig intelligens, det datorer gör snabbt (t.ex. söka av en finit sökrymd av t.ex. drag i schack) gör vi människor långsamt, och mycket av det som är så trivialt för oss att vi inte ens tänker på det som ett problem (t.ex. att se) är fortfarande inte helt löst för AI-modeller. Detta är ju saker som jobbas med, men det hela tyder på att algoritmisk intelligens är väldigt olika mänsklig. Avseende (2) har jag har också svårt att se att en fientlig AI skulle lyckas tänka ut en vattentät plan innan den börjar pröva sig fram och därmed avslöjar sig. Man ska inte underskatta hur mycket av människans framsteg som åstadkommits genom trial-and-error, snarare än att någon tänkt ut den perfekta planen.

Max Tegmarks teori om verkligheten

Det kan vara värt att ta upp en annan som pratar om P(doom) i storleksordningen > 50%, det är den (i AI-sammanhang) inflytelserike svenske kosmologen Max Tegmark, som Swec refererat till i en tidigare nyhet. Han är den första som jag hört sådana extrema siffror från, och han citeras ofta i ämnet. Han har dock en teori om verkligheten som är ganska speciell, ”The Mathematical Universe hypothesis”. Enligt hans teori består vår värld i första hand inte av materia, utan allt som existerar utgörs av matematiska strukturer som också är beräkningsbara. Så han går betydligt längre än CTOM, hans teori kan snarare kallas en ”computational theory of everything”. Om allt kan beräknas, då följer att båda mina (1) och (2) ovan är sanna, vilket kan förklara hans pessimistiska uppskattning av riskerna.

I hans bok om detta från 2014 argumenterar han också för att det är mer sannolikt att vårt universum är en simulering som körs i en dator av något slag i ett annat universum, än att det inte är det. Detta baserat på att varje universum (simulerat eller verkligt) kan innehålla flera simulerade universa, så vi kan helt enkelt vänta oss statistiskt att det finns många fler simulerade världar än verkliga världar. Om vi lever i en simulerad värld där allt är algoritmer, så blir det också trivialt sant att vårt mänskliga tänkande är algoritmiskt.

Nick Bostrom, en annan svensk som är central i diskussionerna om AGI har fört liknande resonemang. Så ett par av de största akademiska namnen i fältet har synsätt på verklighetens beskaffenhet som inte är mainstream bland fysiker, men som passar särskilt bra ihop med hypotesen om datorbaserad AGI.

AI-entusiasmens sociologi

Många är övertygade om att självförbättrande AGI är möjligt, även om de som vi sett är oense om riskerna och fördelarna. Något som förenar s.k. ”doomers” och ”boomers” är att båda läger verkar acceptera CTOM och att graden av (algoritmisk) intelligens skalar någorlunda linjärt med beräkningskapacitet. Jag ser övertygelsen mer i kretsarna kring de mer hajpade företagen i Silicon Valley än hos forskare, även om ett antal akademiker (mest filosofer och matematiker, däremot knappt några kognitionsvetare, psykologer eller neurovetare) också driver tesen starkt. De är genomgående väldigt intelligenta personer. Men jag undrar om inte intelligens kan bli en orsak till tunnelseende här, särskilt i kombination med personkult-kulturen runt Silicon Valley. Där höjer man gärna de som lyckats till skyarna, och tolkar deras lyckande som ett uttryck för deras höga intelligens. Detta på bekostnad av tillfälligheter och kontexten de verkar i, något som syns inte minst i de otaliga trådar här på Swec som handlar om Elon Musk. Om man är väldigt intelligent, vet om detta och upplever skillnaden mot de flesta man möter, får sin intelligens ständigt bekräftad av de som ser upp till en, kanske också ser intelligensen som en viktig del av vem man är – och dessutom jobbar med att utveckla AI – ligger det inte nära till hands då att tänka att just intelligens är den viktigaste egenskapen som för världen framåt? När det snarare är resurser och organisationsförmåga som gjort skillnad för de flesta mänskliga framsteg historiskt. Jag ser helt enkelt en stor risk att man överskattar nyttan av intelligens. Bonus är om man också hör till de i Silicon Valley som drömmer om evigt liv genom att ladda upp sitt medvetande i molnet, något som också förutsätter att CTOM är sann.

Detta är inget argument mot AGI-hypotesen i sig, men kan förklara varför de som hajpar AI och inte gör detta fördelar sig geografiskt och ämnesmässigt som de gör. Det kan användas åt andra hållet också, såklart, man kan förklara varför de som främst fokuserar på biologisk intelligens är mindre övertygade om AI:s potential. (Själv passar jag in på det senare mönstret, så till vida att min bakgrund är främst psykologi och kognitionsvetenskap om än med en del datavetenskap).

Slutord

Frågor om superintelligens och AGI handlar alltså inte bara om datavetenskap och teknik, utan faller tillbaka på svåra olösta frågor om hur universum och vårt eget tänkande är beskaffat.

Jag kan passa på att lägga till att det jag ifrågasätter här är bara de extrema apokalyptiska argumenten, jag tror vi kan räkna med att en del av den närmaste framtidens självlärande AI-program kan komma att löpa amok och ställa till rejäl oreda. T.ex. om man ser på datorvirus historiskt, där en del av dessa lett till mycket värre konsekvenser än skaparen tänkte sig. En nödvändig egenskap hos AI-program (som delas med människan) är att de försöker gå utanför vad som är givet som input. Det gör att även misstagen kommer att bli mer kreativa.

Av Oegat
Skrivet av medbor:

https://www.svt.se/nyheter/utrikes/sam-altman-ska-aterinsatta...

Vafan?! Nu är han tillbaka på Open AI igen?! Vad i hela friden?

Nya styrelsen innehåller visst Adam D'Angelo:

Citat:

Open AI skriver att de har nått en överenskommelse om att Altman ska återvända med en ny initial styrelse bestående av Bret Taylor som ordförande, Larry Summers och Adam D'Angelo.

Det talar ju lite emot denna tolkning av konflikten (även om det antyds ovan att styrelsen är tillfällig):

Skrivet av systra:

Adam D'Angelo sitter i styrelsen och hans Quora och Poe har en direkt intressekonflikt med ChatGPT, GPTs och Assistants. Utvecklingen har nog enligt honom gått lite åt fel håll på sistone...

https://synthedia.substack.com/p/doesnt-openai-board-member-a...

Av Oegat
Skrivet av cyklonen:

Tillbringar man mer tid på YT genom att behöva vänta fem sekunder extra? Kanske rent matematiskt, men man ser ju inget och kan inte göra nåt. Svårt att se vad syftet skulle vara annat än att göra det jobbigt för vissa grupper.

Absolut, i detta fall är verkar det vara metoder för att jävlas med reklam- eller spårningsblockerare som de testar. Jag beskrev mer det generella fallet, för att förklara varför inte alla drabbas. Exakt vad de är ute efter nu är inte helt tydligt (mer än att jävlas), men det kanske bara är en liten delfunktion av något större paket som de håller på att utveckla.

Av Oegat
Citat:

Android Authority skriver också att fördröjningen inte aktiveras hos alla användare, och det har hittills inte varit möjligt att avgöra vilka parametrar som ligger bakom huruvida en viss användare drabbas eller inte.

YT experimenterar mycket med sina flödesalgoritmer och reklamstrategier, så det vanligt att saker som detta bara drabbar vissa användare. De väljer helt enkelt att implementera nya saker för vissa användare men inte andra, för att sedan kunna mäta hur användarnas beteende påverkas av olika funktionalitet. Självklart med målet att hitta vad som får folk att tillbringa mest tid på plattformen, klicka oftare på reklam, mm.

Har de gjort forskningsmetodologiskt "rätt", vilket vi knappast har skäl att tvivla på, så kommer det att vara helt slumpmässigt vilka som får testa en ny funktion och inte. (De kan fortfarande undanta t.ex. chrome-användare baserat på att funktionen som testas inte är tänkt för den plattformen).

Av Oegat
Skrivet av perost:

I nästa avsnitt av "Vad händer egentligen hos OpenAI?": Nu har ca 500 av de anställda (av ca 700 enligt Wikipedia), inklusive Ilya Sutskever, hotat med att gå över till Microsoft om styrelsen inte avgår och återinför Altman som CEO.

Skrivet av Whitepilledoomer:

Va, Ilya ångrar sig alltså...? Vad fan händer.

Skrivet av medbor:

Att Ilya själv hotar med avgång får ju hela händelseförloppet att gå sönder… vad har hänt här egentligen?

Vilken röra. Om nu Sutskever på allvar oroar sig för Terminator, så tänker han nog att det fortfarande blir lättare att kontrollera utvecklingen med Altman samt de 500+ anställda kvar i OpenAI, jämfört med om de lämnar för MS.

Av Oegat
Skrivet av serafim:

Jag har vid åtskilliga tillfällen plockat skräpet och gått ikapp personen/personerna som kastat det på marken och givit det till dem med orden: "jag tror du tappade det här, för inte var det väl meningen att skräpa ner."
De har alltid tagit emot skräpet med kommentaren: "Oh, tack, nej självklart var det inte det" (eller liknande) och kastat skräpet i närmaste papperskorg.
Och ... det är inte alltid ungdomar som skräpar ner, nästan lika ofta är det vuxna.

I Sverige funkar det för det mesta. En bekant berättade hur hon prövat samma strategi, jag vill minnas det var i Grekland på 80- eller 90-talet. Pappan i barnfamiljen som var den som slängt skräpet svarade med ett stort leende: "Nej förstår du, jag tappade det inte. Det var skräp, jag kastade bort det!" - utan något som helst spår av sarkasm. Min bekants blev stående mållös när barnfamiljen traskade vidare, troligen utan någon tanke på att hon kunde ha menat något annat än det hon sa.

Av Oegat
Skrivet av benonikenobi:

Hmmm, ingen mer Steam workshop för mods och assets det lät ju inte så bra.

Skrivet av benonikenobi:

Spännande, detta med uteblivet stöd för Steam Workshop kan ju gå åt olika håll, så det är svårt att säga om det är bra eller dåligt. Det hänger mycket på hur mycket de väljer att ta kontroll över vad som tillåts publiceras och inte, och såklart hur bra deras egen plattform fungerar.

De säger att ett av målen är att spelare på konsol och PC ska ha tillgång till samma material, och då Steam fungerar endast med PC vill de inte riskera att folk publicerar sitt material bara på Steam. Samtidigt framgår i diskussionstråden till deras FAQ att konsol inte kommer att stödja "Code mods" (som ändrar koden och i CS1 kallades enbart "mods"), däremot "Asset mods" (3d-modeller etc. som i CS1 kallades Assets) - dvs det finns en stor begräsning i det påstådda multiplattformstödet. Detta är förmodligen en bra sak - konsoler är generellt mer inlåsta, och man kan inte lägga på frivilliga moddare att de måste porta sin kod till olika plattformar, vilket antagligen hade blivit resultatet annars. Medan assets bara är 3d-modeller och således plattformsneutrala.

En fråga som inte ser ut att ha fått svar ännu är om det går att "sideloada" moddar genom att själv lägga filer på rätt ställe, alternativt göra detta genom en tredjepartsmjukvara typ Nexus Mods. Om detta blir möjligt så begränsas ju hur mycket Paradox i princip kan styra modscenen. Detta kan också vara en säkerhetsventil för annan eventuell misskötsel av Paradox egen plattform. För t.ex. Skyrim (pre-SE) då jag spelade det mest ca 2013-2016 så upplevde jag Nexus Mods som ett bättre och mer komplett sätt att hantera moddar, jämfört med Steam Workshop (vet inte hur det funkar med Skyrim idag).

Det finns också en stor nackdel i hur Steam Workshop fungerar, som ställde till problem i CS1 - det var en Asset creator, minns inte vilken, som ett par år in i spelet "rage-quit"ade och helt enkelt avpublicerade alla sina assets (byggnader) från Workshop. Med konsekvensen att dessa automatiskt avprenumererades så att folk plötsligt saknade byggnaderna i sina savegames. Där finns ett dilemma - skapare ska naturligtvis ha makten över sina alster, men samtidigt bör man som nedladdare av material kunna ha någon garanti för att få fortsätta använda det man laddat ner privat. Hade det varit Nexus Mods så hade resultatet blivit att innehållet slutat uppdateras, och man hade kunnat behålla den sista fungerande versionen (naturligtvis på egen risk i fallet att ekosystemet "springer ifrån", som med all utdaterad mjukvara). Skulle modskaparen vilja jävlas och lägger in en uppdaterad version med helt ändrat innehåll, så kan man helt enkelt låta bli att uppdatera. Dessa val har man inte (såvitt jag vet) med Steam Workshop, och man får ingen varning utan märker uppdateringar först när man startar spelet.

Framför allt avseende den sista punkten, så skulle Paradox kunna designa sitt system så att ovanstående inte händer. Åtminstone genom att användaren får välja om en avpublicerad mod ska tas bort från den egna maskinen eller inte, men man kunde också tänka sig en modlicens där moddar som en gång laddats upp förblir publicerade i sin sista fungerande version. Smått kontroversiellt inser jag såklart, och denna ofärdiga idé kommer med några randvillkor i händelse av buggar t.ex. Men det borde vara legalt möjligt på ett sätt som fortfarande inte innebär att Paradox tar över ägandet av modden.