Inlägg

Inlägg som beh har skrivit i forumet
Av beh
Skrivet av KplSteiner:

Det där lät intressant, har du en länk till nån artikel om det?

SEB Research: German solar power prices are collapsing as market hits solar saturation

Citat:

Massive growth in solar power installations in Germany in 2023 is leading to destruction of solar hour prices and solar profitability.

Av beh
Skrivet av pine-orange:

Du behöver inte överdriva, risken har minskat på senare tid. Inte ökat.
I den här takten har vi snart ett nytt politiskt parti vars främsta syfte är att minska antalet datacenter i Sverige, det började på Swec

Det är inte min avsikt att överdriva, men att försöka att belysa orsakssamband som många verkar avgränsa sig från. När expanderingar ger jobb, så är det positivt för ekonomin både lokalt och globalt. Sveriges energipolitik har länge byggt på att man säkerställer tillgång till relativt rimlig och driftsäker elenergi för att säkra arbetstillfällen för sin väljarbas. När det finns god tillgång på el, man kan anlägga massabruk eller bygga lastbilar. Det är klart att det är viktigt med datacenter men för dessa gäller andra spelregler och det finns enligt mig bara en handfull skäl till varför de ska ligga i Sverige:

  1. Om behandling och lagring av informationen av sekretesskäl behöver ske inom landets gränser. Omvänt kan det dock finnas goda skäl att spegla sådana funktioner utanför landet om man önskar en god tillgänglighet (lex. Ukraina).

  2. Om det behövs närhet till platsen där information behandlas och lagras för att krav på latens och jitter i överföring begränsar avstånd.

  3. Om det är fördelaktigt ur en energisynpunkt med tanke på tillgång till kyla, elenergi och möjlighet att återanvända spillvärme.

Några andra dimensioner ser jag inte. Dessa datacenter ger sällan arbetstillfällen eller andra synergier. De borde vara lika upphetsande för en politiker som en lagerlokal. Men på nått konstigt vis är det som att Sverige är utvalda av Microsoft och att vi medborgare ska vara tacksamma för att de lägger sina hallar hos oss. Jag ser det tvärt om, det är de som ska vara tacksamma för att de får tillgång till billig stabil elkraft och kan försöka skapa tjänster som klarar nationella säkerhetskrav så att Svenska marknaden med sådana krav öppnas för dem.

När det gäller prognoserna för effektbrist har du rätt, jag hade missat att SVK nu i dagarna publicerat årets rapport, där riskerna tonats ned något:

Citat:

Prognosen för eventuell effektbrist – att inte elen räcker – under kommande fyra vintrar ser något bättre ut än bedömningen Svenska kraftnät gjorde för ett år sedan. Det beror bland annat på att elanvändningen väntas öka i en långsammare takt och att utbyggnaden av stamnätet ger ökad överföringskapacitet från norra till södra Sverige.

Citat:

− Ser vi till hela prognosperioden, till och med vintern 2027/2028, försämras effektbalansen påtagligt, som en effekt av ökad elförbrukning. Men det är inte riktigt lika illa som vi bedömde för ett år sedan, säger Eva Vitell.

Kraftbalansen på den svenska elmarknaden, rapport 2024 (publicerad 3/6 2024)

Av beh
Skrivet av MsSmith:

El är effekt.
Man ska inte förvänta sig att Sverige som land ska vara självförsörjande på el. Det är inte så systemet är designat och anledningen till att jag skrev "Tyskland tjatar på att lägga en ny kabel för att kunna ta in mer el härifrån men om det är problemet så är det nog snarare Nordpool och hela systemet som är problemet." I sak har du en poäng att man bör sträva efter att vara självförsörjande. Vad som slår mig är att trots att du nämner lagring så ser du inte det som en lösning. Det känns som ett konservativt tänkande där lösningen måste vara på plats för att den ska vara acceptabel. Vi har ett system idag som klarar av stora variationer, samt energilagring både för kort och lång sikt är något man jobbar man på. En sak är att effektivisera energigenereringen via solen (inkl solpaneler, vind, vatten) men viktigt också är att lagra den.

El är effekt. Effekt mäts i energi per sekund. Att mäta effekt över tid gör att man mäter mängden energi och inte mängden effekt. Det är en enkel dimensionsanalys. Du talar om energi och inte effekt.

Det är klart att alla ska sträva efter att vara självförsörjande på elektrisk energi och även när det kommer till momentan effekt. Om inte Sverige med sina relativt goda ekonomiska förutsättningar och höga svansföring när det kommer till miljö och klimat kan ha som mål att bli självförsörjande, vem ska då ha det? Än viktigare; vem ska ha överkapacitet och producera elen för våra toppar?

Skrivet av MsSmith:

<Uppladdad bildlänk>
Nej vi har ett bra system som fungerar så som det är tänkt. Vid brist så importeras det under några timmar per år. Detta kan minimeras genom off-grid lösningar och varianter på lagring. Bilden här ovan visar den riktiga faran och det är när den "planerbara" delen plötsligt tar en paus.

Det är ett mycket bra system, givet att orsaken som gör att vi har brist inte även påverkar de vi har tänkt att importera från. Vilket är just det som SKV påpekar i sina rapporter över kraftbalansen. Kalla vinterdagar kommer effektbrist att råda med frånkoppling som verktyg för att nå balans mellan tillgång och efterfråga.

Dom du påpekar är energilager en möjlig utväg. Men det är alltså 24000 MW som ska till, spritt runt om i landet under en timme för att täcka toppen utan frånkoppling.

Skrivet av MsSmith:

Poängen är att priserna ska nedåt. Vattenfall, Malmö Parkering, Energimyndigheten (tror jag) bör ha ett projekt i projektstadiet för att generera och lagra energi som sedan säljs till underpris. Nu är priserna rätt dryga som de är, mycket på grund av läget i Europa, så det är väl rimligt att trycka ned dem om det går. Vidare så är det ju dessa etableringar man har önskat i hela Norden. Den stora energisatsningen är lagd för att företag ska vilja komma hit och etablera sig. Menar du att hela upplägget, nu när det kan vara skarpt läge, är fel?

Vi är nu full cirkel i resonemanget, jag menar att samhällets kostnader för att förse MS AI hallar med EL är för höga i förhållande till vad dessa ger Sverige:

  • Kommer Sverige att få inkomster i form av skatt? Nej.

  • Kommer vi att få några nya arbetstillfällen? Nej. Inte om tidigare satsningar visar vägen.

  • Kommer vi att dra nytta av att hallen ligger just i Sverige och inte i ett land med kroniskt elöverskott? Troligen inte. AI är redan mycket långsamt, att ljusets hastighet i fiber inte blir den begränsande faktorn.

  • Kommer vi att få beräkningskapacitet som gör att 250000 personer kommer att kunna utbilda sig i att använda MS AI tjänster. Ja!

Av beh
Skrivet av KplSteiner:

Som ägare till en massa solpaneler, så välkomnar jag denna nyhet. Det har varit alldeles för billigt med el ett tag nu, knappt man får tillbaka investeringen.

Värre lär det bli. Denna anläggning kräver el 24/7/365. Du producerar el dagtid, mycket lite på vintern och mycket på sommaren. För att tillgodose datahallar med kontinuerlig förbrukning så behöver vi tillföra kontinuerlig effekt. Det gör att din produktion som följer solen riskerar att bli överflödig och sänka priserna ytterligare när du och alla andra som har solceller kan producera. Likt hur det har varit i Tyskland nu, där man betalar Frankrike för att ta emot överskottskraft från solpaneler.

Av beh
Skrivet av pine-orange:

Det kommer bland annat vara det, men som det står i artikeln handlar det också om samarbete med universitet. Jag har svårt att se nackdelen med att utbilda folk i framtidens teknik.

Inlåsningseffekten är lite överskattad tror jag, API:erna brukar vara rätt lika.

Du aldrig träffat en examinerad utvecklare som lärt sig att använda en hammare (.NET eller Java) till allt? En sådan som inte kan resonera på förhand kring hur programmet ska byggas, vilka begränsningar som finns utan istället sitter ned och hoppar mellan skriv, kompilera, kör tills det fungerar.

MS ger inte bort tid på sina servrar. De investerar i framtida utvecklare. Även om bara några tiotals procent blir kvar och inför senare använder Azure AI i alla sina AI-projekt så är det ca-ching för MS. Så här har alla de stora alltid gjort, exempelvis SUN, MS, Apple och NeXT.

Av beh
Skrivet av lillaankan_i_dammen:

Det finns för och nackdelar med allt. Många myndigheter får ej använda Teams för de ej kan garanteta att informen hamnar på utlänska servrar. Exakt samma är det såklart med Ai, informationen får endast hanteras på servrar som finns i sverige.
Förutom det skapar det arbete i landet, vilken typ av jobb och vilken mängd är såklart en bra fråga.

Det spelar ingen roll om servern står i Sverige om huvudmannen som driver tjänster exempelvis lyder under amerikanska lagar för utlämnande. Det enda sättet att använda en sådan tjänst utan att risker att riskera att läcka information är att bara använda den för lagring av redan krypterad information samt hålla nycklar utanför.

Av beh
Skrivet av Baxtex:

Du menar att Sweclockers ska ha åsikter i nyhetsrapporteringen? 🤔

Jag menar att även Sweclockers kritiskt behöver granska det man rapporterar, så som journalister ska göra. Att okritiskt förstärka pressmeddelanden kan bara leda till vilseledning och den tjänsten har vi redan i all form av sociala media.

Av beh
Skrivet av MsSmith:

Ganska nära men inte helt. Anledningen till att många tech jättar satsar här är på grund av klimatet och det är lättare att kyla här (i kombination med fossilfri el). Behovet i sig har inte ökat de senaste 25 åren. År 2020 förbrukades 146,7 TWh, att jämföra med 2022 som förbrukade 136,7 TWh. Effektiviseringar är också bra. Däremot har man lyckats ställa om relativt väl, avvecklingen av kärnkraften till trots så har under samma period exporten mer än fördubblats från 13,6 TWh till 33,2 TWh (faktan står i samma länkar). Sverige blev korat som innehavare världens bästa elsystem både 2022 och 2023

Med det sagt, så ja Tyskland tjatar på att lägga en ny kabel för att kunna ta in mer el härifrån men om det är problemet så är det nog snarare Nordpool och hela systemet som är problemet. Någon elbrist finns inte i Sverige och priserna går enbart upp om man exporterar mer, alternativt att Sverige skulle börja tokanvända 20 TWh mer per år och det ganska så omgående. Någon direkt brist kommer antagligen heller inte uppstå framåt då både Sverige och grannländer bygger mer eller skruvar upp kapaciteten på existerande verk och jag tycker att det verkar skala rätt väl med varandra. Risken är väl snarare när gammal teknik fallerar, vilket skedde i Finland senast igår när OL3 försvann. 2023 var även ett rekordår av saknad "planerbar" energi i Sverige. Oavsett vad man tycker om den så är det att lägga många ägg i en korg.

Ur ett energi/hållbarhets perspektiv är det en sund affär för techjättar att lägga verksamheterna här.

Vi talar inte om elbrist (elenergibrist), vi talar om effektbrist. Dvs. att momentan efterfråga överstiger momentan tillgång (inte ett snitt över delta T). Att exporten av el går upp kan bara motverka effektbrist om vi lan lagra energin i stor omfattning, vilket vi i dagsläget inte kan. Eftersom vi saknar möjligheter att lagra kan man tvärt om säga att exporten visar att behöver ett system med enorm överkapacitet för att hantera kalla, mörka och vindstilla vinterdagar.

Svenska Kraftnät har förklarar det hela i rapporten Kraftbalansen på den svenska elmarknaden, rapport 2022.

Det är nackdelen med "investeringen". Du får gärna berätta vilka positiva lokala effekter du kan se av Microsofts utbyggnad i Sverige. Jag menar att det inte finns några, varför man försökt sig på det där med att utbilda 250 000 personer i AI. Sverige har egen kapacitet att utbilda sin befolkning, vi behöver inte ett AI körkort av amerikansk modell där man är låst till att bygga "hello ai world" på Azure.

Av beh
Skrivet av MsSmith:

Ganska fascinerande att man kan koka ihop det här som du just skrev. Anledningen till att det inte går ihop är för att det inte är så

Du är välkommen att i vänlig ton bemöta mig i sak.

Av beh

Jag förstår inte hur Swecklockers inte kan se genom detta. Ulf Kristersson ställer sig på en scen och lanserar tillsammans med Microsoft, Microsofts egen investering i sina svenska datacenter. Microsoft ska alltså köpa (investera) i hårdvara till sina egna datacenter, en investering som är avdragsgill mot intäkterna som hårdvaran ger. Projektet ger även väsentligen ökad elförbrukning i de svenska näten (antagligen har de även specialpris på elen) samtidigt som det inom samma elområde på många platser är etableringsstopp. Vad ger detta oss medborgare och till vilken kostnad?

Offentlig sektor är fullständigt inlåst i properitära lösningar som Azure, Microsoft 365, Teams, Sharepoint och Windows. Medan startups klarar sig med en stack som är helt öppen och inte har en enda Microsoft produkt i portföljen.

Ska vi tillhandahålla beräkningskapacitet till resten av världen samtidigt som vi inte mäktar med att hålla ett elsystem som klarar vintrarna utan att staten måste dela ut bidrag? Det går inte ihop. Det hjälper föga att vi konsumenter får betala för våra effekttoppar för att skapa incitament att minska dessa topparna, när Microsoft onlinear 20000 servrar med 700W GPU och 300W för resten. Det är 20MW bara för denna "satsningen". Hoppas det blir lite fjärrvärme av det åtminstone.

TL;DR Jag tror att detta är en nettoförlust för Sverige AB. MS tränger undan lokal innovation och bidrar till ytterligare effektbrist. Ett problem som driver populism och hindrar oss från att bli fossilfria.

Av beh
Skrivet av Pirum:

2G har bra mycket bättre täckning, och Telia har dessutom bäst 2G-täckning, genom att behålla 2G kommer Telia att fortfarande vara bäst i skärgård, skog, fjäll, osv. Går ju att köra data även över 2G, även om det ju får vara tämligen begränsat.

3G har Telia inte samma fördel med att behålla, sämre taltäckning än 2G, sämre datatäckning än 4G, etc.

Precis. 3G är en för stor kompromiss i täckning och ger för lite data per Hz för att bära alternativkostnaden.

Skrivet av D.:

Gällande täckning är det ändå hyfsat imponerande hur bra det är med 4G idag. Tänkte på det så sent som förra helgen då jag var ute och åkte, långt ifrån närmaste samhälle där jag inte såg någon annan bil på länge och ute i skogen. Hade ändå bra signal för 4G. På platser som man annars kunde tänka sig enbart skulle ha 2G. Sen må ju hastigheterna kanske inte vara så imponerande, men ändå används 4G-nätet.

Telia hade kunnat ge en bättre användarupplevelse för kunder som som klarar tar över 4G / 5G om de släckte GSM jämfört med att ha kvar det. På 7/8/900 MHz ger 4G och 5G med VoLTE och VoNR både högre effektivitet (kan serva flera användare samtidigt) och större täckning med samma uteffekt då VoLTE och VoNR fungerar med lägre signalstyrka (allt annat lika).

Av beh

Om den finns kvar kan jag komma och hämta, tidigast under lunchen idag.

Av beh
Skrivet av Elgot:

Nu vill jag förstås inte mäta mig med den gode professorn, men låter inte det där som en lite väl djärv slutsats (och säger han verkligen så? Jag hittar inte motsvarande på den länkade sidan)? Att visa att det måste förhålla sig så måste väl ändå vara svårt? Jag undrar också om hans slutsats är den allmänt accepterade.

Det är möjligt att den gode professorn har fel. Men någon får förklara hur en sådan intelligens skulle kunna uppstå. Innan någon kan göra det är det bara science fiction. Ett tankeexperiment som vi kan ägna oss åt just för att vi har en sådan fantastisk intelligens.

Vad får vi för svar när vi frågar en språkmodell (som inte har någon kropp) hur den upplever det att inte ha några ben? Vi får ett syntetiserat svar som delvis bygger på hur andra människor som har en kropp, men inte några ben, berättat att de upplever det blandat med en mängd andra upplevelser och tankar om ämnet som andra människor haft och som finns nedtecknade för en modell att göra analys av och representera i sin "projektion" av verkligheten. Tillsammans med vikter som representerar dramatiska, syntaktiska och rent logiska regler som går att härleda ur den text som modellen är tränad på kan den ge ett svar som en människa bedömer är i linje med hur en människa skulle kunna svara.

Skrivet av Elgot:

Vi kräver väl inte heller att en ai skall vara exakt samma som en människa? Vi bör väl som sagt vara minst lika toleranta som vi är mot att vi har skiftande förmågor.

Människor med olika typer av sensoriska begränsningar (medfödda eller något som tillkommit senare i livet) har inte lägre poäng på intelligenstest än andra och de har ofta betydligt högre förmågor än gemene man på de sinnen som de har kvar. Detta är mänsklig intelligens i et nötskal, förmågan att anpassa sig.

Skrivet av Elgot:

Det intressanta är väl dock att i alla fall enskilda sinnen inte verkar vara kritiska? Kan man hävda att en ai inte kan vara intelligent utan mänskliga sinnen när människor uppenbarligen kan vara det trots att de är blinda, döva eller utan känsel? Eller måste vi införa någon begränsning på att man måste ha ett visst antal mänskliga sinnen? Det känns som att man närmar sig det där med att man måste ha själ för att vara människa...

Du begår ett logiskt felslut i din härledning. Bortfall av några sinnen hos en människa gör inte människan mindre intelligent eftersom själva definitionen av intelligens är bland annat att klara av anpassning under sådana förhållanden, vilket vi har visat sker i stor omfattning. Du försöker att visa att en språkmodell, utan sinnen, kan vara intelligent eftersom att en människa med bortfall av något sinne kan vara det.

En språkmodell är begränsad till de data den tränats på och de algoritmer som styr dess processer. Den saknar förmågan att på egen hand söka ny information eller anpassa sig till nya miljöer på samma sätt som människor kan. Visst kan den söka information inom samtalets kontext, men den informationen är inte en del av modellen och således inte tillgänglig i framtida invokeringar av modellen. Modellen har inget medvetande. Den föds med information och kan framkalla fakta genom att tolka text till ny text.

Just förmågan till självmedvetenhet och subjektiv erfarenhet anser jag är en avgörande aspekt hos mänsklig intelligens och något som är helt frånvarande i de AI-modeller vi har sett hittills. Därför är det inte rättvist eller korrekt att jämföra intelligensen hos en person som anpassar sig till en sensorisk förlust med en AI som opererar utan sinnen.

Av beh
Skrivet av Elgot:

Man måste väl dock skilja på att ha intelligens som en människa och att ha alla egenskaper som en godtycklig människa har? Människor kan ju också sakna sinnen (som att vara blinda eller döva), men vi tvekar väl inte på att de är tänkande även om de kanske inte har samma erfarenheter som vi?

Intelligens hänger tätt samman med evolutionen för den ras man studerar och varierar därför mycket mellan raser. Definitionen av mänsklig intelligens är problemlösning och anpassningsbarhet. Den senare styrs både av de ärftliga- och miljöfaktorerna. Därav blir slutsatsen att det krävs liv (reproduktion) för att kunna erhålla något som liknar mänsklig intelligens. Även om du kan göra avtryck eller projektioner av ett medvetande eller tillståndet i hjärnan på en person så kommer denna "mjukvara" inte att fungera på "hårdvaran" hos en annan individ. Istället använder vi DNA för att överföra ärftliga information till nästa generation, men det blir en ny "build" i och med att man blandar generna från föräldrarna sedan påbörjas träningen av den nya modellen genom miljöfaktorerna.

När det gäller personer som saknar vissa sinnen brukar kunna kompensera genom att mer hjärnkapacitet frigörs till de resterande sinnena. Om vi skapar en värld där det inte är lika fördelaktigt att se så kommer synen antagligen med tiden att förändras eftersom det är ett oerhört kostsamt sinne att upprätthålla. Det finns mängder med intressanta exempel på hur människor som lider av olika sinnesrelaterade åkommor visar att våra sinnen är intrikat sammanlänkade till hjärnans aktivitet. Exempelvis lider vissa människor av afantasi, dvs. de har ingen fantasi och kan inte föreställa sig saker. Ibland tar dessa personer fler bilder med sin kamera för att försöka kompensera.

Skrivet av Elgot:

Fast hur mycket vet vi om detta egentligen? Det är väl inte direkt något som går att testa, och även om det skulle gå känns det väl besvärligt att avgöra vad som spelar roll för vad? Vi kan väl inte riktigt bestämma oss för vad som är arv respektive miljö när det gäller oss själva heller?

Allt som inte är DNA är miljöfaktorer. Vi har inte fullständig koll på vad allt DNA gör, men så mycket vet vi.

Av beh
Skrivet av Elgot:

En empatisk intelligens låter förstås trevligare än en likgiltig, men det är väl inte kritiskt för tänkandet? Helst vill man väl kanske inte heller att modellen skall ha alla mänskliga drag heller (som att bli trött eller föredra roliga saker framför de monotona uppgifter den får)?

Vi är redan där, om du påstår att det är Maj eller erbjuder dicks ska du enligt vissa erhålla bättre svar.
Men du frågade mig vad som skulle övertyga mig om att en språkmodell har intelligens på nivå med en människa, vilket jag svarade på. Inte vilka egenskaper det är önskvärt att en språkmodell har. Det är olika saker. Jag är nämligen helt säker på att dagens språkmodeller inte har medvetande eller något som ens liknar den intelligensen en människor besitter, exempelvis har de för låg nivå av kontext.

Skrivet av Elgot:

Detta är väl dock svårt att veta då vi hittills bara har ett exempel (oss själva) att titta på? Det skulle ju också kunna visa sig att det inte spelar så stor roll vilken hårdvara man använder eller exakt hur man tränar den så länge den är komplex nog.

Jag säger inte att hårdvaran spelar roll, jag säger att hjärnan bygger på genetiskt arv och miljöfaktorer. För att utveckla mänsklig intelligens tyder allt på att man även måste tillföra meningsfulla miljöfaktorer till träningen. Dagens 3D spel är tämligen realistiska, men om vi tränade ett AI på dessa världar och sedan förväntade att de skulle kunna navigera i verkligheten så är det inte säkert att det fungerat.

Av beh
Skrivet av Elgot:

Men vad skulle kunna få dig att ändra dig? I princip kan man väl som sagt inte vara säker på att grannen heller är tänkande; han kanske bara uppträder som en människa? Man vill ju helst inte kräva mer av en ai än vad (helst alla) människor klarar…

En språkmodell som uppvisar äkta empati och känslor. Som försöker uppnå egna mål. Som har ett livslångt context window och en identitet som är unik per "medvetande". En språkmodell som inte bara är aktiv när man frågar den om något, utan lever ett liv även när man inte är med den. En språkmodell som inte delar data med något företag och inte kommer med användarvillkor. Typ så.

Skrivet av Elgot:

Nu är det ju inte nödvändigtvis en fullständig simulering vi är intresserade av utan bara intelligensen, och det skulle ju kunna visa sig att det inte alls krävs hjärnans komplexitet för att uppnå den. Man kanske inte heller behöver bygga den på exakt samma sätt.

Mänsklig intelligens kräver mänskliga sinnen. Vi är våra sinnen. Det går inte att separera intelligensen eller medvetandet från den mänskliga kroppen. Möjligtvis går det att skapa en artificiell intelligens som efterliknar det, men utan att kunna träna en sådan modell på det vår hjärna upplever från den skapas i mammas mage till den föds och sinnen utvecklas allt mer så kommer man inte få något som motsvarar mänsklig intelligens. Samma gäller alla levande varelser. Livet är essentiellt för att skapa medvetande, identitet och intelligens.

Av beh
Skrivet av Elgot:

Nja, naturligt urval medför inte nödvändigtvis optimalitet. Det är ett sätt att anpassa sig på, men många faktorer påverkar och även om allt skulle gå åt rätt håll (och inte fastnar i återvändsgränder) är det ju inte säkert att processen har hunnit ända fram? Vi har förstås tagit vår snirkliga väg för att hamna där vi är, men det behöver ju inte innebära att det inte finns genvägar (särskilt om vi egentligen inte är så intresserade av alla biologiska kompromisser som måste till för att det skall fungera i praktiken). Att det hittils också främst handlar om text kan ju också låta som en begränsning, men är det verkligen så väsentligt? Text (ofta via tal) är väl hur vi normalt interagerar med andra intelligenser och även om vi föreställer oss att vi har ett rikt inre liv är det kanske på låg nivå inte särskilt mycket mer spännande än modellernas...
Jag säger inte heller att modellerna tänker som människor, men om man inte riktigt vet vad det innebär är det ju svårt att säga om det är bra eller dåligt. Det är ju lätt att hamna i det där att människor har själ (så vi är bra) till skillnad från djuren (som därför är dåliga).

Frågan är väl dock vad man förväntar sig? Det där gäller väl egentligen även om man pratar med en människa?

Jag är ändå inte övertygad om att det är för att en språkmodell kan "tänka" som den teoretisk kan stapla saker på varandra. Det är för att människor kan stapla saker på varandra som en språkmodell kan det.

Jag är inte främmande för att människor bara är deterministiska system tränade genom miljö och genitik i en stokastisk värld, men det betyder inte att en språkmodell har mänskliga egenskaper. En människa är en biologisk produkt likt hur en språkmodell är en logisk produkt, men beräkningskapaciteten vi har tillgänglig idag räcker inte till för att simulera eller ens emulera något så komplext som en människa.

Skrivet av Toss3:

Absolut, min poäng var mer att de inte är simpla stokastiska papegojor som de flesta verkar ha en uppfattning om att de är (gäller dock kanske för de mindre modellerna). Väldigt intressant ämne: https://en.wikipedia.org/wiki/Emergence

Annan intressant länk: https://en.wikipedia.org/wiki/Stochastic_parrot

Jo men jag menar att de verkligen är stokastiska papegojor i meningen att de genererar trovärdiga svar. Papegojor som alltså är tränade på 600 GB text, dvs. ca 20 gånger mer än vad en människa går genom på en livstid. Att mänskliga egenskaper som känslor, slutledningsförmåga och liknande uppträder i en sådan modell är inte konstigt. Det som är överraskande är att det går att få ut så bra kvalitet som de moderna modellerna vi har idag, speciellt med tanke på den input som ges.

Vi människor har besjälat döda ting genom att tillskriva de med mänskliga egenskaper under hela vår tid på jorden. Jag förstår inte vad som är skillnaden med en LLM. Det är inte din kompis. Det är en projektion av mänskligheten som i våra ögon får liv.

Av beh
Skrivet av Elgot:

Det är väl dock en hel del som ännu är ganska oklart, och vad ”kraftfull” betyder i sammanhanget är väl inte uppenbart? Filosofisk sett är det väl inte heller så intressant hur länge eller mycket man har tränat (man anser väl i regel inte att barn tänker i mindre utsträckning än vuxna)? Det är väl snarare processen som är intressant, och det är ju inte heller säkert att implementationen i den mänskliga hjärnan är optimal (eller ens särskilt bra)?
Huruvida andra människor är tänkande är ju också en klassisk fråga och man har ju inte så mycket mer än hur de beter sig att gå på. Man kan kanske inte kräva så mycket mer av en ai heller?

Det är helt säkert att implementationen i den mänskilga hjärnan är optimal för en viss tillämpning, eftersom den skapats baserat på naturligt urval. Men det intefattar ju att vi ska jaga, orka bedriva jordruk utan fossila bränslen och kunna springa ifrån fiender. Att hjärnan är kraftfull är endast ett sätt att jämföra mänskligt tänkande med AI LLM genererande. Tänkande innefattar så mycket mer än att skapa text från text. Jag håller med om att dagens språkmodeller är oerhört imponerande, men jag håller inte med om att de tänker som en människa eller på nivå med en människa.

Skrivet av Toss3:

Rekommenderar att du läser följande: https://stackoverflow.blog/2023/07/03/do-large-language-model...

“When we train a large neural network to accurately predict the next word in lots of different texts from the internet, it is learning a world model,” Ilya Suskevy, chief scientist at OpenAI, said in a recent interview. “It may look on the surface that we are just learning statistical correlations in text, but it turns out that to just learn the statistical correlations in text, the neural network learns is some representation of the process that produced the text. This text is actually a projection of the world. The neural network learns more and more aspects of the world, of people, of the human conditions, their hopes, dreams, and motivations, their interactions in the situations that we are in. And the neural network learns a compressed, abstract, usable representation of that. This is what's being learned from accurately predicting the next word.”

Ja en språkmodell blir en abstraktion av det den har tränats på, en projektion av mänsligt vetande. Men det är ju helt enligt vad vi förväntar oss. Det är människor som står för all det som en språkmodell kan inferera från träningsdatat. Dessutom är vi i en unik period nu, för att än så länge är inte majoriteten av träningsdata annan utdata från språkmodeller. Men inom ett par år kommer majoriteten av träningsdata vara genererad av andra språkmodeller. Då är det inte längre en proejktion av mänsligheten som modellerna tränas på utan något annat.

Av beh
Skrivet av jaqob:

Jo, det har jag egentligen full koll på. Och det är med tanke på det som jag tycker det är så intressant när man ibland tycker sig se något lite mer, när den faktiskt löser problem där lösningen i sig mest troligen inte finns i datamängden den tränats på.

Den löser problem som den inte har tränats på. Eftersom den är mycket kraftfull när det gäller att omvandla språk till språk. Om du frågar efter ett recept på rosa våfflor med blåbärssmak så har modellen information om recept för våfflor, hur man skapar blåbärssmak och livsmedelsfärg och sätter samman ett recept. Sannolikt har ingen någonsin lagat just det receptet. På samma sätt kan StableDiffusion eller DALL·E 2 skapa bilder av saker som ingen någonsin har avbildat tidigare och som garanterat inte finns i träningsdatat.

Skrivet av Sinery:

... Det är ungefär hur människor lär sig.

För visso, men man kan inte analysera skillnaden mellan mänsklig intelligens och en AI hos en LLM enbart genom att bara titta på likheterna. Människor tar in stora mängder data, men mycket är annan information än text och språk. Exempelvis ljud, syn, smak, lukt och känsel. Dessa kan aggregerad till högre nivåer och användas för att förstå omvärlden och underlätta mellanmänsklig interaktion i form av att läsa av exempelvis kroppsspråk, ansiktsuttryck, tonläge på röst, gester, språk, kroppsdofter och beröring. En LLM tar bara in information i form av text. Saker som inte kan beskrivas i text så att en annan människa förstår det kan en LLM inte arbeta med. Det är för att människor har skapat text som en LLM kan förstå text. Om man kan bygga en maskin som har samma sensoriska känslighet som en människa så kanske det går att bygga en artificiell intelligens på nivå men en människa, men det kräver enorma mängder med information och sedan enorma mängder med beräkningskraft för att behandla informationen.

Skrivet av Elgot:

Det kan ju låta lugnade, men motfrågan blir ju då vad tänkande i mänsklig mening innebär och vad skillnaderna är. Det verkar ju inte vara något särskilt avancerat som pågår i hjärnan heller (även om komplexiteten är hög).

Varje hjärna är en egen LLM som är mycket kraftfullare och har betydlig fler intryck som byggt upp den genom lång tid av processing och relationsskapande. Att leva livet är som en livslång av finjustering (LLM fine-tuning) av den mänskliga hjärnan inom en massa olika områden. Idag har alla som använder exempelvis ChatGPT, Claud eller Llama 3 tillgång till samma "hjärna", och det finns gränser för hur olika resultat man kan få trots att modellerna är tränade på all möjlig information.

Att tänka är mer komplicerat än vad lagens LLMs gör. En människa behöver mindre information än en LLM för att kunna arbeta med den eftersom människan är bättre på att skapa kontext utifrån allt hon har lärt sig och kan ta inn. Om maskiner i framtiden kommer kunna efterlikna en hjärna vet vi i dagsläget inte. Men vi vet an en LLM är så bra på att efterlikna mänsklig interaktion att många människor tror att de interagerar med en annan människa.

Av beh

Den här processen involverar inte tänkande i mänsklig mening. Istället handlar det mer om mönsterigenkänning, statistisk analys och generering baserat på sannolikheter härledda från träningsdata. Även om det kan verka som att en LLM tänker igenom ett problem, utnyttjar det i grund och botten ett stort arkiv av inlärda språkmönster och information för att simulera ett genomtänkt svar.