Inlägg

Vilken överraskning, en side-channel attack i den CPU-design med i nulägets världens djupaste out-of-order execution fönster...

Skrivit det flera gånger tidigare här: är det inte dags att acceptera att man får designa för prestanda eller bombsäker implementation för kryptering. Det är verkligen ett "välj en" fall.

Enda positiva är väl att också detta fall delar egenskapen hos liknande problem hos andra CPUer: krävs i praktiken att den som vill utnyttja sårbarheten har möjlighet att fritt köra program lokalt på datorn. I vissa lägen ett problem i moderna datacenter, förhoppningsvis ett mindre problem på den genomsnittliga laptop/desktop-datorn.

Precis som nu alla moderna CPUer designade för bärbara har "AI-accelering" via NPU bör man framåt designa krypto-bibliotek på samma sätt. Går faktiskt att hantera väl även på många existerade CPU, alla de med "små" kärnor som likt fallet här i stort sätt helt undviker den här typen av problem.

Likt viket annat framgångsrikt företag som helst: Apple gör inget för att vara din vän, de gör saker för att det gynnar dem själva.

Hoppas bara nu att de åtgärder som både USA och EU tar på något sätt leder till att konkurrerande produkter blir bättre, inte att man straffar Apple så pass att deras produkter blir sämre.

Tycker mycket av Apple framgångar bottnar i samma grundläggande orsak som Nvidias: total teknisk överlägsenhet över konkurrenter på områden som många kunder bryr sig om.

Både Apple och Nvidia fattar ju hur överlägsna de är, och tar betalt därefter

När det kommer till "Kortet kan även få en ny strömkontakt." har Ankeborgsprofilen M.Volt postat en bild från sina läckor på Twitter

På den mer seriösa sidan: mer L1 kan mycket väl betyda att ännu lite fler uppgifter som i dag fungerar bäst på CPU kan bättre hanteras på GPU. Det GPUer generellt har problem med är att kommunicera mellan "GPU-kärnor", något som när det sker bäst hanteras typiskt är begränsat inom en SM och begränsat till storlek som får plats i cache.

Har inte kört någon av Nintendo Switch emulatorerna, så undrar en sak: är det ens praktiskt möjlig att på lagligt vis använda dessa emulatorer för att köra spel?

Svårigheten här är att även om man köper ett spel är det fortfarande olagligt att ladda ned ROM:et för det spelet.

Enda sättet att lagligt köra det spelet på en emulator är att man lyckas extrahera innehållet från sitt eget spel-exemplar, något jag uppfattar kräver speciell HW alt. HW-modifierad Switch-enhet.

För ungefär samma pengar får man en Mac med lika mycket RAM och lika stor disk. Kollade lite CPU-benchmarks, 14900HX hänger ju med (fast den drar 3-4 gånger mer...), men M3 Max är i de flesta fall snabbare både i ST och MT (framförallt kompilering vilket lär vara en sak den här typen av maskiner används till).

Kan tyckas vara förvånande att fördelen i CPU-prestanda faktiskt är något större i MT då 14900HX har totalt 24 kärnor och 32 trådar mot 16 kärnor och 16 trådar hos M3. Men MT är ett område där ARM64 specifikt har fördelar mot x86_64, det på ett sätt som bara kan fixas för den senare genom att paja bakåtkompatibilitet.

GPU-mässigt råder det inget tvivel om att RTX 4090 Laptop är snabbare, GPUn i M3 Max ligger mellan 4070 och 4080 i prestanda. Ävenom Apple också här leder i perf/W, är fördelen är inte alls lika stor som på CPU sidan. GPUn i M3 Max ha uppmäts ha peak-effekt på ~50 W. 4090 ligger på 175 W, 4080 på 150 W och 4070 på 115 W.

Men en annan sak som gör en sådan här produkt värd priset är AI-hysterin. Nvidia är ledande med CUDA, men den som är överlägset närmast Nvidia i programvarustöd just nu är Apple. Alla de populära ramverken för AI/ML har "native" stöd för MacOS. Ovanpå det har AI/ML-stödet för ARM64 förbättrats väldigt snabbt då både Apple och Nvidia hjälps åt då Nvidias egen serverplattform använder Arm Neoverse V2 CPU-kärnor.

4090 är utan tvekan snabbare än M3 Max, men så fort man börjar ge sig på LLMs (vilket lär vara där hysterin är som störst just nu) eller "bara" har fall som mår bra av stora dataset (vilket rätt snabbt blir fallet så fort det blir lite mer komplex) har M3 Max en enorm fördel i att den har i praktiken ~100 GB VRAM tillgänglig mot 16 GB för 4080/4090.

Så just AI/ML är nog killer-featurn för M3 just nu och det som enklast kan motivera 70k för en bärbar. De andra möjligheterna att ens kunna jobba med så stora dataset är CPU, med långt sämre prestanda, eller datacenter GPUer som startar norr om 100k...

Ett snabbtest med LM Studio på Acer-datorn hade var spännande. GPU-mässigt borde det AMD testade här ge >60 tok/s med GPU, ingen aning var CPU-delen kan tänkas hamna. Det är ändå ett fullt rimligt use-case för den här typen av dator.

Ett test kräver
LM Studio och denna modell. Söker man efter "mistral-7b-finetuned-orca-dpo-v2-Mistral-7B-Instruct-v0.2-slerp-GGUF" i LM Studio kommer rätt modell upp, ska vara den som är 5,94 GB för att testa de som testas i listan jag postade här (så resultatet kan sättas i relation till något).

Varje gång man ställer en fråga visa prestanda-statistik längst ned. En prompt jag sett folk använda som "benchmark" då det ger ett rätt långt svar är "Tell me about Mars". Egen testning visar att tok/s är rätt konstant oavsett vad frågan handlar om.

Nu finns det säker någon som köper en sådana här laptop som gaming-maskin, men det kanske inte är vad enheten är optimerad för...

Givet att AI/ML i väldigt stor utsträckning körs på Linux (ett klagomål på både PyTorch och TensorFlow är att samma HW presterar bättre under Linux jämfört med Windows, framförallt GPU-accelerering med CUDA) vore det spännande att veta hur bra/dåligt Linux stödet är på den här maskinen. Givet att AI/ML är en av nog rätt få saker som kan motivera inköp av den här typ av bärbara vore det kul med ett snabbtest av t.ex. Ubuntu. Se att det i alla fall bootar, all HW hittas och fungerar + något snabbtest, allt detta kan göras från en USB-sticka/disk utan att röra Windows-installationen.

Även Blender uppvisar bättre prestanda under Linux, är inget jag personligen bryr mig speciellt mycket i men skulle kunna användas som snabbtest av att GPU/CUDA fungerar.

Tycker det är precis vad man brukar se, om något ligger just denna dator rätt bra i pris mot Apple då det faktiskt oftare är så att Windows-laptops tenderar bli dyrare än Mac:arna om de på något sätt är jämförbara i kvalité och prestanda.

De datorer jag använt denna vecka
12+4: M3 Max (ARM64) Primär laptop
4+4: M1 (ARM64) Primär stationär
6: i7-10850H (x86_64)
4+4: Orange Pi 5 (ARM64)
1: CH32V307 (RISC-V)
1: UNO R4 (ARM)
2: RPi Pico (ARM)

Här har du ett gäng servers utspridda över världen, nästan alla är igång och svarar då på ping.

Får själv 100-110ms mot östkusten (Washington D.C och New York) och 160-170 ms mot västkusten (San Francisco, Seattle).
Inte lika kul till Sydney, dit är det 320 ms.

Verkar likvärdig alt marginellt lägre latens via IPv6 om man har möjlighet att köra det.

Märkligt nog får jag lite högre latens från sommarhuset som har öppen fiber + Bahnhof jämfört med Telenors/Comhems kabel-TV modem...

Edit: testade bara på kul latens från AWS EC2 eu-north-1 (Stockholm, men den är väl egentligen i Eskilstuna, Katrineholm och Västerås vilket är "close enough") och eu-west-1 (Irland). Rätt samma latens som hemma från eu-north-1, är ~20 ms lägre från Irland. Det testat mot USA/Kanada.

Gjorde ett snabbtest av prestanda (heltalsberäkningar) i Arduino (fungerade även på CH32V307).

Är en rätt enkel RISCV design... Trots sina 144 MHz är CH32V307 bara 30-35 % snabbare jämfört med "nya" Arduino UNO R4 med sina 48 MHz.

RPi Pico kör på 125 MHz, den är klart snabbast i detta gäng ca dubbelt så snabb som CH32V307. Dock har RISCV och Cortex M4:an i UNO en FPU medan Cortex M0 CPUn i RPi Pico får emulera flyttal.

CH32V307 har överlägset mest I/O, följt av UNO R4, så här hamnar RPi Pico på jumboplats.

Edit: för den som undrar, prylen med USB-kabel + två st 3-ledare med ett hallon på är en SWD-debuggern till RPi Pico. Bara den kostar som 1,5 st CH32V307 kort, så rätt schyst att de slänger med debuggen direkt! Lite trevligare att single-step:a jämfört med dioder och/eller printf()...

Till RPi Pico och även UNO R4 försvar: dessa två må vara dyrare (UNO R4 är rätt mycket dyrare), men de är långt bättre dokumenterade!

Om någon vill jämföra mot sin egen dator så lämnar AMD inte tillräckligt med information. Dock har man på denna sida testat just 7840U och även dess 780M (och orsaken att AMD inte nämner den är för den konstigt nog långsammare än CPU).

Programmet i fråga kan laddas ner här

Här är tabellen

Skulle vara väldigt kul om någon sitter på en 155H laptop och kunde testa både med CPU (som vi får anta presterar som AMD hävdar) och GPU (i Blender presterar faktiskt GPUn i 1x5H riktigt bra mot de AMD iGPUer som idag finns med i Blender benchmark).

Men undrar i detta fall om det är rätt sak att lyfta givet att AMD trots att får rätt bra stryk av Apples 3 år gamla platform (M3 Max ligger ~50 tok/s). Så man är ett B-lag ställd mot Apple och ett C-lag ställd mot Nvidias GPUer.

Nu beror det rätt mycket på vilken tech-stack, program/verktyg du använder om det är väldigt CPU-krävande eller ej.

Utveckling av medelstora/stora projekt tenderar ändå vara rätt krävande och då finns en till aspekt utöver skärmen: hur bra hanterar datorn relativt hög last under längre tid. Är där Dell Precision skiljer sig från Dell XPS och Asus Zenbook, den förra är mer "bärbar workstation" medan de senare är "latte-laptops".

Har en Dell Precision som en av jobbdatorerna, skulle inte själv välja en sådan över Dell Latitude. Som Windows/Linux jobb-laptop är Latitude min favorit. Inte superlätt, men inte heller "gaming-laptop" klumpig. Påminner lite om en Volvo 740; tål det mesta, gör det den ska (men inte mer) och har väldigt hög tillförlitlighet.

Du nämner också Linux: körde under många år Linux som primär desktop, som laptop fungerade Dell Latitude alltid lysande (vilket inte alltid var fallet för många mer "konsumentinriktade" modeller).

Latitude använder typiskt U-serie CPUer, medal Precision kör H-serien. Den senare är snabbare, men då dessa två laptops är snarlika i storlek och de snabbaste H-serie modellerna kommer trottla rätt ordentligt under riktigt tung last tror jag inte det är så superstor skillnad i prestanda.

Latitude finns numera med t.ex. Intel Ultra 165H.

Du vill ju undvika MacOS, men råder inget tvivel om att en Latitude med Intel Ultra 165H inte är någon Apple M3 sett till prestanda. Framförallt inte för utveckling som är en de saker där "Apple Silicon" är speciellt stark i.

Edit: inser det märkliga in mitt svar nu, 165H är just en "H" CPU. Har inte testat en dator med "Intel Ultra" modell än, tycker ändå Ultra 1x5H serien är mer som U-serien med 25-30 W TDP (d.v.s. "högpresterande" U-serie, finns sedan med <=10 W samt ~15W varianter) än traditionella H-serien.

Då Latitude är en hyfsat tjock dator för att använda 165H kan man anta att de dragit upp cTDP en del -> lär vara mindre skillnad mot Precision jämfört med tidigare när man använde "vanliga" U-modeller i Latitude.

Beror nog väldigt mycket på definition av "optimera spel".

Det uppskalning, då främst "frame generation", ger spelutvecklare än möjlighet att använda betydligt mer avancerade tekniker och ändå nå en viss FPS-target.

Om det är bra eller dåligt skulle hävda att det beror på spelgenre. Kanske inte rätt för twitch-spel, men helt rätt om man vill uppnå så fysisk korrekt rendering som möjligt då det tillåter mer avancerade beräkningar (som t.ex. path-tracing av ljus).

Sen som flera redan varit inne på: om valet står mellan säg 2560x1440 "native" och 4k med DLSS lär det vara väldigt få som skulle hävda att den förra ser bättre ut. Även vid samma upplösning gör uppskalning att man kan köra högre inställningar, beror lite på titel hur stor skillnaden är mellan de olika nivåerna men när det finns relevanta skillnader blir det ju bättre med uppskalning.

Just det är ett ställe jag gillar tekniken, ser rätt mycket bättre ut att köra 3456x2234 (native på 16" MBP) med MetalFX än att dra ned upplösningen för att nå en viss FPS-target. Rätt coolt att kunna köra moderna spel i den höga upplösningen på en laptop!

Här tycker jag ändå att det är väldigt viktigt att hålla isär två saker:

DLSS-framgenerering (det som kom med DLSS 3) kan man i någon mån kalla för “fuskpixlar”, eftersom det är ett sätt att öka FPS genom att helt interpolera fram en bild mellan två renderade bilder.

Att man sedan i praktiken kan göra rätt bra interpolation när man har hastighetsvektorer på objekt och gör per-pixel-analys av hur varje pixel rör sig (så kallad “optical flow analysis”) ändrar inte det faktum att man genererar N antal bilder med mindre information än om man inte använder tekniken.

Vad som kanske inte är lika uppenbart med “vanlig” DLSS är att tekniken fungerar på ett sätt som gör att det inte är “magi” att uppnå “bättre än native”-kvalitet. Med DLSS “quality mode” finns i någon mening cirka 50 % mer information vid renderingen av varje bild jämfört med “native” utan TAA.

Den mest uppenbara artifakten som DLSS/TAA tar bort är “blinkande pixlar” (shimmering) som uppstår när saker med rätt stor kontrast renderas så att hela eller delar av objekten upptar mindre än en pixel på vissa ställen. “I verkligheten” uppfattar ögat sådant som någon form av genomsnitt av färgerna mellan objekten, vilket “native” inte kan återskapa, men DLSS/TAA kan.

För att svara på frågan.
Är det inte dags att släppa att DLSS 1.x sög? Underliggande teknik (som också används av FSR, XeSS, MetalFX med flera) uppvisar i min mening redan så många fördelar att det knappast längre råder något tvivel om att det kommer vara en självklar teknik att använda framåt.