AMD släpper beräkningskretsarna Instinct MI300 – utmanar Nvidia om AI-kronan

Det är en superintressant framtid och utvecklingen går så himla fort fram på även hårdvarusidan. Jag själv upplever att även hårdvaruutvecklingen inom Ai går lite som datorutvecklingen runt år 1995. Där man kanske slet ihop 20 000kr för en värstingdator, något år sedan köpte en bekant en dator för 10 000kr som utklassade ens dator på alla sätt och vis.

Detta leder till att även om hårdvaran är superintressant, så blir det snabbt bortkastade pengar på den för privatpersoner om de bara köper för använda lite. Så jag själv kommer därför inte privat köpa någon extern Ai hårdvara för de blir så snabbt gamla och tappar värde så snabbt.

Jag upplever dock att de flesta vanliga dataintresserade personer har lika stort intresse för Ai hårdvara som de hade för utbyggnad av 3G strax efter år 2006. Då de hånskrattade åt folk som sa att de hade behov att kolla på mail och annat från mobilen, det är bara trams. Alltså som behov av Ai lokalt på sin dator är idag.

Här har vi framtiden! Både spännande och en aning oroväckande.

Fråga är dock hur mycket av marknaden för grafikkort som kan ersättas med igpu.

En enorm fördel hade varit om detta återlivar sli/crossfire lösningar.

Kina vill nog ha det mesta av toppmodellen om de får.

Ja inte bara server även många produktivetets program kan dra nytta av det. Men ändrar inte faktumet att för spel så är det helt dött.

Hoppas själv att man lyckas lösa det nån gång, som när mitt 7900 xt inte riktigt räcker till så kan jag bara peta in ett 8800 xt och få dubbla prestandan! (ja man kan juuh alltid drömma)

I allra högsta grad, jag byggde nyligen ihop drömdatorn man önskade att man hade när det begav sig..
En I7 2700k 2st r9 290, allt i ett Thermaltake Xaser II chassie. Den fräser på ganska bra (mediokert med dagens standard) i dom typ 3 spelen som gjorts på senare tid med CF stöd...typ Far Cry spelen.

Jag tar 2!

But can it run crysis?

Varför behöver man AI-specifika kretsar till kärnvapensimuleringar?

Det behöver man inte, men det underlättar och man kan få bättre resultat.
Om vi tar manhattan projektet så behövdes det 125 000 personer i detta projekt, det är svindyrt om man endast ser på arbetskostnaden och helt bortser från det andra som också kostar.

Där vi kommer in i dilemmat all all ny teknik går använda åt dumma saker, många trodde internet totalt skulle rasera samhället. Med internet har ungdomar tillgång till så många dumma idéer och annat så det ej är klokt.
Jag tror dock inte så många som förespråkar att vi ska förbjuda detta internet.

Den stora risken jag ser med Ai är att vi kommer på efterkälken. Andra länder kommer då slå ut oss konkurrensmässigt när de kan producera saker med lägre kostnader.

Har rätt dålig koll på HPC-marknaden, med det lilla jag känner till om den säger faktiskt att Nvidias fördel är klart mindre där jämfört med övriga marknader.

Orsak? HPC-marknaden är speciell i det att både HW men även programvara är betydligt mer specialdesignad för en specifik uppgift och specifik HW vilket gör Nvidias överlägset viktigaste fördel, långt bättre och mer mogen programvara för GPGPU, mindre viktigt.

Så fort man lämnar HPC är det just AMDs programvara som fallerar, de är inte inte ens tvåa efter Nvidia. Realistiskt är AMD på fjärde plats efter Apple och Intel.

Apple är en bra bit efter Nvidia när det kommer till stöd, men de har idag en klar andraplats i hur mycket som stöds "out-of-the-box". Intel har nått hit mycket p.g.a. att de dels började satsa på OneAPI långt innan deras GPUer kom ut på marknaden + deras MKL användes redan tidigare i många program på CPU och med OneAPI får MKL även GPGPU stöd.

AMD pushar ROCm 6.x för MI300, de säger bl.a. detta

"Important: The next major ROCm release (ROCm 6.0) will not be backward compatible with the ROCm 5 series"

Det är inte ett tecken på mogen programvara. En programvara som i praktiken är en shamless rip-off på Nvidias CUDA. D.v.s. man säger redan från start: vi är den billiga kopian som alltid kommer ligga en eller ett par generationer efter originalet (namngivningen är en rak översätt från Nvidias cuXyz till hipXyz).

Vidare, detta är officiella stödet man ger för ROCm på konsument GPUer

Jämför det med Nvidia, CUDA fungerar på alla deras GPUer (från modeller som 1030 till datacenter). Mängde applikationer som har stöd för CUDA är långt före alla andra.

Intel och Apple har inte lika bra stöd, likt Nvidia har de stöd för alla aktuella GPUer men de har inte alls stöd lika långt bak. Apple har redan delvis börjat droppas stödet för Radeon, även om det mesta fortfarande fungerar. Intel stödjer delvis GPUer från Broadwell, men mer avancerade saker fungerar i praktiken bara med Arc (t.ex. Blender, GPGPU-acceleration av AI, m.m.). Men man stödjer alla Arc, inklusive kommande iGPUer i Meteor Lake (fast gissar att de likt AMDs iGPUer som bästa drar jämt med Apple instegsmodeller och är helt chanslösa med Pro/Max modellerna).

Specifikt för GPGPU är frågan varför någon tycker ROCm är en bra idé. Ingen annan än AMD använder det, samtidigt finns en vettig standard ("open-source" är inte samma sak som "standard") i form av Khronos SyCL. Visst gäller det första även för CUDA, men nu råkar Nvidia fått det till branschstandard p.g.a. att tekniskt överlägsenhet under många många år...

SyCL är skillnad från OpenCL faktiskt är bra! För de som inte gillar Apple: OpenCL designades av Apple så skyll på dem för att i praktiken ge GPGPU-marknden till Nvidias CUDA under många år (det var uppenbart för "alla" hur brutalt mycket bättre CUDA alltid varit jämfört med OpenCL)...

Intel må ha en del egen APIer i OneAPI, men OneAPIs GPGPU-del bygger ändå helt SyCL. ARM-lägret (minus Apple som kör Metal Compute) kör också på SyCL. Intel har också lagt in SyCL stöd för Nvidias GPUer i OneAPI, inte för att de vill utan för att de fattar att de måste givet Nvidias dominas.

Kul att du också upptäckt fördelarna med Apples produkter! Men du vet då också att denna produkt riktar sig mot HPC-marknaden samt datacenter, Apple har egentliga inga produkter riktade mot den marknaden.

Men som du som Apple-fan vet, men kanske inte är lika självklart för de flesta på SweC, är att det speciella med Apple Silicon är att det i praktiken är de enda konsumentprodukterna som realistiskt kan användas för att utveckla och testa de dataset som Hopper och MI300 riktar sig mot.

Orsaken är att t.ex. de mer avancerade LLMs (Large Language Models) som finns får inte alls plats i de 24 GB RAM som AMD/Nvidias toppmodeller på konsumentsidan har. Finns inte tillräckligt med VRAM går det i praktiken inte att köra dessa laster på ett vettigt sätt.

Apple M3 Max har inte samma prestanda som MI300 och H100, men det går att utrusta Apples system med liknande mängd VRAM. Apples fördel är, kanske lite oväntat, ett långt längre pris för att kunna köra den här typen av laster.

En M3 Max med 128 GB RAM är 5-7 gånger billigare jämfört med H100, MI300 priset är vad jag vet inte satt än, men det lär hamna i samma nivå som H100 (så någonstans runt 250k-500k SEK per kort).

Du får fortsätta posta här så kanske fler fattar de tekniska fördelarna med 

Klient vs serverhårdvara bör ej prisjämföras. Det är lite som att jämföra en Rolls royce emot en trimmad Volvo 740.
Problemet överallt är dock den extrema utvecklingen, så oavsett vad man köper så kommer ens hårdvara inom Ai vara riktigt dålig emot det som finns om 2år.
För vanligt folk så dröjer det inte före mitten av 2024 innan de i windowsvärlden börjar nyttja Ai med windows 12. Vi får se vad som händer, jag tror att hypen är överdriven. Men det går sakta framåt.

Jag skulle tro att de flesta som jobbar med Ai gör det i molnet, många som mig kan göra det helt gratis, Microsoft m.fl. står för hela kostnaden så länge man bara labbar och använder det som ingår i ens partnerskap.

Noterar att AMD-aktien tog ett litet skutt i onsdags, sannolikt till följd av den hör nyheten. Trevligt. Har varit lite i valet och kvalet om jag ska behålla dem på längre sikt. Men nu blir det nog att sitta på dem