Behöver dator för snabb AI-användning och lite spelande. (Under 50k)

Utifrån SD: pga. VRAM har du 3090 och 4090 att välja på. Beg. 3090 ligger bra i kurs här på sweclockers. Huruvida 4090 är värt det beror väl på hur ditt arbetsflöde ser ut och hur du värderar din tid. Steget från mitt 3080 (inte alltför långt efter 3090 i prestanda) till samma 4090 som du kollar på går ju inte motivera utifrån pris/prestanda-ratio (fast det är nära om man kollar på rena FLOPS, 4090 har brutal prestanda), men 4090 är klart bekvämare att utforska nya idéer med.
Största nackdelen med 4090, iaf för mig som är ljudkänslig, är att man med modell väljer mellan högljudda fläktar och coilwhine, och coilwhine från MSI-kortet gör det till den klart högljuddaste komponenten i min dator. Tur nog är det inte det skrikande oljudet som vid gaming i hög fps, utan ett knattrande läte i stil med hur hårddiskarna kunde låta då du byggde dator sist. Följer hur många iterationer/sekund som SD levererar för stunden. Rätt överkomligt ljud, men jag hade hemskt gärna sluppit det. Det ger med sig en del vid större batches också.

M2 Max/Ultra har betydligt bättre prestanda på GPUn rent generellt än M1, vet inte säkert om det gäller AI-tillämpningar också. De lyckades inte få M1 att skala särskilt bra med fler GPU-kärnor men det är löst i M2.

Med en M1/M2 Ultra med mycket RAM kanske man minskar risken något att vara begränsad i modellstorlek, men istället blir man begränsad av mjukvara då Nvidia/CUDA är "the gold standard". Vad gäller bang-for-the-buck utan att vara onödigt begränsad av VRAM är det nog en dator med en begagnad 3090 som är bäst i 99 % av fallen. Men har man 50k att bränna borde man väl kunna få in en 4090 i budgeten...

Dock är jag ingen expert på det här, rätta mig gärna om jag har fel.

Börjar ta lite fart nu för AMD, speciellt när de köpte upp nodai SHARK nyligen, kul!
SHARK med bl.a. StableDiffusion fungerar ganska bra på RX 6800 men har hittills bara fått det att fungera mend Vulkan utan ROCm (trots att jag har ROCm installerat, måste undersöka stödet senare).
Apropå ROCm så har Blender (med HIPRT) bättrats på på sistone kring rt rendering, så det har varit kul att bygga blender med detta stöd och då även kull att få se AMD äntligen får fart på sin CUDA variant.

Har precis börjat med SHARK så kan inte säga annat än att Nvidia ÄR klart bättre på mjukvarudelen och stödet kring det hands down, vilket är välförtjänt med tanke på hur mycket de har investerat i CUDA.

Hursom 5it/s för StableDiffusion med SHARK på en RX 6800 är inte fy skam, och då med Vulkan. Ska försöka se om jag kan få till ROCm att fungera någon dag, hade velat få ControlNet att fungera också men det ser ut att dröja då de verkar sakna stöd.
Läste tidigare lite hastigt om att whisper stöder AMD kort (samt att det finns benchmark kring det i denna tråd märkte jag ) så AMD korten är kanske inte helt och hållet uträknade för ditt användningsområde med tanke på VRAM. (Dock är CUDA stödet bättre just nu)

Gällande förslag för din plattform så ser jag ingen vinning utav att ha en biffig processor för AI, såvida du själv inte skulle utveckla egna neural nets som då har behov av CPU kärnor (genom egna algoritmer och strukturer).

Det skulle däremot istället kanske vara intressant för dig att titta på en Threadripper plattform med "bara" 8-16 kärnor.
Detta körandes med idag ett 4090 men som senare ska kunna uppgraderas genom att lägga till flera beräkningskort och då köra dem tillsammans (eller samtidigt för parallella jobb) med tanke på alla PCIe banor plattformen tillför; Samt mängden RAM den också tillför kan vara till nytta för dig eventuellt.

Beroende på vad för modeller samt vilka "färdiga paket-program" du kör (som automatic1111 shark e.t.c.) för att bl.a. köra stable diffusion, andra LLM eller t.o.m. multi model, så kan dessa eventuellt stödja multi gpu compute(?) eller bör åtminstone kunna köras parallellt tänker jag.
Har själv inte riktigt koll på den delen men värt att se över.

Inworld själva nämnde att de kör runt 35 modeller samtidigt för att få sin NPC-Chatbot att fungera efter deras kriterier Så jag tror ganska starkt på att vi framöver kommer köra flera modeller samtidigt, där människans interface till dessa modeller blir mer sannolikt ett LLM speciellt om det börjar bli allt för komplext för att pilla på flera modeller samtidigt.

Bygger du egna neural networks så kan du givetvis utnyttja flera gpu:er till det, vilket skulle ge Threadripper plattformen en klar fördel (eller om Intel tar fram en liknande plattform).

Själv kommer jag titta på Threadripper framöver och även undersöka om andra compute kort som Tenstorrent skulle fungera för just mig, men jag bygger egna neural nets och vissa är inte riktigt kompatibla med t.ex. back propagation algoritmer men det är kanske en annan diskussion för en annan dag.

10GB VRAM var rätt plågsamt, valet var mellan 3090 och 4090 för mig där också, menade bara som prestandajämförelse.

Jag har hört rykten om att det ska ha dykt upp nya revisioner av 4090-kort där spolar osv är bytta, dels pga. kritiken/RMA, dels pga. de korrekta grejerna nu går att få tag på efter att covidkomponentbristen lättat, men utan att de indikerar ny revision på något sätt. Ska isf gälla att köpa ett tillräckligt nyproducerat bara, men har inte kollat närmare på det eftersom jag redan har ett kort.

Tycker du ska fråga din IT-chef. Verkar ju ytterst märkligt att du får bygga själv med tanke på Whisper...

(noterat är ditt reg.datum)

# gpu   pwr gtemp mtemp    sm   mem   enc   dec  mclk  pclk    fb  bar1 rxpci txpci
# Idx     W     C     C     %     %     %     %   MHz   MHz    MB    MB  MB/s  MB/s
    0     22     25      -     0      0      0      0    405      0   7493      5      0      0 
    0    121     37      -   100     47      0      0   9501   1815   8969      5     21      7 
    0    318     39      -   100     48      0      0   9501   1815   8971      5     24      6

# gpu   pwr gtemp mtemp    sm   mem   enc   dec  mclk  pclk    fb  bar1 rxpci txpci
# Idx     W     C     C     %     %     %     %   MHz   MHz    MB    MB  MB/s  MB/s
     0    116     42      -    37      1      0      0   9501   1860   6805      5  10992   1311 
    0    159     45      -    57     16      0      0   9501   1980   8201      5   4379   4274 
    0    225     47      -    59     16      0      0   9501   1920   8321      5   2075   1743 
    0    315     50      -   100     45      0      0   9501   1770   8969      5     24      7

Det finns en kostnad att synkronisera och köra hela neural nets över flera kort; Tror heller inte att stable diffusion i sig stödjer multi gpu out of the box(?).
Finns en fördel som jag nämnde om man kör flera modeller parallellt de s.k. "multi model" tänket. Istället för en "holistisk" eller en massiv monolitisk modell, så kommer vi säkert se flera små specialiserade körandes parallellt.
Vi ser redan nu med OpenAIs ChatGPT ha Dall-e, image recognition och data analysis körandes i en och samma prompt parallellt (rullas ut stegvis nu för GPT4+ kunder/testare).
Tanken med flera små specialiserade modeller är att det inte behöver överföra själva neural nets data (över flera kort) utan enbart slutresultaten mellan modeller, som kan köras i samma kort om det får plats eller över olika kort, det är så Tenstorrent arkitektur är uppbyggt och filosofiskt uttänkt både hårdvarumässigt och mjukvarumässigt i grunden (med olika precision).
Vad man kan göra med Stable Diffusion idag är att ha en bild genererat per gpu åtminstone, har man då låga krav på överföring mellan korten så kanske man kan ta en desktop platform med flera PCIe slots körandes i 8x eller 4x.

Bygger du egna "monolitiska" neural nets och vill köra dem över flera kort behöver den ha algoritmer (och arkitektur) som fungerar med låga synkroniseringskrav (träning som inference), såvida du inte har NVLINK eller liknande dyrare lösningar.

SHARK, Automatic1111 och liknande paket kör flera modeller, där skulle det finnas goda möjligheter för att ha en LLM Prompt istället som man ger instruktioner till av vad man vill åstadkomma, som i sin tur orkestrar flera modeller under huven, likt vad OpenAI gör och går mot nu.

Hur stor uppskattar du den att är? Hur ofta tänker du att man skiftar modeller?

Mer specifikt, när tänker du att merkostnaden för threadripper jämfört med ovan blir motiverbar för OP?