Jobbar man med relativt stora modeller kommer framförallt träningen av dessa modeller köra långt snabbare på GPU.
Något man märker med ML är att det kan varar väldigt stor varians mellan fall, så även var saker kör bäst. Det är relativt vanligt att inference-steget går snabbare (ibland väsentligt snabbare) på CPU. Exakt resultat beror på flertalet faktorer, primärt
hur många fall för man inference på samtidigt (typiskt, hur många element har du i första dimensionen på din input-tensor), kör få element kommer det nästan alltid vara snabbare på CPU, kör man väldigt många kommer det tilta över mot GPU förutsatt att nätet är "tillräckligt stort"
Ju fler vikter man har i modellen, ju sannolikare är det att GPU är fördelaktigt
I både x86 och ARM64 har man stoppat in en rad rätt specialiserade instruktioner just för att accelerera "AI", både träning och inference blir snabbare men ofta är bandbredd mot RAM rätt snabbt en flaskhals i träning så effekten från dessa instruktioner spelar ingen roll. Och här blir GPUer långt snabbare då de har långt högre bandbredd mot RAM.
Är i fallet där RAM börjar bli flaskhals jag gissar att X3D CPUerna blir slagna av sina syskon utan den extra cachen. Väldigt stor cache har två primära nackdelar: det tar väldigt många transistorer och det ökar latens mot RAM vid cache-miss.
"AI" är på många sätt en rejäl outlier i vad som är flaskhals, vilket i.o.f.s. spel också är.
"AI" får enorm acceleration av "udda" instruktioner som AVX-VNNI / AVX-512, samt har i många fall enorm skalning med RAM-hastighet (då primärt bandbredd, latens spelar mindre roll). Att t.ex. en M1 Pro är typ dubbelt så snabb som 7800X3D på att köra LLMs på CPU beror nog väldigt mycket på att den förra har betydligt bättre bandbredd mot RAM (4 kanaler mot 2 kanaler).
Spel är ju en annat klart avvikande fall, det är egentligen det enda fall där den stora cachen i X3D CPUerna hjälper till. Vissa andra fall verkar se lite förbättring vid större L1/L2-cache, men större L3-cache påverkar i praktiken inte alls.
Sen är det (tyvärr?) så att konsolerna rätt mycket ser till att spel har blivit allt mindre CPU-bundna, de är rätt CPU-svaga jämfört med moderna PC.
CPU-kraftberoende är rätt svårt att skala i ett spel medan det är rätt enkelt att skala grafiknivån. Därför man idag i praktiken behöver köra ett 4090 i 1080p eller 720p om man vill se någon skalning med CPU. Spel har historiskt varit mer CPU-bundna än de är idag (men självklart finns alltid avvikande fall). Historisk var CPU-delen i konsolerna, i alla fall vid release, klart konkurrenskraftiga med samtida PC, men idag är konsolerna i praktiken en nedskalad PC redan vi släpp (fast de har nog bättre GPU idag relativt samtida PC).
