Vad Swan har en poäng kring är att enskilda benchmarks har i allt större utsträckning blivit mindre relevanta. Backar man 15-20 år när vi satt med 1-2 kärnor gav de flesta benchmarks en hyfsad bild av prestanda, det oavsett vad man skulle göra så länge problemet var beroende av CPU-prestanda.
Trenden idag är att alla problemområden av någon större vikt får dedicerat stöd direkt i kisel. Det medför att resultatet benchmark som testar problemområde A kan vara totalt irrelevant för hur samma system presenterar i problemområde B.
Även inom ett problemområde kan benchmarks bli totalt missvisade. Ta Blender där man i praktiken bara testar ett enda specifikt fall: final render när det utförs på CPU. Det kan vara en relevant benchmark, men inte ens för en majoritet av de som använder just Blender är det den mest relevanta siffran då just det steget idag utförs långt snabbare på Nvidias RTX-serie GPUer samt att den mesta tiden en kreatör jobbar med Blender läggs inte på final-render utan på modellering, simulering etc. Dessa steg är i många fall också väldig krävande, men till skillnad från final-render kan de inte effektivt accelereras av GPUer eller multi-core CPUer, utan de beror primärt av enkeltrådprestanda!
Benchmarks är fortfarande högst relevanta, men det krävs långt mer från den som konsumerar resultatet idag. Man måste både förstå vad en benchmark faktiskt är ett test av samtidigt som man förstår vad flaskhalsarna i det man själv gör består i.
Vad jag tror Swan försökte peka på, men är inte säker vilket visar hur han i så fall misslyckades, är att ofta finns långt viktigare aspekter än rå CPU-prestanda. Ta t.ex. GPGPU, ett område som AMD inledde med sitt köp av ATI och där AMD många gånger rent tekniskt haft prestandakronan mot Nvidia. Ändå är Nvidia totalt dominerande idag inom GPGPU, varför?
Där handlar det enbart om att Nvidia haft något som varit i samma härad vad det gäller rå prestanda, men de har haft (och har fortfarande) den klart bästa lösningen för att man faktiskt ska kunna använda GPGPU tack vare sin CUDA-plattform. Även här har benchmarks inte varit helt ovikta, hade Nvidia legat hopplöst efter i benchmarks hade GPGPU endera aldrig tagit fart (för programvaran utanför CUDA fram till väldigt nyligen har verkligen varit bedrövlig) eller så hade AMD varit ledaren nu. Så benchmarks spelar roll för de är en kritiskt komponent, av flera, när det avgörs vilken lösning som kan antas vara "bäst".
Undrar om det verkligen är AMD som Intel primärt oroar sig för. Fördelen för Intel när det är AMD man konkurrerar mot är att det "enda" man måste göra är att få till en snabbare produkt som "vinner" benchmarks igen. Vore märkligt om Intel inte lyckas med det inom några år givet att de har en tiopotens mer resurser.
Intels riktigt problem är om strömmen går bort från x86, för i det läget lär man aldrig få tillbaka de man tappar. ARM för tillfället avnoterat från börsen (uppköpta av Softbank), det gör det enklare för dem att hålla saker borta från rampljuset innan det är klart att presenteras. Cortex X1 lär ha varit en rejäl kalldush för Intel, AnandTechs kommentar är spot-on
"What’s really shocking here is how close Arm would be getting to Intel and AMD’s current best desktop systems in terms of performance. If both incumbent x86 vendors weren’t already worried about Arm’s yearly rate of improvement over the last few generations, they should outright panic at these figures if they actually materialize – and I do expect them to materialize.
...
For years we’ve wanted Arm to finally go for no-compromise performance, and the Cortex-X1 is seemingly exactly that."
Markerade visar var huvudproblemet ligger: att man redan är totalt omkörd i perf/W (Cost Analysis - An x86 Massacre, prestanda per vCPU är ungefär samma hos Amazons Graviton 2 som AMD/Intels modeller, men priset är långt lägre då dels Amazon själva designat HW samt perf/W är ungefär 2:1) och lär bli omkörd även i absolut prestanda, det p.g..a tekniska fundamentala orsaker som inte kan fixas inom ramen av x86.
Är nog ingen slump att Intel accelererat sina investeringar i teknik utanför x86-CPUer. Intels omsättningen utanför x86-CPUer överstiger redan hela AMDs omsättning, man vet att det är en fight som kommer förloras men man vill dra ut på det så mycket det bara går.
Ett område man kan ha något stort på gång är oneAPI. Jensen Huang har redan förklarat hur detta aldrig kommer fungera, får se om han har rätt, för annars är Nvidia illa ute då oneAPI i teorin löser den sista stora pusselbiten CUDA inte löser: CUDA är lysande för att skriva programvara för GPU, men det finns inget standardmässigt sätt att köra den programvaran på ett system som saknar Nvidia GPU. Det dämpar kraftigt användbarheten då det dra upp kostnaden när man alltid måste utveckla (minst) två versioner.
Om oneAPI fungerar är det problemet ur vägen. Endera har man en GPU som är kompatibel, då används den. Men exakt samma kod kompileras också till CPU+SIMD, d.v.s. en väldigt effektiv CPU-version som automatiskt inte bara utnyttjar alla CPU-kärnor utan det drar också nytta av SSE/AVX (fast det blir ändå inte lika snabbt som ens en modern mellanklass GPU). Det kan riktigt få fart på GPGPU accelererade program och därmed göra benchmarks som Cinebench helt meningslösa i deras nuvarande format.