Nvidia Ampere – en teknisk djupdykning

Vadå 2080ti släpptes ju för två år sedan. Det har väl fungerat så här dom senaste 20-30 åren?

Det går självklart inte att jämföra antalet CUDA-kärnor rakt av mellan olika kretsar. Däremot är grafikrendering, framförallt i högra upplösningar, något som skalar nära nog perfekt med kapaciteten hos CUDA-kärnorna.

Kapaciteten är antalet CUDA-kärnor * genomsnittlig frekvens.

För att visa att detta faktiskt stämmer i praktiken testade jag att ta alla Turing modeller:

2060, 2060S, 2070, 2070S, 2080, 2080S samt 2080Ti

Plotta antal CUDA-kärnor * (basfrekvens + peakfrekvens) / 2 mot SweC prestandaindex i 4k. Gjorde även linjär-regression och plottade residualer. Det sista är viktigt, om det finns ett mönster i residualer är modellen antagligen felaktigt. Om residualer sprider sig i stort sätt slumpmässigt runt nollpunkten har man antagligen en bra modell.

Svårt att se hur det inte är nära nog perfekt skalning med kapacitet hos CUDA-kärnor. Man måste som sagt tänka på att 2080Ti är relativt lågt klockad med t.ex. 2080S och framförallt 2070S är högt klockade. Så man kan inte bara titta på antalet CUDA-kärnor utan man måste titta på produkten mellan CUDA-kärnor och frekvens.

Varje grön punkt är CUDA-kärnor * (basfrekvens + peakfrekvens) normaliserat mot 2060.
Röda linjen är bästa anpassning, tre stjärnor betyder att modellen har väldigt bra anpassning till data och residualen är mycket bära 1.0.

Rådata från anpassningen

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   38.015      3.833   9.917 0.000178 ***
Cap           58.363      2.493  23.414 2.65e-06 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 2.499 on 5 degrees of freedom
Multiple R-squared:  0.991,     Adjusted R-squared:  0.9892 
F-statistic: 548.2 on 1 and 5 DF,  p-value: 2.645e-06

residualer i plottad form

D.v.s. Turing skalar rätt linjärt med CUDA-kapacitet om vi använder SweC prestandaindex för 4k som referens.

Det är mycket möjligt, men det är också ungefär det jag såg skrivas i trådarna när 2000-serien recenserades.

Det är ju praktiskt taget alltid en dålig idé att köpa första generationen av något och förvänta sig mirakel, eller förvänta sig att hårdvaran ska hålla länge. Många sa att man skulle vänta till gen 2, och här är vi nu.

Jag är varken sur eller Nvidia-fanboy. När jag köpte mitt 2080ti för två år sedan hade kombinationen kryptoboom och brist på konkurrens trissat upp priserna. Jag kunde välja att köpa ett överprisat nytt 20-kort eller ett överprisat begagnat 10-kort. Senaste 2 åren har 2080ti-kortet tjänat mig väl. Kommer säkert uppgradera snart igen, men eftersom jag inte är en fanboy kommer jag inte köpa 30-serien på releasedagen utan vänta in vad AMD och Intel har på gång. Jag har ju trots allt ett kort som fortfarande klarar det mesta så jag har tid att vänta en stund. Kanske rent av på ett eventuellt kommande 3080ti eller RDNA2.

Angående priser så är det väl sunt att begagnatpriserna går ner till mer normala nivåer efter tider då folk vill ha nära nypris på 4 år gamla kort.

Sen ska man kanske inte köpa dyra entusiastprylar om man inte har råd att ta en väsentlig värdeminskning...

Äh, mitt RX580 är mycket bättre än Ampere!
Om jag säger det tillräckligt ofta så är det korrekt?

Ryzen är långsammare för spel (cpu-flaskhals, mycket pga ram-latenser), intel är flaskad av PCIe 3 till viss del. Ingen av som kommer vara perfekt. Lite som att välja toapapper eller bidé, skit blir det ändå

Well, det diskussionen initialt handlade om var huruvida påståendet att prestanda skalar linjärt med CUDA-kärnor kan anses korrekt. Skulle säga att det är ett korrekt påstående förutsätt att man jämför ISO-frekvens alt. jämför CUDA-kärnor * frekvens. Det oavsett om man tittar på Pascal, Turing eller Ampere.

Är inte heller så att stora kretsar inte kan vara högt klockade, om jag inte kollat fel är 2080S den näst högst klockade kretsen samtidigt som den också är den näst största Turing-kretsen för konsumenter (om man kallar Titan en krets för proffs).

Var faktiskt lite förvånad över hur linjärt det ändå är för Turing givet att 2070, 2070S och 2080 alla har exakt samma bandbredd mot VRAM. Det pekar på att den serien har i de flesta fall mer VRAM-bandbredd än vad som behövs i de flesta fall, d.v.s. VRAM-bandbredd inte en relevant flaskhals (i alla fall inte i 4k i de spel SweC testar).

Rätt säker att Ampere kommer skala precis lika linjärt som Turing, framförallt givet att Nvidia verkar balanserat VRAM-bandbredd helt med CUDA-antalet. 3080 har ~50 % fler CUDA-kärnor och ~50 % högre VRAM bandbredd mot 3070, 3090 har ~20 % fler CUDA-kärnor och ~20 % högre VRAM-bandbredd mot 3080.

Mellan mikroarkitekturer måste man multiplicera med en konstant (i.e. annan lutning på linjen, men fortfarande linjärt). Värdet på den konstanten beror på hur mikroarkitekturen förändras mellan de versioner man jämför. Ställer man Pascal mot Turing är konstanten >1, d.v.s. en CUDA-kärna i Turing utför i genomsnitt mer än i Pascal. Ställer man Ampere mot vare sig Turing eller Pascal är konstanten <1, d.v.s. CUDA-kärnorna utför i genomsnitt mindre där.

Ampere kompenserar det med att varje CUDA-kärna också tar klart färre transistorer, så går ha långt fler.

Hela poängen med RTX IO och DirectStorage är att det är mycket effektivare än att låta CPU;n hantera det. Nvidia menar att för samma prestanda en PCIe 4 SSD kan leverera behövs runt 24 CPU-kärnor som jobbar 100%. Genom att låta GPU;n hantera det kapas mycket overhead, som annars tar bandbredd, och dekomprimeringen sköts av Tensor-kärnor som gör det betydligt bättre än CPU.
VRAM utnyttjas snarare mer effektivt då det inte kommer finnas samma behov av en stor cache. Kan du fylla VRAM på en sekund behöver du inte sitta på en massa data där utan kan streama den efter behov. Blir bussen en flaskhals finns PCIe 4. Minnebandbredden på 95GB/s kan säkert klara upp till 7-8GB/S (minus vad som nu redan används) för RTX IO. Det är annars ett problem för spelutvecklare hur resurserna används.

För övrigt är det rena dumheterna att tala om DLSS som fusk. Det är kort och gott en teknik som tillåter grafikkortet att jobba smartare istället för hårdare.

RTX IO borde, om något, minska behovet av VRAM då en av de trevliga sakerna med tekniken är att kunna ladda komprimerade texturer rakt in VRAM, hålla dem komprimerande så långe de inte ingår i aktuellt "working-set".

Att gå från komprimerade till uppackade texturer belastar överhuvudtaget inte PCIe-bussen då det sker helt i VRAM, så där vinner man ju också då texturerna är ~hälften så stora när de faktiskt belastar PCIe + då man kan hålla mer i VRAM behöver man rimligen ladda upp nya saker mer sällan.

Enligt Microsoft har nuvarande "open world" spel ungefär en budget på 50 MB/s av "asset", d.v.s. det är inte i närheten vare sig PCIe 3.0 x16 gränsen (16 GB/s per riktning), NVMe x4 (4 GB/s per riktigt) eller ens SATA (0,6 GB/s). Och om det stämmer ju med det mätningar visar: för spel finns idag ingen relevant skillnad mellan SATA SSD och NVMe SSD.

Slutligen: om man går på vad som sagts om RTX IO utförs det på Tensor-kärnorna. Kan bli ett problem i spel som använder DLSS, men i övriga spel används inte Tensor-kärnorna alls så borde rimligen inte bli någon större prestandapåverkan.

Huvudpoängen med RTX IO verkar vara tre saker

• avlasta CPUn från att behöva packa processa relativt mycket data, det kostar dels CPU-cykler och det "trashar" CPU-cachen

• få plats med mer i VRAM då texturer kan laddas in komprimerade

• ännu ett användningsområde för Tensor-kärnorna, de är inte helt lättanvända i spel