Nvidia uppges omdefiniera antalet CUDA-kärnor i Geforce RTX 3000

Enligt Digital Foundrys snabba test låg 3080 60-80% över 2080 i vanlig rasterisering.

Spontant tänkte jag: detta känns helt orimligt
"helt enkelt ersatt FP64-enheterna med dessa"

detta då CUDA (språket/ramverket) kräver ju FP64 stöd. Fast tänker man lite till är det faktiskt inte så att man måste ha HW-stöd för FP64 bara för att kunna använda program som jobbar med FP64. Nvidias konsumentkort har sedan länge haft rejält nedskalad FP64 kapacitet jämfört med kretsarna tänkt för arbetsstationer och datacenter, i något läge blir det helt enkelt snabbare att hantera FP64 i programvara än att lägga till, säg en FP64, per SM bara för att ha stödet.

Är fullt möjligt att köra både FP128 och FP1024 på våra PC-datorer, det trots att de saknar HW-stöd för detta. Så inte alls omöjligt att Nvidia kör något liknande på sina konsument GPUer för FP64!

Detta tror jag har en väldigt enkel förklaring
"Flera partnertillverkare anger antalet CUDA-kärnor i Geforce RTX 3090 till 5 248, alltså hälften av vad Nvidia anger. "

Nvidia hade inte lämnat ut exakta specifikationerna för korten, men eventuellt kände partnertillverkare till antalet SM, antal TMUs eller liknande och räknat baklänges till hur många CUDA-kärnor det borde ge vid samma fördelning som Turing.

Förutsatt att Ampere verkligen har så många FMA ALUs för FP32 som specifikationen säger har de egentligen exakt samma definition av CUDA-kärna som man alltid haft, d.v.s. "Tiotusen CUDA-cores" i 3090 är tekniskt korrekt. Har man inte skalat upp övriga saker som cache, storlek på registerbank etc kommer varje enskild CUDA-kärna i praktiken utföra mindre än på Turing.

Det enda som spelar roll är egentligen: givet en viss transistorbudget, hur ska dessa fördelas över ALU, cache, fix-function etc för att ge maximal faktiskt prestanda. Tror Ampere är bättre balanserad för spel än Turing, men vi lär få se.

Nu är ju denna nyhet inte speciellt förvånande. Steget 2080 Ti till 3090 verkar innebära prestandaförbättringar på 60-80 procent. Detta samtidig som antalet cuda-kärnor ökar med 140 procent, minnesbandbredden ökar, ny och förhoppningsvis effektivare arkitektur etc. Det var direkt uppenbart att någonting hade förändrats i hur antalet kärnor beräknas eller att hur kärnorna byggdes upp hade kraftigt förändrats. Jämför detta med AMD:s utbud där vi heller inte direkt kan jämföra specifikation mot specifikation på samma sätt som vi kan göra inom samma arkitektur och generation.

Det är rimligt då definitionen av en CUDA-kärna alltid varit antal FP32 kapabla FMA ALUs. Annars kan man börja diskutera antalet CUDA-kärnor och stream-kärnor hos i princip alla tidigare kort då inget kunde köra FP32+INT samtidigt, d.v.s. kapaciteten för FP32 minskade i de fall man hanterade heltal.

Turing är speciell i att heltal är "gratis" så länge som fördelning av heltal är lika med eller mindre än FP32. Tror slutsatsen är: man behöver ytterst sällan så mycket heltalskapacitet i en GPU, heltal hanteras oftast bättre i en CPU.

Så innan Turing kunde kan köra en µop per cykel, d.v.s. man låg på 486 nivå för att försöka dra en parallell till CPU. Turing tog steget till Pentium eran, d.v.s. superskalär design där mer än en µops per cykel kan köras. Dock rätt hårt begränsad då det bara fungerade just i kombinationen 1 FP32 + 1 INT. Ampere utökade detta till 2 FP32 + 0 INT eller 1 FP32 + 1 INT.

I CPU-termer skulle det inte ha ändrat antalet kärnor, det skulle ha ökat IPC med konstant antal kärnor.
Fast CUDA-kärnor (och än mer AMDs "steam-kärnor", AMD kör verkligen SIMD medan Nvidia kör SIMT) är rent tekniskt långt mer jämställda med hur många FMAs en CPU kan utföra per cykel där man kan se en SM som en SIMD-enhet med brutal bredd.

Hade Nvidia kört SIMD på HW-nivå hade diskussionen varit 100 % klar: Ampere har verkligen så många CUDA-kärnor man säger då det är en beskrivning av antalet FP32 kapabla FMA ALUs.

Nu kör Nvidia SIMT, d.v.s. varje CUDA-kärna har sin egen uppsättning skalära register (både AMD och Intel har i stället SIMD med vektorregister där skalära saker hanteras separat och då på samma sätt för alla trådar en "wave"). Innan Turing var det inte strikt SIMT då det bara fanns en programräknare för en hel "warp" (32 trådar), men sedan Turing har varje tråd även en egen programräknare (vinsten med detta är primär att man hanterar fall där trådarna tar olika kodväg bättre än SIMD, Intel "löser" problemet genom att ha variabel bredd på sin SIMD, allt från SIMD-1 till SIMD-16).

Antalet programräknare per SM lär med största sannolikhet inte vara fördubblad mot Turing, skillnaden här är att en enskild tråd nu kan köra två FP32 per cykel alt. en FP32 + en INT. Vill man absolut hävda att Nvidia slirar på sanningen kan man då ta till det slagträt, men tekniskt sett har Nvidia rätt då antal CUDA-kärnor sm sagt räknat antalet FP32 kapabla FMA ALUs, som har fördubblats per SM.

Nej.

Bandbredd mot VRAM har "bara" ökat med 50 % (3090 vs 2080Ti) till 70 % (3080 vs 2080), antal TMU har rimligtvis bara ökat med antalet SM (så hälften av antal CUDA-kärnor), ROPs har eventuellt inte ökat alls då det är bundet till bredden på bussen mot VRAM (det lär i alla fall inte ökat lika mycket som CUDA-kärnor).

Olika fall har olika flaskhalsar, få spel lär vara enbart begränsade av FP32 kapacitet! Blir däremot riktigt spännande att se vissa GPGPU-fall, de kan få direkt brutal prestanda med Ampere då det finns fall som nästa till 100 % är FP32 begränsade!

Folk kan hävda vad de än vill men Nvidia går ut OFFICIELLT och markerar i en slide inför miljonpublik att 3070 är bättre än 2080 Ti.

Det är inget man gör om man inte är säker på sin sak.
Nvidia hade inte ens behövt poängtera det men det valde att göra detta då de har kunskapen om sina produkter - både vid släpp och vid framtida driveruppdateringar.

Se bifogad slide.

Om man inte vill tro sina ögon så finns det inget jag kan hjälpa till med, tyvärr.
Var glad att utvecklingen går framåt och att Nvidia är tillbaka till rimliga prisnivåer.

https://linkpicture.com/q/3070betterthan2080ti.png

Folk kan hävda vad de än vill men Nvidia går ut OFFICIELLT och markerar i en slide inför miljonpublik att 3070 är bättre än 2080 Ti.

Det är inget man gör om man inte är säker på sin sak.
Nvidia hade inte ens behövt poängtera det men det valde att göra detta då de har kunskapen om sina produkter - både vid släpp och vid framtida driveruppdateringar.

Se bifogad slide.

Om man inte vill tro sina ögon så finns det inget jag kan hjälpa till med, tyvärr. Var glada att utvecklingen går framåt och att Nvidia är tillbaka till rimliga prisnivåer.

https://linkpicture.com/q/3070betterthan2080ti.png