Forum Datorer och system Stationära datorer Köpråd Tråd Inlägg

Renderingsmaskin 4xGPU

1
Skriv svar
Permalänk
Medlem
●

Renderingsmaskin 4xGPU

Hejsan,

Har satt ihop en renderingsmaskin baserad runt 4 x Asus GTX 1080 ti 11gb Turbo kort.

https://www.inet.se/kundvagn/visa/11774856/

Vill gärna ha feedback på processor och moderkort då det viktigaste är att det finns gott om PCI-e lanes och hög hastighet (GHz).

Tar och också gärna emot tips på bra chassin som kan kyla ner dessa 4 x 1080ti kort.

Redigera
Citera flera Citera
Permalänk
Medlem
●

Vad är de du ska rendera?

Redigera
Citera flera Citera
Permalänk
Medlem
●

@Sokiee: Denna maskin kommer vara 99% fokuserad på GPU baserad rendering i Redshift (samt lite Vray)

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Det finns möjlighet att ha flera mindre psu:er för att få ner kostnaden, finns guider på det.

I ditt fall hade jag valt TR eller Epic för antalet pci kanaler direkt kopplat mellan cpu och grafikkort. Nu blir det så att 3(?) av dina grafikkort och allt annat som nätverket, usb enheter etc delar på en pcie3.0 x4, vilket reducerar prestandan vid överföring av data.

Beroende på renderaren så kan den antingen "enbart" bli söligare vid laddning av scen och uppdatering/slutbild eller även under beräkningarna också, det beror på hur renderaren är programmerad och hur beronede den är på bandbredden.

För att ta reda på det så kan du kan testa själv med befintlig system och benchmarka mellan x16 och x1 i pcie kanalen.
Märker du ingen skillnad så är det toppen, då är inte x299 någon flaskhals i ditt arbete.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

@HappyPie: Asus WS X299 Sage stödjer 16x/16x/16x/16x i quad till CPU (eller upp till 16x/8x/8x/8x/8x/8x/8x om man skulle vilja det), förvisso via PLX-chip, men det får nog anses som en hyfsat acceptabel kompromiss.

Visa signatur

Var snälla mot varandra och snåla inte på nätaggregatet.

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av HappyPie:

Det finns möjlighet att ha flera mindre psu:er för att få ner kostnaden, finns guider på det.

I ditt fall hade jag valt TR eller Epic för antalet pci kanaler direkt kopplat mellan cpu och grafikkort. Nu blir det så att 3(?) av dina grafikkort och allt annat som nätverket, usb enheter etc delar på en pcie3.0 x4, vilket reducerar prestandan vid överföring av data.

Beroende på renderaren så kan den antingen "enbart" bli söligare vid laddning av scen och uppdatering/slutbild eller även under beräkningarna också, det beror på hur renderaren är programmerad och hur beronede den är på bandbredden.

För att ta reda på det så kan du kan testa själv med befintlig system och benchmarka mellan x16 och x1 i pcie kanalen.
Märker du ingen skillnad så är det toppen, då är inte x299 någon flaskhals i ditt arbete.

Gå till inlägget

Tackar för feedbacken. Skulle AMD Ryzen Threadripper 1950X 3.4 GHz 32MB fungera bättre i en kombination med ett MSI MEG X399 CREATION? Har inte jättebra koll på AMD's moderkort om jag ska vara ärlig.

Redigera
Citera flera Citera
Permalänk
Medlem
●

@Pepsifree: Jag har ingen direkt dunderkoll på just GPU Rendering, sitter mest i Corona/Unreal. Men vet att Juraj Talcik pratar mycket runt alla 3D forum om hårdvara som är väldigt intressant, t.ex. såg jag det här nyligen https://corona-renderer.com/forum/index.php?topic=21433.15
Vet att det finns en massa trådar på CGArchitect också

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av Pepsifree:

Tackar för feedbacken. Skulle AMD Ryzen Threadripper 1950X 3.4 GHz 32MB fungera bättre i en kombination med ett MSI MEG X399 CREATION? Har inte jättebra koll på AMD's moderkort om jag ska vara ärlig.

Gå till inlägget

Fatal1ty kortet fungerar bra, även bra med thereadripper 2000 serien. Den har ett bra 10gig nic och även bra stöd för linux.

Finns många bra revyer hos level1tech med wendell över flera moderkort som msi och gigabytes.
Om du väljer TR4 så rekommenderar jag ramhastighet minst kring 2800-3000 med lagom låg latency, men som sagt det beror på hur bandbredsberoende renderaren är, 3000 är en bra sweetspot. 2600 fungerar bra om du verkligen vill hålla budget.

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av HappyPie:

Fatal1ty kortet fungerar bra, även bra med thereadripper 2000 serien. Den har ett bra 10gig nic och även bra stöd för linux.

Finns många bra revyer hos level1tech med wendell över flera moderkort som msi och gigabytes.
Om du väljer TR4 så rekommenderar jag ramhastighet minst kring 2800-3000 med lagom låg latency, men som sagt det beror på hur bandbredsberoende renderaren är, 3000 är en bra sweetspot. 2600 fungerar bra om du verkligen vill hålla budget.

Gå till inlägget

Behöver inte hålla mig så hårt till budget, ser hellre att systemet kör smooth. Finns det möjligtvis några ram-kort som fått extra bra betyg i test?

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av Pepsifree:

Behöver inte hålla mig så hårt till budget, ser hellre att systemet kör smooth. Finns det möjligtvis några ram-kort som fått extra bra betyg i test?

Gå till inlägget

gskill brukar ha bra minnen. Minnen med samsung b-die kretsar är bra för threadripper/ryzen. Dock så är det svårt att få reda på vilka kretsar det ligger i ramstickorna. I Wendells senaste video med 2990WX nämner han någon/några minnesstickor som fungerar bra.
Allmänt när du kör 4-8 stickor i dual rank så kan t.ex. typ en 3000 lägga sig på 2600, en överklock i form av ökat volt kan hjälpa lite där.
Wendell kommer göra tester under denna månad mellan vanliga snabba minnen kontra ECC minnen på 2600 ifall det intresserar dig.

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av HappyPie:

gskill brukar ha bra minnen. Minnen med samsung b-die kretsar är bra för threadripper/ryzen. Dock så är det svårt att få reda på vilka kretsar det ligger i ramstickorna. I Wendells senaste video med 2990WX nämner han någon/några minnesstickor som fungerar bra.
Allmänt när du kör 4-8 stickor i dual rank så kan t.ex. typ en 3000 lägga sig på 2600, en överklock i form av ökat volt kan hjälpa lite där.
Wendell kommer göra tester under denna månad mellan vanliga snabba minnen kontra ECC minnen på 2600 ifall det intresserar dig.

Gå till inlägget

Ska kolla in dem. Såg förövrigt att AMD Ryzen Threadripper 2950X 3.5GHz 40MB redan kommit ut.

Någon som kan rekommendera ett bra chassi med grym luftflöde? Hade gärna haft ett stort cube chassi om sådana finns som rymmer denna setup.

Redigera
Citera flera Citera
Permalänk
Medlem
●

Byggde om systemet fast baserat på AMD

https://www.inet.se/kundvagn/visa/11775109/

Redigera
Citera flera Citera
Permalänk
Medlem
●

Om du är sugen på ett cube chassi så borde allt få plats i detta:
https://www.inet.se/produkt/6912304/corsair-carbide-air-740

Visa signatur

CPU: Ryzen 5600X GPU: Msi GTX 980 4GB
Mobo: Asus Strix B550-I RAM: 16GB Corsair Vengeance 3200MHz CL16
SSD: 1000GB WD Blue PSU: Corsair SF750 80+ Platinum

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Corsair brukar jag själv köpa psu väg, men på sistone har sea sonic presterat väldigt bra i sweclockers tester och jag har själv tänkt byta till nästa. Prismässigt ingen aning vilket som är billigare men ta gärna en titt på Jonas sea sonic tester och bedöm själv om det intresserar dig.

Apropå kylning, 4 högpreserande 1080 ti grafikkort som spottar ut värmen inne i lådan kräver bra kylning i chassit. Titta på fractals manual och räkna hur många chassifläktar du kan trycka in och maxa i ditt fall. Om du är osäker på fläkt och vill ha presterande tysta så kan jag nämna noctuas fläktar. Finns billigare som fungerar bra med hög luftflöde och lågt ljud, tyvärr inga jag kan nämna.

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av MrAero:

Om du är sugen på ett cube chassi så borde allt få plats i detta:
https://www.inet.se/produkt/6912304/corsair-carbide-air-740

Gå till inlägget

Den såg trevlig ut. Bara att fylla upp alla fläktplatser antar jag.

När man kör 4xGPU's får man då plats med en extern processorkylare likt en Noctua NH-U12S TR4-SP3 till TR4? Eller bör man se sig om efter en annan lösning?

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Jag kör Redshift med en TR 1950X och 3 GPU'er. Jag skulle rekommendera dig att kolla in en custom loop. Beror väl lite på din smärttröskel kanske men det blir ganska högljutt när du renderar/simulerar. Jag orkade med det i cirka 2 veckor innan jag bytte till custom loop.

Alternativt köra enbart referenskort. Ljudnivån blir högre men åtminstonde håller du tempen i check.

Visa signatur

Galleri: https://imgur.com/a/4JTFzOF

Threadripper 1950X @ 3.8GHz — MSI X399 Gaming Pro Carbon
MSI 1080 Ti FE — 2 x PALIT 980 Ti — Corsair AXi1500W — G.Skill Trident Z RGB 64GB 3200 C14 — Corsair Obsidian 900D — EKWB custom loop — Acer Predator X34

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av Beatnutz:

Jag kör Redshift med en TR 1950X och 3 GPU'er. Jag skulle rekommendera dig att kolla in en custom loop. Beror väl lite på din smärttröskel kanske men det blir ganska högljutt när du renderar/simulerar. Jag orkade med det i cirka 2 veckor innan jag bytte till custom loop.

Alternativt köra enbart referenskort. Ljudnivån blir högre men åtminstonde håller du tempen i check.

Gå till inlägget

Har som sagt var redan korten Asus Geforce GTX 1080ti 11gb Turbo

Redigera
Citera flera Citera
Permalänk
Datavetare ★
●
Skrivet av Pepsifree:

@Sokiee: Denna maskin kommer vara 99% fokuserad på GPU baserad rendering i Redshift (samt lite Vray)

Gå till inlägget

Har du redan köpt dina fyra GTX1080Ti?
Doh, stod ju i sista inlägget. Då blev nedan genast mindre relevant.

Annars, givet att du tänker köra GPU-rendering med Redshift, varför i hela friden köpa Pascal-kort nu när Redshift 2.6 (ute nu) redan använder Tensor-cores om det finns (kom på Volta och kommer finnas även på konsument Turing).

Vet inte exakt hur mycket boost just det ger, men version 3.0 är på väg ut och där är en av huvudnyheterna stöd för RT-cores

"Redshift 3.0: Leading biased GPU renderer is announcing that Redshift 3.0 will use OptiX to access RTX ray-tracing acceleration. Redshift 2.6 shipping with OptiX denoising, accelerating interactivity."

Om inte allt Nvidia sa på Siggraph 2018 var total bull* så kommer ett RTX2080Ti kommer vara snabbare än dina fyra GTX1080Ti på rendering.

Som jag förstod det kan inte heller två Pascal-kort som är ihopkopplade via NVlink använda varandras VRAM (däremot är jag 100 % säker på att Pascal kan mappa in CPU-ram och addera till VRAM, dock med begränsningen som PCIe sätter på bandbredd). Två turing-kort ihopkopplade med NVLink får även dubbla mängden VRAM att jobba med!

Kan se poängen med HEDT-plattform om du ska köra fyra kort. Men om man i stället kör två RTX2080Ti kort kan du egentligen spara ett gäng tusenlappar på att hoppa HEDT. Då du tänker köra GPU-rendering finns egentligen ingen poäng med många CPU-kärnor, i det läget vill man i stället maximera enkeltrådprestanda då det som kommer köra på CPU är de saker som skalar illa på GPUer.

Det är också precis vad Puget Systemes säger i deras FAQ kring arbetsstation för Redshift

"Q: Will a more powerful CPU help at all?
A: A faster CPU will allow you to extract mesh data, load textures, and prepare scene data more quickly, but it will make no impact on how long it takes each individual render to complete. We recommend going for a high clock speed CPU without worrying about core count - and without spending too much money there, instead focusing your budget on more powerful GPUs (and/or more of them)."

Om du ändå går för fyra st GPUer, värt att nämna att du just bytt från ett moderkort (WS X299 SAGE) som stödjer x16/x16/x16/x16 (i.o.f.s. via PLX) till ett som stödjer 16x/16x/8x/8x

"It's standard to see four toughened x16 PCIe slots on X399 boards. It's worth knowing that the primary slot and one above the Turbo M.2 cooler run at a full x16, the other two at x8."

Tvivlar på att det är ett problem i praktiken, men är knappast någon expert på GPU-rendering...

Oavsett går det att spara en del, vare sig du väljer Intel eller AMD HEDT, på att välja en CPU med lite färre kärnor. Svårt att se hur du ska ha någon nytta av de om du tänker köra Redshift GPU-rendering. I Intel-fallet lär i9-7900X i praktiken bli toppvalet då den klockar 4,5 GHz ur lådan (4,0 GHz på alla kärnor).

Ett eller två RTX2080Ti kort och i7-8700K alt. R7-2700X (eller möjligen i9-9900K, är en chansning då tillgången är ett frågetecken, första oktober verkar konsensus på gissningar kring lansering) lär ju vara en baggis att kyla jämfört med vad du initialt siktade på att bygga. Från och med Redshift 3.0 kommer det bygget presterar bättre än vad du nu har i varukorgen och kosta några tiotusingar mindre. Men är dina slantar

Senast redigerat
Visa signatur

Care About Your Craft: Why spend your life developing software unless you care about doing it well? - The Pragmatic Programmer

Redigera
Citera flera Citera
Permalänk
Medlem
●

@Yoshman: Bra skrivet!

Det som avgjort valet av GPU just nu är priset. Har köpt loss ett större antal nya 1080ti kort för mindre än halva priset av RTX-korten.

När den värsta crazen har lagt sig och priserna stabiliserats så kommer jag nog byta ut dessa 1080 ti kort och sätta dem i workstations istället. Pengar vs prestanda (och säkerhet i själva builden) är det som avgör för min del.

Intressant det där med antalet kärnor. Plötsligt så är ju i9-7900X:an högintressant.

Redigera
Citera flera Citera
Permalänk
Medlem
●

Uppdaterad tillbaka till Intel med ASUS WS X299 SAGE.

https://www.inet.se/kundvagn/visa/11775351/

Funderar lite på kylningen till processorn och fläktar till chassit. Något märke som är bättre/tystare än någon annat?

Redigera
Citera flera Citera
Permalänk
Medlem
●

Såhär ser nuvarande build ut:

https://www.inet.se/kundvagn/visa/11782816/

0

Vad tror ni om Corsair Hydro H100 till denna CPU:n?

Jag har även shortlistat några chassin som jag hoppas fungerar till en maskin som denna:

https://www.inet.se/kundvagn/visa/11782837/

Någon med input? Jag vill helst ha god kylning och möjlighet att maximera luftflöde och kabeldragning. Kommer ej ha några hårddiskar annat än M.2 (eventuellt vanlig ssd och det finns utrymme i chassit för detta på ett smidigt sätt).

Redigera
Citera flera Citera
1
Skriv svar
Senaste nyheterna
Hårdvara
Mjukvara
Övrigt
Nytt i forumet
Datorkomponenter
System
Ljud, bild och kommunikation
Spel och mjukvara