Optane som renodlat virtuellt minne?

Permalänk
Avstängd

Optane som renodlat virtuellt minne?

Har för närvararande 4x8GB 3200MHz DDR4 på mitt moderkort, parat med en Ryzen 2600X.
Denna tänkte bytas till minst 3900X/3950X inom en tremånaderspersiod, förmodligen i lag med en ny uppsättning 32GB-stickor på lägre frekvens, om det inte visar sig verka allt för menligt på det lilla spelande jag gör.

Saken är den att jag så snart som möjligt skulle vilja kunna köra fotogrammetriska renderingar med riktigt många bilder, även om det kan ta någon dag med bara 6 kärnor. Någonstans runt 2-300 bilder så verkar inte 32GB räcka till, och det är ändå relativt få bilder i mätningstekniskt sammanhang.
Någon form av mellansteg innan dess vore schysst, gärna för under 2000 om möjligt.

Så jag undrar, hur mycket skulle det slita på en Intel Optane 512GB att använda en väsentlig del av den som virtuellt minne?

Har läst att 3D Xpoint ska vara väldigt hållbart, och det vore en fantastisk lösning om det inenbär att jag kan behålla nuvarande RAM men ändå ange 100+GB som virtuellt minne.

Och om det är en någorlunda hållbar lösning, vore det då bäst att skaffa en 512GB Optane H10 med 32GB Optanecache, eller en 64GB renodlad Optanecache för drygt samma peng? (har inget särskilt behov av lagringen i sig då jag hellre köper en 660P för det ändamålet)
Förutsatt att den primärt ska jobba som virtuell minnesslav hela sin livstid.

Och är det ens värt det på ett Ryzensystem?

Permalänk
Inaktiv
Skrivet av Ricerunner:

Så jag undrar, hur mycket skulle det slita på en Intel Optane 512GB att använda en väsentlig del av den som virtuellt minne?

Som vanligt väl beror väl det på hur mycket du skriver till disken. Så det är svårt att sätta en specifik siffra på det... Som det visat sig i informella tester så är max skrivförmåga för flash SSD ofta satt väldigt konservativt, vissa SSD har ju överlevt sin specifierade livslängd med ett par magnituder typ. Om det gäller även optane är omöjligt att förutspå; jag har aldrig sett någon försöka skrivdöda en optane SSD...

Och så är det ju också så att en optane i nuvarande tappning inte är helt superrask; om din PC konstant ligger och kör mot växlingsfilen kommer den att kännas trög som fasicken - DRAM överföringshastighet ~56GB/s för 128-bit 3600MT DDR4; optane, ca 2.5GB/s eller nått sånt i bästa fall. Mindre än för M.2-pinnarna då de har färre kanaler på kontrollern.

Permalänk
Avstängd

@anon132576: Ja det var kring de hastigheterna jag förväntade mig.
Poängen var att det skulle vara ett komplement till nuvarande 32GB RAM, men i framtiden till 64GB om det behövs.
Vet inte riktigt hur virtuella minneshanteringen i Windows 10 jobbar, man kan tycka att det borde föreligga någon prioritering på ordinarie RAM så oftast nyttjade filer hamnar där, även vid mängder som överskrider ordinarie ram.
Om det ens är praktiskt.

Får nog bli en 64GB Optane ändå. Blir den överflödig får jag väl installera Wow på den eller nåt.

Permalänk
Hjälpsam
Skrivet av Ricerunner:

Har för närvararande 4x8GB 3200MHz DDR4 på mitt moderkort, parat med en Ryzen 2600X.
Denna tänkte bytas till minst 3900X/3950X inom en tremånaderspersiod, förmodligen i lag med en ny uppsättning 32GB-stickor på lägre frekvens, om det inte visar sig verka allt för menligt på det lilla spelande jag gör.

Saken är den att jag så snart som möjligt skulle vilja kunna köra fotogrammetriska renderingar med riktigt många bilder, även om det kan ta någon dag med bara 6 kärnor. Någonstans runt 2-300 bilder så verkar inte 32GB räcka till, och det är ändå relativt få bilder i mätningstekniskt sammanhang.
Någon form av mellansteg innan dess vore schysst, gärna för under 2000 om möjligt.

Så jag undrar, hur mycket skulle det slita på en Intel Optane 512GB att använda en väsentlig del av den som virtuellt minne?

Har läst att 3D Xpoint ska vara väldigt hållbart, och det vore en fantastisk lösning om det inenbär att jag kan behålla nuvarande RAM men ändå ange 100+GB som virtuellt minne.

Och om det är en någorlunda hållbar lösning, vore det då bäst att skaffa en 512GB Optane H10 med 32GB Optanecache, eller en 64GB renodlad Optanecache för drygt samma peng? (har inget särskilt behov av lagringen i sig då jag hellre köper en 660P för det ändamålet)
Förutsatt att den primärt ska jobba som virtuell minnesslav hela sin livstid.

Och är det ens värt det på ett Ryzensystem?

Fattar inte det där 512GB Optane H10 med 32GB Optanecache, eller en 64GB renodlad Optanecache för drygt samma peng?

Angående minne tipsar jag om dessa, som jag har fyra stycken av.
Kingston DDR4 2666MHz 16GB ECC, 1080 kr styck.
64 GB ECC minne, kostar alltså 4320 kr.

Se till att moderkortet stödjer ECC minne.

Lite hur ECC minne fungerar i Windows.
https://docs.microsoft.com/en-us/windows-hardware/drivers/whe...

Att ha ett Optane minne som renodlat virtuellt minne eller swaparea, tycker jag låter som en bra idé.
Enligt min mening duger en vanlig SSD som systemdisk och att ha program på.
Stora vitsen med NVMe och snabbare är som cachearea.
Funderar lite på hur stor storlek som behövs, men sådant kan ju du som jobbar med grejerna bättre.

Visa signatur

AMD Ryzen 7 1700 | Saphire RX 5700 Pulse XT (Silent Mode) | 64 GB Kingston ECC | https://valid.x86.fr/z2ljhr | Stockkylaren | Bitfenix Whisper M 750W.
AMD Ryzen 9 5900X | AMD RX 5700 | 64 GB Micron ECC | https://valid.x86.fr/5krwxf
HTPC | https://valid.x86.fr/uuzli0 |

Permalänk
Avstängd
Skrivet av Ratatosk:

Fattar inte det där 512GB Optane H10 med 32GB Optanecache, eller en 64GB renodlad Optanecache för drygt samma peng?

H10 är en hybridserie mellan SSD och Optanecache.
H10 512GB = 512 QLC + 32GB 3D XPoint. Kostar runt 1500:-.
M10 64GB = 64GB 3D XPoint. Kostar runt 1700:-

Optanecache används väl traditionellt för privatpersoner som ett komplement till mekaniska hårddiskar. En sorts tvåkomponents SSHD kan man kanske säga.
Såvitt jag har uppfattat det så har XPointmodulerna extremt låg latens och är mycket hållbarare jämfört med traditionella SSD-moduler.
I industrisammanhang är poängen att de ska bli något mitt emellan DRAM och traditionell lagring för att minska behovet av två separata enheter.

Och eftersom de är gjorde för att i princip användas som kvasiarbetsminne så tänkte jag att det kanske vore en idé att slänga in en och faktiskt använda just som arbetsminne, men bara i ytterst få fall eftersom jag aldrig någonsin lär överskrida 32GB minne utöver i några fotogrammetriarbeten.
Fast om ett arbete med så mycket anspråkskrav på arbetsminne går igång så kommer den tugga hårt i många timmar. Tror det tar runt en halv eller hel dag om jag skulle maxa nuvarande minnesmängd på min 2600X + RTX 2070 med TIFF-bilder i Metashape.

Permalänk
Hjälpsam

@Ricerunner: Tack då fattar jag bättre.
Fyllde på lite i mitt svar efter det att du svarat.

Visa signatur

AMD Ryzen 7 1700 | Saphire RX 5700 Pulse XT (Silent Mode) | 64 GB Kingston ECC | https://valid.x86.fr/z2ljhr | Stockkylaren | Bitfenix Whisper M 750W.
AMD Ryzen 9 5900X | AMD RX 5700 | 64 GB Micron ECC | https://valid.x86.fr/5krwxf
HTPC | https://valid.x86.fr/uuzli0 |

Permalänk
Avstängd

@Ratatosk: Får HyperX-minnen på 3200MHz i samma storlek för en hundring mindre. Dock inte ECC.

Fotogrammetriska arbeten är jag dock osäker på om de egentligen har någon större nytta av ECC.
Eventuella felvärden skulle avbildas som utstickare ur resten av punktmolnet, som ändå sorteras bort vid manuellt arbete och försvinner i mängden av de tio- eller hundramiljontals andra prickarna.

Hittade ett inlägg på Metashapeforumet som nämnde att de kunde köra arbeten på 500-700 bilder och inte var nära att fylla 64GB RAM än, vilket verkar lovande.
2x32 3000MHz kostar bara 4000, så det kan vara ett alternativ om den där beryktade semesterersättningen blir tillgänglig snart.

Hursomhelst skulle en Optanesticka vara intressant att laborera med, om jag ändå kommer byta till ett moderkort med 3st M.2-portar.

Permalänk
Hjälpsam
Skrivet av Ricerunner:

@Ratatosk: Får HyperX-minnen på 3200MHz i samma storlek för en hundring mindre. Dock inte ECC.

Fotogrammetriska arbeten är jag dock osäker på om de egentligen har någon större nytta av ECC.
Eventuella felvärden skulle avbildas som utstickare ur resten av punktmolnet, som ändå sorteras bort vid manuellt arbete och försvinner i mängden av de tio- eller hundramiljontals andra prickarna.

Hittade ett inlägg på Metashapeforumet som nämnde att de kunde köra arbeten på 500-700 bilder och inte var nära att fylla 64GB RAM än, vilket verkar lovande.
2x32 3000MHz kostar bara 4000, så det kan vara ett alternativ om den där beryktade semesterersättningen blir tillgänglig snart.

Hursomhelst skulle en Optanesticka vara intressant att laborera med, om jag ändå kommer byta till ett moderkort med 3st M.2-portar.

Jag föreslår ändå ECC minnen, du kan inte slå arbetsminnet, med något annat, de jag länkade kommer upp i över 42 MB/s, det slår ingen Optane.
ECC minnen är rocksteady, hittas ett fel lagas det och adressen lagras i Windows, blir det inga fler fel tas lagringen av adressen bort, fortsätter felen komma slutar Windows använda adressen.

Som du säger så spelar kanske inte en punkt i en bild någon större roll, men vad händer om bildens metadata sabbas, eller om programmet som jobbar med bilden kraschar efter 12 timmar?
Problemet med Ryzen är att den inte klarar registrerade minnen och det finns inga oregistrerade ECC minnesmoduler på mer än 16 GB.

Helt klart intressant att laborera med Optane som cache, håller absolut med om detta.

Visa signatur

AMD Ryzen 7 1700 | Saphire RX 5700 Pulse XT (Silent Mode) | 64 GB Kingston ECC | https://valid.x86.fr/z2ljhr | Stockkylaren | Bitfenix Whisper M 750W.
AMD Ryzen 9 5900X | AMD RX 5700 | 64 GB Micron ECC | https://valid.x86.fr/5krwxf
HTPC | https://valid.x86.fr/uuzli0 |

Permalänk
Medlem

Om du bara tänker överskrida dina 32 GB RAM litegrann, så tror jag att en Optane-disk kan vara en OK investering. Men om du tänker försöka utnyttja det dubbla så gissar jag att det inte kommer gå alls bra. Vad jag kan läsa mig till är latensen minst 100 gånger högre mot Optane över PCIe än mot RAM. Jag skulle bli mycket förvånad om prestandan blir mindre än 10 gånger sämre än om du hade riktigt RAM. Jag blir gärna motbevisad

Jag har aldrig ägt en Optane-disk, så jag kan bara tro vad jag kan läsa mig till. 3D XPoint verkar vara ett enormt kompetent minne, men det verkar ännu inte vara en konkurrent till SDRAM i speciellt många tillämpningar. Men: Om man kör det i DIMM-slot har man 2,5 gånger högre latens än SDRAM till mycket bättre pris. För vissa databastillämpningar där alternativet hade varit RAM + disk eller lika mycket men mycket dyrare RAM så är det säkerligen oslagbart, men då får man väl i nuläget skaffa sig en Xeon-processor av nyare modell?

Permalänk
Avstängd
Skrivet av Ratatosk:

Jag föreslår ändå ECC minnen, du kan inte slå arbetsminnet, med något annat, de jag länkade kommer upp i över 42 MB/s, det slår ingen Optane.
ECC minnen är rocksteady, hittas ett fel lagas det och adressen lagras i Windows, blir det inga fler fel tas lagringen av adressen bort, fortsätter felen komma slutar Windows använda adressen.

Som du säger så spelar kanske inte en punkt i en bild någon större roll, men vad händer om bildens metadata sabbas, eller om programmet som jobbar med bilden kraschar efter 12 timmar?
Problemet med Ryzen är att den inte klarar registrerade minnen och det finns inga oregistrerade ECC minnesmoduler på mer än 16 GB.

Ja då är jag med på vad det innebär att det är ECC.
Trodde att det var ett mer aktivt korrigeringsarbete i form av kontinuerlig resurskontroll eller liknande.

Men vad innebär det att ECC är registrerat kontra oregistrerat?

Skrivet av KAD:

Om du bara tänker överskrida dina 32 GB RAM litegrann, så tror jag att en Optane-disk kan vara en OK investering. Men om du tänker försöka utnyttja det dubbla så gissar jag att det inte kommer gå alls bra. Vad jag kan läsa mig till är latensen minst 100 gånger högre mot Optane över PCIe än mot RAM. Jag skulle bli mycket förvånad om prestandan blir mindre än 10 gånger sämre än om du hade riktigt RAM. Jag blir gärna motbevisad

Jag har aldrig ägt en Optane-disk, så jag kan bara tro vad jag kan läsa mig till. 3D XPoint verkar vara ett enormt kompetent minne, men det verkar ännu inte vara en konkurrent till SDRAM i speciellt många tillämpningar. Men: Om man kör det i DIMM-slot har man 2,5 gånger högre latens än SDRAM till mycket bättre pris. För vissa databastillämpningar där alternativet hade varit RAM + disk eller lika mycket men mycket dyrare RAM så är det säkerligen oslagbart, men då får man väl i nuläget skaffa sig en Xeon-processor av nyare modell?

Linustechtips gjorde en renderingsjämförelse i Blender (tror jag det var).

Rendering med 16GB tog lite över 40 minuter, systemet strypt till 3GB RAM tog ungefär 2 timmar, och systemet strypt till 3GB RAM och kompletterat med virtuellt minne på Optane tog ungefär en timme.
Renderingsarbetet tog totalt 12GB minne tror jag.
Så i renderingssammanhang verkar det ändå ganska kompetent, även om 3x minnesarbetes läggs på Optanemodulen.

Men frågan är hur hållbart det är om det är något man gör relativt ofta.

Permalänk
Hjälpsam
Skrivet av Ricerunner:

Ja då är jag med på vad det innebär att det är ECC.
Trodde att det var ett mer aktivt korrigeringsarbete i form av kontinuerlig resurskontroll eller liknande.

Men vad innebär det att ECC är registrerat kontra oregistrerat?
Linustechtips gjorde en renderingsjämförelse i Blender (tror jag det var).

Rendering med 16GB tog lite över 40 minuter, systemet strypt till 3GB RAM tog ungefär 2 timmar, och systemet strypt till 3GB RAM och kompletterat med virtuellt minne på Optane tog ungefär en timme.
Renderingsarbetet tog totalt 12GB minne tror jag.
Så i renderingssammanhang verkar det ändå ganska kompetent, även om 3x minnesarbetes läggs på Optanemodulen.

Men frågan är hur hållbart det är om det är något man gör relativt ofta.

Registrerat är att det, på minnet, sitter en modul mellan CPU och minne, den fungerar som mellanhand.
Eftersom CPU:n anropar modulen i stället för minnet, blir det mindre belastning på CPU:ns minnesdrivare.
Nackdelen är att det blir långsammare, eftersom det tillkommer en mellanhand och så måste CPU stödja detta som sagt.
Dåligt namn, som säger väldigt lite om vad det är frågan om.

En gammal artikel om fördelen med ECC.
https://www.pugetsystems.com/labs/articles/Advantages-of-ECC-...

Tror nog att en Optane håller, det är väl detta som den är gjord för.

Visa signatur

AMD Ryzen 7 1700 | Saphire RX 5700 Pulse XT (Silent Mode) | 64 GB Kingston ECC | https://valid.x86.fr/z2ljhr | Stockkylaren | Bitfenix Whisper M 750W.
AMD Ryzen 9 5900X | AMD RX 5700 | 64 GB Micron ECC | https://valid.x86.fr/5krwxf
HTPC | https://valid.x86.fr/uuzli0 |

Permalänk
Medlem
Skrivet av Ricerunner:

Ja då är jag med på vad det innebär att det är ECC.
Trodde att det var ett mer aktivt korrigeringsarbete i form av kontinuerlig resurskontroll eller liknande.

Men vad innebär det att ECC är registrerat kontra oregistrerat?
Linustechtips gjorde en renderingsjämförelse i Blender (tror jag det var).

Rendering med 16GB tog lite över 40 minuter, systemet strypt till 3GB RAM tog ungefär 2 timmar, och systemet strypt till 3GB RAM och kompletterat med virtuellt minne på Optane tog ungefär en timme.
Renderingsarbetet tog totalt 12GB minne tror jag.
Så i renderingssammanhang verkar det ändå ganska kompetent, även om 3x minnesarbetes läggs på Optanemodulen.

Men frågan är hur hållbart det är om det är något man gör relativt ofta.

Intressant test, jag undrar dock för din del hur många gånger fler eller färre ditt photogrammetry arbete gör anrop till minne jämfört med blender renderingen.
Helt enkelt frågan är om det är latens, bandbredd eller mängd minne, eller kombinationen av dessa som är prioritet för dig.

Det absolut bästa CPU väg som täcker samtliga delar skulle kanske vara en Thredripper 3000 serien "Castle Peak" med 8 kanaler 200+ GB/S Ram och 256 MB cache men säkerligen mycket kostsamt. (eller en motsvarande intel?)
En balanserad lösning skulle ev. vara optane med kanske 64GB Ram uppgradering?

Har för lite kunskap om optane och photogrammetry för att ge bra tips men kan rekommendera att titta förbi Level1Tech forum där Wendel från Level1 har gjort massor av test och videos på youtube om optane. Dra din fråga där och återkom gärna med svar här
Optane har något högre latens än Ram men lägre än nand, samt är mer tålig än nand så den är bra för typ swap disk.
Ram är dock bäst med bandbredd och latens men frågan är som sagt vad som är viktigast för dina uppgifter.

Försökte läsa till mig lite om olika photogrammetry program och ser att det finns både stöd för CUDA och OpenCL, att vissa funktioner accelereras men inte alla(?). Beroende på vad du kör för program och OS så kanske skulle ett 2060 super - 2080 super eller ett titan kort passa eller Radeon VII vara ett alternativ också?

Skriv gärna vad du kommer fram till i tråden, intressant ämne som jag har vill ha mer info om

Permalänk
Medlem
Skrivet av Ratatosk:

Registrerat är att det, på minnet, sitter en modul mellan CPU och minne, den fungerar som mellanhand.
Eftersom CPU:n anropar modulen i stället för minnet, blir det mindre belastning på CPU:ns minnesdrivare.
Nackdelen är att det blir långsammare, eftersom det tillkommer en mellanhand och så måste CPU stödja detta som sagt.
Dåligt namn, som säger väldigt lite om vad det är frågan om.

Grejen är ju att "modulen som sitter som mellanhand" innebär just att datan läggs i ett register. Så det är ju inte sådär helt intetsägande om man nu vet vad ett register (i datorhårdvara) är.

Den alternativa benämningen "buffrat" är väl förmodligen lite bättre eftersom det beskriver funktionen i mer allmänna termer istället för specifikt hur funktionen implementerats.

Visa signatur

Desktop: Ryzen 5800X3D || MSI X570S Edge Max Wifi || Sapphire Pulse RX 7900 XTX || Gskill Trident Z 3600 64GB || Kingston KC3000 2TB || Samsung 970 EVO Plus 2TB || Samsung 960 Pro 1TB || Fractal Torrent || Asus PG42UQ 4K OLED
Proxmox server: Ryzen 5900X || Asrock Rack X570D4I-2T || Kingston 64GB ECC || WD Red SN700 1TB || Blandning av WD Red / Seagate Ironwolf för lagring || Fractal Node 304

Permalänk
Hjälpsam
Skrivet av evil penguin:

Grejen är ju att "modulen som sitter som mellanhand" innebär just att datan läggs i ett register. Så det är ju inte sådär helt intetsägande om man nu vet vad ett register (i datorhårdvara) är.

Den alternativa benämningen "buffrat" är väl förmodligen lite bättre eftersom det beskriver funktionen i mer allmänna termer istället för specifikt hur funktionen implementerats.

Ja jag gillar buffrat bättre, det visar funktionen, men det namnet verkar tyvärr vara på väg ut.

Visa signatur

AMD Ryzen 7 1700 | Saphire RX 5700 Pulse XT (Silent Mode) | 64 GB Kingston ECC | https://valid.x86.fr/z2ljhr | Stockkylaren | Bitfenix Whisper M 750W.
AMD Ryzen 9 5900X | AMD RX 5700 | 64 GB Micron ECC | https://valid.x86.fr/5krwxf
HTPC | https://valid.x86.fr/uuzli0 |

Permalänk
Avstängd

@HappyPie: Ajjemän, tar och frågar där och återkommer med feedback.

Sitter för närvarande på ett 2070, och jag har för mig att Metashape inte skalar så fantastiskt bra med grafikkort som det gör med processor. så att lägga 8k+ på någon marginell ökning där är jag inte så jättehajpad på.

Som det ser ut nu så blir det nog att satsa på två 16GB-stickor. Inet hade samma modell och hastighet jag redan har på rea.
Kombinerat med ett M.2. kontrollerkort och en 64GB Optane (nuvarande port är tagen av systemdisken).
Återkommer antagligen med resultat till veckan eller nästa.

EDIT: Efter den här artikeln dök upp ökade plötsligt mitt tålamod med flertalet magnituder.
Tror det får bli ett skjuts till 64GB ordinarie DDR4 innan dess.
Något på max 250GB borde ju kunna hamna på en rimlig prisnivå även om det är renodlad XPoint det handlar om.

Permalänk
Inaktiv
Skrivet av Ricerunner:

H10 är en hybridserie mellan SSD och Optanecache.
H10 512GB = 512 QLC + 32GB 3D XPoint. Kostar runt 1500:-.

Vill åminnas mig att jag läst något om att dessa diskar presenterar sig som två separata enheter mot OSet. ...Vilket låter riktigt stenkorkat får man väl säga, då QLC inte är särskilt slitstarkt och hade mått bra av att kunna luta sig mot xpoint. Är osäker på om Intels Rapid Storage Tech kan simulera en modern flash SSD med SLC-cache och istället använda xpoint till detta ändamål, men även om så är fallet funkar ju det bara på Intel-baserade PCar. AMD-ägare blir lämnade i sticket. :/