Vad gör dina VMar? Hur mycket de sliter beror förstås på hur mycket de skriver, och om de skriver synkront eller asynkront (synkrona skrivningar innebär ca dubbelt så mkt skrivet, för då skrivs de först till poolens ZIL-area och därefter en gång till). Jag har som sagt kört Windows10-VMar på kosumentdisk (zfs, samsung 860evo ensam i en vdev, ashift=12) utan att TBW dragit iväg.
Ett alternativ om du vill slippa oroa dig för skrivtåligheten är att försöka köpa begagnade enterprise-ssd:er, det kan bli rätt billigt om man har tur. I min TrueNAS-maskin kör jag VMar från en zfs-mirror av 2 st Crucial Micron 5200 pro 960Gb, som jag fick för 700kr/styck begagnade för ett år sen. Köpte dem med > 98% kvar av en TBW på 8700Tb, så jag ligger inte sömnlös över skrivningarna
Här är några variabler att hålla koll på för att hålla livstiden på ssd:er uppe med zfs:
Undvik raidz{1,2,...}, använd mirrors
4x ssd slits ju hälften så mkt som 2x ssd (om du kör dem som 2st alt 1st mirror vdev),
allt annat hållet likaEDIT: I praktiken blir det ingen skillnad vid samma totala kapacitet - eftersom ssd:ers skrivtålighet skalar med storleken. En 2Tb ssd har i regel dubbla TBW-värdet mot 1Tb av samma modell, så 2x2 1Tb ssder har samma totala TBW som 1x2 2Tb ssd:er, vid samma användbara utrymme (2Tb). 2x2 ger bättre prestanda, dock.Om du är säker på att ssd:n har intern blockstorlek på 4k: ashift=12, i annat fall ashift=13 (motsv. 8k blockstorlek)
Eftersom du nämnde Proxmox i ditt första inlägg antar jag att du kommer att fortsätta köra det på nya servern. Då kommer varje virtuell disk till en VM som default att bli en zvol, och då är det variabeln volblocksize du ska hålla reda på.
För hög volblocksize -> små skrivningar leder till write amplification
För låg volblocksize -> ZFS inbyggda komprimering blir mindre effektiv
Håller du volblocksize i spannet 16k-64k vid ashift=12, eller 32k-64k vid ashift=13, så borde du inte hamna alltför fel
Rekommendationerna för volblocksize brukar ligga runt 16-32k, fast när jag har kört syntetiska tester själv (och bevakat hur mycket som skrivits enligt diskens smart-värden) så har 64k fungerat helt ok också. I de flesta fall som spelar roll så kommer fler chunks av data att skrivas samtidigt, och ZFS är bra på att aggregera flera små skrivningar till större.
Slutligen:
Ska man splittra upp dessa på olika SSD men ett annat filsystem än ZFS? Så att man får så lika belastning som möjligt?
Om möjligt, inte hittats hur, få till dom som en mirror utan ZFS?
Detta ska gå fint, i Linux (och därmed Proxmox) heter verktyget för detta mdadm. Men jag rekommenderar nog ändå ZFS.