Pool Layout val i Truenas.

Permalänk
Medlem

Pool Layout val i Truenas.

Så, snart dags för att bygga ihop min första NAS.
Hårdvara är redan valt och beställt vilket kan läsa här : Förslag på förbättringar / val av kompoenter för Proxmox med Truenas, Plex.

Enda som är ändrat ifrån posten är att det blev 6x12TB istället för 10TB och beställde även en UPS och LSI SAS kontroller.

Har läst en massa och tittat på videos och val av pool layout är inte det lättaste.

Dom valen som jag har är

1. 1 Raidz2 vdev med 6 diskar i en vdev
2. 2xRaidz1 vdevs med 3 diskar i vardera vdev
3. 3xMirror vdevs med 2 diskar i vardera vdev

Svårt att bestämma mig för vilken som ger mig mest mervärde, t.ex Raidz2 med 6 diskar ger bra reduans men därefter så är iops och reslivering värre medans två Raidz1 med två vdevs ger lite högre iops och snabbare reslivering medans tre mirrors är snabbast när det gäller resilvering då det inte hänger på alla andra diskarna på samma sätt, plus enklare att expandera en pool genom att bara lägga till två diskar i en ny vdev som läggs till poolen jämfört med 2 vdevs med Raidz1 då du behöver lägga 3 diskar i en ny vdev.

Hur har ni gjort med eran pool layout ?

Visa signatur

Huvudmaskin : AMD Ryzen 9 5950x / MSI MAG B550 Tomahawk / Team Group 64GB (2x32GB) 3600 MHz CL18 Xtreem ARGB / MSI Geforce RTX 3080 10GB Ventus 3X Plus OC / 1x WD Black SN850 1TB Gen 4 / 1x Samsung 970 EVO Plus 2TB, 1x Kingston A400 120GB / Seasonic Focus GX 850W / Phantek Eclipse P500A D-RGB Svart / Arctic Cooling Liquid Freezer II 280 A-RGB

Permalänk
Medlem

- Varför köra truenas när proxmox har ZFS inbyggt?
- Och varför har du köpt en raidkontroller om du ska köra ZFS?

Hela syftet med ZFS är att det är en mjukvaru raid där ZFS har direktkontakt med diskarna. Sätter du ett raidkort mellan så kan inte ZFS längre garantera att alla writes gått rätt till.

Jag personligen tycker du ska körs en mirror. Du slipper resilver och det blir mycket lättare att göra ändringar i layouten i framtiden.

Visa signatur

CCNP Enterprise + SPCOR
FCSS Network Security

Permalänk
Medlem

- Varför köra truenas när proxmox har ZFS inbyggt?

Utöver NAS funktionen som Truenas erbjuder så kommer jag använda Proxmox för att köra olika LXC / VM maskiner, därav det föll på proxmox med Truenas som en VM.

När det gäller Raidkontrollern är att jag flashar om den till IT-mode och använder den i passthrough till Truenas som en SAS till SATA kontroller för flera portar än att köra passthrough på moderkortets sata kontroller eller seperata diskar.

Visa signatur

Huvudmaskin : AMD Ryzen 9 5950x / MSI MAG B550 Tomahawk / Team Group 64GB (2x32GB) 3600 MHz CL18 Xtreem ARGB / MSI Geforce RTX 3080 10GB Ventus 3X Plus OC / 1x WD Black SN850 1TB Gen 4 / 1x Samsung 970 EVO Plus 2TB, 1x Kingston A400 120GB / Seasonic Focus GX 850W / Phantek Eclipse P500A D-RGB Svart / Arctic Cooling Liquid Freezer II 280 A-RGB

Permalänk
Hedersmedlem

Det beror väl också på hur viktig datan är, hur viktigt det är med tillgänglighet, osv. Prestanda är för min del något jag inte ens tänkt på då jag kör gigabit-nätverk till NAS:en.

Jag kör RAIDZ2 på 5 diskar pga överförsiktighet, och för att kunna utöka i framtiden (nu när RAIDZ expansion är färdig och bara testning + release återstår). Om en disk pajar är resilver alltid en stor risk annars, eller snarare hela processen från att disken pajar tills den är ersatt och resilver är färdig, eftersom man inte har någon redundans där med RAIDZ1.
I båda dina andra exempel har du iofs möjlighet för VISSA diskar att gå sönder utan problem när en disk är död, men inte valfri. Murphy's law och allt det där gör väl att det är en av de kritiska diskarna som skulle paja isåfall dock.

Har utöver det en dator till som agerar offsite-backup med all data också. Ingen nivå RAID skyddar mot allt, ens med ZFS.

Visa signatur

Asus ROG STRIX B550-F / Ryzen 5800X3D / 48 GB 3200 MHz CL14 / Asus TUF 3080 OC / WD SN850 1 TB, Kingston NV1 2 TB + NAS / Corsair RM650x V3 / Acer XB271HU (1440p165) / LG C1 55"
Mobil: Moto G200

Permalänk
Medlem

Oh ja, Seperat backup är alltid viktig, helst en lokal backup och en extern backup.

Vart kan man läsa om Raidz expansion, då det är något som kanske tippar nålen lite mer emot Raidz2.

Visa signatur

Huvudmaskin : AMD Ryzen 9 5950x / MSI MAG B550 Tomahawk / Team Group 64GB (2x32GB) 3600 MHz CL18 Xtreem ARGB / MSI Geforce RTX 3080 10GB Ventus 3X Plus OC / 1x WD Black SN850 1TB Gen 4 / 1x Samsung 970 EVO Plus 2TB, 1x Kingston A400 120GB / Seasonic Focus GX 850W / Phantek Eclipse P500A D-RGB Svart / Arctic Cooling Liquid Freezer II 280 A-RGB

Permalänk
Hedersmedlem
Skrivet av Forser:

Oh ja, Seperat backup är alltid viktig, helst en lokal backup och en extern backup.

Vart kan man läsa om Raidz expansion, då det är något som kanske tippar nålen lite mer emot Raidz2.

Artikel på Ars Technica om hur det fungerar
Pull request på GitHub

Det lär komma i OpenZFS 2.3, men jag tror inte det finns datum på det. Kanske senare i år, men det är inget jag skulle sätta pengar på ändå.

Visa signatur

Asus ROG STRIX B550-F / Ryzen 5800X3D / 48 GB 3200 MHz CL14 / Asus TUF 3080 OC / WD SN850 1 TB, Kingston NV1 2 TB + NAS / Corsair RM650x V3 / Acer XB271HU (1440p165) / LG C1 55"
Mobil: Moto G200

Permalänk
Medlem
Skrivet av Forser:

- Varför köra truenas när proxmox har ZFS inbyggt?

Utöver NAS funktionen som Truenas erbjuder så kommer jag använda Proxmox för att köra olika LXC / VM maskiner, därav det föll på proxmox med Truenas som en VM.

Tycker inte riktigt det svarar på frågan.

Jag instämmer i den frågan, förstår inte heller riktigt varför man vill göra så. Hade kört ZFS i proxmox eller kört TrueNAS SCALE istället.

Sen till trådens fråga, så alternativ 1 eller 3, inte 2. Själv kör jag med mirrors i flera vdevs (alltså som raid10), då GB/kr eller maxmängd generellt inte var något större krav i min lösning.

Permalänk
Medlem

Från vad jag läst och sett så är inte Truenas lika bra på virtualization då det är inte hypervisor som Proxmox.
Visst, jag kan ha fel men det är det jag har läst / sett.

Flesta guider och liknade så är det oftast Proxmox med TrueNAS VM plus flera andra lxc / vm's i proxmox. Maskinen kommer användas mer än enbart en NAS, hade jag enbart haft fokus på att bygga en NAS, då hade jag kört Truenas Scale enbart.

Visa signatur

Huvudmaskin : AMD Ryzen 9 5950x / MSI MAG B550 Tomahawk / Team Group 64GB (2x32GB) 3600 MHz CL18 Xtreem ARGB / MSI Geforce RTX 3080 10GB Ventus 3X Plus OC / 1x WD Black SN850 1TB Gen 4 / 1x Samsung 970 EVO Plus 2TB, 1x Kingston A400 120GB / Seasonic Focus GX 850W / Phantek Eclipse P500A D-RGB Svart / Arctic Cooling Liquid Freezer II 280 A-RGB

Permalänk
Medlem

Fördelen med Truenas VM är att du får ett snyggt GUI att göra dina ändringar i. Men nackdelarna är ökad komplexitet och eventuellt lägre prestanda då trafiken måste in i en VM innan du når hårddisken.

Det finns begränsningar i t.ex LXC där den inte kan mounta nfs/smb shares. För att lösa det måste du isåfall mounta den sharen i proxmox hosten och dela ut mappen som en "mount point" till LXCn. Kör du istället ZFS direkt i proxmox så slipper du hela Truenas steget och du kan göra en mountpoint direkt till mappen i din ZFS pool.

Jag har själv kört Proxmox i flera år hemma och kör ZFS direkt i proxmox, och jag är väldigt nöjd med hur det fungerar. Det går fort att komma in i hur ZFS CLI fungerar och du slipper ödsla RAM/CPU resurser på en truenas VM.

Visa signatur

CCNP Enterprise + SPCOR
FCSS Network Security

Permalänk
Medlem

Har inte kört Proxmox / Truenas tidigare utan som sagt, det är vad jag har blivit exponerade för mest när jag började grotta ner mig i det.

Vet inte om hur mycket resurser jag tjänar/förlorar på att köra TrueNAS som en VM, samma sak med Prestanda.

Om du har något att läsa om Proxmox som är intressant och kan ge mig info om att använda Proxmox som NAS (ZFS med sharing till andra vm's och liknade) utöver virtualization

Visa signatur

Huvudmaskin : AMD Ryzen 9 5950x / MSI MAG B550 Tomahawk / Team Group 64GB (2x32GB) 3600 MHz CL18 Xtreem ARGB / MSI Geforce RTX 3080 10GB Ventus 3X Plus OC / 1x WD Black SN850 1TB Gen 4 / 1x Samsung 970 EVO Plus 2TB, 1x Kingston A400 120GB / Seasonic Focus GX 850W / Phantek Eclipse P500A D-RGB Svart / Arctic Cooling Liquid Freezer II 280 A-RGB