Hemma server med truenas

ZFS gillar mycket RAM i jämförelse med andra filsystem för tjugo år sen, inte mycket RAM i absoluta termer 2024.

För roterande disk vill du åtminstone ha minne motsvarande fem sekunders skrivning, plus lite marginal. Det beror på att filsystemet serialiserar skrivningar via RAM för att operationen ska bli mer effektiv. Men det betyder också att du knappast behöver tiotals gigabyte minne bara för den sakens skull. På SSD spelar det mindre roll i verkligheten. Sen kommer naturligtvis systemet använda allt minne det kan ta för cache, men det får du ju tillbaka i princip ögonblickligen om du behöver det.

Du kan inte köra raid10 på zfs, och motsvarande funktion med zfs med sex diskar blir ju typ tre mirrors som du stripear över. Varför vill du köra så? Varför ens z2 och inte bara z1?

1GB/TB rå lagring är tumregeln så det beror på vad du ska göra. Dina specs pekar ju på att du ska köra långt mer än en hemmaserver på den, men ska du inte det så kan du gå långt under 1GB/TB utan att prestandan blir lidande på ett par-tre användare.

Utan att veta vad du ska köra för last är det ju omöjligt att svara på, men för det du beskriver (lagring + plex) så är systemkraven låga.

Det heter inte RAID10, men det är striped mirrors.
Beroende på ändamål är det ju betydligt lägre overhead vid random writes på en speglad volym än på en med paritetsbaserad datalagring. Det ser man sannolikt fördelar av om man kör virtuella servrar från volymen. Däremot är det troligen slöseri att lagra läsintensiv och sekventiellt lagrad data som filmer på en speglad volym.

RAIDz2 bör man använda istället för z1 med dagens diskstorlekar om man är orolig för att tappa data: med bara en diskekvivalent paritetsdata är risken stor att ytterligare en disk hinner gå sönder medan man resilvrar sin volym efter ett diskhaveri, med resultatet att hela volymen blir korrupt.

Med det sagt: om man är rädd om sin data är backup viktigare än RAID, ifall man behöver välja.

Får dock känslan av att OP missförstått något eftersom han var konsekvent med Z1, Z2 men sedan böjar prata RAID-10. Plus att det är ett så dåligt alternativ.
Det verkar ju som att VMarna hamnar på i princip dedikerade NVME så hela RAID-setupen känns konstig för vad som verkar bli en hög med långtidslagrad semesterfilm.

Än en gång håller jag med dig i sak men tycker fokus hamnar fel. Det här verkar ju vara en budgetfråga och en hemmaserver så även om RAID-Z2 är att rekommendera så är en RAID-Z1 + backup tillräckligt driftsäkert och otroligt mycket datasäkrare jämfört med RAID-Z2 och ingen/sämre backup. Men RAID-Z2 + backup är ju så klart best practice i det här fallet skulle jag säga.

Först och främst kul med hemma server^^

Men ja angående Raid å ram tycker jag det mesta redan är besvarat...
Sen det är inget fel på truenas alls, (kör det själv som en vm med diskar passthrough till vm:n så den bygger zfs raids av alla diskar på sata controllern,) Anledningen är egentligen en begränsning då jag bara har 1 host och har behov av att kunna testa å köra appliences som inte funkar på truenas inbyggna virtualisering, (typ Citrix Netscaler m.m) men jag kör esxi i botten med 2 M.2 diskar som storage i vmware sen en virtuell Truenas då med Sata diskar i passthrough för lagring å docker m.m. Jag är medveten om att pajar esxi så pajar truenas m.m. Men har en skitnas för backup på det viktiga..

Det ger mig mer frihet att virtualisera brandväggar m.m. utanför själva truenas, går säkerligen åstadkomma liknande med typ Proxmox etc.. kan vara något att tänka på, men man offrar en hel del i stabilitet såklart.

Med Broadcoms senaste utspel existerar inte längre ESXi som en entusiastprodukt, så jag skulle inte rekommendera någon att börja använda det för det här ändamålet idag.

Enklaste alternativet för en nyckelfärdig produkt är nog Proxmox, med reservationen att det systemet har en ganska snäv happy path: det är visserligen Linux i botten, men man bör hantera det som en hypervisor appliance liknande ESXi; inte göra egna förändringar på hosten.

Vill man ha mer frihet att ändra på saker är Linuxservrar som Ubuntu (om man vill ha en enkel integration med ZFS), Debian eller Alma idag utmärkta val för en hypervisor baserad på KVM. Med Cockpit installerat får man ett helt OK webbgränssnitt för mycket av serverhanteringen inklusive grundläggande hantering av virtuella maskiner (dock stöder det inte grafisk ZFS-hantering). Vill man styra VM:ar och LXC-containers mer detaljerat utan att vara bekväm med kommandoprompten finns Virt-Manager om man bara har en Linuxburk med GUI någonstans. Då har man egentligen allt ”vardagsviktigt” som Proxmox ger efter initial konfiguration.

För att vara ärlig har jag inte koll på hur bra BHyve blivit nu för tiden, men att köra en egenuppsatt FreeBSD-server har tyvärr fortfarande en rätt hög initialtröskel: du får ingenting utan att jobba för det med det systemet. Däremot är det väldigt trevligt om man tagit sig jobbet.

Gäller inte det som tidigare att ECC minnen är att föredra för ZFS?

Jo, fast inte mer än det är att föredra för andra filsystem.
ZFS är säkrare än t ex ext4, XFS och andra vad gäller bit-rot även utan ECC, men risken för fel minskar ju ännu mer med ECC.

Det finns en myt om att ZFS "kräver" ECC på så vis att det är farligt att använda utan, som alltså inte stämmer. Det är inte farligare utan ECC än något annat filsystem.

Kom ihåg att är det online så kan det ryka ändå. D.v.s kommer någon bov åt en enhet som kommer åt både din NAS och din molntjänst så raderar de backuperna också.

Det är 'riktigt långsamt' ur det perspektiv det används för, alltså lite mer enterprise än hemmaburk.
En snabb HDD skriver cirka 1 gigabit så för att ens nyttja 10GE behöver du 10 hårddiskar som skriver oberoende av varandra. I din tänka stripe (2+2+2) kommer maximal skrivning vara totalen av den långsammaste disken i varje par, så upp till 3 diskars prestanda medan läsning kan bli upp till 6 diskars prestanda, förutsatt att datan är jämnt skriven över stripen.

Och sen kan vi ju prata om vad 10Gb faktiskt är för hastighet. Det jag personligen dunkar in snabbast på min NAS är grejer från min kamera. Ett dyrt V90 UHS-II SD-kort läser hela 300MB/s. Du behöver fyra sådana samtidigt (och datorer med 2.5GE) för att fylla din lina. Och så ska du hinna fota/filma allt det också..
Övervakningskameror brukar krama ur sig runt 4Mb, så bara 250 kameror så börjar det bli trångt..

Att det går snabbare att reparera är väl rimligt, men det är ju inga veckor vi pratar om med 5 diskar Z5 heller. Ett dygn eller två kanske. Men fine, den får du

Vill inte bajsa på din idé alls, det ser kul ut, jag är bara orolig att du kommer stå där med en maskin som är ganska dryg att underhålla och som inte ger dig lika mycket som en ny, enklare burk vart tredje år skulle göra!

Vad är svårare än något annat, att byta ut apt-get mot pkg i kommandot ?
Om inte annat så är det mycket lättre då saker är konsekventa och om man så skulle behöva så finns det mycket bra dokumentation att tillgå.

Vad jag menar är att med FreeBSD börjar du helt från noll när du precis installerat ett system. Det är inte svårare än Linux var från början - tvärt om - men du får en tom, förhoppningsvis nätverksansluten maskin utan något lullull. Är du van vid den tanken är det jättebra: du vet att vad maskinen gör bara är vad du sagt åt den att göra. Men systemet i sig kommer inte hålla dig i handen. Det förutsätter att du är vuxen nog att veta vad du gör. 😆

Du behöver också tillräcklig erfarenhet för att på förhand kolla upp om det du vill köra på maskinen är porterat till FreeBSD: i dagens systemd-fixerade värld är det fortfarande sannolikt men inte säkert, om du har siktet inställt på ett specifikt program eller ramverk snarare än att agnostiskt vilja ha något som löser uppgiften för dig.

Av nyfikenhet, vilken service (för externa enheter) har du idag som är bundet till systemd?
Enda jag kommer på är (lib)fprint(d) men det är högst lokalt och i desktop miljö.

Går det att ansluta till din Synology via USB och överföra på så sätt?

Annars lär det väl gå att mounta upp din shares(SMB/NFS) från Synology NASen direkt i din TrueNAS burk och överföra så, över nätverket då. Eller via FTP.. eller kanske via SCP?

Om TrueNAS kan läsa diskarna direkt vet jag inte. Kanske. Beror på filsystem. Gissar att de är speglade?

Japp det kommer avbrytas om du stänger av windowsdatorn, då kopieringen går via den. Kommer antagligen gå långsammare med.

Om du från din TrueNAS kan SSHa in i din Synology, så borde den ju stödja SCP med. Ingen personlig erfarenhet. Det var mycket lång tid sen jag ens använde SCP om jag ska vara ärlig.

Det borde finnas nått Linux som stöder BTRFS ja. Jag kör TrueNAS Core, och där är det ytterst begränsat vad man kan göra i VMs. I TrueNAS Scale har viritualisering betydligt bättre stöd och lär klara hårdvaru-passthrough. Så det kanske går.

Flytta data över nätverket gör du enklast med rsync, aktivera inte komprimering då det kommer vara långsammare än utan.
Känner du att göra det mer kreativt så kan du använda netcat och tar övernärverket men då bör du ha ett stabilt nätverk då du för börja om från början om det dör.

Vad som är lämpligt för dina VM beror helt på vad du ska köra och belastning, L2ARC är förmodligen bortkastat i ditt fall för övrigt.

Mycket om inte allt du listar upp kan du kör direkt på bare metal, Pi-hole kan du med fördel byta ut mot t.ex blocky så har du inte en hel VM att driva utan ett enkelt program.

Håller med om rsync. Kör i arkiv-mode så kan du avbryta närsomhelst och fortsätta vid senare tillfälle.