Filserver ZFS [ej virtualisering] - hårdvara och OS??

Permalänk
Medlem

Filserver ZFS [ej virtualisering] - hårdvara och OS??

Jag har en setup hemma med min workstation (Arch), flera laptops, en HTPC (Arch), en enkel Linuxserver osv. Jag fick nyligen ett Fractal Design R3 chassi av en polare, samt att jag har ett 600W Zalman-nätagg över till den. Jag har tänkt sätta upp en filserver för nätverkslagring både för backup av dokument/bilder etc men även som större filserver för HTPC:n. Ja en filserver helt enkelt. Jag har tänkt bestycka den med 2TB diskar, har dock ej bestämt mig för processor/moderkort, men det lutar lite åt AMD-hållet i och med ECC-stöd.

Först och främst: Jag har tänkt köra ZFS då det verkar mycket intressant och perfekt för mitt ändamål. Har tänkt raidz2 för att få upp säkerheten. Frågan är dock vilket operativsystem ni rekommenderar. Är van vid Linux och har rätt goda programmerings/script/conf-kunskaper. Jag har dock mer eller mindre aldrig testat vare sig FreeBSD eller OpenSolaris (OpenIndiana) eller liknande. Tips där?

Vad hade ni valt för hårdvara? Jag kommer skaffa en server till senare, alternativt om jag använder den jag har redan för lite allt i allo enklare sysslor bara för att fysiskt skilja på servrarna. Tänkte köra virtualisering först men insåg att jag inte pallar lägga ner tiden på det + det strul som sannerligen uppstår. Största prio:n är ändå att ha en filserver, sedan kan jag köra en enklare server som hostar bnc, simpel web och liknande lättare uppgifter.

Satt i tankar först att spendera en del på fetare hårdvara för virtualisering osv, men nöjer mig med hårdvara god nog för ZFS och de krav som nämnts. Gärna inte precis på gränsen utan jag ska kunna utöka till ex.vis 16 diskar utan att det blir problem för CPU:n. Behöver dock inte ha prestanda för 50+ diskar ex.vis. Hela nätet är gigabit, och att ha extrem prestanda på filservern är inte nödvändigt. Däremot vore det fint om man kunde accessa från flera klienter samtidigt utan strul, även om det resulterar i 1/n hastighet där n är antal klienter.

Tips och idéer tack

Visa signatur

Citera mig för svar.
Arch Linux

Permalänk
Medlem

Jag kör FreeBSD med ZFS och gillar det. FreeBSD påminner lite om Arch Linux (jag kör Arch Linux på min workstation) så jag tror det skulle passa dig. Hårdvara har jag inte jättestor koll på numera men det krävs inte jättemycket prestanda. Kör själv en gammal AMD 4850e och 4 GB RAM och det flyter på hyffsat. Jag skulle inte gå under 4 GB RAM, ta hellre 8 GB så flyter ZFS på ännu bättre. Dual core eller bättre brukar man rekommendera.

Kolla på FreeBSD jails om du vill separera olika servertjänster på samma hårdvara utan att behöva ta till full virtualisering.

Permalänk
Avstängd
Skrivet av Dimman:

Jag har en setup hemma med min workstation (Arch), flera laptops, en HTPC (Arch), en enkel Linuxserver osv. Jag fick nyligen ett Fractal Design R3 chassi av en polare, samt att jag har ett 600W Zalman-nätagg över till den. Jag har tänkt sätta upp en filserver för nätverkslagring både för backup av dokument/bilder etc men även som större filserver för HTPC:n. Ja en filserver helt enkelt. Jag har tänkt bestycka den med 2TB diskar, har dock ej bestämt mig för processor/moderkort, men det lutar lite åt AMD-hållet i och med ECC-stöd.

ECC är bra och ett vettigt val.

Citat:

Först och främst: Jag har tänkt köra ZFS då det verkar mycket intressant och perfekt för mitt ändamål. Har tänkt raidz2 för att få upp säkerheten. Frågan är dock vilket operativsystem ni rekommenderar. Är van vid Linux och har rätt goda programmerings/script/conf-kunskaper. Jag har dock mer eller mindre aldrig testat vare sig FreeBSD eller OpenSolaris (OpenIndiana) eller liknande. Tips där?

Nexenta kan vara ett alternativ. Det är Ubuntu, fast med OpenSolaris kärnan, så du får ZFS och alla andra Solaris tekniker direkt in-kernel.

Jag tycker OpenSolaris/OpenIndiana är ganska likt Ubuntu. GUIt med gnome är ju typ likadant.

FreeBSD är trevligt och erkänt bra i server sammanhang.

Jag tror det bästa är att du testar de OS du är nyfiken på, i VirtualBox. Lek runt lite och se vilket som du trivs bäst med. Om du är van vid Linux så klarar du OpenIndiana eller FreeBSD utan problem. Allt är ju Unix eller liknar Unix (dvs Linux). Så jag tror du kommer känna dig hemmastadd. Det är bra, för då kan man byta OS utan större problem.

Dessutom, om du kör ZFS så kan du även byta OS utan större problem. Ronnylov skapade sitt ZFS raid i OpenSolaris och fixade. Sen ville han byta till FreeBSD. Och det gick utan större problem, vad jag förstått. Det var i stort sett bara att säga åt FreeBSD att importera hans ZFS raid som han skapat i OpenSolaris. Ronnylov, kan du berätta mera?

Så, om du kör ZFS så är du ej låst. Du kan byta OS ganska vilt. Mac OS X kommer få ZFS mycket snart, sägs det. Så du kan t.om byta till Mac OS X. Fältet är fritt. Testa några OS du är nyfiken på. Det skadar aldrig att kunna flera OS än bara ett.

OBS. Tänk på att OS har olika versioner av ZFS. T.ex. FreeBSD har v28(?). Solaris 11 Express har v31. etc. Om du har skapat ett ZFS raid i v31, så kan inte FreeBSD läsa raidet. Därför, skapa raidet i en lite äldre ZFS version, så kan alla nya OS läsa ditt raid. T.ex. skapa ditt ZFS raid i OpenSolaris som har en ganska gammal ZFS version - alla andra OS kan läsa den ZFS versionen - tror jag.

Citat:

Vad hade ni valt för hårdvara? Jag kommer skaffa en server till senare, alternativt om jag använder den jag har redan för lite allt i allo enklare sysslor bara för att fysiskt skilja på servrarna. Tänkte köra virtualisering först men insåg att jag inte pallar lägga ner tiden på det + det strul som sannerligen uppstår. Största prio:n är ändå att ha en filserver, sedan kan jag köra en enklare server som hostar bnc, simpel web och liknande lättare uppgifter.

Jag skulle valt ECC RAM. Dvs nån variant av AMD. Intel cpuer är det bara Xeon som stödjer ECC.

Undvik hårdvaruraid kort - för det sabbar för ZFS. Läs mera på wikipedia om ZFS. Det står mycket information där.

Resten av hårdvaran kan du välja beroende på vad du vill göra. Filserva kan du göra på den sämsta 64bit cpun som finns. Undvik 32 bit cpu.

Du bör ha minimum 4GB RAM.

SSD som cache är helt onödigt för de flesta. Testkör och se om det går bra utan SSD.

Jag själv har en quad 9450 + 8GB RAM + SSD som systemdisk + 8 diskar i ZFS raid. Jag har installerat Solaris 11 Express och virtualiserar på den också. Det går utmärkt. Jag använder VirtualBox för att virtualisera. Det är ju busenkelt. Om man ska hålla på med ESXi / KVM och sånt, så kanske det är struligt. Men VirtualBox är busenkelt. Varje VM är ju bara en vanlig fil, så det är bara att backuppa den enkelt.

Citat:

Satt i tankar först att spendera en del på fetare hårdvara för virtualisering osv, men nöjer mig med hårdvara god nog för ZFS och de krav som nämnts. Gärna inte precis på gränsen utan jag ska kunna utöka till ex.vis 16 diskar utan att det blir problem för CPU:n. Behöver dock inte ha prestanda för 50+ diskar ex.vis. Hela nätet är gigabit, och att ha extrem prestanda på filservern är inte nödvändigt. Däremot vore det fint om man kunde accessa från flera klienter samtidigt utan strul, även om det resulterar i 1/n hastighet där n är antal klienter.

Jag kan virtualisera utan problem på min setup. Det enda som är problemet är att jag har lite trångt med RAM när man startar flera VMs. Minst 12GB, helst 16GB RAM kommer jag satsa på nästa gång. Jag själv skulle nog köra i2600 Sandybridge, 16GB RAM och en liten SSD som systemdisk och ZFS raid. Då kan du virtualisera ganska mycket tror jag. VMs kan du placera på ZFS raidet.

Jag har inte benchat min setup, men den duger bra när man är 2 användare inne samtidigt och kör varsin VM med WinXP. Det blir ingen prestandaförlust som märks. Men, innan jag hade SSD som systemdisk så var det prestandaförlust. Om jag körde ett par torrents, och min tjej jobbade med MS Office och jag kopierade filer så blev det seriös lagg. Men med SSD så är det helt laggfritt och min tjej märker inget när jag gör allt detta. Jag kan även spela spel i en VM. typ Serious Sam, Diablo2, etc. Allt flyter som om jag vore ensam på datorn.

T.ex. kan man starta upp 2 st VMs i VirtualBox. Sen maximerar man en VM i en skärm, och maximerar den andra VM på en annan skärm. Sen stoppar man in extra tangentbord och mus, och säger till VirtualBox: passthrough USB tangentbord och mus till ena VM. Och då kan man spela spel mot varandra på en och samma dator.

EDIT: om du vill spela spel och ha 3D grafik så bör du ha ett Nvidia grafikkort, eftersom de har drivrutiner till flera Unix. AMD har inga drivrutiner alls, förutom till Linux. Så undvik AMD om du kanske kör annat än Linux

Permalänk
Medlem

Jodå det stämmer att jag gick från OpenSolaris till FreeBSD. Det gick bra eftersom jag körde en så gammal version av OpenSolaris (2008.11 har jag för mig den hette) så att ZFS-versionen var äldre än den FreeBSD 8.1 hade. Det går bra att importera en pool från en äldre version men inte tvärtom. Numera kan man köra upp till ZFS version 28 med FreeBSD tror jag så man börjar komma ikapp. Tyvärr lade Oracle ner OpenSolaris men jag är jättenöjd med FreeBSD då det passar mig. Om du trivs med Arch Linux tror jag du kommer att trivas med FreeBSD också, men prova dig fram vad som passar dig. Det finns ju en del distar baserade på Illumos/OpenIndiana om man vill gå på solaris-spåret. Finns även FreeBSD baserade såsom ZFS guru som har många fräcka funktioner och tevlgt webgränssnitt.

Att testa virtuellt är ett bra tips som Saddam kom med. Det är bra att öva sig lite innan man gör det skarpt.

När det gäller hårdvara tänk också på utbyggnadsmöjligheterna. Kan ju vara bra att ha många PCIe-portar som funkar med eventuella framtida kontrollerkort (även om det funkar jättebra med SATA-portarna på moderkortet så tar de snart slut när man skaffar fler diskar). Välj gärna ett chassi med plats för många diskar redan från början. Nätverkskort från intel är också ett bra tips oavsett vilket operativsystem du väljer.

Grafikkort är inte så noga i en filserver, men det är ju bra att ha bild under installationen. Jag kör enbart textbaserat och där duger inbyggda AMD-grafiken på mitt moderkort under installation av OS. Administrerar allt via nätverket och ssh. Har inte ens tangentbord eller skärm inkopplad i filservern. DVD-läsare är onödigt också, man kan installera från USB-minne.

Permalänk
Medlem

Tackar för svaren! Riktigt bra information från er båda.

När det gäller virtualisering så har du givetvis en sjukt bra poäng saddam: Jag satt helt i tankar på att antingen köra ESXi eller ej. Har kört Linux-servrar tidigare i VMWare/Virtualbox tidigare på en Windows 2008 Server- filserver så det är helt klart ett bra alternativ. Så blir det nog!

Jag ska läsa mer om OpenIndiana och FreeBSD; när det gäller att lära sig systemet så tror jag det kan kvitta, jag tror jag har ganska enkelt för båda. Jag tänkte mer om det fanns några nackdelar/fördelar med endera som gjorde att ni rekommenderade just det. Sen nämnde ni ju versioner av ZFS, vilket jag ska ha i åtanke. Det lutar dock åt FreeBSD då jag varit sugen på att testa det rätt länge trots allt.

Ja exakt ronnylov, jag vill inte gå för "overkill", men samtidigt inte för budget utan landa någonstans mittemellan. Har kört Intel NIC tidigare och kan bara hålla med dig, helt outstanding. DVD-platsen kommer nog bli upptagen av 3.5" diskar ändå så no worries, CD/DVD är förlegat för min del med

Då kommer vi till frågorna:
Hur viktigt anser ni det är med ECC? Jag hittar en uppsjö ECC-minnen från Kingston på dustinhome och inser att man förmodligen vill ha Single-/Dual rank minnen och inte quadrank. Men smakar det så kostar det verkar det som. Många av minnena är REG-minnen och har paritetbit osv, vad är viktigt att tänka på när det gäller det?

Jag vill nog satsa på 4GB moduler, ev 8GB beroende på vad de kostar. 16GB tror jag att jag klarar mig ganska långt på änsålänge. Har inga planer på att köra tunga databaser osv på de virtualiserade servarna, eller andra RAM-slukande applikationer, men som du nämner, kan vara bra att kunna uppgradera (utan att behöva byta ut gammalt) i ett senare skede.

Om jag ska köra ECC så var jag först inne på AMD-prolle, men när jag kikar nu så ligger en Xeon E3-1220 på 1700kr, vilket kan tänkas vara värt kanske med tanke på prestandan i förhållande till AMD's motsvarigheter? Moderkortsmöjligheterna tycker jag ser lite olika ut med, oftast fördel Intel.

Simpelt integrerat grafikkort låter bäst, alternativt kan jag lägga några hundra på ett externt även om det känns onödigt, också med expansionsplatser i åtanke.

Vad hade ni valt för hårdvara, CPU, minne, moderkort? FreeBSD, ZFS (8 diskar raidz2), 1-2 virtualiserade Linux-servrar utan supertung last.

Visa signatur

Citera mig för svar.
Arch Linux

Permalänk
Avstängd

Angående ECC, så är jag inte påläst så jag kan inte svara på de frågorna tyvärr. Men verifiera först att den intel prolle du tänker köpa, verkligen accepterar ECC. Jag har bara hört att Xeon accepterar ECC - men jag kan inte bekräfta det. Men seriösa servrar kör ju ECC. Det känns lite bortkastat att satsa på ZFS som skyddar mot bitröta på diskar, men inte satsa på ECC som skyddar RAM. Om jag ska köra en seriös server så ligger ECC högt upp på min lista. Men det är bara jag det. Eftersom jag kör en hemma server så skulle jag funderat på en Sandybrigde i2600.

Om du inte ska spela spel på servern, så kan nog integrerat grafikkort funka bra.

FreeBSD är ett mycket bra OS, så jag tror du kommer bli nöjd med det. Huvudsaken är att du kör ZFS, för då blir du inte låst till ett OS och du kan byta fritt senare om du vill. Och dina data skyddas.

Permalänk
Medlem

Intel ger nog både mer prestanda och mer prestanda per watt. Finns också trevliga servermoderkort med integrerade intel-NIC så det kan nog faktiskt vara värt det i slutändan jämfört med att behöva köpa till dessa NIC. Man får väl kolla vilka minnen som funkar tillsammans med moderkortet och den processorn man väljer men ECC är bra val. Jag kan tyvärr heller inte så mycket om detaljerna angående ECC-RAM.

Permalänk
Hedersmedlem

misco har en amd 240e med 45w tdp i sortimentet och är relativt billiga på ecc ram. köpte mitt system där.

Skickades från m.sweclockers.com

Visa signatur

Det kan aldrig bli fel med mekanisk destruktion

Permalänk
Medlem

Vad jag vet är det rätt klurigt att få igång vettig virtualisering med FreeBSD som host, Virtualbox är det enda jag vet som finns i dagsläget, om man inte ska köra regelrätta tjänster som finns i ports dvs.

Sist jag testade VB var det inte så kul alls

Permalänk
Hedersmedlem
Skrivet av Neco:

Vad jag vet är det rätt klurigt att få igång vettig virtualisering med FreeBSD som host, Virtualbox är det enda jag vet som finns i dagsläget, om man inte ska köra regelrätta tjänster som finns i ports dvs.

Sist jag testade VB var det inte så kul alls

qemu finns väl också med tillhörande kernelmodul.. borde vara snabbare.

Skickades från m.sweclockers.com

Visa signatur

Det kan aldrig bli fel med mekanisk destruktion

Permalänk
Medlem
Skrivet av Neco:

Vad jag vet är det rätt klurigt att få igång vettig virtualisering med FreeBSD som host, Virtualbox är det enda jag vet som finns i dagsläget, om man inte ska köra regelrätta tjänster som finns i ports dvs.

Sist jag testade VB var det inte så kul alls

Skrivet av Aphex:

qemu finns väl också med tillhörande kernelmodul.. borde vara snabbare.

Skickades från m.sweclockers.com

Aight, ledsen för att jag inte svarat tidigare, har typ 80h arbetsvecka. Tackar för svaren hittills!

Hur är det med prestandan i QEMU? Säg att jag kör FreeBSD som host och vill virtualisera en Linuxserver? (64bit rakt igenom)

Jag är fortfarande riktigt kluven i frågan om ECC. Jag kan få tag på en AMD PhenomII X6 inkl moderkort för strax över 1000:-, samt köpa ECC-Ram till det. Alternativt går jag på Xeon-prollen + moderkort, men då kostar det flera tusen mer. Frågan är om det är värt det? Vad anser ni, jag känner mig osäker på hur viktigt det är med ECC på en tänkt filserver som ska bestå av 8 diskar (2TB) raidz2 + OS-disk och 8-16GB RAM.

Visa signatur

Citera mig för svar.
Arch Linux

Permalänk
Hedersmedlem
Skrivet av Dimman:

Aight, ledsen för att jag inte svarat tidigare, har typ 80h arbetsvecka. Tackar för svaren hittills!

Hur är det med prestandan i QEMU? Säg att jag kör FreeBSD som host och vill virtualisera en Linuxserver? (64bit rakt igenom)

Jag är fortfarande riktigt kluven i frågan om ECC. Jag kan få tag på en AMD PhenomII X6 inkl moderkort för strax över 1000:-, samt köpa ECC-Ram till det. Alternativt går jag på Xeon-prollen + moderkort, men då kostar det flera tusen mer. Frågan är om det är värt det? Vad anser ni, jag känner mig osäker på hur viktigt det är med ECC på en tänkt filserver som ska bestå av 8 diskar (2TB) raidz2 + OS-disk och 8-16GB RAM.

Det är väl mest att poängen med ett jättesäkert filsystem till viss del går förlorad om bitfel lika gärna kan smyga sig in när datan ligger i ram.. då kan man ju lika gärna köra nån vanlig raid istället och spara lite(mycket) ram/cpu.

Klistrade in ett citat i den större zfs-tråden som beskriver nyttan med ECC rätt bra: #11279445

Visa signatur

Det kan aldrig bli fel med mekanisk destruktion