NAS med FreeBSD/ZFS

Intressant. Var det någon särskild detalj som fixade interna diskprestandan?
Jag skulle nog också ha nöjt mig med den prestandan du har nu.

Har själv aldrig lyckats komma över 60 MB/s med samba mot ubuntu eller Windows XP, men jag har heller inte tweakat det så mycket. Men NFS kan väl vara ett alternativ med ubuntu? SSHFS är också trevligt men jag tror inte det är snabbare än samba. Kanske kan funka hyfsat om man kör arcfour eller blowfish-cbc eller vad de snabbare krypteringarna i ssh nu heter...

Verkar som det kan finnas vissa risker med att inaktivera ZIL:
ZFS Evil Tuning Guide - Siwiki

"ZIL stands for ZFS Intent Log. It is used during synchronous writes operations. The ZIL is an essential part of ZFS and should never be disabled. Significant performance gains can be achieved by not having the ZIL, but that would be at the expense of data integrity. One can be infinitely fast, if correctness is not required."

"The combination of ZFS and NFS stresses the ZIL to the point that performance falls significantly below expected levels. The best solution is to put the ZIL on a fast SSD (or a pair of SSDs in a mirror, for added redundancy). The next best solution is to disable ZIL with the following setting in loader.conf:

vfs.zfs.zil_disable="1"

Disabling ZIL is not recommended where data consistency is required (such as database servers) but will not result in file system corruption. "

enligt ZFSTuningGuide - FreeBSD Wiki

Ska man tolka detta som att man riskerar få felaktig data lagrad men att filsystemet som sådant inte går sönder? Känns inte riktigt värt att göra för att få bättre prestanda. Fattade som att i tråden så körde de lite tester med att inaktivera ZIL bara för att felsöka men att det inte är något man bör göra när man "kör skarpt".

EDIT: Data consistency - Wikipedia, the free encyclopedia
Antar att det har något att göra med vilken ordning data skrivs?

EDIT 2: Här har vi en förklaring vad ZIL gör:
Solaris ZFS Performance Tuning: Synchronous Writes and the ZIL

Såg på din blogg att du håller på undersöka hur man spinner ner diskarna med hjälp av camcontrol när man kör ahci.
Hittade bra info här: [Solved] [AHCI] Spinning down ada(4) disks - The FreeBSD Forums

Så för att ställa in att hårddisken varvar ner efter 15 minuters inaktivitet:
camcontrol idle adaX -t 900
Betyder "idle now, but set standby timer for 900 seconds".

Bra att man kan ställa det individuellt för varje hårddisk, man kanske inte vill att systemdisken ska somna om man vill ha snabb respons men lagringsdiskarna som inte används så ofta kan få varva ner. Jag vet inte om man måste göra detta vid varje uppstart av datorn men i så fall får man väl lägga det i ett startscript.

Själv vill jag nog få hårddiskarna att inte vakna och somna jätteofta men typ nattetid eller när man är på jobbet kan de få vila lite så jag ställer nog in 2-3 timmar eller något sådant. Blir lagom när man gör något, sedan pausar för att natta barnen på kvällen och sedan återupptar sysslan ca 2 timmar senare.

Jag har beställt delarna till min serveruppgradering. Inväntar dock 2TB-diskarna och hårddiskburen som jag förhoppningsvis får idag, resten av prylarna har jag hemma nu.

Tydligen kan man med något kommando fråga diskarna om de har varvat ner eller inte utan att de varvar upp på grund av att man skickar kommandot. Då skulle man kunna lägga det i cron typ en gång i kvarten så kan man logga status. Finns väl även någon räknare i disken på hur många gånger den varvat upp som man kan läsa av med smart har jag för mig.

Fick lite problem efter att ha installerat FreeBSD och sedan kopplat in ett till SATA-kontrollerkort. Då ville inte FreeBSD montera systemdisken längre och det visade sig bero på att ad16 hade bytt namn till ad20. Antar att man kanske kunnat redigera fstab men jag lyckades inte manuellt få igång det vid bootprompten.

Eftersom jag ännu inte direkt installerat några program eller så valde jag att installera om FreeBSD på ad20 istället. Men jag får väl samma problem om jag byter till AHCI-drivern i FreeBSD antar jag? Om man inte kan boota för at fstab är felaktig, hur ska man då kunna redigera fstab? Ska man boota FixIt från installationsmediet och gå den vägen?

Hårdvarumässigt var det himla knixigt att få in Lian Li EX-34N hårddiskbur i mitt Antec Three Hundred chassi. Moderkortets strömkontakt ville ta emot men efter att dragit om strömsladden så att den gick rakt in istället för att vika sig mot fronten så gick det bra till slut. Jag tror det blir bra så småningom men det är lite trixigt än så länge...

Ja jag fick såklart problem när jag aktiverade ahci i /boot/loader.conf. Men fixade det med FixIt, fick ändra från ad20 till ad4 i fstab. Upptäckte sedan glabel och namngav partitionerna och ändrade fstab att använda dessa labels. Fanns visst någon ufsid man kunde använda som alternativ. Efter att använt glabel kunde jag utan problem inaktivera ahci och ändå boota (bara för att testa) så då spelar det längre ingen roll hur disken är inkopplad eftersom den hittar rätt label. Rekommenderar starkt att använda någon typ av label på systemdisken för att slippa problem om man t.ex. köper till ett extra kontrollerkort.

Jag testar lite hur det funkar just nu innan jag bestämmer mig hur jag ska installera slutligen. Många verkar rekommendera att köra / och /usr som UFS med en traditionell swap-partition och resten på ZFS. Motivet till det skulle vara att man då skulle kunna boota en enkel miljö för att reparera ZFS. Men då jag gillar ZFS kanske jag försöker göra en ren ZFS-root när jag bättre lärt mig hur FreeBSD fungerar.

Funkar det alltså inte med camcontrol cmd da0 -a "EF 85 00 00 00 00 00 00 00 00 00 00" ?
Förmodligen tappas det när strömmen kopplas ur så man får väl ha det i ett uppstartscript i så fall.
På vissa western digital diskar kan man fixa problemet med wdidle3.exe.

Själv har jag nu lyckats installera FreeBSD på ZFS root mirror enligt denna guide: Installing FreeBSD on a mirrored ZFS pool
Nu verkar det finnas en bugg som sabbar bootning om en av diskarna i spegeln inte funkar.
Finns en patch för denna bugg: The FreeBSD Forums - View Single Post - [Solved] a word of warning regarding ZFS in 8.1
Jag får väl försöka lägga in den patchen och testa vad som händer om jag kopplar ur en disk.

Jag använde alltså GPT labels på partitionerna. Kan man använda GPT label på en "raw disk" också på samma sätt som glabel? Kanske inte finns någon anledning i och för sig. Känns vettigt att använda någon form av labels i alla fall.
Enligt guiden så monterade man /tmp som tmpfs men vid uppstarten varnar den om att tmpfs är "highly experimental on freebsd". Kanske bättre att skapa ett filsystem på zfs även för /tmp ? Å andra sidan känns inte /tmp som något jättekritiskt.

Jag har nu lagt in patchen enligt min förra post och det funkar utmärkt att starta upp på bara en av de två hårddiskarna i min boot-mirror. Det var ju skönt att detta fixade buggen, men lite jobbigt med allt kompilerande innan jag fick till det. Jag fick bland annat göra make buildworld vilket tog nästan 2 timmar på min dator.

Jag har installerat lite från ports, bland annat skalet bash som inte finns med i basinstallationen. Men det är lite tråkigt med ports för det tar 10-15 minuter att installera något så simpelt som bash eftersom allting kompileras och min processor är inte jättesnabb. Får testa alternativet med binära paket istället känns det som. Särskilt om man ska installera något större.

I övrigt gillar jag FreeBSD. Gillar att man installerar ett någorlunda enkelt bassystem som man bygger upp. Finns bra dokumentation och trevlig community. Man får pilla en hel del med små detaljer men sådant gillar jag. Hårdvarustödet är bra med min hårdvara, jag kan t.ex. köra AHCI på hårddiskarna vilket jag inte kunde göra med min hårdvara i opensolaris 2008.11 (men det kan ju har förbättrats i senare releaser). Verkar dessutom finnas någorlunda bra stöd för strömsparfunktioner vilket jag saknade i opensolaris. Än så länge känns det väldigt bra att köra FreeBSD istället för opensolaris.

pkg_add -r bash

Apropå samba, finns det ingen nyare version än 3.4.8 i ports? Trodde version 3.5.4 var senaste stabila samba?

Jag har nu importerat min opensolaris raidz1 och det gick bra. Får dock upp någon varning om korrupt sekundär partitionstabell, använder den primära partitionstabellen på dessa hårddiskarna men scrub hittade inga fel så det verkar OK ändå. Uppgraderade till zpool version 14 (dessa diskar körde version 13).

Kopplade in de sista hårddiskarna också. Med alla 11 diskar inkopplade får jag felmeddelande från datorns bios tror jag (verkar komma innan boot):
error66 lba32
error66 lba1
error66 lba32
error66 lba1

Meddelandet om korrupt partitionstabell kom upp efter att detta inträffade så det kan finnas ett samband.
Dessa felmeddelanden verkar försvinna när jag kopplar ur hårddiskarna som är anslutna till Highpoint Rocket 620 kontrollern. Men även med diskarna inkopplade bootar systemet upp och allting verkar fungera trots dessa felmeddelanden vid uppstarten. Testade ändra från AHCI till IDE-läge på hårddiskarna i moderkortets bios och då kommer inte dessa felen upp. Finns även en option att ställa IDE på endast två av sata-portarna i moderkortets bios, men när jag testade det försvann inte felmeddelandet. Lustigt nog är det ändå bara två av hårddiskarna som försvinner från camcontrol devlist när jag inaktiverat AHCI för alla diskar i bios trots att det är 6 stycken hårddiskar anslutna till moderkortet. De två som försvinner från camcontrol hamnar under atacontrol istället. Ska man tolka det som att resterande 4 diskar ändå använder AHCI eftersom de listas under camcontrol? Kanhända det är något vajsing med AHCI på mitt moderkort, det funkade ju inte alls på opensolaris men jag får väl prova och se hur det blir.

Hursomhelst, ZFS har ju koll på eventuella korrupta filer så jag har satt på AHCI igen i moderkortts bios och kör vidare, ignorerar dessa fel så länge för att se om ZFS detekterar några fel. För att få till min 7-diskars raidz2 körandes med endast 5 stycken verkliga hårddiskar så använde jag mig av minnesdiskar som någon tipsade om i tråden. Använder även glabel på 2TB-diskarna för att ge dem trevliga namn (label/disk7, label/disk8, label/disk9 och label/disk10). Då sparas dessa labels som metadata på hårddisken så det blir lättare att identifiera diskarna.

Funkade i alla fall bra att skapa raidz2 med 5 verkliga diskar plus två minnesdiskar md0 och md1. Den nya poolen heter nu nytank. Den gamla heter tank. md0 och md1 är vardera på 1 TB men mitt RAM är inte så stort så det första jag gjorde var att försöka sätta md1 och md0 offline innan jag fyller på med data. Men sedan gick det inte att sätta md0 offline när md1 redan är offline för zpool vägrar låta mig ta bort all redundans. Då fick jag helt enkelt ta bord md0 med malloc -d -u 0 och den blev UNAVAIL i zpool status, men poolen funkar fortfarande dock utan redundans. Min gamla tank har fortfarande 1 disk redundans så det är ingen fara.

Nu har jag alltså två pooler. tank med raidz1 5x1 TB. nytank med 7-diskars raidz2 som körs degraderad på 5 diskar (varav några 2 TB och några 1 TB så utrymmet är just nu 5 TB för lagring på nytank).

Så duplicerar jag tank till nytank:
zfs snapshot -r tank@transfer
zfs send -R tank@transfer | zfs receive -vFd nytank

Verkar funka smidigt, tar snapshots på alla filsystem på tank och skickar dem allihopa till nytank. Är förhoppningsvis färdigt framåt kvällen. När det är färdigt så ska tank ha klonats till nytank.

Framtidsplaner:
Om överföringen går bra - exportera tank och ta en 1TB-disk därifrån till nytank så man får redundans där istället (ersätt md1).

Går det bra ta ytterligare 1 TB-disk från tank (då förstörs tank men filerna är säkrade på nytank istället) och ersätt md0

Då har jag 7 diskars raidz2 med alla diskar online. Dock är vissa diskar bara 1TB. Det får fixas:
Sätt en 1 TB-disk offline, kombinera ihop den med 1TB-disk från förstörda tank med gconcat och ersätt disk i nytank.
fortsätt så tills alla diskar är 2 TB (varav vissa är 1TB-diskar parvis i jbod med gconcat).

Slutligen zpool export och import för att få 7x2TB raidz2...
Trevligt med funktioner som gconcat så att man kan återanvända sina 1TB-diskar parvis så de upplevs som 2TB-diskar.
Men jag har en känsla av att det kommer att ta ganska lång tid att hålla på ersätta en disk i taget, vänta på resilver och så vidare men så småningom ska det väl bli färdigt. Känns ändå bra att gå över från raidz1 till raidz2 och jag kan nog behöva det med lagring på 10 stycken hårdiskar.

Intressant fakta kan vara att de 2 TB hårddiskar jag köpte nu kostade lika mycket som 1TB-diskar kostade i december 2008 när jag byggde min filserver. Så 2012 kan man kanske få 4TB-diskar för för en tusenlapp. Då får jag väl konkatenera 2TB-diskarna istället och fylla på med 4 TB-diskar. På så sätt kan man återanvända en del gamla diskar. Blir nog en enklare procedur när man kör raidz2 jämfört med raidz1. Plocka ur en disk och ersätt med dubbelt så stor. Plocka ur nästa disk, konkatenera denna bortkopplade disk med den tidigare bortkopplade disken och ersätt. Nästa disk ersätter man med en ny dubbelt så stor och så vidare.

Detta kanske kan ge idéer till er som idag sitter med typ en 6-diskars raidz2 med 1TB-diskar och vill utöka utrymmet. Köp till 3 stycken 2TB-diskar och konkatenera till en 6 diskars raidz2 som består av 3 äkta 2TB-diskar och 3 stycken jbod-par på 1TB. Då får ni 8 TB utrymme istället för 4TB. Visst ni kunde istället ha lagt till en 3-diskars raidz1 med 2TB-diskar och fått samma utrymme men då kan ni ha oturen om två stycken hårddiskar i raidz1 går sönder istället för om dessa hade suttit i raidz2-arrayen. Å andra sidan blir det snabbare med flera vdev så man kanske hellre köper 4 stycken 2TB och lägger till en raidz2 till sin existerande pool men det blir ju dyrare också och tar en extra hårddiskplats i utrymme i chassit.

En nackdelen jag ser med att köra jbod är väl att risken blir större att hårddiskar faller bort ur arrayen. Är ju dubbelt så stor risk att någon disk i ett hårddiskpar går sönder jämfört med en ensam disk. Men jag tycker jag har kompenserat detta genom att gå från raidz1 till raidz2.

Attans, mina 1 TB-diskar är för små för att ersätta md0 och md1. Orsaken är att minsta volymen i zpool nytank är en partition på 1,5 TB-hårddisken på 1 TB men den blev ca 110 MB större än mina 1TB-diskar och man kan inte göra zpool replace med en mindre disk.

Lösning jag skapade en zfs volym på rpool på 1 GB, körde gconcat med min 1TB-disk och fick en aningen större jbod-volym. Denna funkade att använda för zpool replace... Jaja det är bara en tillfällig lösning tills jag får ihop 2TB enheterna...