Snapraid + MergerFS/UnionFS

Permalänk
Medlem

Snapraid + MergerFS/UnionFS

Hello,

Funderat på att uppgradera server för medialagring. En fråga jag har gällande guider, snapraid. Det verkar alltid förekomma snapraid och mergerfs/unionfs i samma mening. Måste snapraid användas tillsammans med någon av dessa?

Är anlendningen kort och gott som såhär; Man skapar en snapraid för paritet, exvis 2x8TB data + 1x8TB paritet. Sedan skapar man en unionFS över de båda datadiskarna för att sprida ut datan jämnt över dessa datadiskar?

Personligen vill jag ju tro att snapraid räcker och att jag kan välja den skapade raiden som filsystemet att skapa mappar och lägga filerna på utan mergerfs/unionfs?

Något jag heller inte verkar förstå, om jag skapar en snapraid eller unionfs och installerar om min server, kommer den nya installationen bara se diskar fulla med filer i all möjlig oordning eller kommer man kunna återskapa en snapraid så att den ser ut som innan? Låt säga att jag använder mig av det grafiska gränssnittet för snapraid i omv5. Om jag installerar om servern, kommer den kunna se den tidigare snapraiden eller behöver jag välja in diskarna på nytt och köra exvis en "snapraid sync" för att den ska förstå?

Permalänk
Medlem

mergerfs/unionfs är ju för att man ska få "en" enda stor "partition" för alla data diskar som du var inne på.
Var dock ett bra tag sedan jag tittade på nån av dessa men har för mig att det fanns inställningar som det gör i unraid och "mover".

Mover=script som vid inställd tidpunkt/dag/vecka/mån flyttar all data från cache disken/arna till arrayen.
Där finns det inställningar som fyll upp en disk sedan nästa/fyll alla diskar samtidigt/osv.
Körde med fyll en disk sedan nästa ett tag men funkade inte för min del när en disk blev full så om man tex flyttade en tv serie så kunde ju ett par filer hamna på en disk och ett par på nästa disk.
Inte nåt jag vill ha så stängde av och flyttar filer manuellt istället då o då beroende på hur mycket som laddats ned, blir mindre jobb överlag för mig.
Dvs för min del så vart det alldeles för stor oordning med 14st diskar totalt, kanske skulle funka för min del med 2-3st men inte fler!

Snapraid liksom unraid behöver ej ha lika stora diskar så länge paritets disken är lika stor heller större än den största data disken.

Och har för mig att snapraid kan använda i ditt exempel med 8TB data diskar istället för en 8TB paritetsdisk så kan man slå ihop 2st 4TB diskar och köra dom som en 8tb paritets disk, kan ha fel var ett tag sedan jag kollade snapraid med.

Visa signatur

Nu när vi betalar för det!
Glöm inte bort att slänga alla plastpåsar i vattnet!

Skit nätagg (som inte alltid=med billigt) är enbart till för dom rika som har råd att byta ut allt när (inte OM utan NÄR) det dör!

Permalänk
Medlem

Så OM jag väljer att skapa en pool med mergerfs så kommer jag få en gemensam pool som jag lägger under ex.vis /mnt/datalagring. När jag sedan skapar en mapp som heter 'video', vart hamnar den mappen? Som jag förstår det sprider mergerfs ut filerna jämnt över diskarna i poolen, men hur ser mappstrukturen ut på respektive disk? Blir mapparna som skapas i /mnt/datalagring bara som hål man kastar ner andra mappar och filer i som faller ut jämnt över diskarna eller skapas video-mappen på alla diskarna?

Om jag hellre bygger min egna mappstruktur separat på två datadiskar, inkluderar dessa två diskar i en snapraid tillsammans med en lika stor paritetsdisk så kommer snapraid sköta redundansen medan jag kan hantera diskarna som om de inte vore med i raid?

EDIT: My bad! mergerfs fungerar ju inte som en raid i det här fallet. Den länkar ju bara alla mappar och filer som finns på respektive disk till en punkt. har jag en mapp som heter video på disk1 och disk2 så kommer den få dessa att se ut som en och samma mapp under /mnt/datalagring? Har jag förstått det rätt då?

Permalänk
Medlem

Är inte helt säker på hur det funkar med mergerfs.
Men på unraid och mover så hade video katalogen hamnat både under /mnt/datalagring/video och /mnt/disk666/video (beroende på hur många diskar du har ) om det var disk666 som mover beslöt att flytta en heller flera filer till.

Dvs man kan gå in och manuellt flytta runt filer mellan olika diskar även fast den stora datalagring partitionen fortfarande finns och allt kommer fortfarande finnas kvar i /mnt/datalagring/video efteråt.

Sen om man har inställt på fylla en disk och sen gå till nästa så kommer allt hamna i en mapp på disk666/video MEN blir den full heller man har inställt på dela upp data på alla diskar så kommer du få en video mapp och en/flera filer på ALLA diskar (beroende på hur många filer det är i video mappen givetvis, är det bara en så hamnar den bara på en disk).

Visa signatur

Nu när vi betalar för det!
Glöm inte bort att slänga alla plastpåsar i vattnet!

Skit nätagg (som inte alltid=med billigt) är enbart till för dom rika som har råd att byta ut allt när (inte OM utan NÄR) det dör!

Permalänk
Medlem
Skrivet av Benkaboy:

Så OM jag väljer att skapa en pool med mergerfs så kommer jag få en gemensam pool som jag lägger under ex.vis /mnt/datalagring. När jag sedan skapar en mapp som heter 'video', vart hamnar den mappen? Som jag förstår det sprider mergerfs ut filerna jämnt över diskarna i poolen, men hur ser mappstrukturen ut på respektive disk? Blir mapparna som skapas i /mnt/datalagring bara som hål man kastar ner andra mappar och filer i som faller ut jämnt över diskarna eller skapas video-mappen på alla diskarna?

Om jag hellre bygger min egna mappstruktur separat på två datadiskar, inkluderar dessa två diskar i en snapraid tillsammans med en lika stor paritetsdisk så kommer snapraid sköta redundansen medan jag kan hantera diskarna som om de inte vore med i raid?

EDIT: My bad! mergerfs fungerar ju inte som en raid i det här fallet. Den länkar ju bara alla mappar och filer som finns på respektive disk till en punkt. har jag en mapp som heter video på disk1 och disk2 så kommer den få dessa att se ut som en och samma mapp under /mnt/datalagring? Har jag förstått det rätt då?

Livar upp en gammal tråd då jag tycker att ämnet bör lyftast, så ZFS-blinda människor får alternativ!

Svar på frågan: det går att ange vilken "policy" mergerfs ska använda vid skapande av mappar och filer. Det är korrekt att mergerfs slår ihop mappar med samma namn, så att de ser ut som en och samma under, i exemplet, /mnt/datalagring. Om mappen video inte finns innan och den skapas i mappen /mnt/datalagring (och inte direkt på någon av de inkluderade diskarna) så kommer den att skapas på inkluderade diskar enligt angiven policy. Om en "path preserving" policy används, så kommer video endast att skapas på en disk och alla filer som placeras i mappen video hamnar då endast på den disk där mappen skapades.

"A path preserving policy will only consider branches where the relative path being accessed already exists." - https://github.com/trapexit/mergerfs

Snapraid och mergerfs har två olika jobb och skiter i vad den andre gör.

Visa signatur

+++ Divide By Cucumber Error. Please Reinstall Universe And Reboot +++

"Real stupidity beats artificial intelligence every time." - Terry Pratchett, Hogfather