Permalänk

ext4 eller XFS?

Hej!

Kör både main storage och backup i VMs med CentOS 7.
Main storage är en HW-raid5 via VT-d till VMen och backupen är en SW-raid5 via VT-d till VMen.

Vilket filsystem skall man använda numera?
Alltid kört ext4, men numera är XFS default i RHEL7 osv.

Vilket hade ni valt och varför?

Visa signatur

Klient: ASUS TUF Gaming X670E-Plus | AMD R9-7900X | Kingston FURY Beast DDR5-6000MHz 32GB | MSI GTX 1070Ti | Lian Li PC-O11XL | Cutom H20-loop ½"
Server: Supermicro H11SSL-i | Epyc 7551P | 8x16GB 2933 RDIMM | ConnectX5 2x25gig | 2xLSI 9400-16i | 14x4TB zfs-raid60 | NVMe/900p logs/cache/system

Permalänk
Medlem

@BerraBing: Skulle säga att det inte spelar så stor roll rent tekniskt. Jämför man dom tre största filsystemen i Linux som är btrfs, ext4 och xfs så är den praktiska skillnaden mest hur stora diskarna kan vara samt hur stor en enskild fil kan vara. Rent prestandamässigt så känns btrfs som dom snabbaste av dom samt att det innehåller mest av nyheterna.

Den största begränsningen är väl att ext4 max kan ha en enskild fil på 16TB, vad det nu innebär för en vanlig dödlig rent praktiskt vet jag inte, men tror inte det kommer att vara det som är ditt bekymmer i en överskådligt framtid i alla fall.

Jämför man btrfs, ext4 och xfs så är känns det som att btrfs är det som mest avsett för framtiden och innehåller mest nytänk utanför prestandasiffror.

I ett val av ext4 eller xfs så finns det ingen anledning att ändra, Där känns det som att btrfs är mer rätt väg att gå då det bygger på något helt nytt istället.

Visa signatur

Server: Fractal design Define 7 XL | AMD Ryzen 7 5800X 8/16 | ASUS ROG CROSSHAIR VIII DARK HERO | 64GB Corsair @ 3000MHz | ASUS Radeon RX 460 2GB | Samsung 960 PRO 512 GB M.2 | 2x 2TB Samsung 850 PRO SSD | 6x Seagate Ironwolf Pro 10TB
WS: Phantex Entoo Elite | AMD Ryzen Threadripper 1950X 16/32 | ASUS Zenith extreme | 128GB G.Skill @ 2400MHz | ASUS Radeon HD7970 | 3x 2TB Samsung 960PRO M.2 | 6x Seagate Ironwolf Pro 10 TB
NEC PA301W 30" @ 2560x1600 | Linux Mint 21.3 Cinnamon

Permalänk
Skrivet av OldComputer:

@BerraBing: Skulle säga att det inte spelar så stor roll rent tekniskt. Jämför man dom tre största filsystemen i Linux som är btrfs, ext4 och xfs så är den praktiska skillnaden mest hur stora diskarna kan vara samt hur stor en enskild fil kan vara. Rent prestandamässigt så känns btrfs som dom snabbaste av dom samt att det innehåller mest av nyheterna.

Den största begränsningen är väl att ext4 max kan ha en enskild fil på 16TB, vad det nu innebär för en vanlig dödlig rent praktiskt vet jag inte, men tror inte det kommer att vara det som är ditt bekymmer i en överskådligt framtid i alla fall.

Jämför man btrfs, ext4 och xfs så är känns det som att btrfs är det som mest avsett för framtiden och innehåller mest nytänk utanför prestandasiffror.

I ett val av ext4 eller xfs så finns det ingen anledning att ändra, Där känns det som att btrfs är mer rätt väg att gå då det bygger på något helt nytt istället.

Mycket bra svar, tack!

Skickades från m.sweclockers.com

Visa signatur

Klient: ASUS TUF Gaming X670E-Plus | AMD R9-7900X | Kingston FURY Beast DDR5-6000MHz 32GB | MSI GTX 1070Ti | Lian Li PC-O11XL | Cutom H20-loop ½"
Server: Supermicro H11SSL-i | Epyc 7551P | 8x16GB 2933 RDIMM | ConnectX5 2x25gig | 2xLSI 9400-16i | 14x4TB zfs-raid60 | NVMe/900p logs/cache/system

Permalänk
Medlem
Skrivet av BerraBing:

Hej!

Kör både main storage och backup i VMs med CentOS 7.
Main storage är en HW-raid5 via VT-d till VMen och backupen är en SW-raid5 via VT-d till VMen.

Vilket filsystem skall man använda numera?
Alltid kört ext4, men numera är XFS default i RHEL7 osv.

Vilket hade ni valt och varför?

Om jag har det att välja mellan dom om Du beskriver, så är det XFS(kör det i en CentOS 6.5 som är uppgraderad till 6.något) just för att med ext4 tog det stopp någonstans vid 16 eller 24 TiB lagringsyta och det fungerar inte för mig. Hade jag fått välja så är det ZFS på Solaris eller FreeBSD som jag hade valt att köra. Btrfs är något liknande ZFS men jag vet inte hur mogen den är.

Visa signatur

Grundregel för felsökning: Bryt och begränsa.

Permalänk
Skrivet av Veni:

Om jag har det att välja mellan dom om Du beskriver, så är det XFS(kör det i en CentOS 6.5 som är uppgraderad till 6.något) just för att med ext4 tog det stopp någonstans vid 16 eller 24 TiB lagringsyta och det fungerar inte för mig. Hade jag fått välja så är det ZFS på Solaris eller FreeBSD som jag hade valt att köra. Btrfs är något liknande ZFS men jag vet inte hur mogen den är.

Hmm, sitter i skrivande stund och tar ner Fedora 24 för att köra ett test med. Eftersom det har uttalat stöd för BTRFS.

Är BTRFS att föredra över både ext4 och XFS?

Visa signatur

Klient: ASUS TUF Gaming X670E-Plus | AMD R9-7900X | Kingston FURY Beast DDR5-6000MHz 32GB | MSI GTX 1070Ti | Lian Li PC-O11XL | Cutom H20-loop ½"
Server: Supermicro H11SSL-i | Epyc 7551P | 8x16GB 2933 RDIMM | ConnectX5 2x25gig | 2xLSI 9400-16i | 14x4TB zfs-raid60 | NVMe/900p logs/cache/system

Permalänk
Skrivet av OldComputer:

@BerraBing: Skulle säga att det inte spelar så stor roll rent tekniskt. Jämför man dom tre största filsystemen i Linux som är btrfs, ext4 och xfs så är den praktiska skillnaden mest hur stora diskarna kan vara samt hur stor en enskild fil kan vara. Rent prestandamässigt så känns btrfs som dom snabbaste av dom samt att det innehåller mest av nyheterna.

Den största begränsningen är väl att ext4 max kan ha en enskild fil på 16TB, vad det nu innebär för en vanlig dödlig rent praktiskt vet jag inte, men tror inte det kommer att vara det som är ditt bekymmer i en överskådligt framtid i alla fall.

Jämför man btrfs, ext4 och xfs så är känns det som att btrfs är det som mest avsett för framtiden och innehåller mest nytänk utanför prestandasiffror.

I ett val av ext4 eller xfs så finns det ingen anledning att ändra, Där känns det som att btrfs är mer rätt väg att gå då det bygger på något helt nytt istället.

Som jag skrev i posten innan, tar ner Fedora nu för att köra ett test.

BTRFS > xfs/ext4 alltså?

Visa signatur

Klient: ASUS TUF Gaming X670E-Plus | AMD R9-7900X | Kingston FURY Beast DDR5-6000MHz 32GB | MSI GTX 1070Ti | Lian Li PC-O11XL | Cutom H20-loop ½"
Server: Supermicro H11SSL-i | Epyc 7551P | 8x16GB 2933 RDIMM | ConnectX5 2x25gig | 2xLSI 9400-16i | 14x4TB zfs-raid60 | NVMe/900p logs/cache/system

Permalänk
Medlem

XFS är riktigt bra, enda anledningen jag ser att välja ext4 är att det går att krympa, XFS kan bara expanderas. Btrfs är bra om man behöver dess finesser som snapshots, send/recieve, checksumming o.s.v. , men det kostar lite prestanda. Skulle också passa mig för paritets raid med btrfs för närvarande https://www.phoronix.com/scan.php?page=news_item&px=Btrfs-RAID-56-Is-Bad
Själv kör jag faktiskt ext4 på filservern, men det är just för att jag vill kunna krympa filsystem.

Permalänk
Skrivet av ddelin:

XFS är riktigt bra, enda anledningen jag ser att välja ext4 är att det går att krympa, XFS kan bara expanderas. Btrfs är bra om man behöver dess finesser som snapshots, send/recieve, checksumming o.s.v. , men det kostar lite prestanda. Skulle också passa mig för paritets raid med btrfs för närvarande https://www.phoronix.com/scan.php?page=news_item&px=Btrfs-RAID-56-Is-Bad
Själv kör jag faktiskt ext4 på filservern, men det är just för att jag vill kunna krympa filsystem.

Men då! nu när jag fått för mig att BTRFS is the way to go så kommer du och sumpar öl-musklerna här!

Visa signatur

Klient: ASUS TUF Gaming X670E-Plus | AMD R9-7900X | Kingston FURY Beast DDR5-6000MHz 32GB | MSI GTX 1070Ti | Lian Li PC-O11XL | Cutom H20-loop ½"
Server: Supermicro H11SSL-i | Epyc 7551P | 8x16GB 2933 RDIMM | ConnectX5 2x25gig | 2xLSI 9400-16i | 14x4TB zfs-raid60 | NVMe/900p logs/cache/system

Permalänk
Medlem
Skrivet av BerraBing:

Men då! nu när jag fått för mig att BTRFS is the way to go så kommer du och sumpar öl-musklerna här!

Btrfs ser bra ut på pappret och hade varit mitt default filsystem för Linux om jag hade upplevt det som moget. Därför kör jag FreeBSD med zfs för hela slanten på allt nytt(inkl. i VM:ar, just för att den upptäcker och korrigerar automatiskt bitfel, förutsatt att inte hela fysiska lagringen havererat).

Jag gjorde ett misstag för 2-3 år sedan och valde CentOS för min lagring just för att jag pillat med RedHat förrut och då blev det XFS för lagringen. Fördelen med XFS är när man kör LVM och vill expandera, då "kostar" det mindre än zfs men eftersom jag inte har expanderat volymen på 2-3 år sedan start en enda gång så blir det nästa gång zfs, just för att övervaka mot bitfel.

Visa signatur

Grundregel för felsökning: Bryt och begränsa.

Permalänk
Skrivet av Veni:

Btrfs ser bra ut på pappret och hade varit mitt default filsystem för Linux om jag hade upplevt det som moget. Därför kör jag FreeBSD med zfs för hela slanten på allt nytt(inkl. i VM:ar, just för att den upptäcker och korrigerar automatiskt bitfel, förutsatt att inte hela fysiska lagringen havererat).

Jag gjorde ett misstag för 2-3 år sedan och valde CentOS för min lagring just för att jag pillat med RedHat förrut och då blev det XFS för lagringen. Fördelen med XFS är när man kör LVM och vill expandera, då "kostar" det mindre än zfs men eftersom jag inte har expanderat volymen på 2-3 år sedan start en enda gång så blir det nästa gång zfs, just för att övervaka mot bitfel.

Hmmm, blir inte klok på detta vad jag ska köra på...
Kolla min andra tråd så förstår du varför jag skyr BSD + ZFS som pesten;
Problem med FreeNAS
Iofs är det FreeNAS och inte ren FreeBSD, kanske är annorlunda..?

Just nu håller jag på att installera en openSUSE-VM för att testa BTRFS.

Vilket ska man välja egentligen? Blir inte klok på att...

Ren linux-VM
+ ext4?
+ XFS?
+ BTRFS?

Visa signatur

Klient: ASUS TUF Gaming X670E-Plus | AMD R9-7900X | Kingston FURY Beast DDR5-6000MHz 32GB | MSI GTX 1070Ti | Lian Li PC-O11XL | Cutom H20-loop ½"
Server: Supermicro H11SSL-i | Epyc 7551P | 8x16GB 2933 RDIMM | ConnectX5 2x25gig | 2xLSI 9400-16i | 14x4TB zfs-raid60 | NVMe/900p logs/cache/system

Permalänk
Medlem

Jag vågar inte riktigt säga vad du ska använda men jag lyssnade nyligen på ett snack från Splunk .Conf där en av Blizzards Senior Security Engineers snackade om just hastigheten mellan EXT4, XFS och BTRFS.
Slides (se sidan 34 och framåt): https://conf.splunk.com/files/2016/slides/architecting-splunk...
Presentation: https://conf.splunk.com/files/2016/recordings/architecting-sp...

Personligen hade jag nog valt mellan XFS och BTRFS. Båda känns fräschare och mer passande för en modern miljö.

Permalänk
Medlem
Skrivet av BerraBing:

Hmmm, blir inte klok på detta vad jag ska köra på...
Kolla min andra tråd så förstår du varför jag skyr BSD + ZFS som pesten;
Problem med FreeNAS
Iofs är det FreeNAS och inte ren FreeBSD, kanske är annorlunda..?

Just nu håller jag på att installera en openSUSE-VM för att testa BTRFS.

Vilket ska man välja egentligen? Blir inte klok på att...

Ren linux-VM
+ ext4?
+ XFS?
+ BTRFS?

Eftersom Du är sugen på att testa nytt så hade jag i ditt fall testat btrfs och återkommit med hur det lirar.

Tillämpningarna utav zfs på FreeBSD, FreeNAS och NAS4Free är likadana under ytan, så jag tror inte på någon skillnad. Däremot så stänger zfs av alla osäkra cacheplatser och egen skrivcache när man inte har en säker mellanlagringsplats(som dessutom måste vara snabb) som agerar slog.

Det är kanske det Du upplever prestanda problem i din andra tråd. Din beskrivning i tråden motsvarar ungefär hur ett riktigt hårdvaru(100%) RAID-kort beter sig när man saknar BBU, och t.o.m. då så är den inbyggda skrivcachen på lagringsenheterna normalt avstängt eftersom inget kan rädda den om lagringsenheten helt plötsligt förlorar energi. Dom flesta dyrare konsument lagringsenheter i form av halvledarenheter har kondensatorbaserat skydd som förhindrar att befintliga data ej förstörs under energiavbrott(när man t.ex. drar ut en lagringsenhet ur kabinetten), men enbart halvledarenheter avsedda för kritiska lösningar(och det gäller inte alla halvledarlagringar) har dessutom kondensatorer för att hjälpa till med att skriva lagringsenhetens cacheminne till ordinarie lagringsplats eller annan sekundär plats som kan lagra snabbare än ordinarie men precis liten nog för att ta emot hela cacheminnet tills energin återställs.

Likadant med att återrapportera till styrenheten att skrivning lyckats bara för att cacheminnet svalt informationen men sedan direkt efter har kanske lagringsenheten "stängts ner"(utav olika anledningar) och då förlorar man data. Allt detta kostar prestanda när man väljer säkerhet framför prestanda, och då blir det ännu dyrare att öka prestandan.

Prova stänga av skrivcachen på dina lagringsenheter och testa på nytt. Stäng sedan av eventuella OS skrivcachar och testa igen. Då kommer Du får en rätt så bra bild utav hur långsamt det egentligen är med mekaniska lagringsenheter, just på icke sekventiell I/O. Sekventiell I/O uppnår man oftast i tester samt vid ren kopiering av filer, d.v.s. verkligheten består oftast av icke sekventiell I/O.

Visa signatur

Grundregel för felsökning: Bryt och begränsa.

Permalänk
Medlem

En fråga är ju vad för typ av data du kommer ha på disken, massa små filer eller enorma databasfiler, dom olika filsystemen är ju olika bra på det.

Länk som tittar på prestanda
http://www.linux-magazine.com/Online/Features/Filesystems-Ben...
Dock finns inte JFS med men det kanske inte finns för Linux

http://blu.org/meetings/2014/12/blu-2014-12-17-gaf-Linux_File...
Tar upp features på filsystem.

Jobbar med unix själv, och ZFS är ju nice men känns mer knöligt än säg ext4, utöka ZFS filsystem är inte lika smärtfritt, men jag har inte jobbat så mycket med Solaris.

JFS funkar bra och är enkelt att utöka eller krympa och verkar ha rätt bra prestanda.

Visa signatur

Case: Corsair Obsidian 750D Big Tower Svart, EVGA GQ 1000W Hybrid Modular 80+ PSU, 2 x Intel Xeon E5-2640 V4 Processor, 2 x Intel TS13X Liquid Cooling Solution, 2 x Kingston DDR4 2400MHz 64GB ECC/REG, ASUS Z10PE-D8 WS, 2xSocket-2011-3, ASUS Blu-Ray Writer BW-16D1HT, PNY Nvidia Quadro P5000 16GB

Permalänk
Skrivet av Voultner:

Jag vågar inte riktigt säga vad du ska använda men jag lyssnade nyligen på ett snack från Splunk .Conf där en av Blizzards Senior Security Engineers snackade om just hastigheten mellan EXT4, XFS och BTRFS.
Slides (se sidan 34 och framåt): https://conf.splunk.com/files/2016/slides/architecting-splunk...
Presentation: https://conf.splunk.com/files/2016/recordings/architecting-sp...

Personligen hade jag nog valt mellan XFS och BTRFS. Båda känns fräschare och mer passande för en modern miljö.

Skrivet av Veni:

Eftersom Du är sugen på att testa nytt så hade jag i ditt fall testat btrfs och återkommit med hur det lirar.

Tillämpningarna utav zfs på FreeBSD, FreeNAS och NAS4Free är likadana under ytan, så jag tror inte på någon skillnad. Däremot så stänger zfs av alla osäkra cacheplatser och egen skrivcache när man inte har en säker mellanlagringsplats(som dessutom måste vara snabb) som agerar slog.

Det är kanske det Du upplever prestanda problem i din andra tråd. Din beskrivning i tråden motsvarar ungefär hur ett riktigt hårdvaru(100%) RAID-kort beter sig när man saknar BBU, och t.o.m. då så är den inbyggda skrivcachen på lagringsenheterna normalt avstängt eftersom inget kan rädda den om lagringsenheten helt plötsligt förlorar energi. Dom flesta dyrare konsument lagringsenheter i form av halvledarenheter har kondensatorbaserat skydd som förhindrar att befintliga data ej förstörs under energiavbrott(när man t.ex. drar ut en lagringsenhet ur kabinetten), men enbart halvledarenheter avsedda för kritiska lösningar(och det gäller inte alla halvledarlagringar) har dessutom kondensatorer för att hjälpa till med att skriva lagringsenhetens cacheminne till ordinarie lagringsplats eller annan sekundär plats som kan lagra snabbare än ordinarie men precis liten nog för att ta emot hela cacheminnet tills energin återställs.

Likadant med att återrapportera till styrenheten att skrivning lyckats bara för att cacheminnet svalt informationen men sedan direkt efter har kanske lagringsenheten "stängts ner"(utav olika anledningar) och då förlorar man data. Allt detta kostar prestanda när man väljer säkerhet framför prestanda, och då blir det ännu dyrare att öka prestandan.

Prova stänga av skrivcachen på dina lagringsenheter och testa på nytt. Stäng sedan av eventuella OS skrivcachar och testa igen. Då kommer Du får en rätt så bra bild utav hur långsamt det egentligen är med mekaniska lagringsenheter, just på icke sekventiell I/O. Sekventiell I/O uppnår man oftast i tester samt vid ren kopiering av filer, d.v.s. verkligheten består oftast av icke sekventiell I/O.

Skrivet av bkmvlnet:

En fråga är ju vad för typ av data du kommer ha på disken, massa små filer eller enorma databasfiler, dom olika filsystemen är ju olika bra på det.

Länk som tittar på prestanda
http://www.linux-magazine.com/Online/Features/Filesystems-Ben...
Dock finns inte JFS med men det kanske inte finns för Linux

http://blu.org/meetings/2014/12/blu-2014-12-17-gaf-Linux_File...
Tar upp features på filsystem.

Jobbar med unix själv, och ZFS är ju nice men känns mer knöligt än säg ext4, utöka ZFS filsystem är inte lika smärtfritt, men jag har inte jobbat så mycket med Solaris.

JFS funkar bra och är enkelt att utöka eller krympa och verkar ha rätt bra prestanda.

Ursäkta sent svar, jobbat utomlands osv...

Tack för era svar!

FreeNAS hade urusel prestanda, alla drivers lästa.
Linuxdistar, valfritt, med tillhörande SW-raid kanon prestanda.

Kör just nu ett test med en VM bestående av openSUSE, BTRFS-raid0 och får 400MB/s+. Inga krusiduller som SLOG eller något, bara raid0 i BTRFS.

Visa signatur

Klient: ASUS TUF Gaming X670E-Plus | AMD R9-7900X | Kingston FURY Beast DDR5-6000MHz 32GB | MSI GTX 1070Ti | Lian Li PC-O11XL | Cutom H20-loop ½"
Server: Supermicro H11SSL-i | Epyc 7551P | 8x16GB 2933 RDIMM | ConnectX5 2x25gig | 2xLSI 9400-16i | 14x4TB zfs-raid60 | NVMe/900p logs/cache/system