ZFS för VM: iSCSI eller NFS+ZIL på SSD?

Permalänk
Medlem

ZFS för VM: iSCSI eller NFS+ZIL på SSD?

Hej,

Har köpt mig en server som jag idag kör ESXi 5.0 på. Där har jag en virtualiserad FreeNAS som kör ZFS på 8*2 TB diskar (med Passthrough till mitt kontrollerkort).
Till saken hör att jag har en 120GB godtycklig Samsung SSD liggandes.
Jag har tänkt lägga VMs på ZFS-systemet, men vilket är effektivast? iSCSI låser ju upp en del HDD, NFS kör ju thin-provisioning.
Valen jag har är:
1) Köra alla VMs på iSCSI och isåfall använda SSDn som L2ARC
2) Köra alla VMs via NFS, ZIL ligger på SSDn
3) Köra alla VMs via NFS, dela ZIL och L2ARC på SSDn (går att göra, vet inte om Freenas stöder detta out-of-the-box).

Iövrigt snurrar ESXi på en Xeon E3-1240 CPU, och jag är tveksam till att den jobbar ihjäl sig rent generellt.

BTW: Ska den här tråden ligga här eller under lagring?

/Zyber

Visa signatur

Jag är en optimist; det är aldrig så dåligt så att det inte kan bli sämre.

Permalänk
Hedersmedlem

Har inga som helst belägg eller erfarenhet, men min vänstra stortå säger att du får bäst resultat med iSCSI och L2ARC faktiskt. Lite beroende på nätverksutrustning, beror på vad du har för prylar nu?

Visa signatur

SWECLOCKERS.COM :: If Quake was done today ::
WS: Gigabyte Z690 UD DDR5 :: Core i5 12600K :: 32 GB RAM :: Geforce RTX 3060 Ti :: 10 GbE NIC :: AOC C32G1 32" :: Seagate FireCuda 530 1TB :: Deepcool Matrexx 55
NAS: SM X10-SLM-F :: Mellanox Connect2X SFP+ :: Intel XL710-QDA1 QSFP+

Permalänk
Medlem
Skrivet av Kr^PacMan:

Har inga som helst belägg eller erfarenhet, men min vänstra stortå säger att du får bäst resultat med iSCSI och L2ARC faktiskt. Lite beroende på nätverksutrustning, beror på vad du har för prylar nu?

Iom att filservern är virtualiserad den med har nog inte övrig nätverksutrustning så mycket med saken att göra. har en 24portars Netgear Gbit-lager 3-switch...

Visa signatur

Jag är en optimist; det är aldrig så dåligt så att det inte kan bli sämre.

Permalänk
Hedersmedlem
Skrivet av zyberzero:

Iom att filservern är virtualiserad den med har nog inte övrig nätverksutrustning så mycket med saken att göra. har en 24portars Netgear Gbit-lager 3-switch...

Enligt min erfarenhet är iSCSI snabbare än NFS i så fall, om du kör Gigabit hela vägen fram så att säga.

Visa signatur

SWECLOCKERS.COM :: If Quake was done today ::
WS: Gigabyte Z690 UD DDR5 :: Core i5 12600K :: 32 GB RAM :: Geforce RTX 3060 Ti :: 10 GbE NIC :: AOC C32G1 32" :: Seagate FireCuda 530 1TB :: Deepcool Matrexx 55
NAS: SM X10-SLM-F :: Mellanox Connect2X SFP+ :: Intel XL710-QDA1 QSFP+

Permalänk
Medlem
Skrivet av Kr^PacMan:

Enligt min erfarenhet är iSCSI snabbare än NFS i så fall, om du kör Gigabit hela vägen fram så att säga.

Gjorde en jämförelse på min QNap mellan iSCSI och NFS i det fallet vann NFS. Det som var mest skrämmande var att iSCSI/NFS var 10-faldigt snabbare än att köra med de interna diskarna som satt på en vanlig SATA-controller på moderkortet (ingen RAID, ESXi 5).

Så bästa är nog att prova sej fram

Visa signatur

.: Learn the system, Play the system, Break the system :.

Permalänk
Medlem

Hade valt ISCSI p.g.a. block tracking istället för NFS som har File tracking.
Vidare klarar ISCSI av Thin Provision, så där är inga hinder.

Kan ha läst fel, klockan är mycket

Visa signatur

Emkill, mannen med Lådan =)

Permalänk
Hedersmedlem
Skrivet av Mr_Lazy:

Gjorde en jämförelse på min QNap mellan iSCSI och NFS i det fallet vann NFS. Det som var mest skrämmande var att iSCSI/NFS var 10-faldigt snabbare än att köra med de interna diskarna som satt på en vanlig SATA-controller på moderkortet (ingen RAID, ESXi 5).

Så bästa är nog att prova sej fram

iSCSI är ju väldigt processorberoende också. Har man en vanlig konsument-NAS tror jag att enhetens prestanda begränsar hastigheten med iSCSI. Vilken prestanda fick du?

Visa signatur

SWECLOCKERS.COM :: If Quake was done today ::
WS: Gigabyte Z690 UD DDR5 :: Core i5 12600K :: 32 GB RAM :: Geforce RTX 3060 Ti :: 10 GbE NIC :: AOC C32G1 32" :: Seagate FireCuda 530 1TB :: Deepcool Matrexx 55
NAS: SM X10-SLM-F :: Mellanox Connect2X SFP+ :: Intel XL710-QDA1 QSFP+

Permalänk
Medlem

QNapen kör med en Atom 1.8 Ghz
Min mätmetod kanske inte är dem bästa så de faktiska siffrorna är inte helt korrekta men eftersom mätningen är gjord på samma sätt i alla fallen så är de relativt varandra lika.

SATA (R/W)
Seq: 55,880 / 54,590
512k: 26,790 / 30,600
4k: 0,417 / 0,823
4kQD32: 0,633 / 0,855

NFS (R/W)
Seq: 72,09 / 59,64
512k: 74,13 / 53,34
4k: 11,48 / 9,528
4kQD32:11,51 / 10,34

iSCSI (R/W)
Seq: 48,130 / 62,600
512k: 38,850 / 62,240
4k: 8,721 / 9,941
4kQD32: 3,177 / 11,020

Visa signatur

.: Learn the system, Play the system, Break the system :.

Permalänk
Hedersmedlem
Skrivet av Mr_Lazy:

QNapen kör med en Atom 1.8 Ghz
Min mätmetod kanske inte är dem bästa så de faktiska siffrorna är inte helt korrekta men eftersom mätningen är gjord på samma sätt i alla fallen så är de relativt varandra lika.

SATA (R/W)
Seq: 55,880 / 54,590
512k: 26,790 / 30,600
4k: 0,417 / 0,823
4kQD32: 0,633 / 0,855

NFS (R/W)
Seq: 72,09 / 59,64
512k: 74,13 / 53,34
4k: 11,48 / 9,528
4kQD32:11,51 / 10,34

iSCSI (R/W)
Seq: 48,130 / 62,600
512k: 38,850 / 62,240
4k: 8,721 / 9,941
4kQD32: 3,177 / 11,020

Jag testade iSCSI på en större enhet (RNDU6320 från Netgear) och fick 100+ MB/s med iSCSI. Testade visserligen bara sekventiell prestanda med relativt små filer. Det skumma är att den bygger på en Intel Atom D510 1.66 GHz (Pineview-kärna). Hur mycket minne har du i din NAS?

Visa signatur

SWECLOCKERS.COM :: If Quake was done today ::
WS: Gigabyte Z690 UD DDR5 :: Core i5 12600K :: 32 GB RAM :: Geforce RTX 3060 Ti :: 10 GbE NIC :: AOC C32G1 32" :: Seagate FireCuda 530 1TB :: Deepcool Matrexx 55
NAS: SM X10-SLM-F :: Mellanox Connect2X SFP+ :: Intel XL710-QDA1 QSFP+

Permalänk
Medlem

1 gb men det rör sej inte mycket när man börjar skicka på filer... har en 2 gb modul som tänkte stoppa i bara för att jag hade den på hyllan men förväntar mej inga bättre resultat.

Men hur gjorde du mätningen?

Visa signatur

.: Learn the system, Play the system, Break the system :.

Permalänk
Hedersmedlem
Skrivet av Mr_Lazy:

1 gb men det rör sej inte mycket när man börjar skicka på filer... har en 2 gb modul som tänkte stoppa i bara för att jag hade den på hyllan men förväntar mej inga bättre resultat.

Men hur gjorde du mätningen?

Det var ju ett tag sedan, men vad jag kommer ihåg monterade jag bara iSCSI-enheterna på testdatorn och körde ATTO. Fick ju rätt bra resultat med SMB/CIFS också. ATTO kör ju relativt små filer, hur testade du? Har ingen koll på implementationen av iSCSI, men så länge den är gjord efter RFC:n för iSCSI ser jag inte vart felet kan ligga hos dig? Antar att du kör Gigabit hela vägen utan routrar och sånt ivägen?

Visa signatur

SWECLOCKERS.COM :: If Quake was done today ::
WS: Gigabyte Z690 UD DDR5 :: Core i5 12600K :: 32 GB RAM :: Geforce RTX 3060 Ti :: 10 GbE NIC :: AOC C32G1 32" :: Seagate FireCuda 530 1TB :: Deepcool Matrexx 55
NAS: SM X10-SLM-F :: Mellanox Connect2X SFP+ :: Intel XL710-QDA1 QSFP+

Permalänk
Medlem

Hade kört iscsi med l2arc, kör det själv i våra esxi kluster. Fuskar dock lite då nästan alla våra raidz datasets består av endast ssds. För att inte slöa ner för mycket så kör vi infiniband mellan lagring och esxi.

Visa signatur

Data Center Operator

Permalänk
Medlem
Skrivet av Kr^PacMan:

Det var ju ett tag sedan, men vad jag kommer ihåg monterade jag bara iSCSI-enheterna på testdatorn och körde ATTO. Fick ju rätt bra resultat med SMB/CIFS också. ATTO kör ju relativt små filer, hur testade du? Har ingen koll på implementationen av iSCSI, men så länge den är gjord efter RFC:n för iSCSI ser jag inte vart felet kan ligga hos dig? Antar att du kör Gigabit hela vägen utan routrar och sånt ivägen?

Japp ingen router och bara gigabit.

Jag gjorde en VM på min ESXi Host, Windows XP, och körde CrystalDiskMark med en 500 mb mätning och 3 repetitioner.
Sen flytta jag VMen till en NFS-share och till ett iSCSI-target på QNAPen.

Så det finns ju ett par olika faktorer som kan göra att det gick långsammare.

Visa signatur

.: Learn the system, Play the system, Break the system :.

Permalänk
Medlem

Min erfarenhet är också att NFS funkar bättre på QNAP nasar. iSCSI inplementationen är ju inte helt klockren heller eftersom den inte kör i RAW läge. Dvs en fet fil läggs på filsystemet vilket skapar overhead i flera led.

Har testat på QNAP TS-809 (Core2Duo 2GB ram) samt QNAP TS-219 och NFS var klart snabbast i båda fallen.

Visa signatur

AMD Ryzen 7950x3D | Asus ROG Strix B650E-E | 32GB G.Skill DDR5 6000Hz CL30 | ASUS TUF RX 7900 XTX OC | Cooler Master Tempest GP27U, Dell U2515H

Permalänk

är det inte ganska risky att köra ZIL på en ensam disk? kör dem speglat själv, skulle den disken dö så kan du ju förlora data. inget skoj alls.

Visa signatur

Arbetsstation: Macbook Pro Retina 15", Core i7 2,6 GHz, 16 GB RAM, 512 GB SSD
NAS: Synology 1812+ har numera ersatt min filserver
Blog: http://www.nickebo.net/
Twitter: @linuxprofessor
Övrigt: Linux/UNIX/OpenVMS, ZFS, lagring och systemövervakning

Permalänk
Avstängd

Men ZILen skrivs ned på disk ofta. Så man hinner inte förlora mer än... 30(?) sekunders data. Eller nåt sånt. En hemanvändare kan ofta leva med det.

Permalänk
Skrivet av saddam:

Men ZILen skrivs ned på disk ofta. Så man hinner inte förlora mer än... 30(?) sekunders data. Eller nåt sånt. En hemanvändare kan ofta leva med det.

surt bara om det gör din virtuella maskin korrupt, då har du förlorat betydligt mer än 30 sekunders data (om du inte har backup på dina virtuella maskiner)

Visa signatur

Arbetsstation: Macbook Pro Retina 15", Core i7 2,6 GHz, 16 GB RAM, 512 GB SSD
NAS: Synology 1812+ har numera ersatt min filserver
Blog: http://www.nickebo.net/
Twitter: @linuxprofessor
Övrigt: Linux/UNIX/OpenVMS, ZFS, lagring och systemövervakning

Permalänk
Avstängd

Varför skulle att missa skriva ned senaste 30 sekunderna, göra virtuella maskiner korrupt?

(Jag ska göra Kaos på honom. Jag ska ta hans efternamn. Jag ska klippa hans tung. Humoristiska citat från Laserturken )

Permalänk
Skrivet av saddam:

Varför skulle att missa skriva ned senaste 30 sekunderna, göra virtuella maskiner korrupt?

(Jag ska göra Kaos på honom. Jag ska ta hans efternamn. Jag ska klippa hans tung. Humoristiska citat från Laserturken )

inte säkert, men ifall den var mitt i en skrivning och den inte hann skriva klart datan så kan filen bli korrupt.

Visa signatur

Arbetsstation: Macbook Pro Retina 15", Core i7 2,6 GHz, 16 GB RAM, 512 GB SSD
NAS: Synology 1812+ har numera ersatt min filserver
Blog: http://www.nickebo.net/
Twitter: @linuxprofessor
Övrigt: Linux/UNIX/OpenVMS, ZFS, lagring och systemövervakning