Forum Datorer och system Server Tråd Inlägg

ZFS och GPU-passthrough, vilken lösning?

1
Skriv svar
Permalänk
Medlem
●

ZFS och GPU-passthrough, vilken lösning?

Jag planerar att konfigurera om min server för att kunna göra (lättare) GPGPU-beräkningar i Linux. Hittills har jag använt SmartOS, som jag verkligen gillar, men eftersom det varken finns stöd för någon form av passthrough eller för CUDA måste jag byta till en annan lösning.

Dessa två lösningar har jag funderat på:

VMware ESXi på hårdvaran
* FreeBSD-VM för ZFS-lagring (passthrough av SATA/RAID-kontroller)
* Ubuntu-VM för GPGPU-beräkningar (passthrough av GPU)
* Ubuntu-VM med LXC/LXD-containrar för diverse tjänster

Ubuntu 16.04 LTS (med ZFS och KVM) på hårdvaran
* Linux-VM för GPGPU-beräkningar (passthrough av GPU)
* LXC/LXD-containrar för diverse tjänster

Finns det kanske en smartare lösning?

Specifikationer:
HP Proliant MicroServer Gen8
Intel Xeon E3-1270
16GB DDR3 ECC
1x 240GB Intel SSD
4x 4TB WD Red
NVIDIA Quadro K620

Redigera
Citera flera Citera
Permalänk
Avstängd
●

Någon måste vara den första som skriver.

Att köra ESXI då får du ut mer ur server och det är lättar att göra backuper och sånt.
Dock har jag inte testat att köra FreeBSD ZFS själv ska jag testa det men har inte haft tid.

Jag har hållet på med EXSI sen 2013 och tycker den är jätte bra.

Du får gärna ge min feedback på hur det funkar med EXSI med FreeBSD (ZFS)?

Visa signatur

Man är inte dum för att man har stavproblem.
Läs mer om min synfel Visual Snow
Om mig ----> #16970666

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av superegg:

Någon måste vara den första som skriver.

Att köra ESXI då får du ut mer ur server och det är lättar att göra backuper och sånt.
Dock har jag inte testat att köra FreeBSD ZFS själv ska jag testa det men har inte haft tid.

Jag har hållet på med EXSI sen 2013 och tycker den är jätte bra.

Du får gärna ge min feedback på hur det funkar med EXSI med FreeBSD (ZFS)?

Gå till inlägget

Frågan är om jag verkligen får ut mer av servern, eftersom ESXi tar en (hel) del resurser i anspråk. Om jag kör Ubuntu (eller annan Linux-distribution) i botten slipper jag virtualisera lagringen och VM för olika tjänster. Fördelen är dock att det blir större isolering av de olika "delarna" av systemet, så om jag vill byta ut någon enskild del slipper jag göra om allt.

Redigera
Citera flera Citera
Permalänk
Medlem
●

Jag hade kört med en ren linux dist i botten, precis som du säger blir det mkt enklare med lagringen. Samt att du slipper allt vad licenser heter. Finns bra verktyg för att backupa även på Linux.
Själv kör jag med ren xen på debian men det är väl lite väl hardcore, kvm har jag ingen erfarenhet av

Skickades från m.sweclockers.com

Redigera
Citera flera Citera
Permalänk
Medlem
●

Är din tanke att köra maskinernas disk på ZFS eller ligger dom någon annan stans?

Det är ju värt att tänka på att ZFS gillar minne, så 16gb på 4x4 tb är på gränsen,
ska du sedan köra fler virtuella maskiner på det så kan du få problem.

Men det beror ju naturligt vis på hur mycket som skrivs mot disk.

Redigera
Citera flera Citera
Permalänk
Medlem
●

Innan ni rekommenderar ESXi ska ni nog undersöka om den GPU stödjs (vilket det inte gör...).

Visa signatur

En server här, några servrar där.

Redigera
Citera flera Citera
Permalänk
Inaktiv
●

Hade kört linux i botten med xfs. Zfs är överskattat på nätet av alla s.k lagringsexperter.

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av theailer:

Jag hade kört med en ren linux dist i botten, precis som du säger blir det mkt enklare med lagringen. Samt att du slipper allt vad licenser heter. Finns bra verktyg för att backupa även på Linux.
Själv kör jag med ren xen på debian men det är väl lite väl hardcore, kvm har jag ingen erfarenhet av

Skickades från m.sweclockers.com

Gå till inlägget

Det lutar åt en sådan setup ändå. Kan tänka mig att köra Xen också, men har mer erfarenhet av KVM. Får helt enkelt testa vad som fungerar bäst med GPU-passthrough.

Skrivet av Bjrk:

Är din tanke att köra maskinernas disk på ZFS eller ligger dom någon annan stans?

Det är ju värt att tänka på att ZFS gillar minne, så 16gb på 4x4 tb är på gränsen,
ska du sedan köra fler virtuella maskiner på det så kan du få problem.

Men det beror ju naturligt vis på hur mycket som skrivs mot disk.

Gå till inlägget

Maskinernas diskar i ZFS är tanken, och det är så jag kör nu. Är medveten om att 16GB är ganska lite för ZFS, men det är max för vad servern tar (det finns vad jag vet inga DDR3 ECC UDIMM-stickor på 16GB). Belastningen på diskarna är dock inte särskilt hög, så det fungerar som det är. Diskarna används mest som långtidsförvaring. VM:s kör jag från SSD:n med backup till diskarna och sen vidare till AWS.

Skrivet av moron:

Innan ni rekommenderar ESXi ska ni nog undersöka om den GPU stödjs (vilket det inte gör...).

Gå till inlägget

Är det säkert att det inte går att köra passthrough på Quadro K620 i ESXi? Har för mig att jag har läst att det fungerar. Eller i alla fall bättre än GeForce åtminstone.

Skrivet av Hugligan:

Hade kört linux i botten med xfs. Zfs är överskattat på nätet av alla s.k lagringsexperter.

Gå till inlägget

Kan inte tänka mig att XFS är en bättre lösning för min lagring än ZFS.

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av Santrium:

Är det säkert att det inte går att köra passthrough på Quadro K620 i ESXi? Har för mig att jag har läst att det fungerar. Eller i alla fall bättre än GeForce åtminstone.

Gå till inlägget

Hehe, bättre som i att det nästan går? Kortet är inte med på deras kompatibilitetslistan, precis som GeForce-korten. (consumer AMD har folk fått funka, kanske även K620, men inget säkert.)

Bör funka på t.ex. Proxmox (Debian).

Visa signatur

En server här, några servrar där.

Redigera
Citera flera Citera
Permalänk
Medlem
●

Jag körde ESXi (5?) ett tag på min server med pfsense eller OpenBSD som router/brandvägg och ZFS på FreeBSD + lite annat något år. Det fungerade bra men det var lite irriterande att man var tvungen att köra windows för att administrera servern. Programmet man behövde hette vsphere något iirc. Det fanns någon webbvariant men man var tvungen att köpa någon annan licens för att kunna administrera på webben. Jag körde passthrough på diskkontrollern och ett nätverkskort och det fungerade jättebra.

Jag var tvungen att flytta och där jag bor nu har jag bara ADSL och jag började bara köra Linux ett tag så då rök ESXi och jag kör nu bara FreeBSD med pf och ZFS. Dock tror jag att jag snart får fiber igen och då ska jag nog prova att köra Xen. Så prova gärna Xen och berätta hur det gick.

Men vet du att du "bara" ska köra ZFS och GPGPU så kör alternativ två eller bara en ren Ubuntu? Orka ESXi licenser och annat bök.

Visa signatur

"I do not know with which weapons WWIII will be fought, but WWIV will be fought with sticks and stones."
Albert Einstein

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av moron:

Hehe, bättre som i att det nästan går? Kortet är inte med på deras kompatibilitetslistan, precis som GeForce-korten. (consumer AMD har folk fått funka, kanske även K620, men inget säkert.)

Bör funka på t.ex. Proxmox (Debian).

Gå till inlägget

Ah, så klart. Surt. Hade gärna kört med AMD-kort, men behöver CUDA. Proxmox använder sig av KVM, eller hur? Ytterligare ett argument för den andra lösningen, med KVM eller med Xen.

Skrivet av engywook:

Jag körde ESXi (5?) ett tag på min server med pfsense eller OpenBSD som router/brandvägg och ZFS på FreeBSD + lite annat något år. Det fungerade bra men det var lite irriterande att man var tvungen att köra windows för att administrera servern. Programmet man behövde hette vsphere något iirc. Det fanns någon webbvariant men man var tvungen att köpa någon annan licens för att kunna administrera på webben. Jag körde passthrough på diskkontrollern och ett nätverkskort och det fungerade jättebra.

Jag var tvungen att flytta och där jag bor nu har jag bara ADSL och jag började bara köra Linux ett tag så då rök ESXi och jag kör nu bara FreeBSD med pf och ZFS. Dock tror jag att jag snart får fiber igen och då ska jag nog prova att köra Xen. Så prova gärna Xen och berätta hur det gick.

Men vet du att du "bara" ska köra ZFS och GPGPU så kör alternativ två eller bara en ren Ubuntu? Orka ESXi licenser och annat bök.

Gå till inlägget

Testade ESXi för ett tag sen i en VM och det fanns ett webbinterface, så kravet på Windows för administration verkar ju inte gälla helt längre. Men skulle så klart föredra att administrera allt över ssh.

Har dedikerad brandvägg och router, så den här maskinen kommer "bara" köra lagring och GPGPU-compute. Meddelar hur det går sen när jag bestämt mig för hur jag ska göra.

Redigera
Citera flera Citera
Permalänk
Avstängd
●
Skrivet av engywook:

Jag körde ESXi (5?) ett tag på min server med pfsense eller OpenBSD som router/brandvägg och ZFS på FreeBSD + lite annat något år. Det fungerade bra men det var lite irriterande att man var tvungen att köra windows för att administrera servern. Programmet man behövde hette vsphere något iirc. Det fanns någon webbvariant men man var tvungen att köpa någon annan licens för att kunna administrera på webben. Jag körde passthrough på diskkontrollern och ett nätverkskort och det fungerade jättebra.

Jag var tvungen att flytta och där jag bor nu har jag bara ADSL och jag började bara köra Linux ett tag så då rök ESXi och jag kör nu bara FreeBSD med pf och ZFS. Dock tror jag att jag snart får fiber igen och då ska jag nog prova att köra Xen. Så prova gärna Xen och berätta hur det gick.

Men vet du att du "bara" ska köra ZFS och GPGPU så kör alternativ två eller bara en ren Ubuntu? Orka ESXi licenser och annat bök.

Gå till inlägget

Använd wine till Linux för att köra VMware vSphere Client det bör funka.

Visa signatur

Man är inte dum för att man har stavproblem.
Läs mer om min synfel Visual Snow
Om mig ----> #16970666

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av Santrium:

Ah, så klart. Surt. Hade gärna kört med AMD-kort, men behöver CUDA. Proxmox använder sig av KVM, eller hur? Ytterligare ett argument för den andra lösningen, med KVM eller med Xen.

Testade ESXi för ett tag sen i en VM och det fanns ett webbinterface, så kravet på Windows för administration verkar ju inte gälla helt längre. Men skulle så klart föredra att administrera allt över ssh.

Har dedikerad brandvägg och router, så den här maskinen kommer "bara" köra lagring och GPGPU-compute. Meddelar hur det går sen när jag bestämt mig för hur jag ska göra.

Gå till inlägget

Yepp, Proxmox är KVM och/eller LXC.

Visa signatur

En server här, några servrar där.

Redigera
Citera flera Citera
Permalänk
Medlem
●

Finns Webgränsnitt till ESXI
https://labs.vmware.com/flings/esxi-embedded-host-client
Proxmox är också nice, följer dessutom med ZFS stöd

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

unRAID är ju poppis dock verkar ZFS inte finnas som standard, men det går att få igång det om man skulle vilja, iallafall enligt deras forum.

Visa signatur

Marantz NR1605, Rotel RB1090, Ino Audio piPs
SMSL SP200 THX Achromatic Audio Amplifier 888, SMSL M400, Audio-Gd NFB-11 (2015), Objective2+ODAC RevB, Audeze LCD-2 Rosewood, Monoprice M1060, ATH-M40x, Sennheiser HD660S, DROP X KOSS ESP/95X, Koss KPH30i, DROP X HiFiMan HE4XX

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Slår också ett slag för proxmox. Bytte till det för ett halvår sedan och det är så skönt att leka med containers istället för VMar för majoriteten av prylar. Sen att man kan köra turnkey linux på ett enkelt sätt i proxmox gör inte saken sämre.

Visa signatur

Errare human est

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Jag skulle snarare föreslå att du kör en Ubuntu 16.04 med ZFS-on-Linux i botten och kör dina GPGPU applikationer och LXC containrar direkt på den. Kommer bli en mycket mindre komplex setup.

Tänk dessutom på att best practice för att inte få problem med CPU schedulering är att göra VMarna max antalet kärnor i hosten / 2, vilket i ditt fall skulle bli 2 vCPUer. Kan bli en rejäl flaskhals, beroende på hur CPU intensivt det är att mata GPGPU applikationen. Om de andra applikationerna inte är så CPU intensiva så behöver det dock inte nödvändigtvis vara ett problem.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Skulle också rösta för att testa Proxmox, riktigt enkelt att få igång och webinterface istället för något värdelöst Windows program för att administrera.
Har ett par Proxmox noder som kör ZFS och PCI/GPU passthrough (dock inte för beräkningar) till både Windows och Linux gäster och det funkar bra, men jag kör med AMD kort som historiskt varit enklare att köra passthrough med. Vad jag hört skall det funka med Nvidia kort om man använder OVMF (uefi) firmware till gästen istället för Seabios.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Kan lyfta fram att unRAID 6.2 släpptes för några dagar sen.

Visa signatur

Marantz NR1605, Rotel RB1090, Ino Audio piPs
SMSL SP200 THX Achromatic Audio Amplifier 888, SMSL M400, Audio-Gd NFB-11 (2015), Objective2+ODAC RevB, Audeze LCD-2 Rosewood, Monoprice M1060, ATH-M40x, Sennheiser HD660S, DROP X KOSS ESP/95X, Koss KPH30i, DROP X HiFiMan HE4XX

Redigera
Citera flera Citera
1
Skriv svar
Senaste nyheterna
Hårdvara
Mjukvara
Övrigt
Nytt i forumet
Datorkomponenter
System
Ljud, bild och kommunikation
Spel och mjukvara