Migrera från ESXi till KVM + ZFS

Hej,

Detta är en uppföljning på mitt projekt att migrera från en typisk ESXi baserad serversetup till en Ubuntu KVM host med ZuL (ZFS on Linux).

Fick förfrågan i tidigare tråden att fortsätta uppdatera eftersom just KVM är ganska sällsynt här på Swec. Svarar gärna på frågor och funderingar om jag kan.

Är du intresserad så läs gärna tidigare trådar:
Hårdvarusetup: http://www.sweclockers.com/forum/122-server/1182875-bygga-ny-...
ESXi + ZFS problem: www.sweclockers.com/forum/122-server/1187165-dalig-prestanda-...

Senaste inlägget:

Failed to assign device "hostdev0" : Device or resource busy
*** The driver 'pci-stub' is occupying your device 0000:06:06.0.
***
*** You can try the following commands to free it:
***
*** $ echo "10ec 8169" > /sys/bus/pci/drivers/pci-stub/new_id
*** $ echo "0000:06:06.0" > /sys/bus/pci/drivers/pci-stub/unbind
*** $ echo "0000:06:06.0" > /sys/bus/pci/drivers/pci-stub/bind
*** $ echo "10ec 8169" > /sys/bus/pci/drivers/pci-stub/remove_id
***
kvm: -device pci-assign,host=06:06.0,id=hostdev0,configfd=34,bus=pci.0,addr=0x3: Device 'pci-assign' could not be initialized
2013-03-09 12:48:33.963+0000: shutting down

Detta löstes genom att köpa ett PCI-E anslutet intelkort, vilket fick passthough'n att fungera felfritt direkt. Min rekommenderation är helt klart att ska du köra någon form av passthough under linux, använd PCI-E anslutna grejer, kommer bespara dig mycket huvudvärk.

Jag har installerat upp runt 10 maskiner nu och satt upp bland annat en replikerad mysql, mailserver, apt-cacher proxy och backup. Funkar prima än så länge, satte upp servern "live" i fredags och ska påbörja arbetet med att migrera tjänster, hade även tänkt testa att importera en vmdk-maskin från ESXi direkt in i KVM och se hur det funkar.

Mitt nuvarande problem är att KVM hosten använder väldigt mycket ramminne, har räknat ut att mina maskiner borde ta cirka 12-13 gb, men jag har 25gb used på servern. Misstänker att det är ZFS som äter minnet, så har skapat upp:
/etc/modprobe.d/zfs.conf
och lagt in:

# Min 2048MB / Max 4096 MB Limit
options zfs zfs_arc_min=2147483648
options zfs zfs_arc_max=4294967296

För att begränsa ZFS's minnesanvändning, det är tydligen tänkt att köras "ensamt" som en filserver och äter gärna upp allt minne den kan.
Ska starta om maskinen ikväll så ändringarna förhoppningsvis slår igenom.

Mvh Oscar

Antar det, nu vet jag inte om KVM och Workstation spelar i riktigt samma kategori, men ett intel gigabit pcie kostade ~260kr på inet så det var inte mycket att vela över

Mjo, det är ett litet dilemma där, vad jag har läst så ska ZFS vilja ha cirka 1gb per 1TB disk, jag kör som bekant med 3st 1TB diskar, vilket blir 1.7 TB lagring i RAIDZ ungefär.

Efter jag satt parametrarna ovan (2gb min / 4gb max) har nu minnesanvändningen gått ner till cirka 11gb, och ett snabbt dd test visar att prestandan knappt påverkas:

oscar@eth-lab-01:~$ dd if=/dev/zero of=tempfile bs=1M count=1024 conv=fdatasync,notrunc
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 6.53051 s, 164 MB/s

So far so good!

Okey, drar nog upp ZFS minne lite till då, har ju mycket att hämta ifrån

Har åkt på problem med passthrough'n igen.. misstänker jag iaf. skickar jag mycket trafik via den virtuella routern över det externa intel-nätverkskortet så startar (den virtuella routern) om sig, den bara stendör och startar igen.

syslog på KVM hosten:

Mar 27 16:41:43 eth-kvm-01 kernel: [115711.305687] kvm: 1783: cpu0 unhandled rdmsr: 0xc001100d
Mar 27 16:41:43 eth-kvm-01 kernel: [115711.305710] kvm: 1783: cpu0 unhandled rdmsr: 0xc0010112
Mar 27 16:41:43 eth-kvm-01 kernel: [115711.414899] kvm: 1783: cpu0 unhandled rdmsr: 0xc0010001
Mar 27 16:41:43 eth-kvm-01 kernel: [115711.426696] kvm: 1783: cpu1 unhandled rdmsr: 0xc001100d
Mar 27 16:41:45 eth-kvm-01 kernel: [115713.298317] pci-stub 0000:07:00.0: irq 45 for MSI/MSI-X
Mar 27 16:41:45 eth-kvm-01 kernel: [115713.298340] pci-stub 0000:07:00.0: irq 46 for MSI/MSI-X
Mar 27 16:41:45 eth-kvm-01 kernel: [115713.298356] pci-stub 0000:07:00.0: irq 47 for MSI/MSI-X
Mar 27 16:41:56 eth-kvm-01 kernel: [115724.411640] pci-stub 0000:07:00.0: irq 45 for MSI/MSI-X
Mar 27 16:41:56 eth-kvm-01 kernel: [115724.418826] pci-stub 0000:07:00.0: irq 45 for MSI/MSI-X
Mar 27 16:41:56 eth-kvm-01 kernel: [115724.418847] pci-stub 0000:07:00.0: irq 46 for MSI/MSI-X
Mar 27 16:41:56 eth-kvm-01 kernel: [115724.446768] pci-stub 0000:07:00.0: irq 45 for MSI/MSI-X
Mar 27 16:41:56 eth-kvm-01 kernel: [115724.446775] pci-stub 0000:07:00.0: irq 46 for MSI/MSI-X
Mar 27 16:41:56 eth-kvm-01 kernel: [115724.446779] pci-stub 0000:07:00.0: irq 47 for MSI/MSI-X

0000:07:00.0 är adressen till den passthrough'ade intelkortet. Riktigt less på detta nu, trodde jag äntligen hade löst nätverksproblemet, nu får jag försöka skapa en layer 2 brygga in till maskinen istället, utan att använda passthrough. Vill inte att KVM hosten ska ha en publik ipadress ut på internet.

Nice! Har du någon idé om hur man kan brygga ett interface in till en gäst, så hosten i princip inte blir inblandad alls, vill ju att min virtuella router ska få en publik ipadress direkt från ISP'n, som det blir med en vanlig brygga plockar både br0 och den virtuella burken en IP'address från DHCP poolen, vilket jag vill undvika.

Tänkte testa att sätta nätverkskortet i en annan port och se om det funkar bättre med passthough...

Känner mig inte riktigt sugen på att byta operativ, allt annat fungerar ju som det ska men tack för tipset

Har beslutat mig för att köpa en sånhär nästa lön:
http://mini-itx.se/mpt3460d2500ccdubblalan2xcom-p-864.html?cP...

Dra in Pfsense på den så får den stå "ytterst" mot internet och agera firewall mot KVM burken