Migrera från ESXi till KVM + ZFS
Hej,
Detta är en uppföljning på mitt projekt att migrera från en typisk ESXi baserad serversetup till en Ubuntu KVM host med ZuL (ZFS on Linux).
Fick förfrågan i tidigare tråden att fortsätta uppdatera eftersom just KVM är ganska sällsynt här på Swec. Svarar gärna på frågor och funderingar om jag kan.
Är du intresserad så läs gärna tidigare trådar:
Hårdvarusetup: http://www.sweclockers.com/forum/122-server/1182875-bygga-ny-...
ESXi + ZFS problem: www.sweclockers.com/forum/122-server/1187165-dalig-prestanda-...
Senaste inlägget:
Javisst
Jag har kört fast lite igen..
Jag vill som bekant köra min router virtuellt i KVM, det vill säga hostburken kommer ha internet direkt inpluggat i ett av nätverkskorten. Frågan är hur jag sätter upp detta, har två alternativ,
- Passthrough nätverkskortet som ska ut på internet
- Skapa en brygga i linux
Provat passthrough, vilket ger:
Failed to assign device "hostdev0" : Device or resource busy
*** The driver 'pci-stub' is occupying your device 0000:06:06.0.
***
*** You can try the following commands to free it:
***
*** $ echo "10ec 8169" > /sys/bus/pci/drivers/pci-stub/new_id
*** $ echo "0000:06:06.0" > /sys/bus/pci/drivers/pci-stub/unbind
*** $ echo "0000:06:06.0" > /sys/bus/pci/drivers/pci-stub/bind
*** $ echo "10ec 8169" > /sys/bus/pci/drivers/pci-stub/remove_id
***
kvm: -device pci-assign,host=06:06.0,id=hostdev0,configfd=34,bus=pci.0,addr=0x3: Device 'pci-assign' could not be initialized
2013-03-09 12:48:33.963+0000: shutting down
Oavsett hur mycket jag försöker unbinda kortet så får jag bara samma fel >.>
Brygga då?
Här har jag problemet att bryggan i sig verkar behöva en ip-address för att fungera.. kopplat eth0 till br0, och sedan kopplat den virtuella routern till br0. Provat på mitt lokala nät, och både br0 och den virtuella routern tar en ip från DHCP, vilket innebär att KVM hosten är direkt kopplad mot internet, samt att det är två ip's på samma mac (lär inte ISP'n gilla)
Har testat att sätta bryggan till en manuell "bogus" IP, samt ingen IP alls, men då kommer inte routern heller ut på internet..
Någon som vet hur man sätter upp en brygga i "lager 2", samma sätt som ESX fungerar?
Mvh,
Detta löstes genom att köpa ett PCI-E anslutet intelkort, vilket fick passthough'n att fungera felfritt direkt. Min rekommenderation är helt klart att ska du köra någon form av passthough under linux, använd PCI-E anslutna grejer, kommer bespara dig mycket huvudvärk.
Jag har installerat upp runt 10 maskiner nu och satt upp bland annat en replikerad mysql, mailserver, apt-cacher proxy och backup. Funkar prima än så länge, satte upp servern "live" i fredags och ska påbörja arbetet med att migrera tjänster, hade även tänkt testa att importera en vmdk-maskin från ESXi direkt in i KVM och se hur det funkar.
Mitt nuvarande problem är att KVM hosten använder väldigt mycket ramminne, har räknat ut att mina maskiner borde ta cirka 12-13 gb, men jag har 25gb used på servern. Misstänker att det är ZFS som äter minnet, så har skapat upp:
/etc/modprobe.d/zfs.conf
och lagt in:
# Min 2048MB / Max 4096 MB Limit
options zfs zfs_arc_min=2147483648
options zfs zfs_arc_max=4294967296
För att begränsa ZFS's minnesanvändning, det är tydligen tänkt att köras "ensamt" som en filserver och äter gärna upp allt minne den kan.
Ska starta om maskinen ikväll så ändringarna förhoppningsvis slår igenom.
Mvh Oscar