Permalänk
Medlem

Bygga ESXi whitebox

Jag har tänkt bygga en ESXi server från grunden, har tänkt virtualisera ett linux (plex, hosting, div servrar som mumble och eventuellt starbound) och ett windows (backup, filer, torrent, diverse) server-operativsystem och antagligen köra någon labb-miljö ibland! Eftersom jag kommer transcoda med plex så kommer jag behöva lite kräm i prollen, har en gammal Q9550 som går tungt nu under transcoding och den drar så satans mycket ström, en av anledningarna att jag bygger nytt.

Här är idén jag har till setupen:
Moderkort: ASRock H87M - Micro ATX / Intel H87
Minne: Corsair Vengeance LP 16GB DDR3 PC3-12800 1600MHz
Prolle: Intel Core i3-4360 - 4 trådar / 3,7GHz / 4,5MB / Socket 1150 (Boxed) (54w)

Extrainfo
Chassi: Fractal Design Node 304 - Vit
PSU: Fractal Design Integra 400W (Har hemma)

Allt som allt landar priset på 4200:-

Fråga 1: Är builden kompatibel med ESXi?
Fråga 2: Kommer prollen orka med allt? Är det värt att sätta i en vassare?
Fråga 3: Klassas det här som en strömsnål build? (Vad kan man räkna med för "månadskostnad" i el lite grovt?)

Tacksam för alla svar och tankar

Visa signatur

Fractal Design R4 - Arctic White / 750W / Z77 Extreme4 / 3570K + 620 khüler / 16GB / Gigabyte 670 2GB OC Version

Permalänk
Medlem

Jag jobbar själv med virtualisering och driftar ca 10000 VMs på ESXi.
Men hemma ser jag 0 anledning att virtualisera. Om man kan *nix så kan man köra så gott som allt man behöver på linux/BSD och strunta i Windows.

Själv kör jag en alltiallo-server med FreeBSD och ZFS, och den rullar:
1) AFP-server för file share och time machine backups av min Mac-laptop.
2) Backuppc för backup av andra burkar, colomaskiner etc.
3) Samba för CIFS-share till HTPCn(OpenELEC) m.m.
4) Plex-server för streaming när jag är på resa.
5) rtorrent med flexget för rss-fetching av torrents.
6) MySQL för XBMC-db.
7) ZNC för IRC.

Skönt att ha allt på ett ställe helt enkelt, och slippa böka med en massa onödiga os-instanser och inte minst windows.

Permalänk
Medlem
Skrivet av taliz:

Jag jobbar själv med virtualisering och driftar ca 10000 VMs på ESXi.
Men hemma ser jag 0 anledning att virtualisera. Om man kan *nix så kan man köra så gott som allt man behöver på linux/BSD och strunta i Windows.
....
Skönt att ha allt på ett ställe helt enkelt, och slippa böka med en massa onödiga os-instanser och inte minst windows.

Helt klart tänkvärt på hur jag ska göra med mjukvaran, ska göra lite ändringar i hårdvaran, noterade att jag valt ett mobo med m-atx och ett chassi med m-itx!

Visa signatur

Fractal Design R4 - Arctic White / 750W / Z77 Extreme4 / 3570K + 620 khüler / 16GB / Gigabyte 670 2GB OC Version

Permalänk
Medlem

OpenStack skeppas ju med Ubuntu Server. Något att tänka på!

Visa signatur

Intel Core i9 9900K 3.6GHz, 16MB | ASUS ROG STRIX Z390-F GAMING | MSI GeForce RTX 2070 SUPER 8GB VENTUS OC | Corsair 32GB (2x16GB) DDR4 3200MHz CL16 | Samsung 970 EVO Plus 500GB | Fractal Design Define R6 USB-C Vit | EVGA SuperNOVA G1+ 750W | Noctua NH-D15 | Asus 24" LED VG248QE

Permalänk
Medlem
Skrivet av Crafoord:

Jag har tänkt bygga en ESXi server från grunden, har tänkt virtualisera ett linux (plex, hosting, div servrar som mumble och eventuellt starbound) och ett windows (backup, filer, torrent, diverse) server-operativsystem och antagligen köra någon labb-miljö ibland! Eftersom jag kommer transcoda med plex så kommer jag behöva lite kräm i prollen, har en gammal Q9550 som går tungt nu under transcoding och den drar så satans mycket ström, en av anledningarna att jag bygger nytt.

Här är idén jag har till setupen:
Moderkort: ASRock H87M - Micro ATX / Intel H87
Minne: Corsair Vengeance LP 16GB DDR3 PC3-12800 1600MHz
Prolle: Intel Core i3-4360 - 4 trådar / 3,7GHz / 4,5MB / Socket 1150 (Boxed) (54w)

Extrainfo
Chassi: Fractal Design Node 304 - Vit
PSU: Fractal Design Integra 400W (Har hemma)

Allt som allt landar priset på 4200:-

Fråga 1: Är builden kompatibel med ESXi?
Fråga 2: Kommer prollen orka med allt? Är det värt att sätta i en vassare?
Fråga 3: Klassas det här som en strömsnål build? (Vad kan man räkna med för "månadskostnad" i el lite grovt?)

Tacksam för alla svar och tankar

1. Snabb Google verkar vara ett ganska populärt mobo för ESXi, "bör" fungera.
2. Absolut räcker den.
3. Du anger inte antal diskar, men räkna med att den snittar kanske 40W. En månad är 720 timmar, alltså 28,8 kWh. Räkna med en krona per kWh, alltså 29 spänn i månaden.

Jag skulle rekommendera dig att titta på exempelvis ASROCK E3C226D2I (som har stöd för Haswell Refresh enligt produktbladet). Fördelen är att du får 6 SATA-portar, ett serverchipset med nätverkskort som officiellt är supportade i ESXi, samt att den stödjer ECC-minnen (som i3orna har stöd för). Lite dyrare, men du kan utan problem ta den långsammare i3:an och det kommer "räcka".

Visa signatur

Intel i9-12900K | Asus STRIX Z690-I | 32 GB DDR5-6400 CL30 | AMD Radeon RX 7900 XTX | WD Black SN850 1 TB
Asus ROG Loki SFX-L 750W | SSUPD Meshlicious | Arctic Cooling Freezer II 280 | Alienware AW3423DWF

Permalänk
Medlem

Den prollen kommer väl inte funka med ESXi öht? Jag är inte säker då jag inte provat själv men har sett nån blogg där ESXi inte ville installera pga en processor som inte hade stöd för VT-d. Någon annan med mer info får gärna svara istället men jag tänkte att jag postar då det kan vara värt att kolla upp innan du beställer.

Permalänk
Medlem

VT-d behövs inte för ESXi, däremot behövs VT-x.

Visa signatur

RIPE LIR

Permalänk
Medlem

Är du hundra? När jag stängde av VT-x fick jag en varning bara, men det gick att installera utan hårdvaru stöd, dock verkar det vara stopp utan VT-d. Det enda jag har att gå efter är iofs detta så jag litar på dig om du är säker: http://dev-random.net/installing-vmware-esxi-on-haswell-and-z...

edit: Jag kan prova boota ESXi med VT-d avstängt om TS vill men jag gör ingen ominstallation

Permalänk
Medlem

Såhär blev beställningen jag, tänk bort högtalarna:
http://www.webhallen.com/se-sv/varukorgen/93441/

Jag ändrade till det här moderkortet:
ASRock H87M-ITX

Sjukt pepp på att få hem grejerna och börja skruva och konfigurera, kommer återanvända en hel del grejer från min gamla burk!

Visa signatur

Fractal Design R4 - Arctic White / 750W / Z77 Extreme4 / 3570K + 620 khüler / 16GB / Gigabyte 670 2GB OC Version

Permalänk
Medlem

Tror itne esxi tar emot cpu'n vid installation. Tror det har blockering mot processorer som inte är för "servrar"..

Visa signatur

.:[Main System - Chassi: Fractal Design Define R2 XL - Moderkort: TUF Z370-PLUS GAMING - CPU: Intel i5-8600K - RAM: Corsair Vengeance 2133mhz 8GB x2 - GFX: Nvidia GeForce GTX 1080]:.
Citera för svar!

Permalänk
Medlem
Skrivet av Crafoord:

Såhär blev beställningen jag, tänk bort högtalarna:
http://www.webhallen.com/se-sv/varukorgen/93441/

Jag ändrade till det här moderkortet:
ASRock H87M-ITX

Sjukt pepp på att få hem grejerna och börja skruva och konfigurera, kommer återanvända en hel del grejer från min gamla burk!

Blir fint det där!

Visa signatur

AMD Ryzen 7950x3D | Asus ROG Strix B650E-E | 32GB G.Skill DDR5 6000Hz CL30 | ASUS TUF RX 7900 XTX OC | Cooler Master Tempest GP27U, Dell U2515H

Permalänk
Medlem

Ser bra ut, köp lite mer minne senare när det behövs

Visa signatur

RIPE LIR

Permalänk
Medlem
Skrivet av Bader:

Är du hundra? När jag stängde av VT-x fick jag en varning bara, men det gick att installera utan hårdvaru stöd, dock verkar det vara stopp utan VT-d. Det enda jag har att gå efter är iofs detta så jag litar på dig om du är säker: http://dev-random.net/installing-vmware-esxi-on-haswell-and-z...

edit: Jag kan prova boota ESXi med VT-d avstängt om TS vill men jag gör ingen ominstallation

Skrivet av xamber:

Tror itne esxi tar emot cpu'n vid installation. Tror det har blockering mot processorer som inte är för "servrar"..

Ja Esxi fungerar utan vt-d. Nej det finns ingen block mot icke server processorer.
Tips är att kolla support matrix (http://www.vmware.com/resources/compatibility/search.php?devi...) eller hardware requirements (http://pubs.vmware.com/vsphere-55/index.jsp#com.vmware.vspher...) innan man postar hörsägen

Permalänk
Medlem

Varför vill du transcoda på en VM? Jag försöker inte dryga mig, jag är uppriktigt nyfiken. Quick sync är det bästa sättet jag känner till att transcoda. Kör man VM tappar man den funktionaliteten.

Jag kör själv en ESXi server med VMs för NAS, AD, WDS, Plex, Torrent, Sickbeard/sabnzbd, VPN, Sophos UTM, FTP och labbmiljöer. Det är ca 4 datorer som ansluter sig dagligen och accessar filer och gör backuper etc. Det är en ganska frisk blandning av Windows och Linux. Jag har 3st WD Red-diskar för lagringen samt en SSD och en i5 3470. PSU:t är ett 80 Plus Platinum, kopplat till en UPS. Enl min wattmätare (den vanliga "energimätaren" man köper på Kjell & Co) drar servern i snitt 46W.

Permalänk
Medlem
Skrivet av Otsu:

Varför vill du transcoda på en VM? Jag försöker inte dryga mig, jag är uppriktigt nyfiken. Quick sync är det bästa sättet jag känner till att transcoda. Kör man VM tappar man den funktionaliteten.

Jag kör själv en ESXi server med VMs för NAS, AD, WDS, Plex, Torrent, Sickbeard/sabnzbd, VPN, Sophos UTM, FTP och labbmiljöer. Det är ca 4 datorer som ansluter sig dagligen och accessar filer och gör backuper etc. Det är en ganska frisk blandning av Windows och Linux. Jag har 3st WD Red-diskar för lagringen samt en SSD och en i5 3470. PSU:t är ett 80 Plus Platinum, kopplat till en UPS. Enl min wattmätare (den vanliga "energimätaren" man köper på Kjell & Co) drar servern i snitt 46W.

Han kör plex på linux vilket troligen fortfarande innebär att han inte har quick sync support oavsett.

Permalänk
Medlem
Skrivet av aluser:

Han kör plex på linux vilket troligen fortfarande innebär att han inte har quick sync support oavsett.

jag förstår din poäng. Men den transcodingen plex gör är trivial jämfört med att transcoda t ex fraps/dxtory-inspelat material eller en demuxad bluray. Jag har ingen aning om vad det är för transcoding OP avser göra, men jag är nyfiken.

Permalänk
Medlem

Skaffa riktiga grejor som stöder vt-d. Att köpa snålt = köpa dubbelt. zfs on linux är fail. kör BSD.

Visa signatur

Jag ser ner på folk som särskriver!

Permalänk
Medlem
Skrivet av ozric:

Skaffa riktiga grejor som stöder vt-d. Att köpa snålt = köpa dubbelt. zfs on linux är fail. kör BSD.

Var nämner TS ZFS? I inlägg nr 2 av "taliz" hittar jag ZFS och i ditt inlägg.

Visa signatur

i7-8700k | ASUS ROG Strix Z370-F Gaming | 2x8+2x16GB Corsair Vengeance LPX 3200 | ASUS TUF RTX 3080 OC | Samsung 860 EVO 1TB | WD Black SN850 1TB | Intel 660p 2TB | Crucial MX500 4TB | Noctua NH-U14S | Fractal Design North | Seasonic Focus Plus Gold 650FX | ASUS Xonar Essence STX

Permalänk
Medlem

Han vill transcoda från något. alltså har han någon form av lagring. ZFS är bästa alternativet. frågor på det?

Visa signatur

Jag ser ner på folk som särskriver!

Permalänk
Medlem
Skrivet av ozric:

Han vill transcoda från något. alltså har han någon form av lagring. ZFS är bästa alternativet. frågor på det?

Jag hoppas dock på utvecklingen av ReFS - kanske är det "tillräckligt bra" redan nu? En filserver som inte kräver 16 GB RAM...

Visa signatur

Intel i9-12900K | Asus STRIX Z690-I | 32 GB DDR5-6400 CL30 | AMD Radeon RX 7900 XTX | WD Black SN850 1 TB
Asus ROG Loki SFX-L 750W | SSUPD Meshlicious | Arctic Cooling Freezer II 280 | Alienware AW3423DWF

Permalänk
Medlem

Så här blev min ESXi server. Den skall användas för för utveckling i huvudsak, Ett flertal virtuella maskiner skall snurra runt.
Kanske ingen budget modell, men jag tror på detta.
Det som övertygade mig var moderkortet som tipsades av "superapan".
Sen är det ju inte fel att lådan (Lian Li) smakar fågel, som jag snubblade över. (plats för 6 diskar
Finns t.o.m en film från en test här på SweClockers.

DVD-brännaren är extern för den kan jag ha med mig i jobbet. (Spara ner dokumentation osv....)

Jag är medveten om att det kanske inte är det billigaste priset på alla komponenter.

LIAN LI PC-QO88 Black
ASROCK E3C226D2I m-ITX
Intel Xeon 1220 quad 8MB
KINGSTON 8GB 1600MHZ DDR3 ECC CL11 DIMM W/TS INTEL
FSP PSU 400W ATX12V
KINGSTON SSDNOW V300 120GB SATA SSD MLC
WD PURPLE 3.5" 1TB SURVEILLANCE SATA/600 64MB
BUFFALO DVD±R/RW ULTRA SLIM 8X BLACK USB 2.0

Visa signatur

-------------------------------------------------------------------------------
Brandvägg/Router: EdgeRouter PoE
Switchar: Netgear 2 x GS108T, GS110T, GS724T v4
NAS: Synology DS713+, RS815+

Permalänk
Medlem
Skrivet av ozric:

Han vill transcoda från något. alltså har han någon form av lagring. ZFS är bästa alternativet. frågor på det?

Beror på hur man ser det. ZFS är inte svaret på alla lagringsproblem, tyvärr. Själv föredrar jag KISS-metoden.

Visa signatur

i7-8700k | ASUS ROG Strix Z370-F Gaming | 2x8+2x16GB Corsair Vengeance LPX 3200 | ASUS TUF RTX 3080 OC | Samsung 860 EVO 1TB | WD Black SN850 1TB | Intel 660p 2TB | Crucial MX500 4TB | Noctua NH-U14S | Fractal Design North | Seasonic Focus Plus Gold 650FX | ASUS Xonar Essence STX

Permalänk
Medlem
Skrivet av Micke O:

Beror på hur man ser det. ZFS är inte svaret på alla lagringsproblem, tyvärr. Själv föredrar jag KISS-metoden.

Går i tankarna själv hur man skulle lösa Nas och/eller backup. När du säger KISS hur skulle du göra det?

Visa signatur

Rota3: Ryzen 5600 - 32GB - Radeon RX 7600 - Kingston NV200 2TB - Fractal Design R3 - EVGA Supernova 750W

Permalänk
Medlem
Skrivet av nick-li:

Går i tankarna själv hur man skulle lösa Nas och/eller backup. När du säger KISS hur skulle du göra det?

För min del är KISS NAS och virtuell filserver. Dvs skrymmande på NAS och småkrafs på filservern. Skulle kunna ha allt på NASen men då blir ESXi-hosten nästan överflödig så jag kör den för att jag kan

Visa signatur

i7-8700k | ASUS ROG Strix Z370-F Gaming | 2x8+2x16GB Corsair Vengeance LPX 3200 | ASUS TUF RTX 3080 OC | Samsung 860 EVO 1TB | WD Black SN850 1TB | Intel 660p 2TB | Crucial MX500 4TB | Noctua NH-U14S | Fractal Design North | Seasonic Focus Plus Gold 650FX | ASUS Xonar Essence STX

Permalänk
Medlem
Skrivet av Micke O:

För min del är KISS NAS och virtuell filserver. Dvs skrymmande på NAS och småkrafs på filservern. Skulle kunna ha allt på NASen men då blir ESXi-hosten nästan överflödig så jag kör den för att jag kan

Hur kör du NAS/Filserver virtuellt, då tänker jag på att du kör ju inte hårddiskarna/volymer/partitioner direkt.
Raidkort?

Fördelar med virtualisera i dethär fallet?

Visa signatur

Rota3: Ryzen 5600 - 32GB - Radeon RX 7600 - Kingston NV200 2TB - Fractal Design R3 - EVGA Supernova 750W

Permalänk
Medlem
Skrivet av nick-li:

Hur kör du NAS/Filserver virtuellt, då tänker jag på att du kör ju inte hårddiskarna/volymer/partitioner direkt.
Raidkort?

Fördelar med virtualisera i dethär fallet?

NASen är en NAS, DS1512+. Enda anledningen till att jag kör SHR-1 istället för JBOD är att det tar lång tid att läsa tillbaka backupen ifall det skulle behövas. Runt 12 timmar skulle jag gissa. Tog 11 sist jag provade.

Filservern, en virtuell W2k8R2. Den ligger på en egen 3TB-disk i min ESXi-host. Raidkort, ja, men inte för den. Tar off-site, off-line backuper "när det behövs" och upptid på den är inget problem.

Visa signatur

i7-8700k | ASUS ROG Strix Z370-F Gaming | 2x8+2x16GB Corsair Vengeance LPX 3200 | ASUS TUF RTX 3080 OC | Samsung 860 EVO 1TB | WD Black SN850 1TB | Intel 660p 2TB | Crucial MX500 4TB | Noctua NH-U14S | Fractal Design North | Seasonic Focus Plus Gold 650FX | ASUS Xonar Essence STX

Permalänk
Medlem

Efter tittat runt lite så lurar jag på detta moderkortet istället för ASROCK E3C226D2I, nämligen
ASROCK C2750D4

Det blir något billigare men dyrare med mer minne. 64 GB max i stället för 16GB.
Jag har även kollat videos på tuben. samt läst specs på ASROCK. (Tek Syndicate)

Man får göra avkall på USB3.0 men får desto fler SATA-portar. Inte för att man kan utnyttja alla SATA-portarna i det chassit jag valt.
Men mer RAM är guld för mig.
PCI-8 istället för PCI-16 skiljer också på moderkorten.

Valet får mogna under helgen, dock senast söndag.
Måste mickla i veckan efter jobbet.

Visa signatur

-------------------------------------------------------------------------------
Brandvägg/Router: EdgeRouter PoE
Switchar: Netgear 2 x GS108T, GS110T, GS724T v4
NAS: Synology DS713+, RS815+

Permalänk
Medlem
Skrivet av MWDalby:

Efter tittat runt lite så lurar jag på detta moderkortet istället för ASROCK E3C226D2I, nämligen
ASROCK C2750D4

Det blir något billigare men dyrare med mer minne. 64 GB max i stället för 16GB.
Jag har även kollat videos på tuben. samt läst specs på ASROCK. (Tek Syndicate)

Man får göra avkall på USB3.0 men får desto fler SATA-portar. Inte för att man kan utnyttja alla SATA-portarna i det chassit jag valt.
Men mer RAM är guld för mig.
PCI-8 istället för PCI-16 skiljer också på moderkorten.

Valet får mogna under helgen, dock senast söndag.
Måste mickla i veckan efter jobbet.

Några som haft problem med det kortet, gäller att man har ett bra nätagg som klarar de nya C-statsen, finns en tråd här på SweC.

Visa signatur

RIPE LIR

Permalänk
Medlem
Skrivet av tomle:

Några som haft problem med det kortet, gäller att man har ett bra nätagg som klarar de nya C-statsen, finns en tråd här på SweC.

Tack för tipset!

Visa signatur

-------------------------------------------------------------------------------
Brandvägg/Router: EdgeRouter PoE
Switchar: Netgear 2 x GS108T, GS110T, GS724T v4
NAS: Synology DS713+, RS815+

Permalänk
Medlem

Ja alltså jag använder ju plex-server för att få filmer/videos till tv-apparaterna (en spelar upp via ps3 och en via chromecast) hemma samt när jag är på resande fot, plex transcodar ju alla videos när de skickas över nätet och det tar mycket CPU-kraft. Hehe, var det de du undrade typ?

Visa signatur

Fractal Design R4 - Arctic White / 750W / Z77 Extreme4 / 3570K + 620 khüler / 16GB / Gigabyte 670 2GB OC Version