Ny hemlabbsmiljö - hjälp mig tänka rätt!

Permalänk
Medlem

Ny hemlabbsmiljö - hjälp mig tänka rätt!

Hej,

Nybörjare men galet intresserad som man är, fick jag ett ryck för någon vecka sedan och började scanna ebay och andra ställen för hur jag skulle sätta upp min egna, billiga, men kraftfulla server istället för att hyra dedikerad server via någon av de stora och billiga leverantörerna. Dels för att jag vill lära mig hur saker och ting fungerar - på riktigt - och dels för att jag tycker det är förbannat skoj. Detta är min första uppsättning server och hårdvaru/nätverkskunskaperna är inte på topp (ännu!). Värt att ha i åtanke när du läser nedan är att jag vill hålla mig på en minimal budget i alla dess avseenden eftersom detta är mitt första projekt och WAF (Wife acceptance factor) är högt prioriterat.

Jag känner mig ganska trygg i att jag är på rätt väg, men skulle behöva lite insikt från någon som redan är (eller åtminstone själv utsett sig till) proffs på det hela och hoppas på att den hjälp finns här!

Hårdvara Server:
Moderkort: Supermicro X8DTE-F - 2x onboard RJ-45 (GBIT), 1x Dedikerad IPMI2.0 Port
CPU: 2x Xeon L5630 QC
CPU-Kylare: 2x Arctic Cooling Cooling Freezer 7 Pro Rev.2
RAM: 48GB DDR3-PC10600 ECC, 1.35V (6x8GB)
PSU: Be Quiet Straight Power 10 500W CM (80Plus Gold)
HDD1: 2x 256GB SSD (BOOT/VM) - i RAID1?
HDD2: 1-6st 3.5" Mekaniska diskar (ex. WD RED) för lagring av filer/media - tanken är att bygga upp detta över tid i RAID5

Servern kommer byggas i ett Silverstone GD08 GRANDIA (stort HTPC-chassi) med tysta fläktar/komponenter för att denna med glädje skall kunna stå i TV-bänken och klappas på vid behov (bor i lägenhet).

Syftet med mitt projekt är att sätta upp en virtualiseringsmiljö i Proxmox. Denna kommer innehålla en blandning mellan LXC/VMs för olika applikationer, dels ur ett mediaserver-perspektiv (emby, plex, kodi), men framförallt som en utvecklingsplattform för magento/wordpress och diverse open source ERP-lösningar samt en del nytto-appar som omvärldsbevakning, ownCloud, analytics(t.ex. piwik) och liknande.

Backup kommer ske till en NAS med 2x2TB (WD RED) i RAID0.

--

Några direkta frågeställningar som dyker upp är:

  • Mjukvaruraid vs. hårdvaruraid - Köra SSD i S/W RAID1 och övriga i H/W RAID5? Eller sätta upp två RAID-Arrays på en H/W controller?

  • Om H/W Raid är att föredra till en början - vad är viktigt att titta på för en RAID-controller?

  • Har jag förbisett någon vital del i mitt bygge?

  • Skulle jag med fördel vilja utöka antalet NIC med PCI-E kort och mappa dessa anslutningar till respektive VM?

--

Gällande mitt hemnätverk innebär detta att även det behöver uppgraderas för att stödja fler portar:

  • Tanken är att sätta upp pfSense som router/brandvägg för hela mitt hemnätverk i en VM (eller borde jag köpa någon trevlig router mellan modem och switch?). Använder idag Com Hem och har ett COMPAL-modem. Min önskan är en uppsättning likt nedan:

    WWW --> Com Hem-Modem --> Managed Switch/Smart Switch --> pfSense-VM --> övriga nätverket

    Något särskilt jag bör ta hänsyn till kring ovan schema?

  • Måste jag köpa exempelvis en Ubiquiti AP för att kunna hantera/få tillgång till det trådlösa nätverket? Eller har jag magiskt nog möjligheten att fortsätta använda det genom Com Hem-modemet trots att jag då lägger över den i bridged mode?

  • Gällande Switch har jag funderat på: Zyxel GS1900-8 - tankar kring detta? Jag behöver portar för: 2x NAS, 1x Desktop, 1x Mini-PC (front-end till mediaserver), 3x Server & ev. 1x till en AP = 8 portar.
    Syftet kring switchen är också att lära mig att konfigurera ett produktions-nätverk för ett mindre kontor därför jag uppskattade möjigheten till att kunna arbeta både i webb och CLI med denna.

Inväntar fortfarande leverans av de olika delarna och kan knappt bärga mig för att sätta tänderna i detta... Blir väl till att sova på soffan när allt anlänt!

Hemskt tacksam för all möjlig insikt i hur jag bör göra för att tänka rätt från början och inte stöta på patrull. Eller ja, patrull kommer jag stöta på och det är först då jag kommer lära mig på riktigt, men ni förstår säkert poängen.

Ha en skön måndag-kväll!

/Sebastian

EDIT:

Jag missade förmodligen den viktigaste frågan - jag har planerat att köra Proxmox, men finns det någon fördel i att köra VMWare ESXi 5.5/6.0? Tankar kring denna punkt hade också varit värdefullt!

Permalänk
Hedersmedlem
Skrivet av sebbeh:

Hej,

Nybörjare men galet intresserad som man är, fick jag ett ryck för någon vecka sedan och började scanna ebay och andra ställen för hur jag skulle sätta upp min egna, billiga, men kraftfulla server istället för att hyra dedikerad server via någon av de stora och billiga leverantörerna. Dels för att jag vill lära mig hur saker och ting fungerar - på riktigt - och dels för att jag tycker det är förbannat skoj. Detta är min första uppsättning server och hårdvaru/nätverkskunskaperna är inte på topp (ännu!). Värt att ha i åtanke när du läser nedan är att jag vill hålla mig på en minimal budget i alla dess avseenden eftersom detta är mitt första projekt och WAF (Wife acceptance factor) är högt prioriterat.

Jag känner mig ganska trygg i att jag är på rätt väg, men skulle behöva lite insikt från någon som redan är (eller åtminstone själv utsett sig till) proffs på det hela och hoppas på att den hjälp finns här!

Hårdvara Server:
Moderkort: Supermicro X8DTE-F - 2x onboard RJ-45 (GBIT), 1x Dedikerad IPMI2.0 Port
CPU: 2x Xeon L5630 QC
CPU-Kylare: 2x Arctic Cooling Cooling Freezer 7 Pro Rev.2
RAM: 48GB DDR3-PC10600 ECC, 1.35V (6x8GB)
PSU: Be Quiet Straight Power 10 500W CM (80Plus Gold)
HDD1: 2x 256GB SSD (BOOT/VM) - i RAID1?
HDD2: 1-6st 3.5" Mekaniska diskar (ex. WD RED) för lagring av filer/media - tanken är att bygga upp detta över tid i RAID5

Servern kommer byggas i ett Silverstone GD08 GRANDIA (stort HTPC-chassi) med tysta fläktar/komponenter för att denna med glädje skall kunna stå i TV-bänken och klappas på vid behov (bor i lägenhet).

Syftet med mitt projekt är att sätta upp en virtualiseringsmiljö i Proxmox. Denna kommer innehålla en blandning mellan LXC/VMs för olika applikationer, dels ur ett mediaserver-perspektiv (emby, plex, kodi), men framförallt som en utvecklingsplattform för magento/wordpress och diverse open source ERP-lösningar samt en del nytto-appar som omvärldsbevakning, ownCloud, analytics(t.ex. piwik) och liknande.

Backup kommer ske till en NAS med 2x2TB (WD RED) i RAID0.

--

Några direkta frågeställningar som dyker upp är:

  • Mjukvaruraid vs. hårdvaruraid - Köra SSD i S/W RAID1 och övriga i H/W RAID5? Eller sätta upp två RAID-Arrays på en H/W controller?

  • Om H/W Raid är att föredra till en början - vad är viktigt att titta på för en RAID-controller?

  • Har jag förbisett någon vital del i mitt bygge?

  • Skulle jag med fördel vilja utöka antalet NIC med PCI-E kort och mappa dessa anslutningar till respektive VM?

--

Gällande mitt hemnätverk innebär detta att även det behöver uppgraderas för att stödja fler portar:

  • Tanken är att sätta upp pfSense som router/brandvägg för hela mitt hemnätverk i en VM (eller borde jag köpa någon trevlig router mellan modem och switch?). Använder idag Com Hem och har ett COMPAL-modem. Min önskan är en uppsättning likt nedan:

    WWW --> Com Hem-Modem --> Managed Switch/Smart Switch --> pfSense-VM --> övriga nätverket

    Något särskilt jag bör ta hänsyn till kring ovan schema?

  • Måste jag köpa exempelvis en Ubiquiti AP för att kunna hantera/få tillgång till det trådlösa nätverket? Eller har jag magiskt nog möjligheten att fortsätta använda det genom Com Hem-modemet trots att jag då lägger över den i bridged mode?

  • Gällande Switch har jag funderat på: Zyxel GS1900-8 - tankar kring detta? Jag behöver portar för: 2x NAS, 1x Desktop, 1x Mini-PC (front-end till mediaserver), 3x Server & ev. 1x till en AP = 8 portar.
    Syftet kring switchen är också att lära mig att konfigurera ett produktions-nätverk för ett mindre kontor därför jag uppskattade möjigheten till att kunna arbeta både i webb och CLI med denna.

Inväntar fortfarande leverans av de olika delarna och kan knappt bärga mig för att sätta tänderna i detta... Blir väl till att sova på soffan när allt anlänt!

Hemskt tacksam för all möjlig insikt i hur jag bör göra för att tänka rätt från början och inte stöta på patrull. Eller ja, patrull kommer jag stöta på och det är först då jag kommer lära mig på riktigt, men ni förstår säkert poängen.

Ha en skön måndag-kväll!

/Sebastian

EDIT:

Jag missade förmodligen den viktigaste frågan - jag har planerat att köra Proxmox, men finns det någon fördel i att köra VMWare ESXi 5.5/6.0? Tankar kring denna punkt hade också varit värdefullt!

Angående raid så skulle jag personligen rekommendera HW raid, ser många på nätet som pratar om SW raid dock så skulle jag personligen inte köra med de då det känns mer riskabelt, det kan ju komma en patch som gör att man får några timmars huvudverk när man försöker fixa något eller om man har otur kan man ju bli av med all data på diskarna.
Raidkort vill jag inte uttala mig om dock då jag har dålig koll.

Angående pfSense så har det ju självklart mer kraftfull än att köra nån konsument router, dock så kräver den ju lite mer pill för att sätta upp och du kommer behöva en AP om du vill ha trådlöst. Om du kör pfSense så ser jag inte varför du vill ha en switch före? känns som den inte har så mycket funktion där.
Switchen du länkade ser inte ut att vara någon high end men den bör ju hantera det mesta i hemmamiljö. Värt att nämna är att den bara har 8 portar dvs ingen extra för inkommande så du kommer behöva en switch med minst 9 portar, det skadar ju inte att ha någon över som man kan använda senare till nåt projekt.

Angående virtualiseringen så rekommenderar jag starkt ESXI det är helt klart det bästa alternativet på marknaden. Fördelen jag ser med ESXI är att det är vanligt bland företag och har ett starkt community bakom sig som ofta har haft samma problem som man själv kommer stöta på under vägen.

Visa signatur

Kom in och häng med oss på Discord!

Permalänk
Medlem
Skrivet av bl0m1:

Angående raid så skulle jag personligen rekommendera HW raid, ser många på nätet som pratar om SW raid dock så skulle jag personligen inte köra med de då det känns mer riskabelt, det kan ju komma en patch som gör att man får några timmars huvudverk när man försöker fixa något eller om man har otur kan man ju bli av med all data på diskarna.
Raidkort vill jag inte uttala mig om dock då jag har dålig koll.

Angående pfSense så har det ju självklart mer kraftfull än att köra nån konsument router, dock så kräver den ju lite mer pill för att sätta upp och du kommer behöva en AP om du vill ha trådlöst. Om du kör pfSense så ser jag inte varför du vill ha en switch före? känns som den inte har så mycket funktion där.
Switchen du länkade ser inte ut att vara någon high end men den bör ju hantera det mesta i hemmamiljö. Värt att nämna är att den bara har 8 portar dvs ingen extra för inkommande så du kommer behöva en switch med minst 9 portar, det skadar ju inte att ha någon över som man kan använda senare till nåt projekt.

Angående virtualiseringen så rekommenderar jag starkt ESXI det är helt klart det bästa alternativet på marknaden. Fördelen jag ser med ESXI är att det är vanligt bland företag och har ett starkt community bakom sig som ofta har haft samma problem som man själv kommer stöta på under vägen.

Tack så mycket för din input. Som jag tänkt med HW Raid helt enkelt, så då blir det att leta upp ett pålitligt sådant kort

Gällande mitt lilla nätverk har du helt rätt, jag vill självklart få in pfSense innan switchen, det är helt enkelt jag som formulerat mig fel, men jag antar att det borde vara möjligt, trots att det i så fall ligger i ett VM - men räcker då mina två NICs till i servern, eller behöver jag titta på något Intel Gbit Nic kort?

Jäkla besvärligt att förstå sig på varenda liten detalj - men klart viktigt att ha förutsättningarna att göra det jag vill!

EDIT: Har du något förslag på en switch som kanske hade varit bättre för mitt ändamål med en tight budget? Begagnat som nytt funkar!

Permalänk
Medlem

Två saker:
1) Tänk efter några gånger till med virtuell pfsense. Det funkar absolut rent driftmässigt, men jobbigt när du ska stänga av burken och ska nå saker ändå. Kolla på en typ ERL, kostar inte mycket och klarar av att routa upp till 1G.
2) Om du ändå ska köpa HW-raid kolla på ett kort med capacitors som BBU, inte batteri. ( du ska ha BBU )

Visa signatur

En server här, några servrar där.

Permalänk
Medlem
Skrivet av moron:

Två saker:
1) Tänk efter några gånger till med virtuell pfsense. Det funkar absolut rent driftmässigt, men jobbigt när du ska stänga av burken och ska nå saker ändå. Kolla på en typ ERL, kostar inte mycket och klarar av att routa upp till 1G.
2) Om du ändå ska köpa HW-raid kolla på ett kort med capacitors som BBU, inte batteri. ( du ska ha BBU )

Tack!
1) Om jag förstår dig rätt skulle jag i så fall använda ERL mellan mitt com-hem modem och switch? Och då använda dess router- och brandväggsfunktionalitet istället för pfSense? I så fall skulle det räcka med en 3-ports ERL, för 1x switch och 1x AP
Jag läste faktiskt precis den kommentaren i någon annan tråd, strax efter jag la upp mitt inlägg och insåg att det skulle bli en problematik i en labbmiljö, då den säkerligen kommer behöva bootas om ganska mycket, åtminstone i början när man begår de flesta misstagen.

2) Värdefull info, då ska jag definitivt kolla på det. Ett beggat kort med batteri känns ju sådär, med tanke på att batterier inte håller i all evighet

Permalänk
Medlem

@sebbeh:Een ERL-3 räcker. Men du kommer inte vilka köra både switch och AP på den - för då kommer du behöva mjukvaruswitcha trafik i ERL'n. Bättre att bara köra den som gateway, sen har du PoE i switchen.

Exakt! Kolla lite efter LSI kort med CacheVault, eller IBM M-kort som har CV inkluderat i vissa.

Visa signatur

En server här, några servrar där.

Permalänk
Medlem
Skrivet av moron:

@sebbeh:Een ERL-3 räcker. Men du kommer inte vilka köra både switch och AP på den - för då kommer du behöva mjukvaruswitcha trafik i ERL'n. Bättre att bara köra den som gateway, sen har du PoE i switchen.

Exakt! Kolla lite efter LSI kort med CacheVault, eller IBM M-kort som har CV inkluderat i vissa.

Härligt. Då börjar jag greppa strukturen helt enkelt. Med andra ord skulle det räcka att jag kollar på en "dum-switch" eftersom funktioner jag behöver i mitt nätverk finns i routern, inte sant? Förslag på någon vettig (och billig) sådan? Begagnad som ny spelar ingen större roll, så länge priset är lågt.

EDIT: Alternativt vilken dumswitch som helst (t.ex. denna) med en sån här? . Tänker mig att det blir en ERL och en UAP-AC-LITE

EDIT2: Verkar som att det medföljer en poe injector som jag länkade till i paketet till en UAP-AC-LITE. As easy as that.

Permalänk
Medlem

Jag skulle definitvt köra PFsense som brandvägg.
På virtualiseringsservern kör man virtualiseringen och inget mer. Dvs man behöver boota om den extremt sällan.

Nu kan jag inte just proxmox men det ska räcka med 2 nätkort.
Ett dedikerat för Internet som enbart din PFsense maskin får se.
Det andra är insida och delas mellan den fyssiska maskinen och VM:s
Gör man så här så kan man sen också sätta upp en trave virtuella nät mellan pfsene maskinen och en eller flera virtuella testdatorer.

Tex kan man skapa ett DMZ för en webserver på så vis

Visa signatur

Arbetsdator: HFX Mini. Ryzen 3600, GTX1650. Skärmar: Dell 2415