NVME SSD i rackserver för hemmabruk?

Permalänk
Medlem

NVME SSD i rackserver för hemmabruk?

Jag sitter och dagdrömmer lite om att köpa en rackserver för "homelab" / "hemmadrift".

Nöten jag dock inte kan knäcka är hur fasen man löser lagringen? Jag vill ju köra NVME/M2-SSD:er, men jag antar att köpa en modell som har stöd för NVME i diskslädarna gör att man måste ha en orimligt ny och därmed dyr modell?
EDIT: Jo, hittade nått som DELL kallar för Flex Bay där man ska kunna stoppa in NVMe diskar på släde, kostar från $1483 för en 960 gig disk... Helt uteslutet.

Hur kan man lösa NVME lagring i en beggad DELL/HP/liknande rackserver?

Permalänk
Medlem
Skrivet av BasseBaba:

Jag sitter och dagdrömmer lite om att köpa en rackserver för "homelab" / "hemmadrift".

Nöten jag dock inte kan knäcka är hur fasen man löser lagringen? Jag vill ju köra NVME/M2-SSD:er, men jag antar att köpa en modell som har stöd för NVME i diskslädarna gör att man måste ha en orimligt ny och därmed dyr modell?
EDIT: Jo, hittade nått som DELL kallar för Flex Bay där man ska kunna stoppa in NVMe diskar på släde, kostar från $1483 för en 960 gig disk... Helt uteslutet.

Hur kan man lösa NVME lagring i en beggad DELL/HP/liknande rackserver?

Om du inte kräver hotswap så kanske typ bara någon sådan M.2<->PCIe-adapter och någon vanlig rimligt prissatt M.2 NVMe?

Faran är väl dock att de flippar ur och kör fläktarna 100% för alltid för att det är en "främmande" PCIe-enhet i en slot, det är ju en klassiker...

Visa signatur

Desktop: Ryzen 5800X3D || MSI X570S Edge Max Wifi || Sapphire Pulse RX 7900 XTX || Gskill Trident Z 3600 64GB || Kingston KC3000 2TB || Samsung 970 EVO Plus 2TB || Samsung 960 Pro 1TB || Fractal Torrent || Asus PG42UQ 4K OLED
Proxmox server: Ryzen 5900X || Asrock Rack X570D4I-2T || Kingston 64GB ECC || WD Red SN700 1TB || Blandning av WD Red / Seagate Ironwolf för lagring || Fractal Node 304

Permalänk
Medlem

Varför drömmer du om just en rackserver?
Är det för hemmabruk/lab och du inte har några specifika krav så sätt ihop något med "konsument-prylar".
Du kommer inte märka någon skillnad i prestanda, men ha en betydligt tystare setup.

Permalänk
Medlem

Du behöver en maskin som kan ta u.2 för att komma billigt undan.

Visa signatur

WS: R7 5800X, 32GB, Suprim X 3080, Acer X38P+Acer XB271HU
FS: HPE ML110 Gen10 Xeon Silver, Qnap TS-h973AX ~100TB
NW: Fortigate, Ruckus, Zyxel XS1930HP 10Gb

Permalänk
Medlem

Tar den U.2 (eller U.3) så kan du köpa sådana diskar, eller köpa passiva adaptrar från M.2 till U.2.

Visa signatur

Antec P280 | Corsair RM750x | ASUS ROG Crosshair VIII Dark Hero | Ryzen 9 5900X | G.Skill Trident Z RGB 3200MHz CL14 @3600MHz CL16 2x16GB | ASUS RTX 3080 TUF OC | WD SN850 1TB | Samsung 970 Pro 1TB | Samsung 860 Pro 1TB | Samsung 850 Pro 1TB | Samsung PM863a 3.84TB | Sound Blaster Z | 2x ASUS PG279Q

Permalänk
Medlem

Samma här, är också sugen på att gå från nuvarande SATA SSD över till U.2 NVME, det finns rätt prisvärda U.2 diskar ute på Ebay. Men jag har i dagsläget två stycken Dell PowerEdge R720xd som det förvisso finns NVME-enablement kit till, men på så gamla servrar kan man lika gärna köra SAS SSD, så jag ugglar på att byta upp mig till PowerEdge R630 eller R730xd som klarar av NVME med NVME-kontrollerkort och annan kablage. Andra alternativet om man kör Dell-servrar är förstås Dell BOSS-kort som stödjer 2st M.2 NVME SSD:s.

Visa signatur

Also found as @piteball@mastodon.rockhost.se

Permalänk
Medlem

Update: Ja, tanken är att köra vanliga konsument-M.2 NVMe diskar.

Tanken är att köra diskarna rakt mot en VM som kör ZFS, så har inga tankar på att använda nån typ av fysisk RAID eller liknande.
De viktiga är alltså att en VM kan få "raw" access till diskarna.

Skrivet av evil penguin:

Om du inte kräver hotswap så kanske typ bara någon sådan M.2<->PCIe-adapter och någon vanlig rimligt prissatt M.2 NVMe?

Faran är väl dock att de flippar ur och kör fläktarna 100% för alltid för att det är en "främmande" PCIe-enhet i en slot, det är ju en klassiker...

Kräver inte hotswap.
Jo exakt, det är sånt där jag är oroad för, vill att det ska fungera "bra".
Hur tolkar t ex ESXi diskar i PCI-slottar med raiserkort? Kommer det funka? Funkar SMART etc bra?

Skrivet av Xcorp:

Varför drömmer du om just en rackserver?
Är det för hemmabruk/lab och du inte har några specifika krav så sätt ihop något med "konsument-prylar".
Du kommer inte märka någon skillnad i prestanda, men ha en betydligt tystare setup.

Specifika kraven är att jag vill att ESXi ska fungera bra. Har aldrig fått in temperaturer och annat när jag kört på konsumenthårdvara. Nice med saker som ILo etc.
När man kan få tag på så pass billiga beggade rackservrar så varför inte. Har även ett halvhöjds rack som jag vill ha in den i.

Skrivet av _niko_:

Du behöver en maskin som kan ta u.2 för att komma billigt undan.

Skrivet av Pitr-:

Samma här, är också sugen på att gå från nuvarande SATA SSD över till U.2 NVME, det finns rätt prisvärda U.2 diskar ute på Ebay. Men jag har i dagsläget två stycken Dell PowerEdge R720xd som det förvisso finns NVME-enablement kit till, men på så gamla servrar kan man lika gärna köra SAS SSD, så jag ugglar på att byta upp mig till PowerEdge R630 eller R730xd som klarar av NVME med NVME-kontrollerkort och annan kablage. Andra alternativet om man kör Dell-servrar är förstås Dell BOSS-kort som stödjer 2st M.2 NVME SSD:s.

Jag känner inte till U.2?
Det verkar alltså vara en standard för att disk-slottarna ska kunna ta PCIe prylar utöver sas?

BOSS card såg väl rimligt ut, men jag vill väl köra en 5-10 M2 SSD:er iaf, så måste ha nått som skalar fysiskt.

Ett alternativ skulle iofs vara att köra gamla SATA SSD:er för mängdlagring, och bara köra M2:or för intensiva saker.

Permalänk
Medlem
Skrivet av BasseBaba:

Specifika kraven är att jag vill att ESXi ska fungera bra. Har aldrig fått in temperaturer och annat när jag kört på konsumenthårdvara. Nice med saker som ILo etc.
När man kan få tag på så pass billiga beggade rackservrar så varför inte. Har även ett halvhöjds rack som jag vill ha in den i.

Med tanke på att VMWare lägger ner gratis-varianten av ESXi så bör du kanske se över alternativen såsom Proxmox, xcp-ng eller ren KVM. Själv håller jag på och migrerar över till xcp-ng vilket fungerar smidigt då det finns inbyggd ESXi-importerare i XenOrchestra (byggd från källkod med alla betalfunktioner).

Citat:

Jag känner inte till U.2?
Det verkar alltså vara en standard för att disk-slottarna ska kunna ta PCIe prylar utöver sas?

BOSS card såg väl rimligt ut, men jag vill väl köra en 5-10 M2 SSD:er iaf, så måste ha nått som skalar fysiskt.

Ett alternativ skulle iofs vara att köra gamla SATA SSD:er för mängdlagring, och bara köra M2:or för intensiva saker.

Ja U.2, och numera även U.3, är standarder för anslutning av 2.5" SSD-hårddiskar direkt mot PCI-E bussen och går att finna på nyare servrar. Fördelen med U.2 är att du kan hitta exempelvis 6.4TB NVME-hårddiskar för strax över 3000kr vilket är rätt prisvärt. Utmaningen är dock att finna en stabil NVME-kontroller, men Wendel på Level1 har visst hittat en M.2 U.2 adapter som faktiskt fungerar bra, så med detta så är det enkelt att ansluta åtminstone 1-2st U.2 hårddiskar till ett vanligt konsumentmoderkort.

Till fördelarna med Enterprise U.2 hårddiskar är att dessa är i princip odödliga, klarar högre IOPS generellt och inte tappar prestanda alls eller mindre än en konsument-SSD i och med att man fyller upp diskutrymmet. Sen så sitter det också små kapacitanser på Enterprise-hårddiskarna för att du inte ska tappa data som ligger i DRAM cache:en vid exempelvis strömavbrott, vilket inte finns i konsument SSD:s.

Level1 Youtube-video om nedan M.2 U.2 adapter-lösning
https://www.youtube.com/watch?v=qq4_l9ts8ys

Adapter-lösning M.2 till U.2
https://www.microsatacables.com/m-2-m-key-for-gen-z-1c-adapter-pcie-gen-4-with-redriver
https://www.microsatacables.com/pcie-gen4-gen-z-1c-male-to-u-2-sff-8639-cable

Exempel på beggade Enterprise SSD-hårddiskar
https://www.ebay.com/itm/386753472876
https://www.ebay.com/itm/284247360840

Visa signatur

Also found as @piteball@mastodon.rockhost.se