Inlägg

Inlägg som peterhjalmarsson har skrivit i forumet
Av peterhjalmarsson
Skrivet av backspace:

@peterhjalmarsson: DS380.
Välj rätt komponenter så gissar jag på att kylningen inte kommer vara ett problem.
Gör inte saker och ting svårare än vad de behöver.

Tyvärr är nätet fullt av DS380-byggen där diskarna överhettats pga det obefintliga luftflödet över dem. Den bästa lösningen jag sett på det är en plastbit som styr luften i den riktningen, men det löser ändå inte problemet med att hårddiskvaggan är i stort sett lufttät. Verkligen märklig konstruktion... En generation med mer genomsläppliga HD-vaggor/HD-bur kommer säkert att lösa problemet nästa år, men jag behöver lådan nu, och har ingen lust att modda alltför mycket...

Edit: och jag gör det inte "svårare" än vad jag behöver - jag anstränger mig lite extra för att få så låg ljudvolym och bra livslängd som möjligt. Men, ja, skillnaden kan vara hårfin.

Av peterhjalmarsson
Skrivet av MsSmith:

Ja jag kan bara prata av egen erfarenhet - mitt gamla Cooler Master Stacker var vidöppet i fronten och hade så tunna sidor att det var på gränsen till behagligt att sitta på chassit...

Mitt högst personliga råd är att du satsar på ett luftigare chassi. Risken är att du får problem med värmen vilket gör att fläktarna måste snurra mer vilket ger dig mer oljud. I mitt R4 med tolv diskar har jag ytterligare en vagga så det är sex diskar nere och så den större buren ovanpå. Funkar fint men måste komma ihåg att nätaggregatet inte får vara för långt. Hotswap får du nog problem med då diskarna monteras på tvären i chassit. Jag har ju haft mina chassin i ett par år nu och när jag bytt diskar så har jag dock bara monterat av båda sidorna och så har det gått väldigt snabbt ändå. Behöver du verkligen ha hotswap?

Jag behöver inte hotswap i betydelsen byta diskar under drift, utan kan leva med att ta ned systemet. Däremot vore det med tanke på placeringen av chassit hos mig väldigt bekvämt/önskvärt att kunna dra ut/stoppa i diskar ur en vagga utan att behöva bekymra mig om kablarna. Antingen från framsidan, eller från ena sidan. Min erfarenhet hittills är att jag bytt diskar långt mer än vad jag hade velat.

Att behöva dra ut chassit från sitt utrymme för att kunna lyfta av bägge sidoplåtarna (en kan jag ta av ändå) är inte ok tyvärr. Så Define vore ok om de bara hade ett bakplan som man kunde sätta på HD-burarna. Otroligt att det inte verkar finnas.

Av peterhjalmarsson
Skrivet av ggalaxyy:

De är ju SFX nätdelar. De går visserligen att montera i det större ATX-utrymmet med hjälp av en adapter, men menar du att dessa mindre nätagg skulle vara så mycket bättre än alla större ATX-agg att det skulle vara värt besväret? Det låter osannolikt.

Av peterhjalmarsson
Skrivet av MsSmith:

Mina servrar (som jag nämnde i en annan tråd angående kontrollerkort) är väldigt tysta - låter inte mer än en liten dator. De byggdes för att vara tysta från början så inget fusk inte.

Två bygger på AMD system med 25w cpu, 8 gb ram. Sitter i var sitt Fractal Design R4 chassi. 140mm fläktar i fronten på låga varv, semipassiva nätaggregat, igensatta fläktintag i botten och i taket. En fläkt för 140mm utsug. Låter mindre än en vanlig laptop från förra generationen.

Det tredje systemet var lite bökigare då det är ett 95w system. All in one vattenkylning rådde bot på det. Också byggt i ett Fractal Design R4 chassi, dock med tolv mekaniska diskar istället för åtta som i de andra. Låter aningens mer, mycket pga vibrationer.

Knepet för mig var att inte hålla på med för små chassin. Hur stiligt det än ser ut så är det inte värt det om man prioriterar tystnaden.

Och för guds skull, undvik all form av aluminium (och där med Lian Li) om du prioriterar tystnad. Det är tunt och väger lite, vibrerar mycket lättare än ett ordentligt stålchassi.

Aluminium är ett problem - jag måste erkänna att jag inte ens tänkte på det för PC-Q26 - det ser så "plåtigt" ut jämfört med de Lian-Li jag haft för 10-15 år sedan. Kanske pga att det är lackat. I viss mån kan man komma runt de med bitumenmattor, men det har ju sina egna problem.

Fractal Design är definitivt ett alternativ. Som du kanske såg i första inlägget hade jag funderat på Node 804 snarare än Define-serien pga mindre volym (41 liter vs 56 - PC-Q26 är 32 liter) och allmänt bättre proportioner för den placering jag tänkt mig. Synpunkter på det någon? Eller R5 i st för R4? FD har så mycket chassin nu för tiden att jag inte kan skilja dem åt...
Finns det något sätt att få hotswap på något sätt i FD:s chassin?

Skrivet av IceKey:

Nu var det inte Mullet jag citerade heller dessutom. Känns som att du är inne på fel tråd och skriver.
Mullet säljer Supermicro, ja.
[...]

Han tänkte nog på att Mullet är dyra jämfört med många andra (utländska) leverantörer. Att jämföra med ebay är kanske orättvist mot en svensk handlare, men det är icke desto mindre en intressant möjlighet för många privatpersoner. De trådar jag startat de senaste dagarna har verkligen öppnat mina ögon för de superlåga priserna på serverkomponenter "over there"!

Skrivet av GarfieldPower:

Thermaltake W200 verkar perfekt för dig, Lian Li har även en liknande modell.

Tack, men det är alldeles för stort - dubbelt så många diskplatser som jag behöver, större moderkort än vad jag behöver, etc. Sen så har vi det faktum att Thermaltake gjorde riktigt riktigt riktigt fetusla chassin och kylare för några år sedan, i alla fall med avseende på buller, och även om de kanske har skärpt sig(?), så skulle jag vara skeptisk. Många hål i det chassit...

Av peterhjalmarsson
Skrivet av Krillezz:

@casgar: Har du några länkar till de där hotswap korten?, tänkte att jag antingen kanske kan byta ut burarna i mitt r5 eller sno ideer och deisgna ett eget kretskort

@Krillezz fick du någon ordning på detta. Går i samma tankar själv nämligen...

Av peterhjalmarsson
Skrivet av Hugligan:

Då är det lugnt, mjukvaru-RAID5 på linux lider inte av samma sak dock. Men om du inte behöver snabba writes och kan ha en SSD så kanske det fungerar för dig. Kör du Windows 10/Server 2016? För tidigare versioner har inte möjlighet att "rebalance" dvs skyffla över data till nya diskar.

Framför allt hade jag tänkt ha dataintensiva tjänster på (speglade) SSD:er helt och hållet. Jag hade nog tänkt köra Server 2012 av stabilitetsskäl (jag körde tills nyligen 2k3...), men det där är ju minst sagt ett bra argument för 2016 - det är svårt att hålla koll på exakt vad som ligger i de olika versionerna. Licenserna ligger och kliar i fingrarna.

Av peterhjalmarsson
Skrivet av evil penguin:

Om det där jonglerandet uppfyller "byta ut en en eller flera mindre diskar mot en större" så hade jag en annan syn på vad det innebar.

Det där vara bara ett sätt att försöka beskriva hur det skulle kunna gå till i praktiken för en privatperson som sakta uppgraderar sina diskar till större. I praktiken är det praktiskt för många att kunna köpa en disk i taget i stället för att byta ut allt i ett snäpp.

Även om man har mycket pengar på banken och väljer att byta ut allt "på en gång" så behöver man ändå rent fysiskt byta en disk i taget och göra rebuild där mellan, så ja, om du ska "byta ut en en eller flera mindre diskar mot en större" så måste du göra det där "jonglerandet" med diskarna. Tråkigt om du hade en annan bild, men om du inte ska rasa hela raidsetet och tappa all data så är det ett måste.

Av peterhjalmarsson
Skrivet av mini-ryttge:

Jag är smått ledsen att säga det men du får nog tänka om.

8st 3.5 diskar kommer att låta mycket och generera mycket värme, att klämma in dessa i ett litet utrymme kommer äta diskar, speciellt om de inte får tillräckligt med kylning. Att köra 4 plextranscodes kommer att vara CPU tungt och kommer även det dra upp värme och ljudnivån.

Att en burk med 8 3.5or som transcodar 4st 1080p strömmar låter mindre än en vanlig gaming dator finns tyvärr inte på kartan. Speciellt inte om den ska vara liten.

Även med 8x10TB diskar kommer du inte upp i mer än 35TB användbart utrymme i en raid 10, 53 i en raid 6 (eller Raidz2) Vilket skulle räcka till 3 eller 5 dagars backuper.

Dina backupscheman verkar vara helt av knasiga eller så har du växt långt över stadiet "fråga swec om hjälp men en hemmabyggd NAS", sortera ut det innan du bränner 60k på en NAS som du inte kommer vara nöjd med och totalhaverera efter ett år eller 2.

Jag tycker du är onödigt negativ - antagligen beroende på missförstånd/att jag varit otydlig. Jag har trots allt ett liknande system idag med en HP Gen7 och en Drobo som funkar helt ok.

Jag skulle kanske varit tydligare med att det inte är någon kontinuerlig körning av 4 transcodes (VEM gör det!?)!) - jag försökte bara se ett värsta möjliga scenario. Den tiden CPU:n behöver jobba så hårt så får fläkten gå upp då - det viktiga är att jag kan räkna med att den är tyst i idle eftersom den kommer att stå i "en välventilerad garderob" (låt oss inte gå in på exakt vad det betyder här - utrymmet är välventilerat och dumpar värmen utanför rummet) i gästrummet.

Kylningen i PC-Q26 verkar bra i de test jag sett och de byggloggar samt folks erfarenheter som jag läst. Jag skulle inte vara orolig för kylningen - det finns flera liknande byggen redan.

Angående diskarnas ljud så har jag 8 diskar i en drobo idag, så jag är mycket medveten om hur mycket det låter, och det är ok. De mekaniska diskarna går bara på tomgång när det inte sker någon strömning och utan sökljud är både de och fläktarna (jag har bytt ut orginalfläktarna i drobon) tysta nog för att stå i en garderob. Jag tänker inte köra några 7200 eller 10K-diskar utan det blir WD RED eller motsvarande 5400 rpm "NAS-diskar" - rimligt tysta och svala.

Tyst är ju naturligtvis relativt - den kommer ju aldrig att bli som en laptop i idle. Men inte heller som en 1U rackenhet om man säger så... Jag räknar med att med det kassa luftflödet och 40mm fläkten i min HP Gen7 idag så kommer det att bli bättre än idag i alla fall, åtminstone när inte CPU:n jobbar för fullt. Men även då så maxar en 4700T bara på 35W har jag för mig?

Backupstorlekar: du har blandat ihop GB och TB! Det är dessutom dagsbackuper - alla de sparas inte i all evighet förstås. Jag kommer inte ihåg exakt hur schemat ser ut nu, men det är säkert nån variant på standard daglig/vecko/månad/år-backup, alltså runt 7+4+12=20-talet generationer som sparas, eller c:a 200GB. En snabb titt i nuvarande backupkatalogen säger att storleken stämmer ungefär med det.

Av peterhjalmarsson
Skrivet av Hugligan:

Storage Spaces och paritet är no go. Skrivhastigheter är så sjunkt långsamt, runt 25MB/s.

Jag kan nog leva med 25 MB/s write i ett medialager ändå. Read är ju kvickt, och skulle jag behöva snabba upp write så finns ju möjligheten att ha en SSD som write-cache har jag förstått. Och alldeles självklart kommer jag att ha en eller ett par SSD:er som systemdisk för det som kräver mycket skrivning, som torrents, databaser och normal användardata.

Även traditionell mjukvaru RAID5/6 (och för den delen min drobo) lider av liknande bekymmer har jag förstått.

Jag googlade lite, och det här är en enormt intressant diskussion som vi alla nog bör läsa och smälta: http://serverfault.com/questions/685289/software-vs-hardware-raid-performance-and-cache-usage

Det ser ut som att jag antingen får fläska på med 3-4 000 kr för ett RAID-kort med cache och batteribackup för att verkligen få bra prestanda (ebay $375 begagnat SAS3 - SAS2 c:a $100 billigare), alternativt spara pengar på att använda ett enkelt SAS-kontrollerkort som ett sätt att få fler SATA-portar och så köra med nån form av mjukvaruRAID eller liknande.

Det leder mig till en fråga: SAS2 är ju på 600 MB/s. Det är oftast (alltid?) fyra SAS-kanaler på en kontakt. Betyder det att de delar på kapaciteten? Eller har de 600 MB/s per drive? Inget större problem med de flesta fysiska diskar, men det begränsar en större WD RED något t.ex. Och SAS3 kanske är motiverat för framtida 8/10GB diskar i så fall.

Och en till: Om man har 8 kanaler med 600 MB/s på ett typiskt SAS-kort så blir det sammanlagt 4 800 MB/s. Ett 8x PCI-E 2 kort klarar max 4 000 MB/s, så PCI-E 3 x8 verkar behövas om man ska maxa kapaciteten. Eller är det bara irrelevant eftersom det ändå inte går att maxa kortet från CPU:n med RAID och/eller processorn på kortet inte hänger med i de hastigheterna i alla fall?

Btw, om någon undrar så verkar det som att LSI spöar Adaptec på prestanda enligt det här testet.

Av peterhjalmarsson
Skrivet av IceKey:

Det är iofs sant. Dock går den att modda ganska lätt. Sitter med 2 st sådana och i ena är där 9 st diskar. 5 st 3,5 och 4 st 2,5.

Jag borde kanske varit tydligare med att de åtta platserna jag efterfrågade var 3,5"; utöver det så behöver jag en eller två 2,5" SSD, men de kan man ju tejpa fast i värsta fall. Konstigt nog kan jag inte redigera mitt ursprungliga inlägg för att uppdatera det - weird.

Är det Gen8:an som du har 9 diskar i? De verkar vara flexibla - jag har 5+2 i min Gen7 och skulle nog kunna få in två 2,5" till med lite fantasi och eventuellt glidmedel.

Av peterhjalmarsson
Skrivet av IceKey:

Den microservern från Supermicro är ruskigt fin. Dock är inte prislappen det däremot.
Då kan man lika gärna köpa en HP Microserver Gen 8 och slänga in en Xeon och mera minne.

Ingen av dem rymmer dock åtta diskar utan bara hälften.

Av peterhjalmarsson
Skrivet av peterhjalmarsson:

Tack Roger! Hur kunde jag missa att kolla på Lian Li's hemsida?!

Jo, leveranstiden från Liontech är dock 20:e december, och även om jag är tålmodig så finns det gränser...
Har redan frågat Proshop - deras tyska produkttext tyder på att de har en tysk leverantör, så det finns lite hopp att de kan få den därifrån kanske...

Om nån söker här så ja, Proshop säger sig kunna leverera. Deras artikelnummer är BP3SATA, men beskrivningen och de själva i epost säger att det är en BP2SATA. Jag håller tummarna.

Av peterhjalmarsson
Skrivet av Langelus:

Eftersom du nämner Storage spaces, gör dig själv en tjänst och kolla in Stablebit Drivepool. Kört det i några år för min lagring och är väldigt nöjd med det, speciellt om man kombinerar det med Stablebit Scanner för att hålla koll på datan.

Fördelen gentemot raid är att det är ett NTFS kompatibelt filsystem som används så du kan rycka diskar från poolen och fortfarande komma åt datan i vilket dator som helst och lägga till/ta bort diskar ur poolen är smidigt. Kör man en SSD cache så kan man dessutom öka på prestandan för hela poolen också även om jag märkt att jag klarar mig gott på tre poolade diskar utan cache.

Drivepool är intressant - tack för påminnelsen. Men det är "bara" spegling och inte paritet, eller hur? Så om jag vill säkra upp 32TB med data (8x8TB diskar) så får jag bara ut 16TB? Storage Spaces använder väl paritet för att tappa mindre data.

Av peterhjalmarsson
Skrivet av MsSmith:

@peterhjalmarsson: Använder Adaptec 5805 och 31208 (tror jag den heter) i mina och kan bara säga att det fungerar väl. Dock rekommenderas att man har aktiv kylning på dem eftersom den medföljande kylningen är ungefär lika effektiv som en bit hårdplast.

Över tio lax för 5805 är lite i värsta laget för mig. Den är säkert bra, men det är nog overkill för mina behov. [31208 hittar jag inte]

Av peterhjalmarsson
Skrivet av Hugligan:

Behöver du bara SATA-portar rekommenderar jag: LSI SAS MegaRAID 9207-8i
Köpte mitt nytt för 710kr

Det var grymt billigt. Det billigaste som finns på Prisjakt är nästan 3000 kr (vilket är sjukt dyrt när man kan få ett moderkort (tyvärr utan stöd för de senaste processorerna) med det inbyggt för lika mycket). Var hittade du ditt?

Av peterhjalmarsson
Skrivet av -=Mr_B=-:

Nästan alla RAID-kort tillåter att du byter en disk i taget, mot en med högre kapacitet. När alla diskarna är utbytta, blir den nya kapaciteten tillgänglig. Men det är en attans massa rebuilds & tid, för att expandera 8'a diskars RAID-6 från 4tB till 8tB diskar. Och man kommer aldrig ifrån att det KAN skita sig. Både under rebuild processen, och när man växer partitionen för att ta det nya utrymmet i bruk. Det "bästa" sättet är så klart att ha en backup, och bara byta alla diskarna, för att sen läsa in backuppen på den nya lagringsytan.

Vi tjatar alla om att RAID är INTE backup, vilket är sant, men i realiteten har man sällan en bra backupp-lösning för sådana här lagringsytor... Så, man får kopiera det viktigaste temporärt, göra uppgraderingen, och hålla tummarna.
B!

Goda råd. Med tanke på datamängden så kan du säkert gissa att det främst handlar om mina "semesterfilmer", och jag är villig att ta risken att förlora dem (och backupar de 100GB eller så som är viktiga dagligen). Fast jag planerar faktiskt att böja göra backup mot Amazon Cloud (inte S3) Storage också.

Risken med rebuild kan minskas genom att ha två paritetsdiskar - det är så jag gör på min drobo idag. Då är man skyddad mot hårdvarufel på en disk under rebuild+expansion (som tar 2-3 dagar för en 4TB disk om det inte är för mycket trafik) också. Det känns "bra nog". Fungerar t.ex. LSI-korten på samma sätt med två paritetsdiskar också?

Sen är jag lite besviken när du säger att man inte kan utnyttja det nya utrymmet förrän man uppgraderat alla diskar. Är du säker? Det gick redan 2003 med Raidcore (se mitt inlägg ovan), och det går i drobon.

Edit: Och BTW, vad menar du mer exakt med "nästan alla"? LSI, Highpoint, Adaptec? Andra?

Av peterhjalmarsson
Skrivet av evil penguin:

Iom att de vanliga RAID-nivåerna förutsätter lika stora diskar (eller att bara använda samma utrymme som den minsta) så låter det som att du söker något som inte är RAID i egentlig mening, därmed ej heller ett RAID-kontrollerkort.

Nja, det är inte riktigt sant. Anta att du har 4x1TB diskar i RAID5 (1 paritestsbit) med ett raidset på 3TB+paritet.

  1. Lägg till en 1TB till, och du kan expandera raidsetet till 4 TB+paritet genom att bygga om RAID-setet. Det här är jag helt säker på att t.ex. LSI:s kort klarar "live" dvs du kan fortsätta att använda raidsetet under tiden, om än med lägre prestanda.

  2. Lägg nu till en 2TB disk. Du kan nu expandera raidsetet till 5 TB+paritet på samma sätt. Kvar har man nu en tom yta på 1 TB på den nya disken.

  3. Lägg nu till ytterligare en 2TB disk. Du kan nu expandera det usprungliga raidsetet til 6TB+paritet. Nu har man två diskar med vardera 1 TB tomt. Där skapar man ett nytt raidset på 1 TB+paritet.

  4. Byt nu ut en av de ursprungliga 1TB-diskarna mot en 2TB disk. Först bygger man om raidsetet (live) mot den nya disken, precis på samma sätt som om en disk hade pajat. Nu har man en ytterligare disk med 1TB ledigt, och adderar den till det andra raidsetet så att det blir 2TB+paritet.

Den här funktionaliteten hade jag på mitt RAIDCore-kort redan i början på 2000-talet, men då var funktionen helt ny. Det kortet hade all funktionalitet (utom beräkning av paritetsbit) i mjukvaran, så kortet var mer som ett 8-portars SATA-kort med en dongle om man ska vara ärlig.

De kursade sedan när de mer etablerade tillverkarna införde liknande funktioner, och köptes upp av nån av dem. Och eftersom jag inte hängt med i den branschen på tio år eller så vet jag inte i hur hög grad denna typ av funktionalitet stöds av SAS-korten, och om funktionen finns i hårdvaran eller ej. Om det är samma sorts "dongle+drivrutin" lösning som i RAIDCore så tror jag att jag hellre väljer Windows Storage Spaces, men om det är en "äkta" hårdvarulösning som avlastar processorn så kan det kanske vara värt att fundera på.

Av peterhjalmarsson

SAS-kort för 8 SATA-diskar

Det ser ut som att jag ska bygga en server baserad på en Lian-Li PC-Q26. Den har plats för 10(!) 3,5" diskar, och jag har tänkt mig att köpa ett SAS-kort för att ansluta åtta av dem; till viss del för att kabeldragningen helt enkelt blir lättare jämfört med ett 8-portars SATA-kort.

Frågan är vilket kort jag ska välja? Från början hade jag tänkt att ansluta diskarna som JBOD och använda Windows Storage Spaces eller liknande för redundans och annan RAID-liknande funktionalitet. Men nu tänker jag att det kanske är lika bra att köra på ett kort med RAID i hårdvaran, för prestandans skull om inte annat, typ LSI 9361-8i. I så fall

Men om jag ska ha hårdvaru-RAID så behöver jag ha en bra och stabil mjukvara som samtidigt är flexibel. Jag vill kunna utöka lagringsutrymmet genom 1. Att stoppa i fler diskar, men även 2. byta ut en en eller flera mindre diskar mot en större. Detta ska helst kunna göras med arrayet är online, eftersom rebuilds med dagens jättediskar tenderar att ta dagar.

Ett kort för "mjukvaru-RAID" behöver förstås "bara" vara snabbt och stabilt.

Fråga 1: Mjukvaru-"Raid" eller hårdvaru-RAID?
Fråga 2: Vilket kort? Jag vill gärna komma in under 4000 kr för hårdvaru-RAID och under 2000 för mjukvaru.

Av peterhjalmarsson
Skrivet av studiox_swe:

Du måste köra en mindre fabrik, generera 10G om dagen det är imponerande

Backuperna kommer från ett antal Windows 10-PC. Win10 genererar en rackans massa backupdata, speciellt som Crashplan insisterar på att backupa hela filen och inte bara deltat för vissa databasfiler. Nån gång borde jag väl reda ut det antar jag, men det blir inte idag...

Av peterhjalmarsson
Skrivet av Svensktiger:

Du säger ju att du inte vill ha ett sånt här [...] Inte så litet, visst. Och inte heller knäpptyst utan moddar.

Nej, just det. Faktum är att det inte får plats i det utrymmet servern ska stå.

Citat:

Men skall du få plats med 8+ diskar och en vettig CPU dessutom så kommer det att ta plats, och låta.

Inte nödvändigtvis - se t.ex. "arbetshypotesen".

Skrivet av Duktig:

Jag använder mig utanav Bitfenix Phenom I mitt bygge Som jag hade samma krav på.

Nu förstår jag inte. Bitfenix själva säger ju att det bara får plats fem diskar? Dessutom i ganska bökig montering.

Citat:

Välj inte 1150 får ut så mycket bättre grafik delen i skylake. [...]

Det stämmer säkert, men jag ska inte ha någon grafik (det ska vara en "headless" server). Däremot så tittar jag på modernare moderkort + separat SAS-kort för att kunna köra snålare moderna processorer. Jag har också vagt för mig att Plax ska kunna koda om m.h.a. Intels "GPU" i den senaste generationen.