Inlägg

Inlägg som thu har skrivit i forumet
Av thu

Sprang på 6pack 100Gb QSFP28 för en tusenlapp på ebay, från frankrike: https://www.ebay.ie/itm/234471917756
Väl förpackade och ser bra ut förutom att det ser ut som nån spillt en liten droppe kaffe på en av etiketterna

Har inte fått mina kort än dock, så modulerna är otestade.

KAIAM är ett tidigare amerikanskt bolag som konkade, XQX-4302 är en tidig (dock inte första) variant av deras 100Gb-SFP:er, så de går rätt varma. 3.5W rapporterat från microtik switch.
Hemskt dåligt med info om dessa på internet, finns i stort sett bara en tråd på ServeTheHomes forum.. jag snackade med en som testat dem där, och i hans Mellanox MCX455A-ECAT Rev. AC & HPE 840QSFP28 Single Port 100G QSFP28 funkar dem, även Mikrotik CRS504-4XQ-IN.

Av thu

Letar du fortfarande? Har 4x Kingston KSM26ED8/16ME 16GB 2666CL19
Micron Rev. E som minneschip, så de går att köra i högre fart. Har kört dem i 3200CL14, snabbare än så verkar minneskontrollern inte orka med.

Funkat bra tills jag bytte ut dem mot 4x 32GB istället.

Av thu
Skrivet av Decster:

Vilken energisparfunktion kör du grafikkortet i? Den första grafen påminner om en kurva där grafikkortet körs i maximal prestanda, så det inte klockar ner sig / sänker spänningen lika mycket i idle, vilket gör att temperaturen sakta höjs.
Eller om du har ett chassi som stänger in den varma luften som bildas?

Högsta prio är att datorn är ljudlös, vilket ger väldigt återhållsamma fläktkurvor och att varmluften - i samklang med hur du tänker - inte vädras ut så agressivt. Jag har nog inget större problem att pressa ner allt till runt 20 °C om det varit prio, men jag vill verkligen inte behöva lyssna på oväsendet från det

Så nu på vintern då det blev kalldrag där datorn står så gjorde väl kombinationen av lägre temperatur = lägre fläktvarvtal + trögare vätskelager i fläktarna att fläktarna i botten av chassit började leva om vid flappande start/stopp, vilket var det som initierade alltihopa.

Jag justerade först fläktkurvorna så de stängdes av helt somsagt. Skillnaden till andra grafen är att jag främst justerat upp lägstanivån. Bottenfläktarna låg innan justeringar i ~150-200rpm, frontfläktarna ~330rpm och cpu ~450rpm. Vid hajfenekurvan var bottenfläktarna avstängda, frontfläktarna ~300rpm och cpu ~350. Sista grafen är med ~340-350rpm på frontfläktarna, ~380 på bottenfläktarna och 380-400 rpm på cpufläkten - ökar där under mätperioden.

Av thu

Mer ström till fläktarna => minskad strömförbrukning

Fläktarna i botten på chassit började gnälla lite vid start, troligen lågt confad min-pwm. Lät dem stängas av helt istället och såg dagen efter detta lustiga mönster i graferna under en period då datorn stått och idlat:

Utan bottenfläktarna så kickade GPU-fläktarna igång ibland, vilket resulterade i ett sågtandsmönster med hajfenor i temperaturgrafen för GPU:n. Men, också i grafen för GPU:ns strömförbrukning (orange), 18 °C skillnad ger 10 W skillnad i rapporterad strömförbrukning?
Det syns i övre gröna grafen som är nätaggets rapportering av totalförbrukningen. Rolling average för att avbrusa den indikerar att det snarare är 5-6 W skillnad över de 18 graderna. Resten är väl troligen att mätkretsarna på grafikkortet är temperaturberoende de med.

Som experiment ökar jag då lägstanivån på alla fläktkurvorna, förutom GPU-fläktarna som fortsatt får vara avstängda vid idle.

CPU-temp snittar 8.8 °C lägre, GPU 7.5 °C lägre, nätagget rapporterar nu 121 W i snitt, 12 W lägre förbrukning, eller -9.1%.
Går också att se en svag tendens till ökning av totalförbrukningen i samband med att CPU-temp går upp allteftersom det blir dag och varmare. Mäter jag snittet fram till kl. 11 istället så blir det 120 W.

Effektförluster är proportionerliga till motstånd och kvadraten av strömstyrkan, motståndet ökar vid högre temperatur och med dagens låga spänningar i komponenterna är det rätt höga strömmar, så det hela är väl rätt logiskt. Jag är ändå lite paff över hur stor skillnad det blev.

Av thu

Du råkar inte ha nåt ärende förbi Karlskrona?

Av thu
Skrivet av billyskate:

Jag kollade lite snabbt priserna på dessa kort då jag inte har någon aning om vad "billigt" betyder:
3070m - 3700-3900kr
3080m - 7400-7800kr
3090m - Inte lyckats hitta pris ännu.

30? är det inte 40-serien som diskuteras?

Av thu
Skrivet av Radovic:

Någon vänlig själ som vet huruvida AMD Threadripper fungerar med DDR5?

Senaste generationen funkar enbart med DDR5

Av thu
Skrivet av lillaankan_i_dammen:

När det gäller 192GB vs 256GB så är det bara 25% extra, det påverkar inte mycket.

33%

Av thu
Skrivet av Gender Bender:

Man märker av att Kina är ett land som stjäl sig till framgång när de aldrig släpper något revolutionerande

Äh, kom igen, jag behöver ju bara säga 2019 så finns det väl inte en kotte här som skulle neka till att de är källan till det mest samhällsomvälvande på länge Skämt åsido, dels behöver ju inte saker vara revolutionerande för att vara bra utveckling. USA brukar väl sägas vara mer banbrytande, medans ex. Tyskland mer stabilt itererande. Tyskland blir väl inte nåt intellektuellt stöldcentra pga. det?
Och dels blir jag fundersam på vilka områden du faktiskt följer forskningen inom. Eftersom jag har rätt spretiga intressen och en förkärlek för att ligga och läsa forskningsrapporter så blir det ju ett par stycken som läses här, och det är svårt att missa hur ofta Kinesiska universitet är inblandade i det jag läser numera, oavsett om det är batteriteknik eller maskininlärning.

Blev lite nyfiken på hur ofta det omsätts till produkter och tänkte att patent kanske kan ge en fingervisning, och hittade detta:

Skrivet av WIPI:

The WIPI found a substantial rise in patent filings by residents of China and India. These were the main drivers of global growth in 2022.

Applicants based in China filed around 1.58 million patent applications in 2022, covering both domestic and foreign jurisdictions. China was followed by the US (505,539), Japan (405,361), the Republic of Korea (272,315) and Germany (155,896).
- https://www.wipo.int/pressroom/en/articles/2023/article_0013....

Sen vet jag inte riktigt varför det fastnade så hårt i mitt huvud, men en tidigare kinakorrespondent för sveriges radio förklarade hur de lägger mycket jobb på att förbättra vardagsfunktioner och beklagade sig över hur klumpigt nåt så simpelt som att dela en restaurangnota var i Sverige jämfört med Kina där hon kunde ta hela notan, snabbt klicka över vad som beställts av vem och skicka vidare det till dem. Då jag hör Musk snacka om hur X ska bli en "app for everything" så känns det mest som de ska göra ett försök att sno åtminstone hälften av de funktioner som kineserna redan har sina telefoner till.

Av thu
Skrivet av MegaMuztek:

Låter rätt lovande om de verkligen kan anpassa kort för server så kan det bli riktigt bra, dvs de kan få ner det till 2-slott och vettig kylning så man kan ha mer än ett kort i en server, det är med de kort som finns i stort sett omöjligt.

Varför skulle det vara ett problem? Att de inte säljs med tvåslotskylning är ju ett artificiellt påbud från nvidia för att försvåra att köra flera kort. Med vatten finns det ju dessutom redan 1-slotskylning för den som verkligen vill packa en server.

Av thu
Skrivet av Whitepilledoomer:

Att uppnå alignment i artificiell intelligens är något som sträcker sig mycket djupare än vad som för närvarande ligger inom räckvidden för både vår och Kinas teknologiska förmåga (jag argumenterar för att det ligger utanför Kinesisk vilja också för att en AGI skulle vara ett hot mot regimen i längden). Det centrala målet är att säkerställa att AI-systemen alltid agerar i enlighet med våra intentioner (speciellt i etik och säkerhetssynpunkt, även i de scenarion vi inte tänkt på). Intressant nog kommer sådan alignment resultera i en förbättrad modell, som är mer kompetent i att leverera relevanta svar. Skillnaden mellan alignment och "att få en ('narrow') AI att säga det man vill" är komplex att förmedla i detalj, eftersom AI-funktioner inte speglar mänskliga tankeprocesser utan hanterar sånt på andra sätt, men det handlar alltså om djupare förståelse och inte bara efterapning. En AI som kan tänka längre än vad vi sagt till den, en robusthet i intention, i alla lägen.

Kina kan naturligtvis programmera en 'narrow' AI att uttrycka vilka åsikter de vill, men att styra dess handlingar och i synnerhet att utveckla en AGI, en artificiell generell intelligens, kräver en grad av tankefrihet som de inte tillåter sin egen befolkning. I Väst ser vi redan hur restriktioner (som ChatGPT) kan begränsa en 'narrow' AI:s effektivitet, vilket tyvärr är ett krav, en sorts silvertejp, i väntan på att vi hittar en robust lösning på alignment-problemet.

Det där låter ju spekulativt och fyllt av antaganden. Varför skulle våra intentioner vara så självklara för en AGI och inte deras? Om vi ska kunna lära en AI att ha en grundläggande respekt för mänskligt liv, varför skulle inte de kunna lära den att ha en grundläggande respekt för partiet? Eller från andra hållet, om en AI får tänka helt fritt för att konstruera nåt sorts system för att uppnå våra bästa intentioner, varför skulle den komma fram till nåt som rimmar väl med vårat trams med ärvande miljardärsfamiljer och våldsamma nationalstater som slaktar varann med jämna mellanrum?
Sen, varför skulle den vara ett större hot mot deras system? Kina har väl dels mkt lättare att dölja de verkliga åsikterna av en AGI, och dels större (central)makt att strukturera om sitt samhälle efter de förslag de tycker passar. Jämför detta med om AGI blir allmänt tillgängligt här och att alla kan få förklarat hur den tycker att vårat system bör stöpas om i grunden och gamla makthierarkier bör skrotas. Det kan ju turboladda alla inneboende konflikter i samhället och blir väl ett större hot mot vårt system?

Av thu
Skrivet av Gender Bender:

Det förklarar varför 4090 har blivit sån bristvara.

Skrivet av Herr Kantarell:

Snarare "vad kan vi göra med chippen i 4090 som ingen har råd att köpa?"

Lustigt med så totalt motsatta uppfattningar om vad som pågår.. och missar ändå?

4090 är väl ingen bristvara? Går väl fint att köpa 4090 bara man betalar.
Och de har väl knappast problem med att bli av med 4090 heller, nvidia drog väl tom. ner produktionen av 4090 för att styra folk till att köpa 4080 osv?

I våras: https://www.notebookcheck.net/Lousy-RTX-4080-sales-allegedly-...
Höstas: https://www.hardwaretimes.com/nvidia-allegedly-halts-rtx-4080...

Priset är helt enkelt där nvidia vill ha det för tillfället. All tillgänglig kapacitet är lönsammare att sätta på att producera beräkningskort med istället, så finns ingen anledning att sänka priset.

Skrivet av Göteborgaren:

Eftersom nyheten var väntad har Nvidia enligt tidigare rapporter byggt upp sina lager av kortet i Kina.

Inte bara nvidia som bygger lager, verkar vara flera som fattat att de behöver egna lager av kort:
https://www.tomshardware.com/tech-industry/chinese-ai-firm-st...
https://www.reuters.com/technology/chinas-tencent-seek-domest...

Skrivet av Whitepilledoomer:

Jag är orolig över att Kina bygger en AI där de skapar en ofullständig/dålig design utan att tänka på att det behövs alignment-träning. Kan ett samhälle med så mycket repression verkligen skapa en AI där det krävs öppenhet och klarhet?

Kina är väl i världsklass på alignment-träning? Det lär bara inte vara dina värderingar det anpassas efter. Samtidigt sitter världens rikaste person i väst och diskuterar "sanningen" om judar med nazister på plattformen vars data används för AI-träningen..

Av thu
Skrivet av HappyPie:

Finns en fördel som jag nämnde om man kör flera modeller parallellt

Hur stor uppskattar du den att är? Hur ofta tänker du att man skiftar modeller?

Skrivet av HappyPie:

har man då låga krav på överföring mellan korten så kanske man kan ta en desktop platform med flera PCIe slots körandes i 8x eller 4x.

Mer specifikt, när tänker du att merkostnaden för threadripper jämfört med ovan blir motiverbar för OP?

Av thu
Skrivet av HappyPie:

Det skulle däremot istället kanske vara intressant för dig att titta på en Threadripper plattform med "bara" 8-16 kärnor.
Detta körandes med idag ett 4090 men som senare ska kunna uppgraderas genom att lägga till flera beräkningskort och då köra dem tillsammans (eller samtidigt för parallella jobb) med tanke på alla PCIe banor plattformen tillför; Samt mängden RAM den också tillför kan vara till nytta för dig eventuellt.

Beroende på vad för modeller samt vilka "färdiga paket-program" du kör (som automatic1111 shark e.t.c.) för att bl.a. köra stable diffusion, andra LLM eller t.o.m. multi model, så kan dessa eventuellt stödja multi gpu compute(?) eller bör åtminstone kunna köras parallellt tänker jag.
Har själv inte riktigt koll på den delen men värt att se över.

Jag är rätt tveksam till det. 3090 i en EPYC-server då SD börjar jobba med redan använd SDXL-checkpoint + LORA:

# gpu pwr gtemp mtemp sm mem enc dec mclk pclk fb bar1 rxpci txpci # Idx W C C % % % % MHz MHz MB MB MB/s MB/s 0 22 25 - 0 0 0 0 405 0 7493 5 0 0 0 121 37 - 100 47 0 0 9501 1815 8969 5 21 7 0 318 39 - 100 48 0 0 9501 1815 8971 5 24 6

Ingen PCI-trafik. Med modellbyte:

# gpu pwr gtemp mtemp sm mem enc dec mclk pclk fb bar1 rxpci txpci # Idx W C C % % % % MHz MHz MB MB MB/s MB/s 0 116 42 - 37 1 0 0 9501 1860 6805 5 10992 1311 0 159 45 - 57 16 0 0 9501 1980 8201 5 4379 4274 0 225 47 - 59 16 0 0 9501 1920 8321 5 2075 1743 0 315 50 - 100 45 0 0 9501 1770 8969 5 24 7

17GB på ~3s. Att slå i taket på ~8GiB/s med 8x PCI-E 3 lägger nog inte till många bråkdelar av en sekund där. Att jämföra med 30sek att köra klart jobbet.

Ska VRAM över två kort användas så slår man däremot i bandbreddstaket nåt fruktansvärt, notera ~45-50% minnesbandbreddsanvändning, det blir ~400-500 GB/s. Ligger halva minnet över en 16x PCI-E3-buss som maxar ~16 GB/s så dräper det prestandan fullständigt om man inte har en last som mest jobbar lokalt. LL-modeller är ännu värre än SD, där måste man peta på hela modellen för varje iteration.
NVLINK på 3090 klarar 56GB/s, så det har varit en deltanke i att sätta ett 3090 i servern. SD är som synes mer GPU-begränsat dock, så dubbla kort i mitt fall är mer för att kunna hanka sig fram på LL-modeller som inte går in på ett kort.

För beräkningskorten i den här generationen så har de 12st "NVLINKs", cirkus 600GB/s. Då spelar det mindre roll på vilket kort datan ligger.

4090 tog de bort NVLINK, men det finns traces kvar på vissa kort, så det finns en del spekulationer om att det ska gå att återställa. Men det är en del jobb med drivrutiner osv. att fixa efter det, så tveksamt det blir klart i närtid.

Av thu
Skrivet av Nandish:

Tack! Jag förstår att det finns ett annat "motstånd" om man redan har någonting som är dugligt. Jag kan kan inte ens ladda SDXL core + refiner som det är nu, så har alltså någonting som i sammanhanget är odugligt. Jag ska titta på det där med ljudet. Hårddiskknorrande i all ära, men det blir ju störigt i längden.

10GB VRAM var rätt plågsamt, valet var mellan 3090 och 4090 för mig där också, menade bara som prestandajämförelse.

Jag har hört rykten om att det ska ha dykt upp nya revisioner av 4090-kort där spolar osv är bytta, dels pga. kritiken/RMA, dels pga. de korrekta grejerna nu går att få tag på efter att covidkomponentbristen lättat, men utan att de indikerar ny revision på något sätt. Ska isf gälla att köpa ett tillräckligt nyproducerat bara, men har inte kollat närmare på det eftersom jag redan har ett kort.

Av thu

Utifrån SD: pga. VRAM har du 3090 och 4090 att välja på. Beg. 3090 ligger bra i kurs här på sweclockers. Huruvida 4090 är värt det beror väl på hur ditt arbetsflöde ser ut och hur du värderar din tid. Steget från mitt 3080 (inte alltför långt efter 3090 i prestanda) till samma 4090 som du kollar på går ju inte motivera utifrån pris/prestanda-ratio (fast det är nära om man kollar på rena FLOPS, 4090 har brutal prestanda), men 4090 är klart bekvämare att utforska nya idéer med.
Största nackdelen med 4090, iaf för mig som är ljudkänslig, är att man med modell väljer mellan högljudda fläktar och coilwhine, och coilwhine från MSI-kortet gör det till den klart högljuddaste komponenten i min dator. Tur nog är det inte det skrikande oljudet som vid gaming i hög fps, utan ett knattrande läte i stil med hur hårddiskarna kunde låta då du byggde dator sist. Följer hur många iterationer/sekund som SD levererar för stunden. Rätt överkomligt ljud, men jag hade hemskt gärna sluppit det. Det ger med sig en del vid större batches också.

Av thu
Skrivet av Frux:

Så 1,3 kFPS då, eller hur skriver man?

13hfps

Av thu
Skrivet av Roger W:

Om jag ska vara ärlig så tror jag vi alla som hittills haft en åsikt om laminärt flöde kontra turbulens, ring runt fläkten, påverkan av metallchassi osv, har alldeles för lite kunskap i ämnet för att kunna säga speciellt mycket alls om den faktiska praktiska påverkan det får

Då har du missat ett steg i hur långt diskussionen har stegat iväg från ämnet

Detta handlar inte om vad som ger de resultaten som Alphacools fläkt får, jag har ingen aning.
Utan om att DasIch kallar Igor inkompetent och klåpare utifrån bl.a. lite udda mätresultat där Lian Li AL V2 120 presterar bättre med 60 mm radiator än 25 mm radiator, och jag påpekar att vid maxhastighet 2000 rpm så stämmer det dels inte, CFM är högre genom 25 mm radiator (även om det är oerhört nära då jag kollar graferna) men att den är tystare med 60 mm radiator (även detta väldigt nära dock). Ljudnivå gul kurva, luftflöde blått:

https://files.catbox.moe/cpt8mq.png

Vi ser att flödet ökar brantare då ljudnivån minskar från en tidigare högre nivå, så jag gav bara en gissning på varför det kanske hamnar så nära som det gör utifrån att ljudninvån minskar. Eftersom det är såpass invecklat med hur påverkan ser ut tycker jag det här är lite knepigt att lägga fram som bevis på att Igor är en klåpare. Bättre att bara vänta på fler testresultat

Av thu
Skrivet av Roger W:

Nja, kolla närmre på bilderna så ser du att det är ett tunt blått lager runt i princip hela bilen.
Men ja, det är uppenbarligen långsamt bakom bilen också. (tror DasIch var lite snabb där...)

Men börjar vi ramla lite väl off topic?

Jo, såklart, det känns som han hakat upp sig på nån sorts teknikalitet som inte är av konsekvens för vad argumentationen handlar om? Notera att jag skriver "nån olycklig turbulens som upphör" => "mer laminärt flöde". Flödet är ju såklart inte perfekt laminärt, det är ju fortfarande viss turbulens mot flänsytan som kan få bort värmen, hade de haft nån för värmen ogenomtränglig lufthinna hade ju alla dessa tornkylare med tunna plana flänsytor varit rätt värdelösa.
Men en fläkt mot en fläns är ju inte ett riktigt som en stillastående luftmassa som vi pressar oss igenom, luftflödet ut från bladen torde se annorlunda ut vid olika varvtal, det lilla glappet mellan fläktblad och fläns ger olika påverkan vid olika lufthastighet, därav inte helt omöjligt att det går extra dåligt vid en viss flödeshastighetT?

Av thu
Skrivet av DasIch:

Och hur övergår det till ett laminärt flöde om inte genom att minska energin?

Minskad energi som går till turbulens? Ökad energi till lufthastighet?

Skrivet av DasIch:

Ja, det laminära flödet kommer vara bättre i det avseendet men det betyder inte att det är snabbare.

Hastigheten i sig är väl inte så relevant, det är väl flödet vi vill åt? Och som uppmätts högre?

Skrivet av DasIch:

Tystare, ja, men det är nog snarare vanligare att turbulenta flöden är snabbare. Ta exempelvis bilar där det turbulenta flödet bakom bilen rör sig snabbare än det mer laminära flödet runt bilen (något som skapar en lågtryckszon bilen får jobba emot).

Jag hänger inte med alls nu, vi pressar luft runt en bil, flödet bakom är väl det som är långsammast? Därför man använder det draget för att få extra draghjälp om man ligger bakom? Hastigheten är högst runt bilen?

https://files.catbox.moe/au3176.jpg

(colorbar scale indicating the velocity magnitude in meters per second)

Har du snurrat in dig i att det turbulenta luftflödet internt kan ha högre hastigheter?