Forum Övrigt Nyhetskommentarer Annonskommentarer Tråd Inlägg

2xNvidia Tesla P40 24GB / Dell R720 server

1
Skriv svar
Permalänk
Medlem
●

2xNvidia Tesla P40 24GB / Dell R720 server

köp och lek med lite större AI modeller.

2st Nvidia Tesla P40 24GB
1st Dell R720 2U 8LFF. 2x Intel E5-2670, 128GB DDR3 ECC, H710p RAID, GPU power, iDrac Enterprise. Utan caddies (jag har bara kört in två SSDer just nu, funkar fint)

Korten sitter just nu i servern, så bilden är "såklart" från nätet. Har passande fläktpaket till båda, som på andra bilden, samt passande kablar för att köra i vanligt nätagg.

2000/st för GPUerna
3000 för servern
6500 för allt tillsammans.

Kan eventuellt skickas.

Läs hela annonsen här

Visa signatur

En server här, några servrar där.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Av nyfikenhet, detta ser ut att vara en bra setup för att köra lokala llm modeller. Har du någon erfarenhet av det?

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av s1lvertunga:

Av nyfikenhet, detta ser ut att vara en bra setup för att köra lokala llm modeller. Har du någon erfarenhet av det?

Gå till inlägget

Väldigt lite erfarenhet, då jag bara tappa intresset att testa Men det är absolut en setup passande LLM, det var det jag köpte det för.

Visa signatur

En server här, några servrar där.

Redigera
Citera flera Citera
Permalänk
Medlem
●

Bjudet 2000 sek för en av GPUerna. Bor även i Sthlm fast utan bil så om det ligger rimligt till kan jag även hämta.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av s1lvertunga:

Av nyfikenhet, detta ser ut att vara en bra setup för att köra lokala llm modeller. Har du någon erfarenhet av det?

Gå till inlägget

Nej detta är ingen bra gpu för llm eller AI (deep learning). Den har gott om minne men saknar snabbt fp16 och int8 stöd i form av tensor cores. Detta gör att du i praktiken måste köra i fp32 och använda 2x eller 4x mer minne. Vilket 30xx kort som helst med 12GB ram är ett vida överlägset val.

(Förlåt till TS för att jag kommer in och regnar på annonsen, men någon ställde en fråga jag vet svaret på...)

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Men samtidigt borde jag tillägga att för 2000kr vet jag nog inget bättre alternativ för att köra stora modeller. Det är ett bra pris för 24GB, och lämpar sig gott för andra typer av beräkningar!

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av Mikael07:

Nej detta är ingen bra gpu för llm eller AI (deep learning). Den har gott om minne men saknar snabbt fp16 och int8 stöd i form av tensor cores. Detta gör att du i praktiken måste köra i fp32 och använda 2x eller 4x mer minne. Vilket 30xx kort som helst med 12GB ram är ett vida överlägset val.

(Förlåt till TS för att jag kommer in och regnar på annonsen, men någon ställde en fråga jag vet svaret på...)

Gå till inlägget

Jag läste på lite om precis detta också men tackar för din input! Bra ändå att folk får veta.

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av Mikael07:

(Förlåt till TS för att jag kommer in och regnar på annonsen, men någon ställde en fråga jag vet svaret på...)

Gå till inlägget

Det är såklart inga problem! Inte ute efter att blåsa någon.
Kortens fördel är självklart VRAMet som kan komma till nytta.

Tycker inte det är en dålig affär för någon som vill testa lite, komplett med ganska många cores och minne.
Säljer det för lite mindre än jag betalade eftersom jag kom på att jag vill bygga vattenkylning istället

Visa signatur

En server här, några servrar där.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av moron:

Det är såklart inga problem! Inte ute efter att blåsa någon.
Kortens fördel är självklart VRAMet som kan komma till nytta.

Tycker inte det är en dålig affär för någon som vill testa lite, komplett med ganska många cores och minne.
Säljer det för lite mindre än jag betalade eftersom jag kom på att jag vill bygga vattenkylning istället

Gå till inlägget

Absolut, det är ju som sagt ett guldläge IMO för den som vill ha mycket VRAM för lite peng! Blev lite sugen själv att buda hem ett för något beräkningsprojekt, men jag använder fp16 mer och mer, och dessutom sitter jag redan på ett 3090 så det hela landar lite i kategorin villhöver

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av s1lvertunga:

Jag läste på lite om precis detta också men tackar för din input! Bra ändå att folk får veta.

Gå till inlägget

Jao, jag kanske tog i lite hårt. Dåligt är det absolut inte, men det finns mycket snabbare alternativ för just AI om man vill lägga några få tusenlappar till. Men för float32 beräkningar är det grymt prisvärt tycker jag

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av hypno toad:

Bjudet 2000 sek för en av GPUerna. Bor även i Sthlm fast utan bil så om det ligger rimligt till kan jag även hämta.

Gå till inlägget

Hej! Missade detta, Sorry! Jag kan nog komma och lämna. Skicka ett pm så löser vi det!

Visa signatur

En server här, några servrar där.

Redigera
Citera flera Citera
Permalänk
Medlem
●

Annonsen är avslutad

Visa signatur

En server här, några servrar där.

Redigera
Citera flera Citera
1
Skriv svar
Senaste nyheterna
Hårdvara
Mjukvara
Övrigt
Nytt i forumet
Datorkomponenter
System
Ljud, bild och kommunikation
Spel och mjukvara