Vad tror ni om ARM på server-sidan?

Permalänk

Vad tror ni om ARM på server-sidan?

Graviton-2

Denna ARM är rätt imponerande. Den bygger på Cortex-A76. Men den nyare Cortex-A77 har ännu bättre prestanda så bättre kan det bli. Troligen måste låg energiförbrukning vara avgörande för att ARM ska vara ett alternativ.

Permalänk
Medlem

Det jag ser som första fråga är vilken last man ska köra.
Därefter kan man börja fundera på hw lösning

så för vissa laster kan den säkert bli intresant - för andra totalt ointresant

Visa signatur

Arbetsdator: HFX Mini. Ryzen 3600, GTX1650. Skärmar: Dell 2415

Permalänk
Medlem

Tror inte så mycket, vem utanför Amazon vågar investera i ett Amazon ekosystem?
Bara titta på hur långsamt Epyc adaption sker, trots onekliga fördelar.

Permalänk

Det finns en trend som går från Infrastructure as a Service (IaaS) => Platform as a Service (PaaS) => Software as a Service (SaaS).
Detta betyder att utvecklinge går till att man inte bryr sig om vad den bakomliggande hårdvaran är för något, det man bryr sig om är bara hur tjänsten man anlitar presterar. Även om man utvecklar en IaaS lösning så blandar man av många anledningar in en SaaS lösning. Där anledning kan vara pris. För vissa saker får man betala per exekveringstid, där det ibland kan vara billigast att ha denna dynamisk.

Så det som kommer hända är att mest prestanda per krona kommer vinna, hårdvaruknuttna programvaror utvecklas av giganter som har stora budgetar. Vi andra behöver ej bry sig om hårdvara.

När jag själv började med webbsidor i mitten av 90 talet så använde jag en delad webbserver som jag inte visste något om. Senare efter något år en helt egen VM i molnet. Idag går trenden emot att lite som jag innan att inte veta något om hårdvaran. Det som främst hindrar såna lösningar idag är att de idag är svindyra och riktig enterprise lösningar.
Ta Azure. Ytterst få weblösningar går inte att göra där, att så få görs där beror på att de blir svindyra milt sagt.

Permalänk
Medlem

Jag tror stenhårt på konvergens inom IT överlag, vi kan ju se det fenomenet en tid bakåt.

Frågan jag ställer mig är om ARM (arkitektur som RISC) helt kommer slå ut x86*, och ev. andra...

https://en.wikipedia.org/wiki/ARM_architecture

Visa signatur

Hårdvara:
Varierande nog, = onödig information.

Gillar Linux, det kan vara värt vetande. 🙂

Permalänk
Datavetare
Skrivet av mats42:

Det jag ser som första fråga är vilken last man ska köra.
Därefter kan man börja fundera på hw lösning

så för vissa laster kan den säkert bli intresant - för andra totalt ointresant

Just denna punkt är vad som fått alla tidigare försök med ARM servers att vara DoA. Alla dessa tog vad ARM hade, vilket inte alls var designat för servers utan man packade bara ihop massor med mobil-CPUer vilket resulterade i värdelös prestanda per tråd men bra perf/W förutsatt att man hade ett fall som kunde skala till enormt många CPU-kärnor men varje transaktion gjorde något väldigt simpelt. Dessa laster finns, men de är rätt smala nischer.

Intel har alltid pekat på att allt, även servers, har delar som helt begränsas av enkeltrådprestanda. Där har ARM varit chanslösa fram till nu, men det som precis hänt är att Aarch64 CPUer kan inte bara matcha x86 i enkeltrådprestanda, utan de kan ge högre sådan!

Ovanpå det har man bättre perf/W, rätt rejält också.

Skrivet av Sinery:

Tror inte så mycket, vem utanför Amazon vågar investera i ett Amazon ekosystem?
Bara titta på hur långsamt Epyc adaption sker, trots onekliga fördelar.

Att Epyc inte ökat snabbare beror primärt på två saker

  • serverbranchen är väldigt konservativ, man byter sällan leverantör om den man har fungerar. Det räcker därför inte med att konkurrent är lika bra, de måste vara signifikant bättre för att något relevant antal ska byta

  • de flesta som håller på med servers är tillräckligt kompetenta för att klara av att jämföra två tal och lura ut vilket som är störst. Trenden mot "molnet" har ändrat spelplanen en hel del, det kvittar faktiskt att Epyc har fler kärnor per socket, det enda som spelar roll är prestanda och pris per vCPU. En vCPU är för x86 en CPU-tråd, Intel har fortfarande bättre prestanda per vCPU och extremt få fall använder mer än 8-16 vCPUer. Priset för Epyc instanser är inte tillräckligt mycket billigare för att vara ett vettig val samtidigt som de har lägre prestanda per vCPU i heltal (vilket utanför HPC är långt viktigare än flyttalsprestanda där Epyc är bättre). I det läget är det rationella valet att fortsätta köra Intel

Skrivet av lillaankan_i_dammen:

Det finns en trend som går från Infrastructure as a Service (IaaS) => Platform as a Service (PaaS) => Software as a Service (SaaS).
Detta betyder att utvecklinge går till att man inte bryr sig om vad den bakomliggande hårdvaran är för något, det man bryr sig om är bara hur tjänsten man anlitar presterar. Även om man utvecklar en IaaS lösning så blandar man av många anledningar in en SaaS lösning. Där anledning kan vara pris. För vissa saker får man betala per exekveringstid, där det ibland kan vara billigast att ha denna dynamisk.

Så det som kommer hända är att mest prestanda per krona kommer vinna, hårdvaruknuttna programvaror utvecklas av giganter som har stora budgetar. Vi andra behöver ej bry sig om hårdvara.

När jag själv började med webbsidor i mitten av 90 talet så använde jag en delad webbserver som jag inte visste något om. Senare efter något år en helt egen VM i molnet. Idag går trenden emot att lite som jag innan att inte veta något om hårdvaran. Det som främst hindrar såna lösningar idag är att de idag är svindyra och riktig enterprise lösningar.
Ta Azure. Ytterst få weblösningar går inte att göra där, att så få görs där beror på att de blir svindyra milt sagt.

ARM har tidigare inte kunnat konkurrera i absolut prestanda per kärna, det är något som nu har ändrats. Man kan tack vare att Aarch64 är så en pass mycket bättre design jämfört med x86 göra det med mindre än hälften så många transistorer per CPU-kärnan, något man utnyttjat till att designa CPUer som har lika många CPU-trådar, det utan SMT och ändå dra mindre ström än de x86 CPUer man riktar in sig på.

AnandTech sammanfattar pris per vCPU så här: Cost Analysis - An x86 Massacre. 64 Aarch kärnor som drar 100 W och har både enkeltrådprestanda och multicore prestanda i nivå med dagens x86 CPUer.

Andra siktar ännu högre sett till prestanda. Ampere computing kommer senare under året lansera sin Altra. Samma CPU-kärnor som i Amazons Graviton2 (ARM N1) fast 20 % högre klockade, 80 kärnor i stället för Graviton2s 64 st, 128 PCIe 4.0 kanaler. Allt detta på runt 210 W!

Visa signatur

Care About Your Craft: Why spend your life developing software unless you care about doing it well? - The Pragmatic Programmer

Permalänk
Medlem

@Yoshman

Trevlig sammanfattning! 👍
"It's a brave new world" 🤓

Visa signatur

Hårdvara:
Varierande nog, = onödig information.

Gillar Linux, det kan vara värt vetande. 🙂

Permalänk
Medlem

Jag tror ju att det mest är en tidsfråga tills ARM blir stort på serversidan.

Det känns väl dock som att just de större tjänsteleverantörerna med stora serverparker av specialbeställd serverhårdvara förmodligen lär driva den utvecklingen initialt. Som Amazon i TS artikel, Google, Cloudflare, osv, osv.

De traditionella servertillverkarna (HPE, Dell, Lenovo (ex-IBM), m.fl.) lär nog snarare fortsätta med mer eller mindre uteslutande x86-baserade maskiner (det närmaste skiftet där kanske snarare blir att gå från nästan uteslutande Xeon till mer EPYC) så länge det inte finns massiv efterfrågan av ARM-baserade servrar från vanliga företag.

Dock verkar det ju i nuläget fortfarande vara lite gränsfall och beroende på situation om det är värt att gå över till ARM eller ej.

Tänker t.ex. på Cloudflare som nyligen berättade att deras nya hårdvaruplattform byter Intel Xeon mot AMD EPYC, detta trots att de sedan flera år allvarligt överväger en övergång till ARM.

Visa signatur

Desktop: Ryzen 5800X3D || MSI X570S Edge Max Wifi || Sapphire Pulse RX 7900 XTX || Gskill Trident Z 3600 64GB || Kingston KC3000 2TB || Samsung 970 EVO Plus 2TB || Samsung 960 Pro 1TB || Fractal Torrent || Asus PG42UQ 4K OLED
Proxmox server: Ryzen 5900X || Asrock Rack X570D4I-2T || Kingston 64GB ECC || WD Red SN700 1TB || Blandning av WD Red / Seagate Ironwolf för lagring || Fractal Node 304

Permalänk

SPEC Power

SPEC Power

Det ska bli intressant att se om ARM kommer in på denna lista. utvecklingen från Opteron till Epyc är imponerande.

Permalänk

Thunder X3

Thunder X3

4 trådar/kärna ser ut att göra susen i tex MySQL men inte lika avgörande i SPEC2017.

Permalänk
Medlem

Tror att ARM (RISC) verkligen har potential på serverfronten, åtminstone vill jag tro det då jag hoppas kunna investera i en ARM eller RISC-V plattform som nästa projekt.

Men för att det skall gå riktigt väl behövs det nog, som Linus T. poängterar i denna post, billig konsument hårdvara och bra förutsättningar så att utvecklare och vanligt hemmafolk anammar plattformen på bred front.
Annars tenderar nog historien upprepa sig på nytt...

https://www.realworldtech.com/forum/?threadid=183440&curposti...

Visa signatur

Tower: ace Battle IV | CPU AMD Phenom II X2 BE unlocked 4cores@3,2GHz | RAM 8GB DDR2@800MHz | MB ASUS M4A785-M | GFK AMD Radeon HD 6850 1GB | HDD Kingston SSD Now 60GB (/) Seagate 2TB(/home) | OS Ubuntu 20.04 LTS
-Numera titulerad: "dator-hipster" då jag har en AMD GPU och dessutom kör Linux.

Permalänk
Datavetare

På superdatorsidan finns också A64FX från Fujitsu.

Den är intressant då den tar en väldigt annorlunda approach till trenden mot maskininlärning och liknande där Intel, AMD, m.fl. pratar om heterogena designer som man ska tygla med olika former av SDK:er. Heterogena designer har absolut fördelar i att man kan få högre peak-prestanda för en viss arbetslast och transistor-budget. Svårigheterna har varit och lär fortsätta vara just att hitta bra sätt att programmera dessa system. Intel gör ju en storsatsning med deras OneAPI, kanske fungerar man Nvidias VD har redan sågat idén.

A64FX gör i stället det omvända, man utökar Aarch64 med den typ av instruktioner man annars bara hittar i GPUer, man använder något ARM kallar Scalable Vector Extensions (SVE). D.v.s. en homogen design där man försöker få in prestandafördelarna från både CPU och GPU i en krets. Om det lyckas är det en enklare programmeringsmodell, frågan är om man får till råprestandan...

RISC-V gänget verkar också tro på den modellen, de bryr sig inte ens om att designa en traditionell SIMD instruktionsuppsättning (som SSE, AVX, NEON och AltiVec) då de anser att det är en dålig design. I kör de på samma spår som ARMs SVE,

Håller helt med om det Linux Torvalds säger om att för att lyckas måste det finns ARM-baserade maskiner man kan utveckla på. HPC-branschen kan eventuellt hantera det ändå, där skriver man ändå saker så specifikt för ett enda system.

Men för att ARM-servers ska få lite större spridning måste Microsoft få lite snurr på Windows och ARM, det måste dyka upp lite enheter som går att köra desktop Linux på samt Apple går förhoppningsvis till ARM med deras MBP (det sista räcker egentligen, MBP är redan idag väldigt populär bland utvecklare och en ARM MBP skulle kunna rejält befästa det).

Jobbar själv en hel del med ARM. Korskompilering fungerar när man gör småförändringar till något som redan är testat på ARM, men för experimenterande är det så mycket enklare att köra desktop Linux direkt på target. Har RPi4 och Nvidia Jetson-TX2 (här har man i alla fall 6 kärnor @ 2,0 GHz och SATA SSD), det fungerar men är ju inte precis några prestandaraketer...

Visa signatur

Care About Your Craft: Why spend your life developing software unless you care about doing it well? - The Pragmatic Programmer