Microsoft presenterar egna kretsar för datacenter

Ska bli spännande att se om någon annan får leka med dessa, men gissar att de blir ’azure exclusive’ eller så. Kanske kan det dock leda till något kul på klientsidan sen?

Förmodligen precis så. De ska väl inte vara sämre än AWS...

Möjligen... men undrar hur överförbart detta är, känns lite som olika världar.

Hos Scaleway kostar en ARM VM en tredjedel av en Intel/AMD.
Om Azure kan flytta sin managed infrastruktur till ARM istället skulle dom spara massor med pengar.
Eftersom dessa kärnor är ARM antar jag på att dom är general purpose med stöd för extra stora vektor-instruktioner, så borde kunna köra samma chip för infrastruktur och AI.

Just dessa chip lär förbli exklusiva, men denna leksak kanske kan vara något? https://amperecomputing.com/systems/altra/kraken-comhpc-WS

Antar att du med "extra stora vektor-instruktioner" menar SVE2 (a.k.a. AVX-512 done right)?

Svaret är i så fall: ja, Cobalt 100 verkar bygga på Arms Neoverse N2 som implementerar Armv9.0-A som bl.a. innehåller SVE2.

N2 är dock den variant som är primärt optimerad för hög effektivitet, den är nära Neoverse V2 i heltalsprestanda per MHz men ligger klart efter i SIMD-prestanda.

AWS Graviton 3 använder Neoverse V1 (d.v.s. en generation äldre) medan Nvidias Grace Hopper använder Neoverse V2.

Lämnade öppet för att Microsoft kanske gjort egna optimeringar. ARM brukar vara väldigt strikta om saker ska säljas till konsumenter, men i detta fall så är det nog inte så troligt denna hårdvara kommer snurra utanför Microsofts egna serverhallar.

Tydligen var Microsoft väldigt sparsam med information kring kretsarna, så mycket är mer eller mindre kvalificerade gissningar.

Specifikt för AI lär ju de hanteras av Azure Maia 100 kretsen som verkar vara någon NPU+CPU integrerad historia där ML-beräkningarna primärt hanteras i NPU (kretsen är designad både för träning och inferens).

I det fallet kanske Azure Cobalt 100 mer är en "vanlig server", så båda har definitivt en poäng i ett datacenter.