Open AI har med chattbotten Chat GPT varit lite extra på tapeten de senaste veckorna. Tekniken bakom verktyget har eller är på väg att integreras i allt från webbläsare till bilar, däribland Microsofts Bing. Microsoft är därtill en av de bolag som investerat i Open AI, för att träna den enorma språkmodell som ligger bakom succén.

Investeringen, som låg på en miljard amerikanska dollar, gjordes redan 2019. Samtidigt lovade de att bygga en enorm superdator åt Open AI. För att träna sina modeller behövde bolaget tillgång till en mycket kraftfull molntjänst över längre tid – något Microsoft vid den tidpunkten inte var säkra på att de kunde bygga.

För att möta Open AI:s behov fick teknikjätten pussla ihop tusentals grafikkort, något som visade sig vara lättare sagt än gjort. Till projektet användes Nvidias A100-kort, som introducerades med förra generationens arkitektur "Ampere". Som instickskort samsas grafikkretsens 8 192 CUDA-kärnor för FP32-beräkningar, 4 096 kärnor för FP64-beräkningar och 512 Tensor-kärnor med 48 GB HBM2-minne som ansluter över en 6 144-bitars minnesbuss.

En av utmaningarna var att positionera dem i serverracken, eftersom tidiga försök resulterade i strömavbrott och problem med överhettning. Scott Guthrie, chef med ansvar över AI- och molntjänster på Microsoft, förklarar att de var tvungna att noga planera hur och var strömförsörjning anslöts. Annars ledde det till datacenterversionen av att "slå på mikrovågsugnen, brödrosten och dammsugaren samtidigt".

Därtill fick de utveckla ny mjukvara, designa särskilda hållare för allt kablage och använda sig av flera olika metoder för att kyla kalaset. Det sistnämnda berodde bland annat på vilken årstid och vilket väder som var aktuellt.

The model that is wowing the world right now is built on the supercomputer we started building couple of years ago. The new models will be built on the new supercomputer we're training now, which is much bigger and will enable even more sophistication. – Scott Guthrie, chef med ansvar över AI- och molntjänster på Microsoft

Det första projektet och dess infrastruktur ligger även till grund för bolagets senaste virtuella maskin, ND H100 v5 VM. Där har A100 uppgraderats och bytts mot senaste generationens H100, baserade på Nvidias senaste datacenterarkitektur Hopper. Varje virtuell maskin kan nyttja som minst ett kluster av åtta grafikkort, med möjlighet att använda sig av tusentals åt gången. Med det ska bland annat nya AI-berikade versionen av sökmotorn Bing drivas, tillsammans med webbläsaren Edge och Microsoft Dynamics 365.