Poslušajte Podcast:
Kako bi obučavao goleme skupove modela, Microsoft je stvorio superračunalo za OpenAI istraživački startup za umjetnu inteligenciju (AI). Posao je uključio tisuće Nvidia A100 grafičkih čipova za pomoć chatbotovima ChatGPT i Bing AI.
The Windows proizvođač obvezao konstruirati “masivno, vrhunsko superračunalo” u zamjenu za svoje $1 milijardi ulaganja u OpenAI.
Zašto je Microsoft napravio superračunalo?
Svrha ovoga superračunalo je ponuditi računalnu snagu potrebnu za uvježbavanje i ponovno uvježbavanje stalno rastućeg broja AI modela koji koriste goleme količine podataka tijekom dugotrajnih razdoblja.
Nidhi Chappell, Microsoftov voditelj proizvoda za računalstvo visokih performansi i umjetnu inteligenciju Azure, izjavio je: “Jedna od stvari koje smo naučili iz istraživanja je da što je veći model, to više podataka imate i što dulje možete trenirati, to je veći točnost modela je.
Nastavila je da osim što imate najistaknutiju infrastrukturu, morate je također moći pouzdano pokretati dulje vrijeme. “Također je postojao ogroman poticaj da se veći modeli obučavaju dulje vrijeme.
Microsoft je rekao da konstruira superračunalo za OpenAI koje će se nalaziti u Azureu i koristiti isključivo za obuku AI modela na svojoj konferenciji za programere Build 2020.
Greg Brockman, predsjednik i suosnivač OpenAI-ja, rekao je: „Zajednički dizajn superračunala s Azureom bio je neophodan za skaliranje naših zahtjevnih zahtjeva za obukom AI-a, što je omogućilo naše istraživanje i rad na usklađivanju na sustavima kao što je ChatGPT.
Microsoftovo superračunalo Arhitektura?
Microsoft je promijenio način na koji je rasporedio poslužitelje na policama kako bi spriječio nestanak struje i povezao desetke tisuća Nvidia A100 grafičkih čipova za treniranje AI modela.
Ovaj put. Tako je ChatGPT postao moguć. Jedan model koji je proizašao iz toga je taj. Prema Chappellu, kojeg je citirao Bloomberg, bit će ih tona više.
Scott Guthrie, izvršni potpredsjednik Microsofta odgovoran za oblak i AI, izjavio je da je trošak projekta “definitivno veći” od nekoliko stotina milijuna dolara.
Microsoft Azure dobiva više snage
OpenAI također zahtijeva moćnu arhitekturu oblaka uz superračunalo za obradu i obuku modela. Microsoft već radi na poboljšanju AI mogućnosti Azure Clouda s novim virtualnim strojevima koji koriste Quantum-2 InfiniBand umrežavanje i Nvidijini H100 i A100 Tensor Core GPU-ovi.
Time će Microsoft omogućiti OpenAI-u i drugim tvrtkama koje se oslanjaju na Azure da treniraju veće i složenije AI modele. Neke tvrtke već uvode AI chatbotove.
OpenAI je bio jedan od najranijih dokaza koji su demonstrirali nužnost stvaranja klastera posebne namjene usmjerenih na podršku golemim radnim opterećenjem pri obuci. Eric Boyd, korporativni potpredsjednik za Azure AI u Microsoftu, nastavio je: „Blisko smo surađivali s njima kako bismo identificirali koje su važne stvari tražili dok su gradili svoje okruženje za obuku i koje su bile bitne stvari koje su im trebale.
