Zer da IA ​​Datu Zentro bat? [Bideoa eta Galdetegia]

Erantzun laburra: IA datu-zentro bat dentsitate handiko gune bat da, non energia, hoztea, ehuna eta biltegiratzea entrenamendu eta zerbitzu ereduen inguruan erabiltzen diren, ez GPU gehigarriak dituen zerbitzari-gela bat. Txipek lortzen dute ospea; eraikinak erabakitzen du funtzionatzen duten ala ez. Irudiak ezin badira alde egin, zelula txiki bat egokitu; talde gehienek alokatu beharko lukete.

Ondorio nagusiak:

Txip vs eraikintza: Energiak, hozteak, ehunak eta biltegiratzeak erabakitzen dute azeleragailuek funtzionatzen duten ala ez.

Jauregiak, ez lekuak: Bi rack berritu datuak irten ezin direnean; ez erosi campusik.

Batez bestekoa vs mediana: Zortzi exekuziotan, mediana ezkutatuta berrabiarazten da; erabili 18 orduko batez bestekoa.

Erabilera okerraren aurkako erresistentzia: Ez aipatu PUE bat areto misto bateko bi apalarentzako.

Emaitza ilustratiboak: Zortzi exekuzio mapa txiki bat dira, ez % 50eko ekoizpen aurrezpena.

Honen ondoren irakurri nahi izango dituzun artikuluak:

🔗 Fidagarria al da IA? Bideoa eta galdetegia
Arakatu IAren fidagarritasuna bideo erakargarri eta galdetegi interaktibo baten bidez.

🔗 Nola erabili IA eguneroko bizitzan
Ezagutu IAk eguneroko zereginak eta errutinak sinplifikatzeko modu praktikoak.

🔗 Nola erabili IA lanean
Ikasi IA erabiltzeko modu praktikoak lantokiko produktibitate adimentsuagoa lortzeko.

🔗 Adimen artifizialak bere kabuz pentsatu al dezake?
Ulertu ea adimen artifizialak benetan modu independentean pentsatu edo arrazoitu dezakeen.

Nola desberdintzen den "datu-zentro normal" batetik

Areto tradizionalak lan-karga eta zerbitzu txiki askoren funtzionamendu-denbora mistoetarako optimizatzen dira. Erredundantziaz arduratzen zara, noski, eta PUE kontzeptu gisa ere bai - eraikinak watt bat konputazio-potentzia emateko erretzen duen energia gehigarria. Normalean, ez dituzu korridore guztiak berogailu eramangarri baten antzera jokatzen duen rack baten inguruan diseinatzen.

Adimen artifizialaren guneek ratioak irauli egiten dituzte. Dentsitatea igotzen da. Sarea entrenamendu-lanak ezin duen ehun bihurtzen da, eta gabe ezin da aurrera egin. Biltegiratzeak kontrol-puntuak mugitzen mantendu behar ditu, edo azeleragailuak geldirik daude, auto-ilaran dauden lasterketa-zaldiak bezala.

Kultura-aldea ere badago. Enpresa-eragiketek txarteletan eta aldaketa-leihoetan pentsatzen dute. IA-eragiketek lan-ilaretan eta nodo bat epe luzera berandu hiltzen denean sortzen den sentsazio txarra pentsatzen dute. Biei "datu-zentro" deitu ahal zaiela uste dut, hala direlako. Etiketak iturgintza ezkutatzen du besterik gabe.

Ez da sailkapen moral bat. Makina desberdinak, familia-izen bera.

GPUak, azeleragailuak eta energia jaten duen rack-a

Ohiko solairu altxatu batetik ibili eta apalak ia adeitsuak dirudite. IA ilara batetik ibili eta eraikina irentsi nahi dutela dirudite.

Hardware nabarmena ez da CPU adimentsu bat. Azeleragailuaren erretilua da: GPUak edo beste IA txipak, zerbitzarietan sartuta, gero racketan, eta gero banda zabalera handiko ehun bat partekatzen duten errenkadetan. GPU elkarlotuek txipak azeleragailu erraldoi bat izan daitekeen zerbaitetan lotzen dituzte; kluster ehunak trikimailu bera egiten du errenkada eskalan. Prestakuntza paraleloak lotura horiek lodiak eta aurreikusgarriak badira bakarrik funtzionatzen du. Hori galdu eta zure "klusterra" posta kode bera partekatzen duten lan-estazio garesti pila bat izango da.

Txipek jarraitzen dute potentzia. Ez bulegoko PDU potolo bat. Aretoa betetzen denean IT karga megawatt-ekoa da... ez dut zenbakirik asmatuko. Rack bakoitzeko dentsitatea da argumentuaren bira. Rack gutxiago. Bakoitza labe txiki bat. Mugatzailea askotan azpiestazioa da, ez GPUen nahien zerrenda. Badakizu nola den: erosketa-enpresek azeleragailu gehiago nahi dituzte; zerbitzu-enpresek elkarrizketa luzea eta txeke oso handia nahi dituzte.

Metafora ergela samarra da, ezin dut kendu: astoa animalia goseti bat da. Bat azkarrago haz dezakezu. Elikatu egin behar diozu oraindik, eta beroa kanporatu behar duzu oraindik. Edozein salbuespen, oso garestia den pisapaper bihurtzen da.

Energia, beroa eta hoztearen arazoa

Elektrizitatea sartu. Beroa atera. Hori da erlijio osoa.

Dentsitate handiko apalek beroa aireak inoiz kudeatu ez den moduan isurtzen dute. Airea gogorrago bultzatu dezakezu - atzeko ateko bero-trukagailuak, korridore beroagoak, edukiontzi adimentsuak - eta horrek puntu bateraino funtzionatzen du. Orduan likidoa agertzen da:

• Txip-era zuzenean hoztea

• Hozte-zirkuituak, lantegiko gelari produktu kimikoen lantegi baten itxura ematen diotenak

• Murgiltzea diseinu batzuetan, oraindik ere harrituta uzten dituena urak eta zerbitzariek esaldi bera partekatu behar ez luketela uste duten pertsonak

Hau guztia ez da liluragarria. Guztia produktua da, zeren eta azeleragailua mugatzen duen bat ordaindu duzun eta ezin duzun guztiz erabili.

PUEak oraindik ere garrantzia du. Ratio bat da, ez nortasun bat. Operadoreek horren atzetik dabiltza, haizagailuetan eta ponpetan gastatzen den watt bakoitza GPU batera joan ez den watt bat delako. Ez dut "ohiko" zifrarik aipatuko; klimak eta muga nola marrazten duzun mugitzen dute, eta zehaztasun faltsuak ezer ez baino okerragoa da. Ura ere istorioan dago. Landare batzuek zurrupatzen dute. Batzuek irensten dute. Lurruntze-hoztea eraginkorra da ibaiak edo lehorteak politiko bihurtu arte.

Sareak: zergatik ehunak txipak bezainbesteko garrantzia duen

Jendeak GPUak argazkitan ateratzen ditu. Etengailuak argazkitan atera beharko lituzkete.

Prestakuntza elkarrizketa bat da. Milaka azeleragailu gradienteak, parametroak, modelo baten zatiak trukatzen, sinkronizazio estuan. Ehunak dardarka egiten badu, lan osoa jauzi motelenean itxaroten du. Horregatik, IA aretoek banda zabalera handiko sareak, latentzia baxua eta lotura bat huts egiten duenean erdibitzen ez diren topologiek obsesionatzen dituzte. InfiniBand antzeko ehunak, Ethernet rol berean, GPU interkonexioak kaxa barruan, lehenengoan ondo egon behar den kableatua.

Ondorioa beste elkarrizketa bat da. Ereduen zerbitzatzeak isatsaren latentziaz arduratzen da - erantzun motela, ez batez bestekoa. Multzoak edo denbora errealekoek nortasuna banatzen dute. Entrenamendu-kluster batek mugimendu lodia, kolektiboa eta dena-dena. Zerbitzatzeko flota batek eskaera txikiago asko eta isolamendua nahi ditu, karga-banatzailean trafiko-ilarik gabe.

Hemen nagoen bitartean, huts egin dut: jendeak sarea iturgintzatzat hartzen du eta patata frijituak jatetxetzat. Eraikin honetan, iturgintza jatetxea da. Hori galduz gero, banaketarik onartzen ez duen sukalde bat erosten duzu.

Prestakuntza vs. inferentzia: bi eraikin, batzuetan literalki

Prestakuntza kanpaina bat da. Kluster bat muntatzen duzu, datuak ematen dizkiozu, erlijio-kontrolak egiten dituzu, orduak edo asteak exekutatzen dituzu eta ehuna gorabeherarik gabe mantentzen dela otoitz egiten duzu. Multzoz betea, banda-zabaleraz gosea, isilik pazientzia duena - nodo akastun batek exekuzioari zati bat eman arte. Lan estu akoplatu batean azeleragailu hil batek koru osoa geldiarazi dezake.

Ondorioa erakusleiho bat da. Modeloak dagoeneko trebatuta daude, orain galderei erantzuten, irudiak sailkatzen, testua sortzen. Latentziak garrantzia du. Bezeroaren ondoan dagoen azeleragailu zahar bat kontinente batetik urrun dagoen bat gainditu dezake.

Beraz, banaketa bat lortzen duzu. Prestakuntza-campusek boterea, lurra eta dentsitatea bilatzen dituzte. Inferentzia-guneek latentzia eta presentzia bilatzen dituzte. Areto hibridoak ere badaude, kapitala ez baita infinitua. Beno, ez beti bi eraikin. Batzuetan areto bat belusezko soka batekin eta bi hozte-begiztekin.

Hemen ere kolokazioa, hipereskalako campusak eta on-prem fork-ak daude. Hipereskalatzaileek eskala handietan eraikitzen dira, eta horrek gainerakoei altzariak antolatzen ari garela ematen die. Colo-ek dentsitatea rack-ean saltzen dute. On-prem-a datuak irten ezin direnean ere gertatzen da.

Biltegiratze-errendimendua, kontrol-puntuak eta patata frijitu gosetuak

Inork ez du fitxategi-sistema paraleloa liburuxkaren azalean jartzen.

Entrenamendu datuak GPUek ez dezatela oinak jo. Kontrol-puntuak iritsi behar dira kraskadura batek astebete gal ez dezan. Eredu-pisuak kargatu behar dira erreplika bat martxan jarri aurretik. Biltegiratze-errendimendua -ez edukiera bakarrik- da arazo isila. Dirutza bat gastatu dezakezu azeleragailuetan eta makina birtualetarako diseinatutako array egoki batekin gosez utzi.

Patroia ezaguna da: kluster distiratsu bat, lan-ilara bat eta S/I itxaronaldia faktura zakar baten antzera. Datu-bidea klusterizatu gabe konputazioa klusterizatuz lortuko duzu inaktibo oso garestia. Mantendu txipak elikatuta edo onartu eskultura bat erosi duzula.

Softwarea, orkestrazioa eta eragiketa geruza xelebrerik gabekoa

Hardwarea da ospetsua. Programatzaileek egiten dute lana.

IA datu-zentro bat alferrikakoa da lanek GPUak aurkitzen ez badituzte, bi taldek ezin badute kluster bat partekatu borrokarik gabe, huts egiten duen sailkapen bat ezin bada ordezkatu, firmwarea ehuna moteldu arte mugitzen bada. Orkestrazioa, behatzeko gaitasuna, potentzia mugatzea - ​​eragiketa geruza xelebrerik gabea, eta horrela dakizu axola duela.

Ahultasun puntu bat daukat geruza honekin. Gainera, gaizki konfiguratutako NIC batek hozte arazo baten itxurak egiten dituenean arratsalde oso batez... hori modu gogorrean konturatuko zara.

Nodo bat erdian hiltzen denean

Nodo bat hiltzen da. Aldaketa-leihoek oraindik ere talka egiten dute zure egutegiaz arduratzen ez diren entrenamendu-exekuzioekin. Lan handiak taldeka programatzen dituzu, inferentzia-multzoak hesitzen dituzu, "lana motela da" diruditen hutsegiteetarako exekuzio-liburuak idazten dituzu, "lana hilda dago" diruditen arte. Erredundantziak oraindik ere garrantzia du -energia, hoztea, bideak, biltegiratzea- baina hutsegite-modua ez da hain txukuna funtzionamendu-denboraren bederatzien diapositiba zaharra baino. Inferentzia: erreplikatu, nodo gaixoa hustu, erantzuten jarraitu. Entrenamenduak kontrol-puntuak nahi ditu, ez baikortasuna.

Kokapena, ura, sarea eta bizilagunak

Ez duzu hauetako bat etxola baten ondoan botatzen bistagatik.

Sare elektrikoaren konexioa da askotan benetako kokapena aukeratzeko prozesua. Lurra erraza da azpiestazio batekin eta beste bezero batzuk dituen zerbitzu batekin alderatuta. Hozteko ura, erabiltzen baduzu, auzokideen arazo bihurtzen da euria zakarra hasten denean. Zarata. Ikusmen-bolumena. Muga-hesi bateko beroa. Plangintza-batzordeek "hodeiari" buruzko iritziak aurkitzen dituzte zelai bat eta ibai bat behar dituen unean.

Latentziak alderantziz bultzatzen du. Inferentziak erabiltzaileen ondoan egotea eta elkarri lotzea gustatzen zaio. Prestakuntza energia-merkatu merkeagoetan eta klima freskoagoetan ezkutatu daiteke. Industriak gune perfektu bat balego bezala hitz egiten du. Ez dago. Prentsa-ohar batekin konpromiso bat dago.

Bero hondarra eta gonbidatu gabeko labea

Liburuxkei asko gustatzen zaie zati hau. Hondakin-beroa etxeetara, igerilekuetara, negutegietara kanalizatu; esaldi polita da. Batzuetan barrutiko begizta benetakoa da. Batzuetan campusa leku okerrean dago eta beroa airera joaten da oraindik. Zalantza dut liburuxken bertsioarekin; ez naiz eszeptikoa fisikarekin.

Nork behar du bat (eta nork alokatu beharko luke horren ordez)

Jende gehienak ez du areto horietako baten jabe izan beharrik.

Zerrenda hutsala:

• Hipereskalatzaileak, produktua flota delako

• Laborategiak, ilara-denbora oztopoa denean edo datuak ezin direnean irten

• Banku, ospitale talde, gobernu edo fabrikatzaile batek datu-multzo sekretu bat badu (lokalean edo kolonia pribatu batean), arrazionala izan daiteke, traketsa bada ere

Beste guztiek alokatu beharko lukete. Kokapena IArako prest dagoen dentsitatearekin. Hodeiko erreserba bat. Kudeatutako kluster bat. Azeleragailuak lortzen dituzu zentral elektriko baten operadore bihurtu gabe. Maitasuna desagertzen da norbaitek goizeko 3etan hozgarri-begiztarako nor dagoen txandan galdetzen duenean lehen aldiz.

Harrotasun kontua badago, aitortu behar dut. Klusterraren jabe izatea aurreikuspen baliabideen jabe izatea bezala da. Orduan argindarraren faktura iristen da, eta harrotasuna esertzen da.

Zertarako den eraikina

Beraz, zer da IA ​​Datu Zentro bat? Campus espezializatu eta dentsitate handikoa, non azeleragailuak, energia, hoztea, ehuna eta biltegiratzea prestakuntza eta zerbitzu ereduen inguruan antolatzen diren - ez GPU bat izkinan duen helburu orokorreko IT bat. Biltegi baten itxura du. Matematika egiten duen zentral elektriko baten antzera jokatzen du.

Beste ezer ez baduzu gogoratzen: txipek lortzen dute ospea; azpiestazioak, hozgarriak eta sareak erabakitzen dute txip horiek ideia ona izan ziren ala ez. Prestakuntzak eta inferentziak teilatu bera parteka dezakete; oraindik ere modu desberdinak nahi dituzte. Erakunde gehienek alokatu beharko lukete. Batzuek eraiki. Bizilagunek ohartuko dira nolanahi ere.

Hodeiak beti izan du eraikin bat. Gaur egun eraikinak iritziak ditu.

Benetako munduko adibidea: bi rack-eko entrenamendu-zelula bat irudiak irten ezin direnean

Eszenatokia

Tomos Kestrel Precision enpresako azpiegituren arduraduna da, West Midlands-eko 400 pertsonako fabrikatzaile bat. Badaukate dagoeneko areto txiki bat bertan: ERP, fitxategi partekatzeak, makina birtualak, artikulu honek aipatzen zuen auzo mistoa. Aireztapena. Ethernet arrunta. Bulegoko diskoetarako ezin hobeto egokitzen den SAN bat.

Ikusmen artifizialaren taldeak ikuskapen-eredu bat entrenatu behar du fabrikako irudietan. Irudiek ezin dute gunea utzi. Enpresak hodeiko disko batean jarriko ez duen prozesu bat erakusten dute, pribatu batean ere ez. Erosketa-sailaren irtenbidea lau zerbitzari bikoitzeko azeleragailu eta "gure IA datu-zentroa" izeneko diapositiba bat da. Zerbitzariak bi rack daudenetan sartzen dira, lekua dagoelako, eta espazioa muga bat bezala sentitu zen.

Ez da horrela. Bi aste barru, GPUak lanpetuta daudela dirudi eta gero isilik gelditzen dira. Lanak arakatzen dira kontrol-puntu batek SANera iristen denean. Nodo bat hiltzen da hamaikagarren orduan eta exekuzioa... desagertu da. Tomosek ez du huts egin txipak erostean. Posta-kode bera partekatzen duten lan-estazio garesti pila bat erosi du. Eraikina oraindik enpresa-areto bat zen.

Ez dute campusik, azpiestazio berririk edo ibairik behar. Miniaturan dagoen IA datu-zentro baten antzera jokatzen duen zelula txiki bat behar dute: rackek benetan eduki dezaketen energia, txipak egosi gabe alde egiten duen beroa, entrenamendu-lanak transmititu dezakeen ehuna, kontrol-puntu bat jasan dezakeen biltegiratzea eta nodo bat hiltzen denean erabiltzeko exekuzio-liburua. Irudiak ezin direnez joan, berrogei minutura kolonia-kaiola bat alokatzea ez da irtenbidea. Bi rack berritzea bai.

Zelulak behar duena

• Errenkada horretan neurtutako potentzia-aurrekontua, PDUetatik abiatuta, ez GPUen nahien zerrendatik. Soberako edukierak ezin baditu lau zerbitzariak entrenamendu-kargan elikatu, elkarrizketa hor amaitzen da eta kolore trinkoago bat ikusten dute, ez mirari bat

• Airea hoztea ez zen inoiz eskatu dentsitate honetan kudeatzeko: atzeko ateko bero-trukagailuak, aretoak onar badezake, edo likido-begizta txiki bat, hori onar badezake. Bat ere ez bada, zerbitzariak ez dira sartzen

• Lau nodoen arteko banda zabalera handiko ehun dedikatu bat, ez bulegoko Ethernet-a. Saltzaileak katalogoan 10 Gb-ko etengailu bat bakarrik badu, hori ez da kluster bat

• Tokiko biltegiratze azkarra kontrol-puntuetarako eta entrenamendu-zatietarako, ez VM SANerako

• Ordutegi bat, kontrol-puntuko tarte bat eta berrabiarazteko bide idatzi bat. Hardwarea da ospetsua. Geruza hau lana da

• Fabrika-lerroarentzako inferentzia-kutxa hesitua, entrenamendu-txatetatik bereizita, zerbitzatzeak isats-latentzia eta isolamendua nahi dituelako, ez kolektibo bat

• Energia, GPU erlojuak, throttle gertaerak eta lanaren hormako erlojua erregistratzeko baimena. Horiek ikuskatu ezin badituzte, GPUak argazkitan aterako dituzte eta etengailuak galduko dituzte

Adibide-argibidea

Tomosek hau azaltzen du instalazioen laburpenean, ohiko hizkeran:

Ez deitu honi AI campusa. Eraiki bi rackeko entrenamendu-zelula bat dagoen aretoan lau azeleragailu bikoitzeko zerbitzarirentzat. Fabrikako irudiak bertan geratzen dira. Arrakasta hau da: lau nodoek 12 aroko ikuskapen-entrenamendu errezeta bat osatzen dute limitazio termikorik gabe, kontrol-puntu bat idazten dute minututan, ez hamarnaka minututan, eta kontrol-puntu horretatik berrekin diote sailkapen bat nahita hiltzen dugunean. Hozteak GPUak beren entrenamendu-erlojuetan mantendu behar ditu. Sareak lau kutxa horiek partekatzen duten ehuna izan behar du, ez bulegoko pilaren bidezko bidea. Biltegiratzeak txipei elikatu behar die. Atzeko ateko bero-trukagailuak ez badira sartzen, esan eta gelditu. Ez aipatu PUE bat bi rack areto misto batean. Zenbaki hori antzerkia izango litzateke.

Ondoren, hau jartzen du prestakuntza-lanean bertan:

Kontrol-puntua 30 minuturo tokiko multzo azkarrerako. Maila bat hiltzen bada, berrabiarazi azken kontrol-puntu osatutik. Ez itxaron SAN-ean. Ez jarraitu entrenatzen erlojuak beroagatik jaitsi diren bitartean. Erregistratu eta gelditu, geldialdia ikus dezagun.

Ordu on batek honelako itxura du: zortzi GPU guztiak entrenamendu-erlojuetan, kontrol-puntuko fitxategia iritsi da, lana oraindik erritmo berean. Ordu txar batek honelako itxura du: haizagailuak oihuka, erlojuak itzalita, % 2ko kontrol-puntua hamar minuturen buruan idatzita, eta norbait bulegoan "klusterra martxan dago" esaten. Martxan egotea ez da entrenamendua.

Nola probatu

Berrikuntzaren aurretik idazten dute proba, eta horixe da demo batean ez fidatzearen arrazoia.

• 12 aroko errezeta bera, 120.000 ikuskapen-irudi berdinak, zortzi tirada

• Denbora errezeta amaitu baterako erloju zehatza da, berrabiarazte oro barne, lana bidali eta 12. aroko azken kontrol-punturaino neurtua

• Beroa gainditzea: GPU erlojuak entrenamendu helburuaren arabera mantentzen dira exekuziorako. Mugaketa gertaera huts bat da, lana azkenean amaitu arren

• Biltegiratze pasabide bat: kontrol-puntuko idazketa-denbora, mediana eta okerrena, lan-erregistrotik

• Ehunaren gaineko pasabidea: lana ez da itxaron kolektiboan geratzen lerro bat osasuntsu dagoen bitartean. Itxaronaldi hori ikusten ez badute, tresneria ez dago eginda

• Zortzi lasterketetatik bik maila bat hiltzen dute urrats finko batean, nahita, berrabiarazteko bidea probatzeko

• Ondorioa 200 irudiko proba bereizi bat da, fabrikako lerrotik hesitutako zerbitzatzeko kutxaraino. Entrenamendu arrakasta ez da zerbitzatzeko arrakastatzat hartzen

• PDUetatik rack-eko potentzia 15 minutuko laginetan grabatzen dute, inork ez dezan megawatt bat asmatu beharrik izan

Zelula "AIrako prest" deitzearen onarpena: 8 errezetatik 8k amaitu dira; 8tik 0k azeleragailu termikoa erakusten dute; bi exekuzio itxiak berriro hasten dira; kontrol-puntuak minututan mantentzen dira. Hori galtzen badute ere, oraindik ere txartel grafiko dotoreak dituen zerbitzari-gela bat dute.

Emaitza

Emaitza ilustratiboa, zortzi lasterketetako proba asmatutakoa, ez argitaratutako Kestrel irudi bat.

Suposizioak: lau zerbitzari bi azeleragailu bi racketan; ikuskapen-eredu bat; 120.000 irudi finko; 12 aroko errezeta finko baten zortzi exekuzio; horma-erlojuak errezeta amaitu arte berrabiarazteak barne hartzen ditu; throttle-ak entrenamendu-erlojutik erregistratutako jaitsiera esan nahi du; kontrol-puntuko denbora idazketa da, ez nahia; rack-aren potentzia PDU laginak dira, ez campuseko PUE bat.

Berrikuntzaren aurretik, bulegoko Ethernet sarean eta VM SANean airez hoztutako ohiko racketan zeuden GPUak:

• 8 lasterketatik 5 lehenengo saiakeran amaitu ziren. Bost horien arteko hormako erlojuaren mediana: 14 ordu

• 8tik 3k berriro hasi behar izan zuten 11. orduan gelditu ondoren (bi nodo bat kontrol-puntu zaharkitu batekin hil ondoren, bat kontrol-puntu batek SAN bete ondoren). Berehalako berriro saiakera, erlojuan gaueko itxaronaldirik gabe: 11 ordu alferrik galduta gehi 14 orduko bigarren saiakera bat, edo 25 ordu errezeta amaitu arte hiru horietan

• Zortzi errezeta amaitzeko batez besteko denbora, berrabiarazteak barne: 18 ordu. (Bost 14 ordutan, hiru 25ean. Zortzi guztien mediana oraindik 14 da, eta horrek berrabiarazteak ezkutatuko lituzke. Horregatik da batez bestekoa hemen oinarria.)

• 8 saiakeretatik 7tan azeleragailu termikoa erregistratu da. Erloju murriztuan batez besteko denbora: 3 ordu 14 orduko saiakeran

• Kontrol-puntuko idazketa: batez beste 22 minutu

• Ez zuten gainditu zezaketen proba maila-hilketa. Ez zuten koadernorik. Bi heriotza istripuzkoak izan ziren aurkikuntza

• Bi racketan entrenamenduan zehar IT karga maximoa: 18 kW inguru. Ilarak watt-ak zituen. Ez zuen hozterik edo ehunik

Bi rack horietan atzeko ateko bero-trukagailuak, lau nodoen arteko ehun dedikatu bat, kontrol-puntuetarako NVMe multzo txiki bat, 30 minutuko kontrol-puntuak eta berrabiarazteko exekuzio-liburua jarri ondoren:

• 8tik 8 lehenengo saiakeran amaituta. Hormako erlojuaren batez besteko iraupena: 9 ordu

• Azeleragailu termikoa: 0 / 8

• Kontrol-puntuko idazketa: mediana 90 segundo. Multzoko txarrena: 3 minutu

• Bi nahitako sailkapen-hilketak azken 30 minutuko kontrol-puntutik berrekin ziren. Bi saiakera horietan erloju gehigarria: 40 minutu inguru bakoitza, diagnostikoa barne, beraz, biak 9 ordu eta 40 minutu inguru iraun zuten. Zortzi txanda geldietan batez beste 9 ordura iritsi zen

• IT karga maximoa oraindik 18 kW ingurukoa. Txip berdinak. Eraikinaren portaera desberdina

Lagin honetan, errezeta bat amaitzeko batez besteko denbora 18 ordutik 9 ordura jaitsi zen, edo 9 ordu bakoitzean, 72 ordu zortzi saiotan. Lehenengo aldian amaitutakoa 8tik 5etik 8tik 8ra ​​jaitsi zen. Throttle-a 8tik 7tik 8tik 0ra. Azken zenbaki horrek adierazten du azeleragailuak edo paper-pisuak erosi dituzten. Ez dute esango denbora-aldaketa ekoizpenean % 50eko aurrezpenik denik. Zortzi saio multzo txiki eta erraza da.

Zifra hauek adibide gisa kalkulatzen dira, adierazitako proban, lagin txiki batean, modelo batean eta areto misto batean oinarrituta. Ez dira PUE bat, ez campuseko megawatt bat, eta ez dira Kestrelek zelai batean prestakuntza gune bat eraiki behar duen froga. 9 orduko erregistroen berrikuspena egin zen; ez zuten ezkutatu. 18 kW-ko zifra PDU irakurketa biribildua da, ez faktura bat. Ez zituzten 72 orduak kostu bihurtu, fabrikaren tarifa elektriko mistoak negozio kasu faltsu bat bihurtuko zukeelako.

Zerbitzatzeko egiaztapena bereizia eta txikiagoa zen: 200 lerroko irudiak hesitutako kutxara, guztiak bertan. Hori ondorioa da, ez entrenamendua. Biak nahastea areto hibridoaren akats txikia izango zen.

Zer gaizki atera daiteke?

• Erosketa sailak lau zerbitzariri "IA datu-zentroa" deitzen die behin eta berriz. Etiketak iturgintza ezkutatzen du, eta hurrengo erosketak GPU gehiago dira gaixoen pasillo bererako

• Atzeko ateko trukagailuak sartzen dira eta inork ez du uraren aldea martxan jartzen. Haizagailuak oraindik oihuka ari dira. Erlojuak oraindik erortzen ari dira

• Ehuna bide soberakinik gabeko etengailu bakarra da. Lotura bat huts egiten bada, "klusterra" berriro lau lan-estaziokoa da

• Kontrol-puntuak SANean geratzen dira NVMe multzoa "bigarren fasea" zelako. Bigarren fasea ez da iristen hurrengo nodo hila baino lehen

• Areto misto bateko bi apalategiren PUE bat aipatzen dute. Klimak, mugak eta ERP ilararen gainerakoak erlazio hori mozorro bihurtzen dute

• Prestakuntzak eta zerbitzuak ehuna partekatzen dute. Kontrol-puntuko uholde batek fabrika-lerroa itxaroten uzten du. Buztan-latentzia bertan dagoen produktua da, ez dentsitatea

• Nodo bat hiltzen da eta norbaitek funtzionamendu-txartel gisa hartzen du, kontrol-puntuko berrabiarazte baten ordez. Enpresako operazioek eta adimen artifizialeko operazioek elkarri hitz egiten diote arratsalde oso batez

• Kaiola bat alokatu zezaketen, baina irudiak ezin dira alde egin. Muga hori ahazteak hodeiko elkarrizketa batean sartzen ditu, eta erlaxatu beharko dute

Ondorio praktikoak

IA Datu Zentro bat, forma honetan, ez da biltegi bat eta ez da GPU faktura bat. Azeleragailuei ibilbidea amaitzeko aukera ematen dien zelula da: eduki dezaketen potentzia, uzten duen beroa, ehun bat, kontrol-puntu bat eta norbait maila bat hiltzen denean. Kestrelek ez zuen campusik behar. Bi rack behar zituzten itxurak egiteari uzteko. Talde gehienek portaera hori alokatu beharko lukete. Gutxi batzuek, datu-multzo sekretu bat eta beroa jasan dezakeen areto bat dutenek, zelula bat eraiki eta irristatzeari uko egin beharko liokete.

Maiz egiten diren galderak

Zer da IA ​​Datu Zentro bat?

Dentsitate handiko konputazio-gune bat, non energia, hoztea, sarea eta biltegiratzea entrenamendu paraleloan eta modeloen zerbitzuaren inguruan oinarritzen diren, ez helburu orokorreko zerbitzarien ilara txukunetan. Azeleragailu kopuru handi batek modeloak entrenatu eta zerbitzatu ahal izateko diseinatuta dago, urtu, sarean gelditu edo diskoan itxaron gabe. Enpresa-areto arrunt bat auzo mistoa da. IA areto bat monokultura bat da, eta bere balio-unitatea azeleragailua da, hala nola GPUak edo TPU estiloko txipak. Biltegi baten itxura du eta matematikak egiten dituen zentral elektriko baten antzera jokatzen du.

Zertan da desberdina IA datu-zentro bat ohiko datu-zentro batetik?

Areto tradizionalek lan-karga eta zerbitzu txiki askoren funtzionamendu-denbora mistoetarako optimizatzen dute. IA guneek ratioak irauli egiten dituzte: dentsitatea handitzen da, sarea entrenamendu-lanak ezin duen ehun bihurtzen da, eta biltegiratzeak kontrol-puntuak mugitzen mantendu behar ditu edo azeleragailuak geldirik daude. Enpresa-eragiketek txarteletan eta aldaketa-leihoetan pentsatzen dute. IA eragiketek lan-ilaretan eta nodo bat epe luzera berandu hiltzen denean sortzen den sentsazio txarra pentsatzen dute. Bi datu-zentroei dei diezaiekezu oraindik ere. Etiketak iturgintza ezkutatzen du besterik gabe.

Zergatik erabiltzen dute hainbeste energia IA datu-zentroek?

Hardware nabarmena ez da CPU adimentsu bat. Azeleragailuaren erretilua da: GPUak edo beste IA txip batzuk, zerbitzarietan sartuta, gero racketan, eta gero banda zabalera handiko ehuna partekatzen duten ilaretan. Rack bakoitzeko dentsitatea da argumentuaren bira: rack gutxiago, bakoitza labe txiki bat. IT karga megawattak agertzen dira areto bat betetzen denean, nahiz eta ohiko zifra bat asmatzea ez den merezi. Mugatzaile faktorea askotan azpiestazioa da, ez GPUen nahien zerrenda.

Nola hozten dira IA datu-zentroak?

Dentsitate handiko rackek beroa isurtzen dute aireari inoiz ez zitzaion moduan kudeatzeko eskatu. Airea gogorrago bultzatu dezakezu atzeko ateko bero-trukagailuekin, korridore beroagoekin eta edukiontzi adimendunarekin. Orduan agertzen da likidoa: txipara zuzenean hoztea, hozgarri-begiztak eta murgiltzea diseinu batzuetan. Mugatzen duen azeleragailu bat dagoeneko ordaindu duzun bat da eta ezin duzu guztiz erabili. PUE oraindik ere garrantzitsua da, haizagailuetan eta ponpetan gastatutako watt bakoitza GPU batera joan ez den watt bat baita. Ura ere badago istorioan: landare batzuek zurrupatzen dute, beste batzuek irensten dute.

Zergatik da sareak GPUak bezainbesteko garrantzia?

Prestakuntza elkarrizketa bat da: milaka azeleragailu gradienteak, parametroak eta modelo baten zatiak sinkronizatuta trukatzen. Ehunak dardarka egiten badu, lan osoa jauzi motelenean itxaroten du. Horregatik, IA aretoek banda zabalera handiko sareak, latentzia baxua, InfiniBand antzeko ehunak edo Ethernet-ak rol berean, eta esteka bat huts egiten duenean erdibitzen ez diren topologiek obsesionatzen dituzte. Inferentziak isatsaren latentzia, eskaera txikiago asko eta isolamendua axola zaizkio. Eraikin honetan, iturgintza jatetxea da.

Zertarako erabiltzen da IA ​​Datu Zentro bat: entrenatzeko ala inferentzia egiteko?

Prestakuntza kanpaina bat da: multzo bat bildu, datuak eman, erlijio-kontrolak egin eta orduak edo asteak martxan jarri. Oferentzia erakusleiho bat da: dagoeneko trebatutako modeloak, orain erantzuten, eta latentzia garrantzitsua da. Prestakuntza-campusek boterea, lurra eta dentsitatea bilatzen dituzte. Inferentzia-guneek latentzia eta presentzia bilatzen dituzte. Areto hibridoak existitzen dira kapitala ez delako infinitua, batzuetan areto bat bi hozte-begiztekin. Bezeroaren ondoan dagoen azeleragailu zaharrago batek kontinente bateko azeleragailu liluragarri bat gainditu dezake.

Zergatik da garrantzitsua biltegiratzea IA datu-zentro batean?

Entrenamendu datuak GPUek oinak jo ez ditzaten bezain azkar iritsi behar dira. Kontrol-puntuak iritsi behar dira kraskadura batek astebete gal ez dezan. Eredu-pisuak kargatu behar dira erreplika bat martxan jarri aurretik. Biltegiratze-errendimendua, ez bakarrik edukiera, da isilpeko oztopoa. Dirutza bat gastatu dezakezu azeleragailuetan eta makina birtualetarako diseinatutako array egoki batekin gosez utzi.

Zer gertatzen da nodo bat erdian hiltzen denean?

Azeleragailu batek entrenamendu-lan estu batean geldirik egon daitekeen koru osoa geldiarazi dezake. Entrenamenduak kontrol-puntuak nahi ditu, ez baikortasuna. Inferentziak nodo gaixoa husten du, erreplika bat erantzuten mantentzen du eta aktibo jarraitzen du. Aldaketa-leihoak oraindik ere talka egiten dute zure egutegiaz arduratzen ez diren entrenamendu-exekuzioekin. Erredundantzia oraindik ere garrantzitsua da energiarentzat, hoztearentzat, bideentzat eta biltegiratzerako, baina huts egiteko modua ez da hain txukuna funtzionamendu-denboraren bederatzien diapositiba zaharra baino.

Zer eragin du IA datu-zentro batek sare elektrikoan, uretan eta bizilagunengan?

Sare elektrikoaren konexioa da askotan benetako kokapena hautatzeko prozesua. Lurra erraza da azpiestazio batekin eta beste bezero batzuk dituen zerbitzu batekin alderatuta. Hozteko ura, erabiltzen baduzu, auzokideen arazo bihurtzen da euria zakarra denean, zaratarekin, ikusmen-bolumenarekin eta muga-hesi bateko beroarekin batera. Prestakuntza energia-merkatu merkeagoetan eta klima freskoagoetan ezkutatu daiteke. Inference-ri gustatzen zaio erabiltzaileen ondoan egotea. Ez dago gune perfektu bakar bat. Prentsa-ohar batekin konpromiso bat dago.

Adimen artifizialaren datu-zentro baten jabe izan behar al dut, ala alokatu?

Jende gehienak ez du areto horietako baten jabe izan beharrik. Hipereskalatzaileek eraikitzen dute produktua flota delako. Laborategiek eraikitzen dute ilara-denbora oztopoa denean edo datuak ezin direnean irten. Banku, ospitale, gobernu edo datu-multzo sekretu bat duen fabrikatzaile batek lokaleko edo kolokazio pribatuko biltegiratzea arrazional bihur dezake. Beste guztiek alokatu beharko lukete: IArako prest dagoen kolokazioa, hodeiko erreserba edo kudeatutako kluster bat. Azeleragailuak lortzen dituzu zentral elektrikoen operadore bihurtu gabe.

Erreferentziak

1. IEA - www.iea.org

2. LBNL - datu-zentroak.lbl.gov

3. Sare Berdea - www.thegreengrid.org

4. LBNL - datu-zentroak.lbl.gov

5. LBNL - datu-zentroak.lbl.gov

6. Uptime Institutua - journal.uptimeinstitute.com

7. NVIDIA - developer.nvidia.com

8. NVIDIA - docs.nvidia.com

9. NVIDIA - docs.nvidia.com

10. NVIDIA - docs.nvidia.com

11. Google Cloud - docs.cloud.google.com

Aurkitu azken IA AI Laguntzaileen Denda Ofizialean

Guri buruz