Nola erabili NVIDIA GPUak AI entrenamendurako

Nola erabili NVIDIA GPUak AI entrenamendurako

Erantzun laburra: Erabili NVIDIA GPUak AI entrenamendurako, lehenik eta behin kontrolatzailea eta GPUa ikusgai daudela egiaztatuz nvidia-smi , ondoren framework/CUDA pila bateragarri bat instalatuz eta "model + batch on cuda" proba txiki bat exekutatuz. Memoria agortzen bazaizu, murriztu batch tamaina eta erabili zehaztasun mistoa, erabilera, memoria eta tenperaturak kontrolatzen dituzun bitartean.

Ondorio nagusiak:

Oinarrizko egiaztapenak : Hasi nvidia-smi- ; konpondu gidariaren ikusgarritasuna framework-ak instalatu aurretik.

Pilaren bateragarritasuna : Mantendu kontrolatzailearen, CUDA exekuzio-denboraren eta framework-aren bertsioak lerrokatuta, huts egiteak eta instalazio hauskorrak saihesteko.

Arrakasta txikia : Berretsi aurreranzko pase bakarra CUDAn exekutatzen dela esperimentuak eskalatu aurretik.

VRAM diziplina : Zehaztasun mistoa, gradienteen metaketa eta kontrol-puntuak erabili modelo handiagoetara egokitzeko.

Jarraipen ohiturak : Jarraitu erabilera, memoria ereduak, potentzia eta tenperaturak, oztopoak goiz detektatzeko.

Honen ondoren irakurri nahi izango dituzun artikuluak:

🔗 Nola eraiki IA agente bat
Diseinatu zure agentearen lan-fluxua, tresnak, memoria eta segurtasun-babesak.

🔗 Nola zabaldu IA ereduak
Konfiguratu inguruneak, paketatu modeloak eta bidali ekoizpenera modu fidagarrian.

🔗 Nola neurtu IAren errendimendua
Aukeratu metrikak, egin ebaluazioak eta jarraitu errendimendua denboran zehar.

🔗 Nola automatizatu zereginak AIarekin
Automatizatu lan errepikakorrak gonbiteekin, lan-fluxuekin eta integrazioekin.

1) Ikuspegi orokorra - zer egiten ari zaren “GPUarekin entrenatzen” zarenean 🧠⚡

IA ereduak entrenatzen dituzunean, matrize-kalkulu mendi bat egiten ari zara gehienbat. GPUak lan paralelo mota horretarako eraikita daude, beraz, PyTorch, TensorFlow eta JAX bezalako framework-ek lan astuna GPUari pasatu diezaiokete. ( PyTorch CUDA dokumentuak , TensorFlow instalazioa (pip) , JAX abiarazte azkarra )

Praktikan, "NVIDIA GPUak entrenamendurako erabiltzeak" normalean esan nahi du:

  • Zure modeloaren parametroak (gehienbat) GPU VRAMean daude

  • Zure loteak RAMetik VRAMera mugitzen dira urrats bakoitzean

  • Aurrerako pasea eta atzerako prop-a CUDA kerneletan exekutatzen dira ( CUDA Programazio Gida )

  • Zure optimizatzailearen eguneraketak GPUan gertatzen dira (idealki)

  • Tenperaturak, memoria eta erabilera kontrolatzen dituzu, ezer ez prestatzeko 🔥 ( NVIDIA nvidia-smi dokumentuak )

Asko iruditzen bazaizu, ez kezkatu. Gehienbat kontrol-zerrenda bat eta denborarekin eraikitzen dituzun ohitura batzuk dira.

2) Zerk egiten du NVIDIA GPU AI entrenamendu konfigurazio baten bertsio ona 🤌

Hau da "ez eraiki etxerik gelatina gainean" atala. NVIDIA GPUak IA entrenamendurako nola erabili drama gutxikoa da. Drama gutxikoa egonkorra da. Egonkorra azkarra da. Azkarra... bueno, azkarra da 😄

Entrenamendu-antolamendu sendo batek normalean honako hauek ditu:

  • Nahikoa VRAM zure lotearen tamainarako + ereduarentzat + optimizatzailearen egoeretarako

    • VRAMa maleta-espazioa bezalakoa da. Modu adimentsuagoan egin dezakezu maleta, baina ezin duzu infinituki egin.

  • Software pila parekatua (kontrolatzailea + CUDA exekuzio-denbora + framework-aren bateragarritasuna) ( PyTorch Get Started (CUDA hautatzailea) , TensorFlow instalazioa (pip) )

  • Biltegiratze azkarra (NVMe-k asko laguntzen du datu-multzo handietarako)

  • CPU + RAM egokiak , datuak kargatzeak GPUa ez galtzeko ( PyTorch-en errendimendu doikuntza gida )

  • Hoztea eta potentzia-tartea (gutxietsita geratu arte 😬)

  • Ingurune erreproduzigarria (venv/conda edo edukiontziak) eguneratzeak kaosa bihur ez daitezen ( NVIDIA Container Toolkit-en ikuspegi orokorra )

Eta jendeak saltatzen duen beste gauza bat:

  • Monitorizazio ohitura bat - gidatzen ari zaren bitartean ispiluak begiratzen dituzun bezala GPU memoria eta erabilera egiaztatzen dituzu. ( NVIDIA nvidia-smi dokumentuak )

3) Konparazio taula - NVIDIA GPUekin entrenatzeko modu ezagunak (berezitasunekin) 📊

Jarraian, "zein egokitzen da?" txuleta-orri azkar bat duzue. Prezioak gutxi gorabeherakoak dira (errealitatea aldatu egiten delako), eta bai, zelula hauetako bat apur bat nahasia da, nahita.

Tresna / Ikuspegia Onena honetarako Prezioa Zergatik funtzionatzen duen (gehienbat)
PyTorch (banilla) PyTorch jende gehiena, proiektu gehienak Doan Malgua, ekosistema erraldoia, arazketa erraza - gainera, denek dituzte iritziak
PyTorch Lightning Lightning dokumentuak taldeak, egituratutako entrenamendua Doan Erregimen-plaka murrizten du, begizta garbiagoak; batzuetan "magia" bezala sentitzen da, harik eta desagertu arte
Aurpegi Besarkadadun Transformatzaileak + Entrenatzailea Entrenatzailearen dokumentuak NLP + LLM doikuntza fina Doan Bateriak barne dituen prestakuntza, lehenetsi bikainak, garaipen azkarrak 👍
Bizkortu Dokumentuak bizkortu GPU anitz minik gabe Doan DDP gutxiago gogaikarria egiten du, ona da dena berridatzi gabe eskalatzeko
DeepSpeed ​​ZeRO dokumentuak modelo handiak, memoria trikimailuak Doan ZerO, deskargatzea, eskalatzea - ​​korapilatsua izan daiteke, baina klik egiten duenean asegarria
TensorFlow + Keras TF instalazioa ekoizpen-hodiak Doan Tresna sendoak, hedapen istorio ona; batzuei gustatzen zaie, beste batzuei ez
JAX + Flax JAX Abiarazte azkarra / Flax dokumentuak ikerketa + abiadura zaleak Doan XLA konpilazioa izugarri azkarra izan daiteke, baina arazketa... abstraktua iruditu daiteke
NVIDIA NeMo NeMo ikuspegi orokorra hizketa + LLM lan-fluxuak Doan NVIDIA optimizatutako pila, errezeta onak - labe dotore batekin sukaldatzea bezala da 🍳
Docker + NVIDIA Container Toolkit Tresna-kutxaren ikuspegi orokorra ingurune erreproduzigarriak Doan «Nire makinan funtzionatzen du» «gure makinetan funtzionatzen du» bihurtzen da (gehienetan, berriro ere)

4) Lehen urratsa - baieztatu zure GPUa behar bezala ikusten dela 🕵️♂️

Dozena bat gauza instalatu aurretik, egiaztatu oinarrizkoak.

Egia izan daitezen nahi dituzun gauzak:

  • Makinak GPUa ikusten du

  • NVIDIA kontrolatzailea behar bezala instalatuta dago

  • GPUa ez dago beste zerbait egiten trabatuta

  • Fidagarritasunez kontsulta dezakezu

Egiaztapen klasikoa hauxe da:

Zer bilatzen ari zaren:

  • GPU izena (adibidez, RTX, A-seriea, etab.)

  • Gidariaren bertsioa

  • Memoriaren erabilera

  • Exekutatzen ari diren prozesuak ( NVIDIA nvidia-smi dokumentuak )

nvidia-smi badu , gelditu hor bertan. Ez instalatu framework-ak oraindik. Labea konektatuta ez dagoenean ogia labean egiten saiatzea bezala da. ( NVIDIA System Management Interface (NVSMI) )

Ohar txiki bat giza kontuetan: batzuetan nvidia-smi-k funtzionatzen du, baina zure entrenamendua huts egiten du zure framework-ak erabiltzen duen CUDA exekuzio-denborak ez dituelako bat egiten gidariaren itxaropenekin. Ez zara ergela izateagatik. Horrela da... kontua, besterik gabe 😭 ( PyTorch Hasi (CUDA hautatzailea) , TensorFlow instalazioa (pip) )

5) Eraiki software pila - kontrolatzaileak, CUDA, cuDNN eta "bateragarritasun dantza" 💃

Hemen galtzen ditu orduak jendeak. Trikimailua hauxe da: bide bat aukeratu eta horri eutsi .

A aukera: Framework-ean sartutako CUDA (askotan errazena)

PyTorch bertsio askok CUDA exekuzio-denbora propioa dute, hau da, ez duzu CUDA tresna-sorta oso bat sistema osoan instalatuta eduki beharrik. Gehienetan, NVIDIA kontrolatzaile bateragarri bat besterik ez duzu behar. ( PyTorch Hasiberriak (CUDA hautatzailea) , Aurreko PyTorch Bertsioak (CUDA gurpilak) )

Alde onak:

  • Mugitzen diren pieza gutxiago

  • Instalazio errazagoak

  • Ingurune bakoitzeko erreproduzigarriagoa

Alde txarrak:

  • Inguruneak kasualitatez nahasten badituzu, nahasmena sor dezakezu

B aukera: Sistemaren CUDA tresna-sorta (kontrol gehiago)

CUDA tresna-sorta sisteman instalatzen duzu eta dena berarekin lerrokatzen duzu. ( CUDA tresna-sortaren dokumentuak )

Alde onak:

  • Eraikuntza pertsonalizatuetarako kontrol gehiago, tresna berezi batzuk

  • Eragiketa batzuk biltzeko erabilgarria

Alde txarrak:

  • Bertsioak desorekatzeko eta isilean negar egiteko modu gehiago

cuDNN eta NCCL, gizakien terminoetan

GPU anitzeko entrenamendua egiten baduzu, NCCL zure lagunik onena da - eta, batzuetan, zure gelakide suminkorra. ( NCCL ikuspegi orokorra )

6) Zure lehen GPU entrenamendu exekuzioa (PyTorch adibide mentalitatea) ✅🔥

NVIDIA GPUak IA entrenamendurako nola erabili jakiteko , ez duzu lehenik proiektu handi bat behar. Arrakasta txiki bat behar duzu.

Oinarrizko ideiak:

  • Detektatu gailua

  • Mugitu eredua GPUra

  • Mugitu tentsoreak GPUra

  • Berretsi aurrerako pasea bertan exekutatzen dela ( PyTorch CUDA dokumentuak )

Beti goiz egiaztatzen ditudan gauzak osasun mentala:

Ohiko "zergatik da motela?" galderak

  • Zure datu-kargatzailea motelegia da (GPUa inaktibo dago) ( PyTorch-en errendimenduaren doikuntza gida )

  • Datuak GPUra eramatea ahaztu zaizu (ups)

  • Multzoaren tamaina txikia da (GPU gutxiegi erabiltzen da)

  • CPU aurreprozesamendu astuna egiten ari zara entrenamendu urratsean

Bai, gainera, zure GPUak askotan "ez hain lanpetuta" agertuko da arazoa datuak badira. Lasterketa-auto gidari bat kontratatzea eta gero erregaiaren zain egotea bezala da.

7) VRAM jokoa - multzo tamaina, zehaztasun mistoa eta ez lehertzea 💥🧳

Prestakuntza arazo praktiko gehienak memorian oinarritzen dira. Trebetasun bat ikasten baduzu, ikasi VRAM kudeaketa.

Memoriaren erabilera murrizteko modu azkarrak

"Zergatik dago VRAM beteta gelditu ondoren?" unea

Framework-ek askotan memoria cachean gordetzen dute errendimendua bermatzeko. Hau normala da. Beldurgarria dirudi, baina ez da beti ihes bat. Ereduak irakurtzen ikasten duzu. ( PyTorch CUDA semantika: cache esleitzailea )

Ohitura praktikoa:

8) GPUa benetan funtzionarazi - zure denbora merezi duen errendimendu doikuntza 🏎️

Azkarra lortzea da bigarren urratsa.

Eragin handiko optimizazioak

Gehien ahaztutako botila-lepoa

Zure biltegiratze eta aurreprozesatzeko prozesua. Zure datu-multzoa erraldoia bada eta disko motelean gordeta badago, zure GPUa berogailu garesti bihurtzen da. Berogailu oso aurreratu eta distiratsu bat.

Aitorpen txiki bat ere egin behar dut: ordubetez modelo bat “optimizatu” dut, eta konturatu naiz erregistroa arazoa zela. Gehiegi inprimatzeak entrenamendua moteldu dezake. Bai, hala da.

9) GPU anitzeko entrenamendua - DDP, NCCL eta eskalatzea kaosarik gabe 🧩🤝

Abiadura handiagoa edo modelo handiagoak nahi dituzunean, GPU anitzekoak erabiltzen dituzu. Hemen hasten dira gauzak pikanteak.

Ohiko ikuspegiak

  • Datu paraleloak (DDP)

    • GPUen artean multzoak banatu, gradienteak sinkronizatu

    • Normalean lehenetsitako aukera "ona" da ( PyTorch DDP dokumentuak )

  • Eredu Paraleloa / Tentsore Paraleloa

    • Zatitu eredua GPUetan zehar (eredu oso handietarako)

  • Hodi paraleloa

    • Modelo geruzak etapatan banatu (muntaketa-kate bat bezala, baina tentsoreetarako)

Hasiberria bazara, DDP estiloko entrenamendua da aukerarik onena. ( PyTorch DDP tutoriala )

GPU anitzeko aholku praktikoak

  • Ziurtatu GPUek gaitasun berdina dutela (nahasketaren oztopoak)

  • Jarrai ezazu interkonexioa: NVLink vs PCIe garrantzitsuak dira sinkronizazio handiko lan-kargetarako ( NVIDIA NVLink ikuspegi orokorra , NVIDIA NVLink dokumentuak )

  • Mantendu GPU bakoitzeko lote-tamainak orekatuta

  • Ez egin kasurik CPU eta biltegiratzeari - GPU anitzek datuen oztopoak areagotu ditzakete

Eta bai, NCCL akatsak "zergatik orain" galderari erantzunez bildutako misterio baten barruan bildutako igarkizun bat bezala senti daitezke. Ez zaude madarikatuta. Seguruenik. ( NCCL ikuspegi orokorra )

10) Jarraipena eta profilak sortzea - ​​orduak aurrezten dizkizuten gauza xelebrerik gabekoak 📈🧯

Ez duzu aginte-panel dotorerik behar hasteko. Zerbait gaizki dagoenean ohartu behar duzu.

Kontuan hartu beharreko seinale nagusiak

  • GPUaren erabilera : etengabe altua ala gorabeheratsua da?

  • Memoriaren erabilera : egonkorra, goranzkoa edo arraroa?

  • Energia-kontsumoa : ohikoa ez den energia baxuak gutxiegi erabiltzea esan dezake

  • Tenperaturak : tenperatura altu etengabeak errendimendua mugatu dezake

  • CPUaren erabilera : datu-kanalizazioaren arazoak hemen agertzen dira ( PyTorch-en errendimenduaren doikuntza gida )

Profilak egiteko mentalitatea (bertsio sinplea)

  • GPUa gutxi erabiltzen bada - datuen edo CPUaren botila-lepoa

  • GPUa altua baina motela bada - nukleoaren eraginkortasun eza, zehaztasuna edo ereduaren arkitektura

  • Entrenamendu-abiadura ausaz jaisten bada - muga termikoa, atzeko planoan prozesuak, S/I arazoak

Badakit, monitorizatzea ez dela dibertigarria dirudi. Baina hortzetako haria erabiltzea bezalakoa da. Gogaikarria da, eta bat-batean zure bizitza hobetzen da.

11) Arazoak konpontzea - ​​ohiko susmagarriak (eta ez hain ohikoak) 🧰😵💫

Atal hau, funtsean, hau da: “bost gai berdinak, betiko”

Arazoa: CUDA memoriarik gabe

Konponketak:

Arazoa: Entrenamendua nahi gabe CPUan exekutatzen da

Konponketak:

  • Ziurtatu eredua Cudara

  • Ziurtatu tentsoreak CUDAra mugitu

  • egiaztatu framework gailuaren konfigurazioa ( PyTorch CUDA dokumentuak )

Arazoa: Matxura arraroak edo memoria sarbide ilegalak

Konponketak:

Arazoa: Espero baino motelagoa

Konponketak:

Arazoa: GPU anitzak blokeatzen dira

Konponketak:

Atzera begirako ohar txiki bat: batzuetan konponbidea berrabiaraztea da, literalki. Barregura ematen du. Funtzionatzen du. Ordenagailuak horrelakoak dira.

12) Kostua eta praktikotasuna - NVIDIA GPU egokia aukeratzea eta gehiegi pentsatu gabe konfiguratzea 💸🧠

Ez da proiektu guztiek GPU handiena behar. Batzuetan nahikoa .

Modelo ertainak fintzen ari bazara

Modelo handiagoak hutsetik entrenatzen ari bazara

Esperimentazioa egiten ari bazara

  • Iterazio azkarra nahi duzu

  • Ez gastatu zure diru guztia GPUan eta gero biltegiratzea eta RAMa gosez agortu

  • Sistema orekatu batek desorekatua gainditzen du (egun gehienetan)

Eta egia esan, asteak galdu ditzakezu hardware aukera "perfektuen" atzetik. Eraiki zerbait bideragarria, neurtu eta gero egokitu. Benetako etsaia feedback begizta ez izatea da.

Amaierako oharrak - Nola erabili NVIDIA GPUak IA entrenamendurako burutik kendu gabe 😌✅

NVIDIA GPUak AI entrenamendurako nola erabili buruzko gida honetatik beste ezer hartzen ez baduzu , hartu hau:

NVIDIA GPUetan entrenatzea beldurgarria iruditzen zaizun trebetasun horietako bat da, baina bat-batean... normala bihurtzen da. Gidatzen ikastea bezala. Hasieran dena zaratatsua eta nahasia da eta bolanteari gogorregi heltzen diozu. Gero, egun batean, gidatzen ari zara, kafea hartzen eta multzo-tamainaren arazo bat lasai konpontzen, ezertxo ere ez balitz bezala ☕😄

Maiz egiten diren galderak

Zer esan nahi du NVIDIA GPU batean IA eredu bat entrenatzeak

NVIDIA GPU batean entrenatzeak esan nahi du zure modeloaren parametroak eta entrenamendu-multzoek GPU VRAMean bizi direla, eta matematika astunak (aurreranzko pasabidea, atzerako prop-a, optimizatzaile-urratsak) CUDA nukleoen bidez exekutatzen direla. Praktikan, askotan modeloa eta tentsoreak cuda-n , eta gero memoria, erabilera eta tenperaturak zaintzera, errendimendua koherentea izan dadin.

Nola baieztatu NVIDIA GPU bat funtzionatzen duela beste ezer instalatu aurretik

Hasi nvidia-smi- . GPU izena, kontrolatzailearen bertsioa, uneko memoriaren erabilera eta martxan dauden prozesuak erakutsi beharko lituzke. nvidia-smi-k huts egiten badu, itxaron PyTorch/TensorFlow/JAX-ekin - konpondu lehenik kontrolatzailearen ikusgarritasuna. GPU entrenamendurako oinarrizko "labea konektatuta al dago" egiaztapena da.

Sistemako CUDAren eta PyTorch-ekin batera datorren CUDAren artean aukeratzea

Ohiko ikuspegia framework-ean txertatutako CUDA erabiltzea da (PyTorch gurpil askoren antzera), mugitzen diren piezak murrizten dituelako; batez ere, NVIDIA kontrolatzaile bateragarri bat behar duzu. Sistemaren CUDA tresna-sorta osoa instalatzeak kontrol gehiago eskaintzen du (eraikuntza pertsonalizatuak, konpilazio-eragiketak), baina bertsioen desadostasunak eta exekuzio-denbora errore nahasgarriak izateko aukera gehiago ere sortzen ditu.

Zergatik izan daiteke entrenamendua motela NVIDIA GPU batekin ere

Askotan, GPUak sarrera-hodiak ez du behar izaten. Datu-kargatzaile atzeratuak, entrenamendu-urratsaren barruko CPU aurre-prozesamendu astunak, lote-tamaina txikiek edo biltegiratze motelak GPU indartsu bat espazio-berogailu inaktibo baten moduan joka dezakete. Datu-kargatzaileen langileak handitzea, memoria finkatua gaitzea, aurrez kargatzea gehitzea eta erregistroa moztea dira ereduari errua bota aurretiko lehen urrats ohikoenak.

Nola saihestu "CUDA memoria gabe" erroreak NVIDIA GPU entrenamenduan

Konponketa gehienak VRAM taktikak dira: lotearen tamaina murriztu, zehaztasun mistoa gaitu (FP16/BF16), gradienteen metaketa erabili, sekuentziaren luzera/mozketaren tamaina laburtu edo aktibazio-kontrol-puntuak erabili. Memoria kontsumitzen duten beste GPU prozesu batzuk ere egiaztatu. Saiakera eta akats batzuk normalak dira - VRAM aurrekontua GPU entrenamendu praktikoan oinarrizko ohitura bihurtzen da.

Zergatik VRAM beteta egon daitekeen entrenamendu-skript bat amaitu ondoren ere

Framework-ek GPU memoria cachean gordetzen dute abiadura lortzeko, beraz, erreserbatutako memoria altua mantendu daiteke esleitutako memoria galtzen denean ere. Ihes baten antza izan dezake, baina askotan cache esleitzailea da diseinatutako moduan jokatzen duena. Ohitura praktikoa da denboran zehar eredua jarraitzea eta "esleitutakoa vs erreserbatua" alderatzea, argazki bakar eta kezkagarri batean zentratu beharrean.

Nola baieztatu modelo bat ez dela isilean CPUan entrenatzen ari

Osasun-egiaztapena goiz: berretsi torch.cuda.is_available()- True itzultzen duela , egiaztatu next(model.parameters()).device-k cuda erakusten duela , eta exekutatu aurrerako pase bakarra errorerik gabe. Errendimendua susmagarriro motela dela iruditzen bazaizu, berretsi zure loteak GPUra mugitzen ari direla ere. Ohikoa da modeloa mugitzea eta nahi gabe datuak atzean uztea.

GPU anitzeko entrenamendurako biderik errazena

Datuen paraleloa (DDP estiloko entrenamendua) askotan lehen urrats onena da: GPUen artean loteak banatu eta gradienteak sinkronizatu. Accelerate bezalako tresnek GPU anitzak erraztu ditzakete berridazketa osoa egin gabe. Espero aldagai gehigarriak - NCCL komunikazioa, interkonexio desberdintasunak (NVLink vs PCIe eta datuen oztopo anplifikatuak - beraz, GPU bakarreko exekuzio sendo baten ondoren pixkanaka eskalatzeak hobeto joaten da.

Zer kontrolatu behar da NVIDIA GPU entrenamenduan arazoak goiz detektatzeko

Begiratu GPUaren erabilera, memoriaren erabilera (egonkorra vs. igotzen), energia-kontsumoa eta tenperaturak - throttling-ak abiadura isilean murriztu dezake. Begiratu CPUaren erabilera ere, datu-kanalizazioaren arazoak askotan hor agertzen baitira lehenik. Erabilera altua edo baxua bada, susmatu S/I edo datu-kargatzaileak; altua bada baina urrats-denbora oraindik motela bada, profilatu kernelak, zehaztasun modua eta urrats-denboraren banaketa.

Erreferentziak

  1. NVIDIA - NVIDIA nvidia-smi dokumentuak - docs.nvidia.com

  2. NVIDIA - NVIDIA Sistema Kudeatzeko Interfazea (NVSMI) - developer.nvidia.com

  3. NVIDIA - NVIDIA NVLink-en ikuspegi orokorra - nvidia.com

  4. PyTorch - PyTorch-ekin Hasteko (CUDA hautatzailea) - pytorch.org

  5. PyTorch - PyTorch CUDA dokumentazioa - docs.pytorch.org

  6. TensorFlow - TensorFlow instalazioa (pip) - tensorflow.org

  7. JAX - JAX Abiarazte azkarra - docs.jax.dev

  8. Aurpegia Besarkatzen - Entrenatzailearen dokumentuak - huggingface.co

  9. Lightning AI - Lightning dokumentuak - lightning.ai

  10. DeepSpeed ​​- ZeRO dokumentuak - deepspeed.readthedocs.io

  11. Microsoft Research - Microsoft Research: ZeRO/DeepSpeed ​​- microsoft.com

  12. PyTorch Foroak - PyTorch Foroa: egiaztatu eredua CUDA-n - discuss.pytorch.org

Aurkitu azken IA AI Laguntzaileen Denda Ofizialean

Guri buruz

Blogera itzuli