Show HN: Model Training Memory Simulator — Hobaneng ha GPU Memory Planning e le Bohlokoa ho Feta Pele

Ho hakanya litlhoko tsa memori ea GPU pele o qala mokhoa oa koetliso oa mohlala ke e 'ngoe ea mathata a sa tsotelloeng empa a bitsa chelete e ngata mosebetsing oa ho ithuta ka mochini. Mohloli o mocha o bulehileng oa Model Training Memory Simulator, e sa tsoa hlahisoa ho Hacker News, e sebetsana le bothata bona ka ho lumella lienjiniere ho bolela esale pele tšebeliso ea VRAM, ho khetholla mathata a mohopolo, le ho ntlafatsa litlhophiso tsa koetliso - tsohle pele tensor e le 'ngoe e otla GPU.

Moetso oa Memory Memory Simulator ke Eng 'me Hobane'ng ha U Lokela ho Tsotella?

Sebapali sa memori ea mohlala ke sesebelisoa se lebelloang se lebeletsoeng sa memori ea GPU ea mosebetsi o tebileng oa ho ithuta ho ipapisitsoe le meralo ea sebopeho, boholo ba batch, sebopeho se nepahetseng, khetho ea ho ntlafatsa, le leano la ho bapisa. Sebakeng sa ho qaqisa maemo a theko e phahameng a maru feela ho kopana le liphoso tsa CUDA Out of Memory tse tšosang metsotsong ea koetliso, baenjiniere ba ka etsisa profil eohle ea memori esale pele.

Projeke ea Show HN e nka mokhoa oamohloli o bulehileng bothateng bona, ho fana ka mokhoa o sa bonahaleng, o tsamaisoang ke sechaba ho fapana le lisebelisoa tsa profilary profiling. E ikarabella bakeng sa liparamente, li-gradients, optimizer states, activations, le moralo o holimo - tse hlano tse kholo tse kenyang letsoho tšebelisong ea memori ea GPU nakong ea koetliso. Bakeng sa lihlopha tse tsamaisang meroalo ea mosebetsi ho NVIDIA A100s, H100s, kapa esita le likarete tsa RTX tsa boemo ba bareki, mofuta ona oa ho rera esale pele o ka boloka likete tsa lidolara ka khomphutha e senyehileng le lihora tsa ho lokisa liphoso.

Memori ea GPU e Sebelisa Joang Nakong ea Thupelo ea Mohlala?

Ho utloisisa hore na memori e ea kae nakong ea koetliso ho bohlokoa ho moenjiniere ofe kapa ofe oa ML. Simulator e arola tšebeliso ka mekhahlelo e ikhethileng, e ka lebelloang:

• Model Parameters: Boima bo tala ba netweke ea methapo. Moetso oa 7B-parameter ho FP32 o sebelisa hoo e ka bang 28 GB bakeng sa boima bo le bong feela, ho theohela ho 14 GB ho FP16 kapa BF16.
• Gradients: E bolokiloe nakong ea tlhahiso-pele, li-gradients hangata li bonahatsa mohopolo oa mohopolo oa liparamente ka botsona.
• Linaha tsa Optimizer: Adam le AdamW ba boloka li-tensor tse peli tsa boemo bo bong ka paramethara (motsotso oa pele le oa bobeli), ka mokhoa o ts'oanelang ho fetisa mohopolo oa paramente hararo ha ba sebelisa FP32 optimizer state.
• ts'ebetso: Liphetho tsa lipakeng li bolokiloe molemong oa ho khutlela morao. Tsena li na le boholo ba batch le bolelele ba tatellano, e leng se etsang hore e be tse feto-fetohang - 'me hangata e le tse kholo ka ho fetisisa - basebelisi ba memori.
• Sehlopha sa Moralo: Boemo ba CUDA, karohano ea memori, li-buffers tsa puisano bakeng sa koetliso e ajoang, le likabelo tsa nakoana tseo ho leng thata ho li tseba ntle le papiso.

Key Insight: Bakeng sa lithupelo tse ngata tse kholo tsa lipuo, optimizer state le activation - eseng boima ba mohlala ka botsona - ke tsona tse sebelisoang haholo ho hopola. Sebapali sa memori se senola karohano ena pele o itlama ka thepa e turang, e fetola khakanyo hore e be boenjineri.

Ke Eng e Etsang Hore Setsisi see sa Mohloli o Buleng se hlahelle ho Lisebelisoa tse leng Teng?

Sechaba sa Hacker News se arabetse morero ona hobane se bua ka lintlha tsa bohloko tsa 'nete tseo litharollo tse teng li sieang li sa rarolloa. Boholo ba bafani ba marang-rang ba fana ka lisebelisoa tsa memori tsa GPU tsa mantlha, empa ke ka seoelo ba ikarabellang bakeng sa maano a koetliso a nepahetseng, tlhahlobo ea gradient, tensor parallelism, kapa optimizations ea ZeRO-stage ho tsoa ho meralo e kang DeepSpeed le FSDP.

Simulator ena e etsa lipeakanyo tse tsoetseng pele ka ho hlaka. Baenjiniere ba ka kenya setupong sa bona se ikhethileng - ba re, mohlala oa 13B o nang le ZeRO Stage 3, ho hlahlojoa ha gradient ho nolofalitsoe, BF16 e nepahetseng e tsoakiloeng, le boholo ba li-micro-batch tsa 4 ho 8 GPUs - mme ba fumana ho senyeha ho hoholo ha mohopolo ka sesebelisoa. Boemo boo ba boikhethelo ke bona bo arolang sesebelisoa sa bohlokoa sa moralo ho khakanyo ea morao-rao ea enfelopo.

Tlhaho ea mohloli o bulehileng hape e bolela hore sechaba se ka e atolosa. Mehaho e tloahelehileng, ts'ebetsong e ncha ea ho ntlafatsa, le lintlha tse hlahang tsa hardware kaofela li ka thusoa, ho boloka sesebelisoa se le bohlokoa ha sebopeho sa ML se ntse se fetoha ka lebelo le leholo.

Lihlopha tsa Khoebo li ka Rua Molemo Joang ho Merero e Bohlale ea Meralo ea Meralo?

Ha simulator e etselitsoe lienjineri tsa ML, litlamorao li fetela mokhatlong ofe kapa ofe o tsetelang ho bokhoni ba AI. Maemo a overprovisioning a GPU ka lebaka la litlhoko tse sa tsitsang tsa memori e nyolla likoloto tsa maru. Tlhokomelo e tlase e lebisa ho se atleheng ha lithupelo, lihora tsa boenjiniere tse sentsoeng, le ho lieha ho tsamaisoa ha mehlala.

Bakeng sa likhoebo tse ntseng li hola tse laolang tšebetso e ngata ea tšebetso - ho tloha taolong ea morero ho ea ho moralo oa lichelete ho ea ho litlhahlobo tsa bareki - molao-motheo o ts'oana: etsisa pele o etsa lisebelisoa. Hore na o fana ka lihlopha tsa GPU kapa u khetha hore na ke limmojule life tsa khoebo tseo u ka li kenyang molemong oa sehlopha sa hau, ho ba le setšoantšo se hlakileng sa litlhoko tsa lisebelisoa pele u phahamisa ho thibela tšenyo le ho potlakisa sephetho.

Ena ke filosofi e tšoanang ka mor'a lipolanete tse kang Mewayz, e fanang ka li-module tsa khoebo tse 207 tse kopantsoeng e le hore lihlopha li ka rera, li etsise, le ho lekanya tšebetso ea tsona ea ts'ebetso ntle le ho itlama ho lisebelisoa tse arohaneng. Mohopolo oa ho etsisa litlhoko tsa lisebelisoa pele o ka romelloa o sebetsa ka matla lits'ebetsong tsa khoebo joalo ka ha o etsa koetliso ea mohlala.

Lipotso Tse Botsoang Hangata

Na simulator ea memori e ka thibela ka ho feletseng liphoso tse sa lebaleheng nakong ea koetliso?

Sebapali se fokotsa kotsi haholo ka ho fana ka likhakanyo tse nepahetseng ho latela maemo a hau, empa se ke ke sa ikarabella bakeng sa phetoho e 'ngoe le e 'ngoe ea nako ea ho sebetsa. Li-graph tsa khomphutha tse matla, lintho tse kenang ka bolelele bo fapaneng, le ho lutla ha memori ea laeborari ea motho oa boraro li ka hlahisa litaba tse sa lebelloang. Tšoara sephetho sa simulator e le sebaka se tšepahalang sa ho rala - tekanyetso ea 10-15% ea lithupelo tsa tlhahiso e tsamaisana le ho fetoha ha nako ea ho sebetsa.

Na simulator ee e na le thuso bakeng sa tokiso e ntle kapa ho ikoetlisa ka botlalo feela?

E thusa haholo ka bobeli. Ho lokisoa hantle ka mekhoa e kang LoRA kapa QLoRA ho fetola boemo ba memori haholo hobane ke karoloana feela ea liparamente tse hlokang li-gradients le optimizer state. Sebapali se setle se u thusa ho etsa mohlala oa mekhoa ena e sebetsang hantle ka ho hlaka, ho u thusa ho tseba hore na mosebetsi o hlophisitsoeng hantle o lumellana le GPU e le 'ngoe ea bareki kapa o hloka lisebelisoa tse ngata tsa GPU.

See se amana jwang le ho laola ditjeho ho disebediswa tsa kgwebo le ditefo tsa SaaS?

Molao-motheo - etsisa le ho rala kabo ea lisebelisoa pele u sebelisa chelete - o sebetsa hohle. Joalo ka ha lihlopha tsa ML li senya likete ka li-GPU tse fanoeng ho feta tekano, lihlopha tsa likhoebo li senya likete ka lipeeletso tsa SaaS le liketane tse arohaneng tsa lisebelisoa. Ho kopanya pokello ea hau ea ts'ebetso hore e be sethala se kopaneng se nang le ts'ebetso ea modular, tsela eo Mewayz e atamelang lisebelisoa tsa khoebo ka 207-module OS, e bonts'a katleho e ntle ea kabo ea memori ea GPU pele koetliso e qala.

Na u se u itokiselitse ho sebelisa mohopolo o tšoanang oa ho ntlafatsa lisebelisoa tšebetsong ea hau ea khoebo? Mewayz e fa lihlopha tse 138,000+ bokhoni ba ho kenya li-module feela tseo li li hlokang, ho qala ho $19/mo — ha ho phepelo e fetelletseng, ha ho tšenyo ea letho. Qala teko ea hau ea mahala ho app.mewayz.com 'me u thehe stack e nepahetseng eo sehlopha sa hau se e hlokang.