Ga cikakken rubutun rubutun HTML:

Nuna HN: Model Horar Ƙwaƙwalwar Ƙwaƙwalwar Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwaƙwalwa na Ƙwaƙwalwa na Ƙwaƙwalwa na Ƙwaƙwalwa ) - Me ya sa Tsare-tsaren Ƙwaƙwalwar GPU Ya Fi Muhimmanci

Ƙididdiga buƙatun ƙwaƙwalwar GPU kafin ƙaddamar da aikin horon samfuri yana ɗaya daga cikin ƙullun da ba a kula da su ba tukuna masu tsada a cikin ayyukan koyon injin. Wani sabon bude-sourceModel Training Memory Simulator, wanda aka nuna kwanan nan akan Labaran Hacker, yana magance wannan matsalar gaba-gaba ta hanyar barin injiniyoyi su faɗi amfanin VRAM, gano ƙwanƙolin ƙwaƙwalwar ajiya, da inganta tsarin horo - duk kafin tensor guda ya sami GPU.

Menene Na'urar kwaikwayo ta Horar da Ƙwaƙwalwar Ƙwaƙwalwar Ƙwaƙwalwar Ƙwaƙwalwar Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwaƙwalwa ) Ya kamata Ka Kula?

Na'urar kwaikwayo ta horar da ƙwaƙwalwar ƙirar ƙira kayan aiki ne wanda ke ƙididdige sawun ƙwaƙwalwar GPU da ake tsammani na aikin horarwa mai zurfi dangane da ƙirar ƙirar ƙira, girman tsari, daidaitaccen tsari, zaɓin ingantawa, da dabarun daidaitawa. Maimakon karkatar da misalan girgije masu tsada kawai don fuskantar kurakuran CUDA Daga Ƙwaƙwalwar ajiya mintuna a cikin horo, injiniyoyi za su iya kwaikwayi duk bayanin martabar ƙwaƙwalwar ajiya a gaba.

Aikin Show HN yana ɗaukar hanyar buɗaɗɗen hanya ga wannan matsala, yana samar da madaidaiciyar hanya madaidaiciya, madadin kayan aikin bayanan mallakar mallaka. Yana lissafin sigogi, gradients, jihohin ingantawa, kunnawa, da tsarin sama - manyan masu ba da gudummawa guda biyar don amfanin ƙwaƙwalwar GPU yayin horo. Ga ƙungiyoyin da ke ɗaukar nauyin aiki akan NVIDIA A100s, H100s, ko ma katunan RTX-mabukaci, irin wannan shirin na gaba zai iya adana dubban daloli a cikin ɓata lissafi da sa'o'i na lokacin lalata.

Ta Yaya Ake Amfani da Ƙwaƙwalwar GPU Lokacin Horon Model?

Fahimtar inda ƙwaƙwalwar ajiya ke tafiya yayin horo yana da mahimmanci ga kowane injiniyan ML. Na'urar na'urar kwaikwayo tana rarraba amfani zuwa nau'i daban-daban, nau'ikan da za a iya faɗi:

• Tsarin Samfura:Danyen ma'auni na cibiyar sadarwar jijiyoyi. Samfurin siga na 7B a cikin FP32 yana cinye kusan 28 GB kawai don nauyi kawai, yana raguwa zuwa 14 GB a cikin FP16 ko BF16.
• Gradients:Ana adanawa a lokacin yaɗa baya, gradients yawanci suna madubin sawun ƙwaƙwalwar ajiya na sigogi da kansu.
• Jahohi ingantawa: Adam da AdamW suna kula da ƙarin ƙarin jihohi biyu a kowace siga (lokacin farko da na biyu), daidai gwargwado ninka ƙwaƙwalwar siga yayin amfani da jihohin FP32 ingantawa.
• Ayyukan kunnawa: Abubuwan da aka ajiye na tsaka-tsaki don wucewar baya. Waɗannan ma'auni tare da girman tsari da tsayin jeri, yana mai da su mafi yawan canzawa - kuma galibi mafi girma - mabukaci mai ƙwaƙwalwa.
• Tsarin Ƙarfafawa: Halin CUDA, rarrabuwar ƙwaƙwalwar ajiya, hanyoyin sadarwar sadarwa don rarraba horo, da rabon lokaci na wucin gadi waɗanda ke da wahalar hangowa ba tare da kwaikwaya ba.

Maɓalli Maɓalli: Ga mafi yawan manyan ayyukan horar da ƙirar harshe, jihohi masu ingantawa da kunnawa - ba ma'aunin ƙira da kansu ba - sune manyan masu amfani da ƙwaƙwalwar ajiya. Na'urar kwaikwayo ta ƙwaƙwalwar ajiya tana bayyana wannan ɓarna kafin ku yi amfani da kayan aiki masu tsada, mai da zato zuwa aikin injiniya.

Mene Ne Ya Sa Wannan Buɗe-Source Simulator Ya Fita Daga Kayayyakin Da Da Ke Ciki?

Al'ummar Hacker News sun amsa wannan aikin saboda yana magance ainihin abubuwan zafi waɗanda hanyoyin da ake da su suna barin ba a warware su ba. Yawancin masu samar da girgije suna ba da ƙididdiga masu ƙididdige ƙwaƙwalwar GPU na asali, amma ba safai suke yin lissafin dabarun horarwa masu gauraya-daidaitacce, ɗimbin bincike mai sauƙi, daidaitawar tensor, ko haɓaka matakin ZeRO daga tsarin kamar DeepSpeed ​​da FSDP.

Wannan na'urar kwaikwayo ta ƙirƙira waɗancan saitunan ci-gaba a sarari. Injiniyoyi na iya shigar da takamaiman saitin su - ka ce, ƙirar 13B tare da Matsayin ZeRO 3, an kunna matakin duba ƙasa, daidaitaccen BF16, da girman ƙaramin tsari na 4 a cikin 8 GPUs - kuma suna karɓar cikakken ɓarnawar ƙwaƙwalwar ajiya kowace na'ura. Wannan matakin ƙayyadaddun shine abin da ke raba kayan aikin tsarawa mai amfani da ƙima na baya-bayan ambulan.

Halin buɗe ido kuma yana nufin al'umma na iya faɗaɗa ta. Tsarin gine-gine na al'ada, sabbin aiwatarwa ingantawa, da bayanan bayanan kayan masarufi masu tasowa duk za'a iya ba da gudummawarsu baya, kiyaye kayan aikin da ya dace kamar yadda yanayin ML ke tasowa a cikin saurin karya wuya.

Ta Yaya Ƙungiyoyin Kasuwanci Za Su Amfana Daga Tsare-tsaren Kayayyakin Kayayyakin Waya?

Yayin da aka gina na'urar kwaikwayo don injiniyoyi na ML, abubuwan da ke tattare da su sun shafi kowace kungiya da ke saka hannun jari a iyawar AI. Samar da misalan GPU saboda rashin tabbas da buƙatun ƙwaƙwalwar ajiya yana haifar da lissafin girgije. Rashin tanadi yana haifar da gazawar horarwa, ɓata lokacin aikin injiniya, da jinkirin ƙaddamar da ƙira.

Don haɓaka kasuwancin da ke sarrafa ayyukan aiki da yawa - daga gudanar da ayyuka zuwa tsarin kuɗi zuwa ƙididdigar abokin ciniki - ƙa'idar iri ɗaya ce: kwaikwaya kafin ku aiwatar da albarkatu. Ko kuna samar da gungu na GPU ko zabar nau'ikan kasuwanci don kunna ƙungiyar ku, samun kyakkyawan hoto na buƙatun albarkatun kafin ƙima yana hana ɓarna kuma yana haɓaka sakamako.

Wannan shine falsafar guda ɗaya a bayan dandamali kamarMewayz, wanda ke ba da 207 haɗaɗɗen tsarin kasuwanci don ƙungiyoyi su iya tsarawa, kwaikwaya, da kuma daidaita ayyukan aikin su ba tare da yin nasara ga kayan aikin da aka raba ba. Tunanin kwatanta buƙatun albarkatu kafin a tura shi yana da ƙarfi sosai ga ayyukan kasuwanci kamar yadda ake yin samfurin horo.

Tambayoyin da ake yawan yi

Shin na'urar kwaikwayo ta ƙwaƙwalwar ajiya na iya hana gaba ɗaya kurakuran ƙwaƙwalwar ajiya yayin horo?

Na'urar kwaikwayo yana rage haɗari sosai ta hanyar samar da ingantattun ƙididdiga bisa tsarin ku, amma ba zai iya ƙididdige kowane canjin lokacin aiki ba. Hotunan ƙididdiga masu ƙarfi, bayanai masu tsayi masu canzawa, da ɓarnawar ƙwaƙwalwar ajiyar ɗakin karatu na ɓangare na uku na iya gabatar da sama da ƙasa maras tabbas. Bi da fitowar na'urar kwaikwayo a matsayin bene mai dogaro mai ƙarfi - kasafin kuɗi ƙarin 10-15% headroom don horar da samarwa yana gudanar da lissafin canjin lokacin aiki.

Shin wannan na'urar na'urar tana da amfani don daidaitawa mai kyau ko kuma cikakken horon horo kawai?

Yana da matukar amfani ga duka biyun. Kyakkyawan daidaitawa tare da hanyoyi kamar LoRA ko QLoRA suna canza bayanin martabar ƙwaƙwalwar ajiya sosai saboda juzu'in juzu'i ne kawai ke buƙatar gradients da jihohin ingantawa. Kyakkyawan na'urar kwaikwayo tana ba ku damar tsara waɗannan ingantattun hanyoyi a sarari, yana taimaka muku sanin ko aikin daidaitawa ya dace da GPU ɗin mabukaci ɗaya ko yana buƙatar kayan aikin GPU da yawa.

Ta yaya wannan ke da alaƙa da sarrafa farashi a cikin kayan aikin kasuwanci da biyan kuɗin SaaS?

Babban ƙa'idar - kwaikwayi da tsara rabon albarkatun ƙasa kafin kashe kuɗi - ta shafi duniya baki ɗaya. Kamar dai yadda ƙungiyoyin ML ke ɓarna dubbai akan GPUs da aka yi sama da su, ƙungiyoyin kasuwanci suna ɓarna dubbai akan biyan kuɗin SaaS da ke da alaƙa da rarrabuwar kayan aiki. Ƙaddamar da tarin aikin ku zuwa dandamali mai haɗin kai tare da kunnawa na yau da kullun, yadda Mewayz ke fuskantar kayan aikin kasuwanci tare da OS ɗin sa na 207-module, yana nuna fa'idar ingantaccen girman ƙimar ƙwaƙwalwar GPU ɗin ku kafin fara horo.

Shirya shirye don amfani da tunani iri ɗaya na inganta kayan aiki zuwa ayyukan kasuwancin ku? Fara gwajin ku kyauta a app.mewayz.com kuma gina madaidaicin tari na aiki da ƙungiyar ku ke buƙata.