Hacker News

MDST انجڻ: WebGPU/WASM سان برائوزر ۾ GGUF ماڊل هلايو

MDST انجڻ: WebGPU/WASM سان برائوزر ۾ GGUF ماڊل هلايو هي تفتيش ايم ڊي ايس ٽي ۾ شامل آهي، ان جي اهميت ۽ امڪاني اثر جي جانچ ڪندي. بنيادي تصورات ڍڪيل هي مواد ڳولي ٿو: بنيادي اصول ۽ نظريا ...

2 min read Via mdst.app

Mewayz Team

Editorial Team

Hacker News

MDST انجڻ: WebGPU/WASM سان برائوزر ۾ GGUF ماڊل هلايو

ايم ڊي ايس ٽي انجڻ هڪ اڀرندڙ رن ٽائم آهي جيڪو ڊولپرز ۽ ڪاروبارن کي قابل بنائي ٿو GGUF فارميٽ وڏي ٻولي جا ماڊل سڌو سنئون برائوزر جي اندر WebGPU ۽ WebAssembly (WASM) استعمال ڪندي، وقف سرور يا ڪلائوڊ GPU جي ضرورت کي ختم ڪندي. هي شفٽ مڪمل طور تي ڪلائنٽ-سائيڊ AI انفرنس جي طرف قاعدن کي ٻيهر لکي رهيو آهي ته ڪيئن ذهانت واريون خاصيتون ويب ايپليڪيشنن ۾ پهچائي وينديون آهن، پرائيويٽ، گهٽ دير واري AI کي جديد برائوزر سان هر ڪنهن لاءِ رسائي لائق بڻائيندي.

حقيقي طور تي MDST انجڻ ڇا آهي ۽ اهو ڇو ضروري آهي؟

MDST انجڻ هڪ برائوزر-آبائي AI انفرنس فريم ورڪ آهي جنهن کي لوڊ ڪرڻ ۽ quantized GGUF ماڊلز کي هلائڻ لاءِ ٺاهيو ويو آهي- ساڳيو فارميٽ جنهن کي پراجيڪٽس پاران مشهور ڪيو ويو آهي جهڙوڪ llama.cpp- سڌي طرح ويب جي حوالي سان. هر AI درخواست کي ڪلائوڊ انڊ پوائنٽ ذريعي روٽ ڪرڻ جي بجاءِ، MDST صارف جي پنهنجي هارڊويئر تي ماڊل انفرنس تي عمل ڪري ٿو برائوزر جي WebGPU API کي GPU-accelerated computation ۽ WebAssembly لاءِ ويجھي مقامي CPU فال بيڪ ڪارڪردگي لاءِ.

اها اهميت ڪيترن ئي سببن جي ڪري آهي. پهريون، اهو هٽائي ٿو گول-ٽريپ ويڪرائيزيشن سرور-سائڊ انفرنس ۾ موروثي. ٻيو، اهو حساس صارف ڊيٽا کي مڪمل طور تي ڊوائيس تي رکي ٿو، جيڪو هڪ نازڪ رازداري فائدو آهي انٽرنيٽ ۽ صارفين جي ايپليڪيشنن لاء هڪجهڙائي. ٽيون، اهو ڊرامائي طور تي ڪاروبار لاءِ بنيادي ڍانچي جي قيمتن کي گھٽائي ٿو جيڪي ٻي صورت ۾ في API ڪال ادا ڪندا يا پنهنجون GPU ڪلسٽر برقرار رکندا.

"براؤزر ۾ هلندڙ AI انفرنس هاڻي ڪو ثبوت جو تصور تجسس نه رهيو آهي- اهو هڪ پيداوار لاءِ قابل عمل فن تعمير آهي جيڪو غير مرڪزي صارف هارڊويئر لاءِ مرڪزي ڪلائوڊ خرچن جو واپار ڪري ٿو، بنيادي طور تي اهو بدلجي ٿو ته ڪير AI-طاقت رکندڙ ايپليڪيشنن جو ڪمپيوٽيشنل بوجھ برداشت ڪري ٿو."

WebGPU ۽ WASM ان-براؤزر AI کي ڪيئن ممڪن بڻائين؟

MDST انجڻ جي ٽيڪنيڪي بنيادن کي سمجھڻ لاءِ انھن ٻن بنيادي برائوزرن تي مختصر نظر جي ضرورت آھي، جن کي اھو استعمال ڪري ٿو. WebGPU WebGL جو جانشين آهي، سڌو سنئون JavaScript ۽ WGSL شيڊر ڪوڊ مان گهٽ-سطح جي GPU رسائي فراهم ڪري ٿو. ان جي اڳڪٿي جي برعڪس، ويب جي پي يو ڪمپيوٽ شيڊرز کي سپورٽ ڪري ٿو، جيڪي ميٽرڪس ضرب عملن جا ڪم ڪار آهن جيڪي LLM انفرنس تي غالب آهن. ان جو مطلب آهي MDST ٽينسر آپريشنز GPU ڏانهن انتهائي متوازي طريقي سان موڪلي سگهي ٿو، ان ذريعي حاصل ڪرڻ جيڪو اڳ ۾ برائوزر سينڊ باڪس اندر ناممڪن هو.

WebAssembly انجڻ جي بنيادي رن ٽائم منطق لاءِ فال بيڪ ۽ ڪمپليشن ٽارگيٽ طور ڪم ڪري ٿو. ڊوائيسز لاءِ جيڪي WebGPU سپورٽ نه آهن- پراڻا برائوزر، خاص موبائل ماحول، يا هيڊ لیس ٽيسٽنگ حوالن- WASM هڪ پرفارمنٽ، پورٽبل ايگزيڪيوشن ليئر مهيا ڪري ٿو جيڪا مرتب ڪيل C++ يا Rust ڪوڊ تي هلندي آهي معياري JavaScript کان وڌيڪ رفتار تي. گڏجي، WebGPU ۽ WASM هڪ ٽائرڊ ايگزيڪيوشن حڪمت عملي ٺاهين ٿا: GPU-پهرين جڏهن دستياب هجي، CPU-ذريعي-WASM جڏهن نه هجي.

GGUF ماڊل ڇا آهن ۽ اهو فارميٽ هن انداز ۾ مرڪزي ڇو آهي؟

GGUF (GPT-generated Unified Format) ھڪڙو بائنري فائل فارميٽ آھي جيڪو ماڊل وزن، ٽوڪنائزر ڊيٽا، ۽ ميٽا ڊيٽا کي ھڪڙي پورٽبل آرٽيڪل ۾ پيڪيج ڪري ٿو. اصل ۾ llama.cpp ۾ موثر لوڊشيڊنگ کي سپورٽ ڪرڻ لاءِ ٺاهيو ويو، GGUF مقداري کليل وزن جي ماڊلز لاءِ اصل معيار بڻجي ويو ڇاڪاڻ ته اهو ڪيترن ئي مقدار جي سطحن کي سپورٽ ڪري ٿو-2-bit کان 8-bit تائين- ڊولپرز کي اجازت ڏئي ٿو ته ماڊل سائيز، ميموري فوٽ پرنٽ، ۽ آئوٽ پٽ معيار جي وچ ۾ ٽريڊ آف چونڊڻ جي.

براؤزر تي ٻڌل انفرنس لاءِ، مقدار اختياري نه آهي- اهو ضروري آهي. هڪ مڪمل-سڌائي 7B پيٽرولر ماڊل لڳ ڀڳ 14 GB ياداشت جي ضرورت آهي. Q4 quantization تي، اهو ساڳيو ماڊل تقريبا 4 GB تائين گهٽجي ٿو، ۽ Q2 تي اهو 2 GB کان گهٽ ٿي سگهي ٿو. GGUF لاءِ MDST انجڻ جي مدد جو مطلب آهي ڊولپرز اڳ ۾ ئي مقداري ماڊلز جي وڏي ماحولياتي نظام کي سڌو سنئون استعمال ڪري سگھن ٿا بغير ڪنهن اضافي تبديلي جي قدم جي، ڊرامائي طور تي انضمام جي رڪاوٽ کي گهٽائيندي.

💡 DID YOU KNOW?

Mewayz replaces 8+ business tools in one platform

CRM · Invoicing · HR · Projects · Booking · eCommerce · POS · Analytics. Free forever plan available.

Start Free →

براؤزر ۾ GGUF ماڊلز هلائيندڙ ڪاروبار لاءِ حقيقي دنيا جي استعمال جا ڪيس ڇا آهن؟

ان-براؤزر GGUF انفرنس جون عملي ايپليڪيشنون لڳ ڀڳ هر صنعت جي عمودي تي پکڙيل آهن. ڪاروبار هن طريقي کي اپنائڻ جي صلاحيت کي انلاڪ ڪن ٿا جيڪي اڳ ۾ قيمتي ممنوع يا رازداري-ڪلائوڊ AI حلن سان غير مطابقت رکندڙ هئا. اهم استعمال جا ڪيس شامل آهن:

  • نجي دستاويزن جو تجزيو: قانوني، طبي، ۽ مالي ڪم فلوز جتي حساس دستاويزن کي ڪڏهن به استعمال ڪندڙ جي ڊوائيس کي نه ڇڏڻ گهرجي، اڃا تائين AI-طاقت جي اختصار ۽ ڪڍڻ مان فائدو حاصل ڪري ٿو.
  • حقيقي وقت جي مواد جي پيداوار: مارڪيٽنگ ٽيمون ذاتي ٿيل ڪاپي، پيداوار جي وضاحت، يا سوشل ميڊيا مواد صفر حد کان گهٽ قيمت تي، سڌو سنئون انهن جي برائوزر تي ٻڌل اوزار جي اندر.

ڪيئن ڪري سگھن ٿا پليٽ فارم جهڙوڪ Mewayz MDST انجڻ جي صلاحيتن کي پنھنجي ماحوليات ۾ ضم ڪري؟

Mewayz، آل-ان-ون 207-ماڊيول بزنس آپريٽنگ سسٽم جنهن تي 138,000 کان وڌيڪ استعمال ڪندڙن تي اعتماد ڪيو ويو آهي قيمتن جي سطحن تي هر مهيني $19 کان شروع ٿئي ٿو، خاص طور تي پليٽ فارم جو هڪ قسم آهي جيڪو MDST Engine وانگر ان-براؤزر AI انفرنس ٽيڪنالاجيز مان تمام گهڻو فائدو حاصل ڪري ٿو. CRM، اي ڪامرس، مواد مينيجمينٽ، اينالائيٽڪس، ٽيم جي تعاون، ۽ وڌيڪ شامل ڪيل ماڊلز سان، Mewayz اڳ ۾ ئي هزارين ڪاروبار جي آپريشنل دل جي ڌڙڪن کي مرڪزي بڻائي ٿو.

ايم ڊي ايس ٽي انجڻ جي صلاحيتن کي پليٽ فارم ۾ شامل ڪرڻ جهڙوڪ Mewayz صارفين کي AI جي مدد سان ورڪ فلوز هلائڻ جي اجازت ڏيندو- پراڊڪٽ جي تفصيل تيار ڪرڻ، ڪلائنٽ ڪميونيڪيشن جو مسودو تيار ڪرڻ، رپورٽن جو اختصار ڪرڻ، يا ڊيٽا جو تجزيو ڪرڻ- بغير ڪنهن ٽين ڌر AI فراهم ڪندڙ کي ڪاروباري-نازڪ ڊيٽا موڪلڻ کان سواءِ. ڇاڪاڻ ته انفرنس ڪلائنٽ طرف هلندو آهي، پليٽ فارم فراهم ڪندڙ کي في صارف جي حد جي قيمت مؤثر طور تي صفر آهي، انهي کي اقتصادي طور تي AI خاصيتون پيش ڪرڻ جي قابل بنائي ٿي جيتوڻيڪ گهٽ ۾ گهٽ سبسڪرپشن جي درجي تي. هي پريمئم پلان هولڊرز لاءِ محفوظ ڪرڻ بجاءِ سموري صارف بنياد تي ذهين آٽوميشن تائين رسائي کي جمهوري ڪري ٿو.

اڪثر پڇيا ويندڙ سوال

ڇا برائوزر ۾ GGUF ماڊل هلائڻ لاءِ صارفين کي وڏيون فائلون ڊائون لوڊ ڪرڻ جي ضرورت آهي؟

ھا شروعاتي ڊائون لوڊ ڪرڻ کان پوء، ماڊل مقامي طور تي ڪيش ڪيو ويو آهي ۽ بعد ۾ سيشن لڳ ڀڳ فوري طور تي لوڊ. ننڍڙا quantized مختلف قسمون- Q4 يا Q2- 2-4 GB کان هيٺ رکي سگھجن ٿيون، جيڪي براڊ بينڊ ڪنيڪشن وارن صارفين لاءِ عملي آهن.

ڇا WebGPU 2026 ۾ برائوزرن ۽ ڊوائيسز تي وسيع طور تي سپورٽ ڪئي وئي آهي؟

WebGPU Chrome ۽ Edge ۾ مستحڪم حيثيت تي پهچي چڪو آهي، فائر فاڪس سپورٽ سان 2025 ۽ 2026 تائين ترقي سان شپنگ. موبائيل تي، سپورٽ ڊيوائس ۽ OS ورزن جي لحاظ کان مختلف ٿئي ٿي، پر MDST وانگر انجڻين ۾ WASM فال بيڪ يقيني بڻائي ٿي ته ڪارڪردگي محفوظ آهي جيتوڻيڪ GPU ايڪسلريشن دستياب ناهي. ڊيسڪ ٽاپ ماحول سان وقف ٿيل يا مربوط GPUs اڄ جي پيداوار جي مقرري لاءِ بهترين هدف جي نمائندگي ڪن ٿا.

براؤزر انفرنس جو مقابلو ڪلائوڊ API انفرنس سان رفتار جي لحاظ کان ڪيئن ٿيندو؟

ننڍن quantized ماڊلز لاءِ جديد صارفين جي هارڊويئر تي، برائوزر تي ٻڌل انفرنس 10-30 ٽوڪن في سيڪنڊ جي ذريعي حاصل ڪري سگھي ٿو، جيڪو نيٽ ورڪ گول-ٽريپ ليٽيسي کان سواءِ وچين درجي جي ڪلائوڊ API جوابي رفتار جي مقابلي ۾ آهي. پهرين ٽوڪن جي ويڪرائي اڪثر ڪري تيز هوندي آهي ڪلائوڊ انڊ پوائنٽس کان لوڊ هيٺ، ڇاڪاڻ ته اتي ڪا قطار نه آهي. وڏا ماڊل ۽ لوئر-اينڊ ڊيوائسز قدرتي طور تي گھٽ ٿي پوندا، ماڊل جي چونڊ ۽ مقدار جي سطح کي ڊولپرز لاءِ موجود پرائمري پرفارمنس ڊائل ٺاهيندي.


WebGPU، WebAssembly، ۽ GGUF ماڊل ايڪو سسٽم جو ڪنورجينس هڪ حقيقي انفليڪشن پوائنٽ ٺاهي رهيو آهي ته ڪيئن AI صلاحيتون ويب ايپليڪيشنن اندر پهچائي وينديون آهن. ڪاروبار جيڪي ڪلائنٽ-سائيڊ انفرنس فريم ورڪ کي ضم ڪرڻ لاءِ جلدي هلن ٿا جهڙوڪ MDST Engine هڪ پائيدار مقابلي وارو فائدو حاصل ڪندو - گهٽ آپريٽنگ خرچ، مضبوط رازداري ضمانتون، ۽ AI خاصيتون جيڪي ڪٿي به ڪم ڪن ٿيون، ڪنهن به ڪنيڪشن تي.

جيڪڏهن توهان هڪ ڪاروبار ٺاهي رهيا آهيو يا اسڪيلنگ ڪري رهيا آهيو ۽ توهان چاهيو ٿا ته اهڙي پليٽ فارم تائين رسائي حاصل ڪريو جنهن کي ان قسم جي اڳڀرائي واري آپريشنل ڪارڪردگيءَ لاءِ ٺاهيو ويو آهي، اپنا Mewayz سفر app.mewayz.com تي شروع ڪريو. 207 مربوط ماڊلز ۽ منصوبن سان گڏ $19 هر مهيني کان، Mewayz توهان جي ٽيم کي بنيادي ڍانچو ڏئي ٿو هوشيار هلائڻ لاءِ- اڄ ۽ جيئن ته AI صلاحيتون ترقي ڪنديون رهن ٿيون.