Hacker News

Injin MDST: jiri WebGPU/WASM mee ụdị GGUF n'ime ihe nchọgharị

Injin MDST: jiri WebGPU/WASM mee ụdị GGUF n'ime ihe nchọgharị Nchọgharị a na-abanye n'ime mdst, na-enyocha mkpa ya na mmetụta ọ nwere. Ekpuchiri echiche isi Isi ihe a na-enyocha: Ụkpụrụ na echiche ndị bụ isi ...

10 min read Via mdst.app

Mewayz Team

Editorial Team

Hacker News

Injin MDST: Gbaa ụdị GGUF n'ime ihe nchọgharị na WebGPU/WASM

Injin MDST bụ oge na-apụta nke na-enyere ndị mmepe na azụmaahịa aka ime GGUF-ụdị nnukwu ụdị asụsụ ozugbo n'ime ihe nchọgharị site na iji WebGPU na WebAssembly (WASM), na-ewepụ mkpa maka sava raara onwe ya nye ma ọ bụ GPU igwe ojii. Mgbanwe a na ntinye aka AI zuru oke nke ndị ahịa na-edegharị iwu nke otu esi ewepụta njirimara ọgụgụ isi na ngwa webụ, na-eme ka AI nwere ike ịnweta onye ọ bụla nwere ihe nchọgharị ọgbara ọhụrụ.

Gịnị kpọmkwem bụ MDST Engine na Gịnị mere o ji dị mkpa?

MDST Engine bụ ihe nrụnye ihe nchọgharị-nwaafọ AI emebere iji buo ma na-agba ọsọ ụdị GGUF atụpụtara—otu usoro a na-ewu ewu site na ọrụ dịka llama.cpp—kpọmkwem n'ime ọnọdụ weebụ. Kama ibugharị arịrịọ AI ọ bụla site na njedebe igwe ojii, MDST na-eme ntinye ihe nlere anya na ngwaike nke onye ọrụ site na iji WebGPU API nke ihe nchọgharị maka mgbakọ GPU-accelerated na WebAssembly maka arụmọrụ ọdịda CPU dị nso.

Nke a dị oke mkpa maka ọtụtụ ihe kpatara ya. Nke mbụ, ọ na-ewepụ nkwụsịtụ njem okirikiri nke dị na ntinye n'akụkụ nkesa. Nke abụọ, ọ na-edobe data onye ọrụ nwere mmetụta nke ọma na ngwaọrụ, nke bụ uru nzuzo dị oke mkpa maka ụlọ ọrụ yana ngwa ndị ahịa. Nke atọ, ọ na-ebelata n'ike n'ike ụgwọ akụrụngwa maka azụmahịa ndị ga-akwụ ụgwọ kwa oku API ma ọ bụ na-edobe ụyọkọ GPU nke ha.

"Ịgba ọsọ AI n'ime ihe nchọgharị ahụ abụghịzi ọchịchọ ịmata ihe na-egosi - ọ bụ mmepụta ihe na-arụ ọrụ nke na-ere ahịa ígwé ojii na-akwụ ụgwọ maka ngwaike onye ọrụ, na-agbanwe na-agbanwe onye na-ebu ibu mgbakọ nke ngwa AI kwadoro."

Kedu ka WebGPU na WASM si eme ka AI n'ime ihe nchọgharị ga-ekwe omume?

Ịghọta teknuzu nkwado nke MDST Engine chọrọ nleba anya nkenke na isi ihe nchọgharị abụọ ọ na-eji. WebGPU bụ onye nọchiri anya WebGL, na-enye ohere GPU dị ala ozugbo site na Javascript na koodu shader WGSL. N'adịghị ka onye bu ya ụzọ, WebGPU na-akwado ịgbakọ shaders, nke bụ ọrụ arụrụ arụ ọrụ ịba ụba nke matrix nke na-achịkwa ntinye LLM. Nke a pụtara na MDST nwere ike izipu arụmọrụ tensor na GPU n'ụzọ yiri nke ukwuu, na-enweta mmepụta nke na-agaghị ekwe omume na mbụ n'ime igbe ihe nchọgharị.

WebAssembly na-eje ozi dị ka ndaghachi azụ na ebumnuche mkpokọta maka mgbagha mgbanaka oge nke injin. Maka ngwaọrụ enweghị nkwado WebGPU-ihe nchọgharị ochie, ụfọdụ gburugburu ekwentị mkpanaaka, ma ọ bụ ọnọdụ nnwale na-enweghị isi—WASM na-enye oyi akwa mkpochapụ nke na-agba ọsọ C++ ma ọ bụ koodu nchara n'ọsọ karịa Javascript ọkọlọtọ. Ọnụ, WebGPU na WASM na-etolite atụmatụ igbu oge: GPU-mbụ mgbe ọ dị, CPU-site-WASM mgbe ọ na-adịghị.

Gịnị bụ ụdị GGUF na gịnị kpatara usoro ahụ ji bụrụ Central na Ụzọ a?

GGUF (GPT-generated Unified Format) bụ usoro faịlụ ọnụọgụ abụọ na-achịkọta nha ụdị, data tokenizer, na metadata n'ime otu ihe eji ebugharị. N'ịbụ nke e mere iji kwado ntinye nke ọma na llama.cpp, GGUF ghọrọ ọkọlọtọ de facto maka ụdị mmeghe dị arọ n'ihi na ọ na-akwado ọtụtụ ọkwa quantization-site na 2-bit ruo 8-bit-ekwe ka ndị mmepe họrọ ahia-apụ n'etiti nha nlereanya, akara ukwu ebe nchekwa, na àgwà mmepụta.

Maka nrụtụ aka dabere na ihe nchọgharị, ọnụọgụ abụghị nhọrọ — ọ dị mkpa. Ụdị paramita 7B zuru oke chọrọ ebe nchekwa 14 GB. Na quantization Q4, otu ihe nlereanya ahụ na-adaba na ihe dịka 4 GB, na na Q2 ọ nwere ike ịdaba n'okpuru 2 GB. Nkwado MDST Engine maka GGUF pụtara na ndị mmepe nwere ike iji nnukwu gburugburu ebe obibi nke ụdị atụgoro ọnụ na-enweghị usoro ntụgharị ọ bụla ọzọ, na-ewetu ihe mgbochi na njikọta.

💡 DID YOU KNOW?

Mewayz replaces 8+ business tools in one platform

CRM · Invoicing · HR · Projects · Booking · eCommerce · POS · Analytics. Free forever plan available.

Start Free →

Kedu ihe bụ ikpe eji eme ihe n'ezie n'ụwa maka azụmaahịa na-agba ụdị GGUF n'ime ihe nchọgharị ahụ?

Ngwa bara uru nke nchọgharị GGUF n'ihe fọrọ nke nta ka ọ bụrụ ụlọ ọrụ ọ bụla kwụ ọtọ. Azụmahịa na-agbaso usoro a na-emeghe ikike ndị na-adịghị akwụ ụgwọ na mbụ ma ọ bụ nzuzo na-ekwekọghị na ngwọta igwe ojii AI. Isi ihe eji eme ihe gụnyere:

  • Ndị enyemaka AI nwere ike na-anọghị n'ịntanetị: Nkwado ndị ahịa na-akwado chatbots na ntọala ihe ọmụma dị n'ime nke na-anọgide na-arụ ọrụ nke ọma na-enweghị njikọ ịntanetị, dị mma maka ndị otu egwuregwu na gburugburu ebe dịpụrụ adịpụ.
  • Ntụle akwụkwọ nkeonwe: Usoro iwu, ahụike na ego na-arụ ọrụ ebe akwụkwọ ndị nwere mmetụta na-agaghị ahapụ ngwaọrụ onye ọrụ, ma ka na-erite uru na nchịkọta na mmịpụta AI kwadoro.
  • Ọgbọ ọdịnaya nke oge: Otu ndị na-ere ahịa na-emepụta nnomi ahaziri ahazi, nkọwa ngwaahịa, ma ọ bụ ọdịnaya mgbasa ozi ọha n'ọnụ ego efu, ozugbo n'ime ngwa ihe nchọgharị ha dabere.
  • Ege-deployed coding assistant: Ngwa ndị nrụpụta na-enye mmecha koodu yana nkọwa na-ebunyeghị koodu nzuzo na API mpụga.
  • Ngwaọrụ nkuzi: Usoro nkuzi na-agbanwe agbanwe nke na-arụ na mpaghara na ngwaọrụ ụmụ akwụkwọ, na-eme ka nzaghachi AI na-eduzi na obere bandwit ma ọ bụ gburugburu data amachibidoro.

Kedu ka Platforms Dị ka Mewayz ga-esi tinye ike injin MDST n'ime gburugburu ebe obibi ha?

Mewayz, ihe niile na-na-otu 207-modul azụmahịa sistemụ arụmọrụ tụkwasịrị obi n'elu 138,000 ọrụ gafee price tiers malite na $19 kwa ọnwa, bụ kpọmkwem ụdị ikpo okwu na-eguzo iji nweta kasị site na nchọgharị AI inference teknụzụ dị ka MDST Engine. Site na modul na-agbasa CRM, e-azụmahịa, njikwa ọdịnaya, nyocha, imekọ ihe ọnụ, na ndị ọzọ, Mewayz ewepụtalarị nkụja obi arụ ọrụ nke puku kwuru puku azụmaahịa.

Ịtinye ikike MDST Engine n'ime ikpo okwu dị ka Mewayz ga-ekwe ka ndị ọrụ na-agba ọsọ AI-enyere aka na-arụ ọrụ na-arụ ọrụ-na-emepụta nkọwa ngwaahịa, na-edepụta mgbasa ozi ndị ahịa, na-achịkọta akụkọ, ma ọ bụ nyochaa data-na-enweghị ezipụ data azụmahịa dị mkpa na onye na-eweta AI nke atọ. N'ihi na ntinye aka na-agba ọsọ n'akụkụ ndị ahịa, ọnụ ahịa onye ọ bụla na-enye onye na-eweta ikpo okwu bụ efu efu, na-eme ka ọ bụrụ nke ọma n'ụzọ akụ na ụba ịnye atụmatụ AI ọbụlagodi na ọkwa ntinye aha kacha ala. Nke a na-akwalite ohere ịnweta akpaaka nwere ọgụgụ isi n'ofe ndị ọrụ niile kama idokwa ya maka ndị na-ejide atụmatụ adịchaghị.

Ajụjụ a na-ajụkarị

Ọ na-eme ụdị GGUF na ihe nchọgharị ahụ chọrọ ndị ọrụ ka ha budata nnukwu faịlụ?

Ee, a ga-ebudata faịlụ ụdị GGUF na ihe nchọgharị ahụ tupu mmalite mmalite, mana mmemme ọgbara ọhụrụ na-eji API na-aga n'ihu na cache ihe nchọgharị iji mee ka nke a bụrụ ọrụ otu oge. Mgbe nbudata mbụ ahụ gasịrị, a na-echekwa ihe nlereanya a na mpaghara ma na-esote oge na-abịaru nso ozugbo. Enwere ike idobe ụdị dị iche iche nke pere mpe-Q4 ma ọ bụ Q2 n'okpuru 2–4 GB, nke bara uru maka ndị ọrụ nwere njikọ brọdband.

A na-akwado WebGPU n'ofe ihe nchọgharị na ngwaọrụ na 2026?

WebGPU erutela ọnọdụ kwụsiri ike na Chrome na Edge, yana nkwado Firefox na-ebuga nke nta nke nta site na 2025 wee banye 2026. Na mkpanaka, nkwado dị iche iche site na ngwaọrụ na ụdị OS, mana ọdịda WASM dị na injin dị ka MDST na-eme ka a hụ na a na-echekwa ọrụ ọbụlagodi mgbe ngwangwa GPU adịghị. Gburugburu desktọpụ nwere GPU raara onwe ya nye ma ọ bụ agbakwunyere na-anọchite anya ebumnuche kacha mma maka mbugharị mmepụta taa.

Olee otu ntinye n'ime ihe nchọgharị si atụnyere ntụnye igwe ojii API n'ihe gbasara ọsọ?

Maka ụdị dị ntakịrị na ngwa ngwa nke ndị ahịa ọgbara ọhụrụ, ntinye n'ihe nchọgharị nwere ike nweta nsonaazụ 10-30 token kwa nkeji, nke a na-atụnyere ọsọ nzaghachi API igwe ojii etiti na-enweghị nkwụsị njem netwọk. Latency nke mbụ na-adịkarị ngwa ngwa karịa ebe njedebe igwe ojii dị n'okpuru ibu, ebe ọ bụ na enweghị kwụ n'ahịrị. Model buru ibu na ngwaọrụ ndị dị ala ga-ahụrịrị ka mbelata mmepụta ya, na-eme nhọrọ nlereanya na nha nha dị ka ọkpụkpọ ọrụ izizi dị maka ndị mmepe.


Nkwekọrịta nke WebGPU, WebAssembly, na usoro gburugburu ebe obibi nke GGUF na-emepụta ezigbo ihe ntụgharị maka otu esi ebufe ikike AI n'ime ngwa weebụ. Azụmahịa ndị na-aga n'ihu iji jikọta usoro ntinye aka nke ndị ahịa dị ka MDST Engine ga-enweta uru asọmpi na-adịgide adịgide - ụgwọ ọrụ dị ala, nkwenye nzuzo siri ike, yana njirimara AI na-arụ ọrụ ebe ọ bụla, na njikọ ọ bụla.

Ọ bụrụ na ị na-ewu ma ọ bụ na-emeziwanye azụmahịa ma chọọ ịnweta ikpo okwu emebere ya maka ụdị nrụpụta ọrụ a na-atụ anya n'ihu, bido njem Mewayz gị na app.mewayz.com. Site na modul 207 jikọtara ọnụ na atụmatụ sitere na $19 kwa ọnwa, Mewayz na-enye ndị otu gị akụrụngwa iji rụọ ọrụ nke ọma - taa na ka ikike AI na-aga n'ihu na-etolite.