Hacker News

MDST Engine: mandehana modely GGUF amin'ny navigateur miaraka amin'ny WebGPU/WASM

MDST Engine: mandehana modely GGUF amin'ny navigateur miaraka amin'ny WebGPU/WASM Ity fikarohana ity dia miditra ao amin'ny mdst, mandinika ny maha-zava-dehibe azy sy ny mety ho fiantraikany. Hevitra fototra voarakitra Ity atiny ity dia mikaroka: Fitsipika fototra sy teoria ...

9 min read Via mdst.app

Mewayz Team

Editorial Team

Hacker News

Motera MDST: Mandehana modely GGUF ao amin'ny navigateur miaraka amin'ny WebGPU/WASM

Ny motera MDST dia fotoam-pivoarana vao misondrotra ahafahan'ny mpamorona sy ny orinasa manatanteraka ny maodely fiteny lehibe miendrika GGUF mivantana ao anatin'ny mpitety tranonkala mampiasa WebGPU sy WebAssembly (WASM), manafoana ny filana mpizara voatokana na rahona GPU. Ity fiovàna mankany amin'ny inference AI amin'ny lafiny mpanjifa tanteraka ity dia mamerina manoratra ny fitsipiky ny fomba fanaterana ireo endri-javatra manan-tsaina amin'ny rindranasa an-tranonkala, ka mahatonga ny AI manokana sy ambany elany ho azon'ny olona rehetra manana navigateur maoderina.

Inona marina moa ny maotera MDST ary nahoana no zava-dehibe izany?

MDST Engine dia rafitra fandraisan'anjaran'ny AI avy amin'ny navigateur natao hametahana sy hampandehanana ireo maodely GGUF voafantina—ilay endrika nalaza tamin'ny tetikasa toy ny llama.cpp—mivantana ao anatin'ny tontolon'ny tranonkala. Raha tokony handefa ny fangatahana AI rehetra amin'ny alàlan'ny teboka rahona ny MDST, ny MDST dia manatanteraka famintinana maodely amin'ny fitaovan'ny mpampiasa azy amin'ny alàlan'ny WebGPU API an'ny mpitety tranonkala ho an'ny kajy accelerated GPU sy WebAssembly ho an'ny fampandehanana famerenan'ny CPU akaiky ny teratany.

Manan-danja lehibe izany noho ny antony maro. Voalohany, esoriny ny fahatarana mandeha mihodikodina mifandraika amin'ny fanatsoahan-kevitry ny mpizara. Faharoa, mitazona ny angon-drakitra mpampiasa saro-pady amin'ny fitaovana izy io, izay tombontsoa manokana ho an'ny orinasa sy ny mpanjifa. Fahatelo, mampihena be ny vidin'ny fotodrafitrasa ho an'ireo orinasa izay handoa isaky ny fiantsoana API na hihazona ny tarika GPU azy manokana.

"Ny fampandehanana AI inference ao amin'ny navigateur dia tsy porofom-piheverana te-hahafantatra intsony - dia maritrano azo ampiasaina amin'ny famokarana izay manakalo ny vidin'ny rahona afovoany ho an'ny fitaovana ampiasain'ny mpampiasa, izay manova tanteraka izay mitondra ny enta-mavesatry ny kajy amin'ny rindranasa AI."

Ahoana no fomba ahafahan'ny WebGPU sy WASM manao AI amin'ny mpitety tranonkala?

Ny fahafantarana ny fototra ara-teknika an'ny MDST Engine dia mila fijerena fohy ireo navigateur fototra roa ampiasainy. WebGPU no mpandimby an'i WebGL, manome fidirana GPU ambany indrindra avy amin'ny JavaScript sy WGSL shader code. Tsy toy ny teo alohany, ny WebGPU dia manohana ny shaders compute, izay miasa amin'ny asa fampitomboana matrices izay manjaka amin'ny inference LLM. Midika izany fa ny MDST dia afaka mandefa ny asa tensor amin'ny GPU amin'ny fomba mifanitsy indrindra, ka mahatratra ny fidirana izay tsy azo atao teo aloha tao anaty boaty fasika navigateur.

WebAssembly dia toy ny fiatoana sy tanjona fanangonana ho an'ny lojikan'ny fotoan'ny motera. Ho an'ireo fitaovana tsy manana fanohanana WebGPU — mpitety tranonkala taloha, tontolo finday sasany, na tontolon'ny fitiliana tsy misy lohany — WASM dia manome sosona famonoana azo entina mandehandeha izay mihazakazaka C++ na kaody Rust natambatra amin'ny hafainganam-pandeha mihoatra lavitra noho ny JavaScript mahazatra. Ny WebGPU sy ny WASM miaraka dia mamorona paikadin'ny fanatanterahana ambaratonga: GPU-voalohany rehefa misy, CPU-via-WASM rehefa tsy misy.

Inona no atao hoe maodely GGUF ary nahoana io endrika io no ivon'ity fomba fiasa ity?

GGUF (GPT-Generated Unified Format) dia endrika rakitra mimari-droa izay mametaka ny lanja maodely, ny angona tokenizer, ary ny metadata ho lasa artifact portable tokana. Namboarina mba hanohanana ny fampandehanana mahomby amin'ny llama.cpp ny GGUF, lasa fenitra manokana ho an'ny maodely lanja misokatra voafantina satria izy io dia manohana ambaratonga maromaro—avy amin'ny 2-bit ka hatramin'ny 8-bit—mamela ny mpamorona hisafidy ny fifanakalozam-barotra eo amin'ny haben'ny modely, ny dian-tongotra fitadidiana ary ny kalitaon'ny vokatra.

Ho an'ny fanatsoahan-kevitra mifototra amin'ny navigateur, dia tsy voatery ho azo atao ny famenoana - tena ilaina izany. Ny modely masontsivana 7B tena marina dia mila fitadidiana 14 GB eo ho eo. Amin'ny fampitomboana Q4, io modely io ihany dia mihena ho 4 GB eo ho eo, ary amin'ny Q2 dia mety hidina ambanin'ny 2 GB. Ny fanohanan'ny MDST Engine ho an'ny GGUF dia midika fa afaka mampiasa mivantana ny ekôsistema goavana amin'ny maodely efa voatanisa ny mpamorona nefa tsy misy dingana fiovam-po fanampiny, mampihena be ny sakana amin'ny fampidirana.

💡 DID YOU KNOW?

Mewayz replaces 8+ business tools in one platform

CRM · Invoicing · HR · Projects · Booking · eCommerce · POS · Analytics. Free forever plan available.

Start Free →

Inona avy ireo trangan-javatra fampiasa eran-tany ho an'ny orinasa mitantana maodely GGUF ao amin'ny navigateur?

Ny fampiharana azo ampiharina amin'ny fanatsoahan-kevitra GGUF ao anaty navigateur dia saika manerana ny indostria rehetra. Ny orinasa mampiasa an'io fomba io dia manokatra ny fahafaha-manaon'ny sarany na ny fiainana manokana tsy mifanaraka amin'ny vahaolana rahona AI. Ny tranga fampiasa lehibe dia ahitana:

  • Mpanampiana AI afaka an-tserasera: Ny chatbots manohana ny mpanjifa sy ny toby fahalalana anatiny izay mbola miasa tanteraka tsy misy fifandraisana Internet, mety tsara ho an'ny ekipa eny an-tsaha sy ny tontolo lavitra.
  • Famakafakana antontan-taratasy tsy miankina: Fomba fiasa ara-dalàna, ara-pitsaboana ary ara-bola izay tsy tokony hialana amin'ny fitaovan'ny mpampiasa mihitsy ny antontan-taratasy saro-pady, kanefa mbola mahazo tombony amin'ny famintinana sy fitrandrahana avy amin'ny AI.
  • Famoronana votoaty amin'ny fotoana tena izy: Ny ekipan'ny varotra mamokatra dika manokana, famaritana ny vokatra, na votoaty amin'ny media sosialy amin'ny sandan'ny fanatsoahan-kevitra tsy misy sisiny, mivantana ao anatin'ny fitaovany mifototra amin'ny navigateur.
  • Mpanampy kaody ampiasaina amin'ny sisiny: Fitaovana famokarana mpamokatra izay manome famenoana sy fanazavana kaody nefa tsy mamindra ny fototry ny kaody fananany amin'ny API ivelany.
  • Sehatra fanabeazana: Rafitra fampianarana adaptatera izay mandeha eo an-toerana amin'ny fitaovan'ny mpianatra, ahafahan'ny fanehoan-kevitra entin'ny AI amin'ny tontolo manana bandwidth ambany na voafetra ny angona.

Ahoana no ahafahan'ny sehatra toa an'i Mewayz hampiditra ny fahaizan'ny maotera MDST ao amin'ny tontolo iainany?

Mewayz, ny rafitra fiasan'ny orinasa 207-module rehetra atokisan'ny mpampiasa 138,000 mahery manerana ny sandan'ny vidiny manomboka amin'ny $19 isam-bolana, no karazana sehatra izay mahazo tombony betsaka indrindra amin'ny teknolojia inference AI ao anaty navigateur toa ny MDST Engine. Miaraka amin'ny maodely momba ny CRM, ny e-varotra, ny fitantanana votoaty, ny fanadihadiana, ny fiaraha-miasa amin'ny ekipa, ary ny maro hafa, Mewayz dia efa mampifantoka ny fo miasa amin'ny orinasa an'arivony.

Ny fampidirana ny fahaizan'ny MDST Engine ao amin'ny sehatra toa an'i Mewayz dia ahafahan'ny mpampiasa mampandeha ny rindranasan'asa ampian'ny AI—mamorona famaritana ny vokatra, mamolavola fifandraisana amin'ny mpanjifa, mamintina ny tatitra, na mamakafaka angona—tsy misy mandefa angon-drakitra manakiana raharaham-barotra amin'ny mpamatsy AI antoko fahatelo. Satria ny inference dia mandeha amin'ny lafiny mpanjifa, ny vidin'ny marginal isaky ny mpampiasa amin'ny mpanome sehatra dia aotra tsara, mahatonga azy io ho azo atao ara-toekarena ny manolotra endri-javatra AI na dia amin'ny ambaratonga ambany indrindra aza. Izany dia manara-maso ny fidirana amin'ny automatique manan-tsaina manerana ny tobin'ny mpampiasa manontolo fa tsy mitahiry izany ho an'ny tompon'ny drafitra premium.

Fanontaniana matetika

Moa ve ny fampandehanana ny maodely GGUF ao amin'ny navigateur mitaky ny mpampiasa hisintona rakitra lehibe?

Eny, ny rakitra maodely GGUF dia tsy maintsy alaina ao amin'ny navigateur alohan'ny hanombohan'ny fanatsoahan-kevitra, fa ny fampiharana maoderina dia mampiasa streaming mandroso sy API cache amin'ny navigateur mba hanaovana izany indray mandeha. Aorian'ny fampidinana voalohany, ny maodely dia voatahiry ao an-toerana ary ny fotoam-pivoriana manaraka dia alefa akaiky. Ny variana bitika kokoa—Q4 na Q2—dia azo tehirizina ao ambanin'ny 2-4 GB, izay azo ampiharina ho an'ireo mpampiasa manana fifandraisana amin'ny broadband.

Moa ve ny WebGPU tohanana betsaka amin'ny navigateur sy fitaovana amin'ny 2026?

WebGPU dia tonga amin'ny toeran'ny stable ao amin'ny Chrome sy Edge, miaraka amin'ny fanohanan'ny Firefox ny fandefasana tsikelikely hatramin'ny taona 2025 ka hatramin'ny 2026. Amin'ny finday, ny fanohanana dia miovaova arakaraka ny fitaovana sy ny dikan'ny OS, fa ny fianjeran'ny WASM amin'ny maotera toa ny MDST dia miantoka fa voatahiry ny fiasa na dia tsy misy aza ny hafainganam-pandehan'ny GPU. Ny tontolo desktop miaraka amin'ny GPU voatokana na mitambatra no tena tanjona tsara indrindra amin'ny fametrahana famokarana ankehitriny.

Ahoana ny fampitahana ny famintinana ao anaty navigateur amin'ny famintinana cloud API amin'ny resaka hafainganam-pandeha?

Ho an'ny maodely bitika kokoa amin'ny fitaovan'ny mpanjifa maoderina, ny famintinana mifototra amin'ny navigateur dia afaka mahatratra 10-30 isa-tsegondra ny famarotana, izay azo ampitahaina amin'ny hafainganam-pandehan'ny rahona API antonony tsy misy ny fahatarana mandeha amin'ny tambajotra. Matetika haingana kokoa noho ireo teboka fiafaran'ny rahona eo ambanin'ny entana ny fanerena token voalohany, satria tsy misy filaharana. Ny maodely lehibe kokoa sy ny fitaovana ambany kokoa dia hahita fihenam-bidy ho azy, ka mahatonga ny fifantenana ny maodely sy ny haavon'ny famenoana ho toy ny dial fampisehoana voalohany azon'ny mpamorona.


Ny fiombonan'ny WebGPU, WebAssembly, ary ny ekôsistema modely GGUF dia mamorona teboka mivadika marina amin'ny fomba fampitana ny fahaizan'ny AI ao anatin'ny rindranasa tranonkala. Hahazo tombony amin'ny fifaninanana maharitra ny orinasa izay mandroso aloha mba hampidirana ireo rafitra fandraisan'anjaran'ny mpanjifa toa an'i MDST Engine—ambany ny vidin'ny fampandehanana, ny fiantohana ny fiainana manokana ary ny endri-javatra AI izay miasa na aiza na aiza, amin'ny fifandraisana rehetra.

Raha manorina na manitatra orinasa ianao ary maniry ny hiditra amin'ny sehatra novolavolaina ho an'ity karazana fampandehanan-draharaha ity, manomboka ny dianao Mewayz ao amin'ny app.mewayz.com. Miaraka amin'ny maody sy drafitra 207 mitambatra manomboka amin'ny $19 isam-bolana, ny Mewayz dia manome ny ekipanao ny fotodrafitrasa mba hiasa marani-tsaina kokoa—ankehitriny ary raha mbola mivoatra hatrany ny fahaizan'ny AI.