"Ko e lele 'a e AI inference 'i he browser 'oku 'ikai ke kei hoko ia ko ha fakamo'oni-'o e-fakakaukau 'o e fie'ilo-ko ha ngaohi-mo'ui 'a e 'atakai 'oku fefakatau'aki 'a e ngaahi fakamole 'o e 'ao centralized ki he decentralized 'o e kau faka'aonga'i 'o e hardware, 'o liliu fakalukufua pe ko hai 'oku ne fua 'a e kavenga fakakomipiuta 'o e ngaahi polokalama 'oku fakalele 'e he AI."

'Oku anga fefe hono ngaohi 'e he WebGPU mo e WASM 'a e AI 'i he Browser ke malava?

Mahino 'a e ngaahi makatu'unga fakatekinikale 'o e MDST Engine 'oku fie ma'u ha vakai nounou ki he ongo primitives 'o e browser tefito 'oku ne leverages. Ko e WebGPU 'a e fetongi 'o e WebGL, 'o 'omi 'a e GPU 'o e tu'unga ma'ulalo 'o e 'alunga fakahangatonu mei he JavaScript mo e WGSL shader code. 'Oku kehe mei hono mu'aki, 'Oku poupou'i 'e he WebGPU 'a e shaders 'o e fakafuofua, 'a ia ko e ngaahi hoosi ngaue 'o e ngaahi ngaue 'o e fakalahi 'o e matrix 'oku nau pule'i 'a e LLM inference. 'Oku 'uhinga 'eni 'e lava ke fakahoko 'e he MDST 'a e ngaahi ngaue 'o e tensor ki he GPU 'i ha founga 'oku fu'u fakafehoanaki, 'o a'usia 'a e throughput na'e 'ikai ke lava kimu'a 'i loto 'i ha puha 'one'one 'o e browser.

'Oku ngaue 'a e WebAssembly ko e fallback mo e taumu'a 'o e fakatahataha'i ki he tefito'i fakakaukau 'o e taimi lele 'o e misini. Ki he ngaahi device 'oku 'ikai ha poupou 'a e WebGPU-browsers motu'a ange, ngaahi 'atakai fe'ave'aki pa'anga, pe ngaahi tu'unga sivi 'o e 'ulu-'Oku 'omi 'e he WASM ha performant, layer fakahoko 'o e to'oto'o 'oku lele 'a e compiled C ++ pe Rust code 'i he vave 'oku mahulu hake 'aupito 'i he tu'unga JavaScript. Fakataha, WebGPU mo e WASM 'oku nau fa'u ha founga fakahoko tiered: GPU-'uluaki 'i he taimi 'oku ma'u ai, CPU-'i he-WASM 'i he taimi 'oku 'ikai.

Ko e hā ‘a e ngaahi sipinga ‘o e GGUF pea ko e hā ‘oku tefito ai ‘a e Founga ko iá ki he Founga ko ‘ení?

GGUF (GPT-Fakatupu 'a e Founga Fakatahataha'i) ko ha fotunga faile binary 'oku ne fakafonu 'a e ngaahi mamafa 'o e sipinga, fakamatala tokenizer, mo e metadata ki ha me'a faka'ofo'ofa 'e taha 'oku lava ke to'oto'o. Na'e 'uluaki fa'u ke poupou'i 'a e uta lelei 'i he llama.cpp, Na'e hoko 'a e GGUF ko e tu'unga de facto ki he ngaahi sipinga 'o e quantized 'o e mamafa 'o e fakaava koe'uhi he 'oku ne poupou'i 'a e ngaahi tu'unga quantization lahi-mei he 2-si'isi'i ki he 8-si'isi'i-'o faka'ata 'a e kau developers ke fili 'a e fefakatau'aki-'i he vaha'a 'o e lahi 'o e sipinga, manatu 'o e va'e, mo e tu'unga lelei 'o e output.

Ki he fakakaukau makatu'unga 'i he browser, 'oku 'ikai ko ha fili 'a e quantization-'oku mahu'inga. 'Oku fie ma'u 'e ha sipinga 'o e parameter 7B kakato-totonu 'a e fakafuofua ki he 14 GB 'o e manatu. 'I he Q4 quantization, 'oku fakasi'isi'i 'a e sipinga tatau ki he fakafuofua ki he 4 GB, pea 'i he Q2 'e lava ke holo hifo ia 'i lalo 'i he 2 GB. Ko e poupou 'a e MDST Engine ki he GGUF 'oku 'uhinga ia 'e lava ke faka'aonga'i fakahangatonu 'e he kau developers 'a e ecosystem lahi 'o e ngaahi sipinga 'oku 'osi-quantized 'o 'ikai ha toe sitepu liliu, 'o fakasi'isi'i lahi 'a e pa ki he fakataha'i.

Ko e hā ʻa e ngaahi keisi fakaʻaongaʻi ʻo e māmani moʻoní ki he ngaahi pisinisi ʻoku nau fakalele ʻa e ngaahi sipinga ʻo e GGUF ʻi he Browser?

Ko e ngaahi polokalama 'aonga 'o e inference GGUF 'i he browser 'oku span 'a e meimei 'o e ngaahi ngaue'anga kotoa pe 'oku tu'u hangatonu. Ko e ngaahi pisinisi 'oku nau 'ave 'a e founga ko 'eni 'oku nau fakaava 'a e ngaahi malava na'e 'i ai kimu'a 'a e fakamole-tapui pe fakapulipuli-'ikai ke fe'unga mo e ngaahi fakalelei'anga 'o e 'ao AI. Ko e ngaahi keisi faka'aonga'i tefito 'oku kau ai:

• Kau tokoni AI 'oku malava ke nau 'i tu'a mei he 'initaneti: Poupou'i 'e he kasitomaa 'a e chatbots mo e ngaahi 'ilo 'i loto 'oku kei ngaue kakato 'o 'ikai ha fehokotaki'anga 'initaneti, 'oku lelei 'aupito ki he ngaahi timi 'o e mala'e mo e ngaahi 'atakai mama'o.
• 'Analaiso 'o e ngaahi tohi fakafo'ituitui: Ngaahi ngaue fakalao, fakafaito'o, mo fakapa'anga 'a ia kuo pau ke 'oua na'a teitei mavahe 'a e ngaahi tohi mahu'inga mei he me'angaue 'a e tokotaha 'oku ne ngaue'aki, ka 'oku kei ma'u 'aonga mei he fakanounou mo e to'o 'oku fakalele 'e he AI.
• To'utangata 'o e kakano 'i he taimi mo'oni: Ngaahi timi fakamaketi 'oku nau ngaohi 'a e tatau fakafo'ituitui, fakamatala 'o e koloa, pe kakano 'o e mitia fakasosiale 'i he zero marginal inference totongi, 'i loto hangatonu 'i he'enau ngaahi me'angaue 'oku makatu'unga 'i he browser.
• Ngaahi tokoni fakakouti 'oku fakahoko 'e he Edge: Ngaahi me'angaue 'o e ngaue 'a e kau fakalakalaka 'oku nau 'omi 'a e fakakakato 'o e kouti mo e fakamatala 'o 'ikai ke fakahoko 'a e ngaahi kouti 'o e 'ea ki he ngaahi API 'i tu'a.
• Ngaahi tu'unga fakaako: Ngaahi sisitemi ako'i 'oku fe'unga 'oku lele fakalotofonua 'i he ngaahi device 'a e kau ako, 'o faka'ata 'a e ngaahi fakakaukau 'oku fakalele 'e he AI 'i he ngaahi 'atakai 'oku ma'ulalo 'a e bandwidth pe fakangatangata 'a e fakamatala.

'E lava fēfē ke fakataha'i 'e he ngaahi tu'unga hange ko e Mewayz 'a e ngaahi malava 'o e misini MDST ki honau 'Ekosisitemi?

Mewayz, 'a e kotoa-'i he-taha 207-module pisinisi 'a e sisitemi ngaue 'oku falala'anga 'e he kau faka'aonga'i 'o e 138,000 'i he ngaahi tiers 'o e totongi 'o kamata 'i he $19 'i he mahina, ko e fa'ahinga tonu 'o e tu'unga 'oku tu'u ke ma'u 'a e lahi taha mei he ngaahi tekinolosia 'o e inference AI 'i he browser hange ko e MDST Engine. 'I he ngaahi modules 'oku 'i ai 'a e CRM, e-commerce, pule'i 'o e kakano, analytics, fengaue'aki 'a e timi, mo e lahi ange, 'Oku 'osi fakatefito 'e he Mewayz 'a e loto ngaue 'o e ngaahi pisinisi 'e lauiafe.

Ko hono fakahu 'o e ngaahi malava 'o e MDST Engine ki ha tu'unga hange ko e Mewayz 'e faka'ata ai 'a e kau faka'aonga'i ke nau fakalele 'a e ngaahi ngaue 'oku tokoni'i 'e he AI-fakatupu 'a e ngaahi fakamatala 'o e koloa, fa'u 'a e ngaahi fetu'utaki 'a e kau kasitomaa, fakanounou'i 'a e ngaahi lipooti, pe 'analaiso 'a e fakamatala-'o 'ikai ha taimi 'e 'ave ai 'a e fakamatala mahu'inga ki he pisinisi ki ha tokotaha 'oku ne 'omi 'a e AI 'a e paati hono tolu. Koe'uhi 'oku lele 'a e inference 'i he tafa'aki 'o e client, 'Oku ola lelei 'a e totongi marginal 'o e tokotaha-faka'aonga'i ki he tokotaha 'oku ne 'omi 'a e peletifoomu 'oku 'ikai ha me'a, 'o 'ai ai ke faka'ekonomika ke foaki 'a e ngaahi fotunga 'o e AI na'a mo e tier 'o e totongi ma'ulalo taha. 'Oku fakatemokalati 'e he me'a ni 'a e 'alunga ki he 'otometiki 'atamai 'i he kotoa 'o e kau faka'aonga'i kae 'ikai ko hono ta'ofi ia ki he kau ma'u palani premium.

Ngaahi Fehuʻi ʻoku Faʻa ʻEke

Ko hono fakalele 'o ha sipinga GGUF 'i he browser 'oku fie ma'u ke download 'e he kau faka'aonga'i 'a e ngaahi faile lalahi?

'Io, kuo pau ke download 'a e ngaahi faile fakatata 'o e GGUF ki he browser kimu'a pea toki kamata 'a e inference, ka 'oku faka'aonga'i 'e he ngaahi fakahoko fakaonopooni 'a e fakalakalaka 'o e streaming mo e browser cache APIs ke ngaohi 'eni ko ha ngaue taimi 'e taha. Hili 'a e 'uluaki download, 'Oku cached 'a e sipinga 'i he feitu'u pea 'oku uta 'e he ngaahi fakataha kimui ange 'o ofi-'i he taimi pe ko ia. Ko e ngaahi kehekehe quantized iiki ange—Q4 pe Q2—‘e lava ke tauhi ia ‘i lalo ‘i he 2–4 GB, ‘a ia ‘oku ‘aonga ki he kau faka‘aonga‘i ‘oku ‘i ai ‘enau ngaahi fehokotaki‘anga broadband.

'Oku poupou'i lahi 'a e WebGPU 'i he ngaahi browser mo e ngaahi device 'i he 2026?

Kuo a'u 'a e WebGPU ki he tu'unga tu'uma'u 'i he Chrome mo e Edge, mo e poupou 'a e Firefox 'oku fakalakalaka 'a e vaka 'o a'u ki he 2025 pea ki he 2026. 'I he telefoni to'oto'o, 'oku kehekehe 'a e poupou 'i he device mo e OS version, ka 'oku fakapapau'i 'e he WASM fallback 'i he ngaahi misini hange ko e MDST 'oku fakatolonga 'a e ngaue na'a mo e taimi 'oku GPUva acceilable. 'Oku fakafofonga'i 'e he ngaahi 'atakai 'o e desktop mo e GPUs fakatapui pe fakataha'i 'a e taumu'a lelei taha ki he ngaahi deployments 'o e ngaohi'anga koloa 'i he 'aho ni.

'Oku anga fefe hono fakafehoanaki 'o e fakakaukau 'i he browser ki he fakakaukau 'o e API 'o e 'ao 'i he tu'unga 'o e vave?

Ki he ngaahi sipinga quantized iiki ange 'i he ngaahi naunau 'o e kau fakatau fakaonopooni, 'e lava ke a'usia 'e he inference 'oku makatu'unga 'i he browser 'a e throughput 'o e 10-30 ngaahi faka'ilonga 'i he sekoni, 'a ia 'oku fakafehoanaki ki he vave 'o e tali 'o e 'ao API 'o e lotolotonga 'o e tier 'o 'ikai ha latency 'o e netiueka takai-fononga. 'Oku fa'a vave ange 'a e latency 'uluaki-token 'i he ngaahi ngata'anga 'o e 'ao 'i he lalo kavenga, talu mei he 'ikai ha laine. 'E fakanatula 'a e sio 'a e ngaahi sipinga lalahi ange mo e ngaahi device 'o e ngata'anga ma'ulalo ange ki he fakasi'isi'i 'o e throughput, 'o 'ai 'a e fili 'o e sipinga mo e tu'unga quantization 'a e ngaahi dials fakahoko ngaue tefito 'oku ma'u 'e he kau developers.