Hacker News

MDST എഞ്ചിൻ: WebGPU/WASM ഉപയോഗിച്ച് ബ്രൗസറിൽ GGUF മോഡലുകൾ പ്രവർത്തിപ്പിക്കുക

MDST എഞ്ചിൻ: WebGPU/WASM ഉപയോഗിച്ച് ബ്രൗസറിൽ GGUF മോഡലുകൾ പ്രവർത്തിപ്പിക്കുക ഈ പര്യവേക്ഷണം mdst-ലേക്ക് കടക്കുന്നു, അതിൻ്റെ പ്രാധാന്യവും സാധ്യതയുള്ള സ്വാധീനവും പരിശോധിക്കുന്നു. പ്രധാന ആശയങ്ങൾ ഉൾക്കൊള്ളുന്നു ഈ ഉള്ളടക്കം പര്യവേക്ഷണം ചെയ്യുന്നു: അടിസ്ഥാന തത്വങ്ങളും സിദ്ധാന്തങ്ങളും ...

1 min read Via mdst.app

Mewayz Team

Editorial Team

Hacker News

MDST എഞ്ചിൻ: WebGPU/WASM ഉപയോഗിച്ച് ബ്രൗസറിൽ GGUF മോഡലുകൾ പ്രവർത്തിപ്പിക്കുക

ഒരു സമർപ്പിത സെർവറിൻ്റെയോ ക്ലൗഡ് ജിപിയുവിൻ്റെയോ ആവശ്യം ഒഴിവാക്കിക്കൊണ്ട്, വെബ്‌ജിപിയു, വെബ്അസെംബ്ലി (WASM) എന്നിവ ഉപയോഗിച്ച് ബ്രൗസറിനുള്ളിൽ നേരിട്ട് GGUF- ഫോർമാറ്റ് വലിയ ഭാഷാ മോഡലുകൾ എക്‌സിക്യൂട്ട് ചെയ്യാൻ ഡവലപ്പർമാരെയും ബിസിനസുകളെയും പ്രാപ്‌തമാക്കുന്ന ഒരു ഉയർന്നുവരുന്ന റൺടൈമാണ് MDST എഞ്ചിൻ. പൂർണ്ണമായ ക്ലയൻ്റ്-സൈഡ് AI അനുമാനത്തിലേക്കുള്ള ഈ മാറ്റം, വെബ് ആപ്ലിക്കേഷനുകളിൽ എങ്ങനെ ഇൻ്റലിജൻ്റ് ഫീച്ചറുകൾ ഡെലിവർ ചെയ്യുന്നു എന്നതിൻ്റെ നിയമങ്ങൾ തിരുത്തിയെഴുതുന്നു, ഇത് ഒരു ആധുനിക ബ്രൗസറുള്ള ആർക്കും സ്വകാര്യവും കുറഞ്ഞ ലേറ്റൻസിയും ആക്‌സസ് ചെയ്യാവുന്നതാക്കുന്നു.

കൃത്യമായി എന്താണ് MDST എഞ്ചിൻ, എന്തുകൊണ്ട് ഇത് പ്രധാനമാണ്?

എംഡിഎസ്ടി എഞ്ചിൻ എന്നത് ഒരു വെബ് സന്ദർഭത്തിൽ നേരിട്ട് llama.cpp പോലുള്ള പ്രോജക്‌റ്റുകൾ വഴി പ്രചാരത്തിലുള്ള അതേ ഫോർമാറ്റ്, ക്വാണ്ടൈസ് ചെയ്‌ത GGUF മോഡലുകൾ ലോഡുചെയ്യാനും പ്രവർത്തിപ്പിക്കാനും രൂപകൽപ്പന ചെയ്‌തിരിക്കുന്ന ഒരു ബ്രൗസർ-നേറ്റീവ് AI അനുമാന ചട്ടക്കൂടാണ്. ഓരോ AI അഭ്യർത്ഥനയും ഒരു ക്ലൗഡ് എൻഡ് പോയിൻ്റിലൂടെ റൂട്ട് ചെയ്യുന്നതിനുപകരം, MDST, GPU-ത്വരിതപ്പെടുത്തിയ കംപ്യൂട്ടേഷനായി ബ്രൗസറിൻ്റെ WebGPU API ഉപയോഗിച്ചും പ്രാദേശിക CPU ഫാൾബാക്ക് പ്രകടനത്തിനായി WebAssembly ഉപയോഗിച്ചും ഉപയോക്താവിൻ്റെ സ്വന്തം ഹാർഡ്‌വെയറിൽ മോഡൽ അനുമാനം നടപ്പിലാക്കുന്നു.

പല കാരണങ്ങളാൽ ഇത് വളരെ പ്രധാനമാണ്. ആദ്യം, ഇത് സെർവർ സൈഡ് അനുമാനത്തിന് അന്തർലീനമായ റൗണ്ട്-ട്രിപ്പ് ലേറ്റൻസി നീക്കം ചെയ്യുന്നു. രണ്ടാമതായി, ഇത് സെൻസിറ്റീവ് ഉപയോക്തൃ ഡാറ്റ പൂർണ്ണമായും ഉപകരണത്തിൽ സൂക്ഷിക്കുന്നു, ഇത് എൻ്റർപ്രൈസിനും ഉപഭോക്തൃ ആപ്ലിക്കേഷനുകൾക്കും ഒരുപോലെ നിർണായകമായ സ്വകാര്യത നേട്ടമാണ്. മൂന്നാമതായി, ഓരോ API കോളിനും പണം നൽകുന്നതോ അവരുടെ സ്വന്തം GPU ക്ലസ്റ്ററുകൾ പരിപാലിക്കുന്നതോ ആയ ബിസിനസുകൾക്കുള്ള ഇൻഫ്രാസ്ട്രക്ചർ ചെലവ് ഇത് നാടകീയമായി കുറയ്ക്കുന്നു.

"ബ്രൗസറിൽ AI അനുമാനം പ്രവർത്തിപ്പിക്കുന്നത് ഇനി കൺസെപ്റ്റ് ജിജ്ഞാസയുടെ തെളിവല്ല-ഇത് വികേന്ദ്രീകൃത ഉപയോക്തൃ ഹാർഡ്‌വെയറിനായി കേന്ദ്രീകൃത ക്ലൗഡ് ചെലവുകൾ ട്രേഡ് ചെയ്യുന്ന ഒരു പ്രൊഡക്ഷൻ-വ്യക്തമായ ആർക്കിടെക്ചറാണ്, ഇത് AI- പവർഡ് ആപ്ലിക്കേഷനുകളുടെ കമ്പ്യൂട്ടേഷണൽ ഭാരം വഹിക്കുന്നത് ആരാണെന്ന് അടിസ്ഥാനപരമായി മാറ്റുന്നു."

WebGPU, WASM എന്നിവ എങ്ങനെയാണ് ഇൻ-ബ്രൗസർ AI സാധ്യമാക്കുന്നത്?

MDST എഞ്ചിൻ്റെ സാങ്കേതിക അടിത്തറ മനസ്സിലാക്കുന്നതിന്, അത് സ്വാധീനിക്കുന്ന രണ്ട് പ്രധാന ബ്രൗസർ പ്രിമിറ്റീവുകളിലേക്ക് ഒരു ഹ്രസ്വ വീക്ഷണം ആവശ്യമാണ്. JavaScript, WGSL ഷേഡർ കോഡ് എന്നിവയിൽ നിന്ന് നേരിട്ട് ലോ-ലെവൽ GPU ആക്‌സസ് നൽകുന്ന WebGL-ൻ്റെ പിൻഗാമിയാണ് WebGPU. അതിൻ്റെ മുൻഗാമികളിൽ നിന്ന് വ്യത്യസ്തമായി, WebGPU കമ്പ്യൂട്ട് ഷേഡറുകൾ പിന്തുണയ്ക്കുന്നു, അവ LLM അനുമാനത്തിൽ ആധിപത്യം പുലർത്തുന്ന മാട്രിക്സ് ഗുണന പ്രവർത്തനങ്ങളുടെ വർക്ക്ഹോഴ്സുകളാണ്. ഒരു ബ്രൗസർ സാൻഡ്‌ബോക്‌സിനുള്ളിൽ മുമ്പ് അസാധ്യമായിരുന്ന ത്രൂപുട്ട് നേടിക്കൊണ്ട്, വളരെ സമാന്തരമായ രീതിയിൽ ജിപിയുവിലേക്ക് ടെൻസർ പ്രവർത്തനങ്ങൾ അയയ്‌ക്കാൻ MDST-ന് കഴിയുമെന്നാണ് ഇതിനർത്ഥം.

വെബ് അസംബ്ലി എഞ്ചിൻ്റെ പ്രധാന റൺടൈം ലോജിക്കിൻ്റെ ഫാൾബാക്കും സമാഹരണ ലക്ഷ്യമായും പ്രവർത്തിക്കുന്നു. WebGPU പിന്തുണയില്ലാത്ത ഉപകരണങ്ങൾക്ക്—പഴയ ബ്രൗസറുകൾ, ചില മൊബൈൽ എൻവയോൺമെൻ്റുകൾ, അല്ലെങ്കിൽ ഹെഡ്‌ലെസ്സ് ടെസ്റ്റിംഗ് സന്ദർഭങ്ങൾ—WASM ഒരു പെർഫോമൻ്റ്, പോർട്ടബിൾ എക്‌സിക്യൂഷൻ ലെയർ നൽകുന്നു, അത് സ്റ്റാൻഡേർഡ് ജാവാസ്ക്രിപ്റ്റിനേക്കാൾ വളരെ വേഗതയിൽ കംപൈൽ ചെയ്‌ത C++ അല്ലെങ്കിൽ റസ്റ്റ് കോഡ് പ്രവർത്തിപ്പിക്കുന്നു. WebGPU-ഉം WASM-ഉം ചേർന്ന് ഒരു ടയേർഡ് എക്‌സിക്യൂഷൻ സ്ട്രാറ്റജി രൂപീകരിക്കുന്നു: ലഭ്യമാകുമ്പോൾ GPU-ആദ്യം, അല്ലാത്തപ്പോൾ CPU-വഴി-WASM.

എന്താണ് GGUF മോഡലുകൾ, എന്തുകൊണ്ടാണ് ആ ഫോർമാറ്റ് ഈ സമീപനത്തിന് കേന്ദ്രമായിരിക്കുന്നത്?

GGUF (GPT-ജനറേറ്റഡ് യൂണിഫൈഡ് ഫോർമാറ്റ്) ഒരു ബൈനറി ഫയൽ ഫോർമാറ്റാണ്, അത് മോഡൽ വെയ്റ്റുകളും ടോക്കനൈസർ ഡാറ്റയും മെറ്റാഡാറ്റയും ഒരൊറ്റ പോർട്ടബിൾ ആർട്ടിഫാക്റ്റിലേക്ക് പാക്കേജുചെയ്യുന്നു. llama.cpp-ൽ കാര്യക്ഷമമായ ലോഡിംഗ് പിന്തുണയ്‌ക്കുന്നതിനായി രൂപകൽപ്പന ചെയ്‌ത, GGUF ക്വാണ്ടൈസ്ഡ് ഓപ്പൺ-വെയ്‌റ്റ് മോഡലുകളുടെ യഥാർത്ഥ മാനദണ്ഡമായി മാറി, കാരണം ഇത് ഒന്നിലധികം ക്വാണ്ടൈസേഷൻ ലെവലുകളെ പിന്തുണയ്ക്കുന്നു-2-ബിറ്റ് മുതൽ 8-ബിറ്റ് വരെ-ഡവലപ്പർമാരെ മോഡൽ വലുപ്പം, മെമ്മറി ഫുട്‌പ്രിൻ്റ്, ഔട്ട്‌പുട്ട് നിലവാരം എന്നിവയ്‌ക്കിടയിലുള്ള ട്രേഡ്-ഓഫ് തിരഞ്ഞെടുക്കാൻ അനുവദിക്കുന്നു.

ബ്രൗസർ അടിസ്ഥാനമാക്കിയുള്ള അനുമാനത്തിന്, ക്വാണ്ടൈസേഷൻ ഓപ്ഷണൽ അല്ല-അത് അത്യാവശ്യമാണ്. ഒരു പൂർണ്ണ കൃത്യതയുള്ള 7B പാരാമീറ്റർ മോഡലിന് ഏകദേശം 14 GB മെമ്മറി ആവശ്യമാണ്. Q4 ക്വാണ്ടൈസേഷനിൽ, അതേ മോഡൽ ഏകദേശം 4 GB ആയി ചുരുങ്ങുന്നു, Q2-ൽ അത് 2 GB-യിൽ താഴെയാകാം. MDST എഞ്ചിൻ്റെ GGUF-നുള്ള പിന്തുണ അർത്ഥമാക്കുന്നത്, ഒരു അധിക പരിവർത്തന ഘട്ടവുമില്ലാതെ, ഡവലപ്പർമാർക്ക് ഇതിനകം തന്നെ അളവിലുള്ള മോഡലുകളുടെ വൻ ആവാസവ്യവസ്ഥ നേരിട്ട് ഉപയോഗിക്കാനാകും, ഇത് സംയോജനത്തിനുള്ള തടസ്സം നാടകീയമായി കുറയ്ക്കുന്നു.

💡 DID YOU KNOW?

Mewayz replaces 8+ business tools in one platform

CRM · Invoicing · HR · Projects · Booking · eCommerce · POS · Analytics. Free forever plan available.

Start Free →

ബ്രൗസറിൽ GGUF മോഡലുകൾ പ്രവർത്തിപ്പിക്കുന്ന ബിസിനസ്സുകൾക്കുള്ള യഥാർത്ഥ-ലോക ഉപയോഗ കേസുകൾ എന്തൊക്കെയാണ്?

ഇൻ-ബ്രൗസറിലെ GGUF അനുമാനത്തിൻ്റെ പ്രായോഗിക പ്രയോഗങ്ങൾ ഏതാണ്ട് എല്ലാ വ്യവസായ ലംബങ്ങളിലും വ്യാപിക്കുന്നു. ഈ സമീപനം സ്വീകരിക്കുന്ന ബിസിനസുകൾ, മുമ്പ് ചിലവ് നിരോധിക്കുന്നതോ സ്വകാര്യതയ്ക്ക് ക്ലൗഡ് AI സൊല്യൂഷനുകളുമായി പൊരുത്തപ്പെടാത്തതോ ആയ കഴിവുകൾ അൺലോക്ക് ചെയ്യുന്നു. പ്രധാന ഉപയോഗ കേസുകളിൽ ഇവ ഉൾപ്പെടുന്നു:

  • ഓഫ്‌ലൈൻ കഴിവുള്ള AI അസിസ്റ്റൻ്റുകൾ: കസ്റ്റമർ സപ്പോർട്ട് ചാറ്റ്ബോട്ടുകളും ഇൻറർനെറ്റ് കണക്ഷൻ ഇല്ലാതെ പൂർണ്ണമായി പ്രവർത്തനക്ഷമമായി തുടരുന്ന ആന്തരിക വിജ്ഞാന അടിത്തറകളും, ഫീൽഡ് ടീമുകൾക്കും വിദൂര പരിതസ്ഥിതികൾക്കും അനുയോജ്യമാണ്.
  • സ്വകാര്യ ഡോക്യുമെൻ്റ് വിശകലനം: തന്ത്രപ്രധാനമായ ഡോക്യുമെൻ്റുകൾ ഒരിക്കലും ഉപയോക്താവിൻ്റെ ഉപകരണത്തിൽ നിന്ന് പുറത്തുപോകാൻ പാടില്ലാത്ത നിയമപരവും വൈദ്യശാസ്ത്രപരവും സാമ്പത്തികവുമായ വർക്ക്ഫ്ലോകൾ, എന്നിട്ടും AI- പവർ ചെയ്യുന്ന സംഗ്രഹത്തിൽ നിന്നും എക്‌സ്‌ട്രാക്‌ഷനിൽ നിന്നും പ്രയോജനം നേടുന്നു.
  • തത്സമയ ഉള്ളടക്കം സൃഷ്ടിക്കൽ: വ്യക്തിഗതമാക്കിയ പകർപ്പ്, ഉൽപ്പന്ന വിവരണങ്ങൾ അല്ലെങ്കിൽ സോഷ്യൽ മീഡിയ ഉള്ളടക്കം സീറോ മാർജിനൽ അനുമാന ചെലവിൽ, നേരിട്ട് അവരുടെ ബ്രൗസർ അടിസ്ഥാനമാക്കിയുള്ള ടൂളുകൾക്കുള്ളിൽ നിർമ്മിക്കുന്ന മാർക്കറ്റിംഗ് ടീമുകൾ.
  • എഡ്ജ്-ഡിപ്ലോയ്ഡ് കോഡിംഗ് അസിസ്റ്റൻ്റുകൾ: പ്രൊപ്രൈറ്ററി കോഡ്ബേസുകൾ ബാഹ്യ API-കളിലേക്ക് കൈമാറാതെ കോഡ് പൂർത്തീകരണവും വിശദീകരണവും നൽകുന്ന ഡെവലപ്പർ പ്രൊഡക്ടിവിറ്റി ടൂളുകൾ.
  • വിദ്യാഭ്യാസ പ്ലാറ്റ്‌ഫോമുകൾ: വിദ്യാർത്ഥി ഉപകരണങ്ങളിൽ പ്രാദേശികമായി പ്രവർത്തിക്കുന്ന അഡാപ്റ്റീവ് ട്യൂട്ടറിംഗ് സിസ്റ്റങ്ങൾ, ലോ-ബാൻഡ്‌വിഡ്ത്ത് അല്ലെങ്കിൽ ഡാറ്റ നിയന്ത്രിത പരിതസ്ഥിതികളിൽ AI-അധിഷ്ഠിത ഫീഡ്‌ബാക്ക് പ്രവർത്തനക്ഷമമാക്കുന്നു.

Mwayz പോലുള്ള പ്ലാറ്റ്‌ഫോമുകൾക്ക് MDST എഞ്ചിൻ കഴിവുകളെ അവയുടെ ആവാസവ്യവസ്ഥയിലേക്ക് എങ്ങനെ സംയോജിപ്പിക്കാനാകും?

പ്രതിമാസം $19 മുതൽ ആരംഭിക്കുന്ന വിലനിലവാരത്തിലുടനീളം 138,000-ലധികം ഉപയോക്താക്കൾ വിശ്വസിക്കുന്ന ഓൾ-ഇൻ-വൺ 207-മൊഡ്യൂൾ ബിസിനസ്സ് ഓപ്പറേറ്റിംഗ് സിസ്റ്റമായ Mewayz, MDST എഞ്ചിൻ പോലുള്ള ഇൻ-ബ്രൗസർ AI അനുമാന സാങ്കേതികവിദ്യകളിൽ നിന്ന് ഏറ്റവും കൂടുതൽ നേട്ടമുണ്ടാക്കുന്ന തരത്തിലുള്ള പ്ലാറ്റ്‌ഫോമാണ്. CRM, ഇ-കൊമേഴ്‌സ്, ഉള്ളടക്ക മാനേജ്‌മെൻ്റ്, അനലിറ്റിക്‌സ്, ടീം സഹകരണം എന്നിവയും അതിലേറെയും വ്യാപിച്ചുകിടക്കുന്ന മൊഡ്യൂളുകൾക്കൊപ്പം, Mewayz ഇതിനകം ആയിരക്കണക്കിന് ബിസിനസ്സുകളുടെ പ്രവർത്തന ഹൃദയമിടിപ്പ് കേന്ദ്രീകരിക്കുന്നു.

Mwayz പോലുള്ള ഒരു പ്ലാറ്റ്‌ഫോമിലേക്ക് MDST എഞ്ചിൻ കഴിവുകൾ ഉൾച്ചേർക്കുന്നത്, ഒരു മൂന്നാം കക്ഷി AI ദാതാവിന് ബിസിനസ്-നിർണ്ണായക ഡാറ്റ അയയ്‌ക്കാതെ തന്നെ, ഉൽപ്പന്ന വിവരണങ്ങൾ സൃഷ്‌ടിക്കുക, ക്ലയൻ്റ് ആശയവിനിമയങ്ങൾ തയ്യാറാക്കുക, റിപ്പോർട്ടുകൾ സംഗ്രഹിക്കുക, അല്ലെങ്കിൽ ഡാറ്റ വിശകലനം ചെയ്യുക - AI- സഹായത്തോടെയുള്ള വർക്ക്ഫ്ലോകൾ പ്രവർത്തിപ്പിക്കാൻ ഉപയോക്താക്കളെ അനുവദിക്കും. അനുമാനം ക്ലയൻ്റ്-സൈഡിൽ പ്രവർത്തിക്കുന്നതിനാൽ, പ്ലാറ്റ്‌ഫോം ദാതാവിനുള്ള ഓരോ ഉപയോക്താവിനും കുറഞ്ഞ വില ഫലപ്രദമായി പൂജ്യമാണ്, ഇത് ഏറ്റവും കുറഞ്ഞ സബ്‌സ്‌ക്രിപ്‌ഷൻ ടയറിൽ പോലും AI സവിശേഷതകൾ വാഗ്ദാനം ചെയ്യുന്നത് സാമ്പത്തികമായി ലാഭകരമാക്കുന്നു. ഇത് പ്രീമിയം പ്ലാൻ ഹോൾഡർമാർക്കായി റിസർവ് ചെയ്യുന്നതിനുപകരം മുഴുവൻ ഉപയോക്തൃ അടിത്തറയിലുടനീളമുള്ള ഇൻ്റലിജൻ്റ് ഓട്ടോമേഷനിലേക്കുള്ള ആക്‌സസ് ജനാധിപത്യവൽക്കരിക്കുന്നു.

പതിവ് ചോദിക്കുന്ന ചോദ്യങ്ങൾ

ബ്രൗസറിൽ GGUF മോഡൽ പ്രവർത്തിപ്പിക്കുന്നതിന് ഉപയോക്താക്കൾ വലിയ ഫയലുകൾ ഡൗൺലോഡ് ചെയ്യേണ്ടത് ആവശ്യമാണോ?

അതെ, അനുമാനം ആരംഭിക്കുന്നതിന് മുമ്പ് GGUF മോഡൽ ഫയലുകൾ ബ്രൗസറിലേക്ക് ഡൗൺലോഡ് ചെയ്യണം, എന്നാൽ ഇത് ഒറ്റത്തവണ പ്രവർത്തനമാക്കാൻ ആധുനിക നിർവ്വഹണങ്ങൾ പുരോഗമന സ്ട്രീമിംഗും ബ്രൗസർ കാഷെ API-കളും ഉപയോഗിക്കുന്നു. പ്രാരംഭ ഡൗൺലോഡിന് ശേഷം, മോഡൽ പ്രാദേശികമായി കാഷെ ചെയ്യപ്പെടുകയും തുടർന്നുള്ള സെഷനുകൾ തൽക്ഷണം ലോഡ് ചെയ്യുകയും ചെയ്യുന്നു. ബ്രോഡ്‌ബാൻഡ് കണക്ഷനുള്ള ഉപയോക്താക്കൾക്ക് പ്രായോഗികമായ ചെറിയ അളവിലുള്ള വകഭേദങ്ങൾ—Q4 അല്ലെങ്കിൽ Q2—2-4 GB-യിൽ സൂക്ഷിക്കാം.

2026-ൽ ബ്രൗസറുകളിലും ഉപകരണങ്ങളിലും വെബ്‌ജിപിയു വ്യാപകമായി പിന്തുണയ്‌ക്കുന്നുണ്ടോ?

Chrome, Edge എന്നിവയിൽ WebGPU സ്ഥിരത കൈവരിക്കുന്നു, Firefox പിന്തുണ 2025-ലും 2026-ലും ക്രമാനുഗതമായി ഷിപ്പിംഗ് നടത്തുന്നു. മൊബൈലിൽ, ഉപകരണവും OS പതിപ്പും അനുസരിച്ച് പിന്തുണ വ്യത്യാസപ്പെടുന്നു, എന്നാൽ MDST പോലുള്ള എഞ്ചിനുകളിലെ WASM ഫോൾബാക്ക് GPU ആക്സിലറേഷൻ ലഭ്യമല്ലാത്തപ്പോൾ പോലും പ്രവർത്തനം സംരക്ഷിക്കപ്പെടുന്നുവെന്ന് ഉറപ്പാക്കുന്നു. സമർപ്പിതമോ സംയോജിതമോ ആയ GPU-കൾ ഉള്ള ഡെസ്‌ക്‌ടോപ്പ് പരിതസ്ഥിതികൾ ഇന്നത്തെ ഉൽപ്പാദന വിന്യാസങ്ങൾക്കായുള്ള ഒപ്റ്റിമൽ ടാർഗെറ്റിനെ പ്രതിനിധീകരിക്കുന്നു.

സ്പീഡിൻ്റെ അടിസ്ഥാനത്തിൽ ക്ലൗഡ് API അനുമാനവുമായി എങ്ങനെ ഇൻ-ബ്രൗസർ അനുമാനം താരതമ്യം ചെയ്യുന്നു?

ആധുനിക ഉപഭോക്തൃ ഹാർഡ്‌വെയറിലെ ചെറിയ അളവിലുള്ള മോഡലുകൾക്ക്, ബ്രൗസർ അടിസ്ഥാനമാക്കിയുള്ള അനുമാനത്തിന് സെക്കൻഡിൽ 10-30 ടോക്കണുകളുടെ ത്രൂപുട്ട് നേടാൻ കഴിയും, ഇത് നെറ്റ്‌വർക്ക് റൗണ്ട്-ട്രിപ്പ് ലേറ്റൻസി ഇല്ലാതെ മിഡ്-ടയർ ക്ലൗഡ് API പ്രതികരണ വേഗതയുമായി താരതമ്യപ്പെടുത്താവുന്നതാണ്. ക്യൂയിംഗ് ഇല്ലാത്തതിനാൽ, ലോഡിന് കീഴിലുള്ള ക്ലൗഡ് എൻഡ് പോയിൻ്റുകളേക്കാൾ വേഗമേറിയതാണ് ആദ്യ ടോക്കൺ ലേറ്റൻസി. വലിയ മോഡലുകളും ലോവർ-എൻഡ് ഉപകരണങ്ങളും സ്വാഭാവികമായും കുറഞ്ഞ ത്രൂപുട്ട് കാണും, മോഡൽ തിരഞ്ഞെടുക്കലും ക്വാണ്ടൈസേഷൻ ലെവലും ഡെവലപ്പർമാർക്ക് പ്രാഥമിക പ്രകടന ഡയലുകളാക്കി മാറ്റുന്നു.


WebGPU, WebAssembly, GGUF മോഡൽ ഇക്കോസിസ്റ്റം എന്നിവയുടെ സംയോജനം വെബ് ആപ്ലിക്കേഷനുകൾക്കുള്ളിൽ AI കഴിവുകൾ എങ്ങനെ വിതരണം ചെയ്യപ്പെടുന്നു എന്നതിന് ഒരു യഥാർത്ഥ ഇൻഫ്ലക്ഷൻ പോയിൻ്റ് സൃഷ്ടിക്കുന്നു. MDST എഞ്ചിൻ പോലുള്ള ക്ലയൻ്റ്-സൈഡ് അനുമാന ചട്ടക്കൂടുകൾ സമന്വയിപ്പിക്കാൻ നേരത്തെ തന്നെ നീങ്ങുന്ന ബിസിനസ്സുകൾക്ക് ഒരു നീണ്ടുനിൽക്കുന്ന മത്സരാധിഷ്ഠിത നേട്ടം ലഭിക്കും-കുറഞ്ഞ പ്രവർത്തനച്ചെലവ്, ശക്തമായ സ്വകാര്യത ഗ്യാരണ്ടികൾ, എവിടെയും ഏത് കണക്ഷനിലും പ്രവർത്തിക്കുന്ന AI സവിശേഷതകൾ.

നിങ്ങൾ ഒരു ബിസിനസ്സ് നിർമ്മിക്കുകയോ സ്കെയിൽ ചെയ്യുകയോ ചെയ്യുകയാണെങ്കിൽ, കൃത്യമായി ഇത്തരത്തിലുള്ള മുൻകരുതൽ പ്രവർത്തനക്ഷമതയ്‌ക്കായി രൂപകൽപ്പന ചെയ്‌ത ഒരു പ്ലാറ്റ്‌ഫോമിലേക്ക് ആക്‌സസ് വേണമെങ്കിൽ, നിങ്ങളുടെ Mewayz യാത്ര app.mewayz.com-ൽ ആരംഭിക്കുക. പ്രതിമാസം $19 മുതൽ 207 സംയോജിത മൊഡ്യൂളുകളും പ്ലാനുകളും ഉപയോഗിച്ച്, Mewayz നിങ്ങളുടെ ടീമിന് മികച്ച രീതിയിൽ പ്രവർത്തിക്കാനുള്ള ഇൻഫ്രാസ്ട്രക്ചർ നൽകുന്നു-ഇന്നും AI കഴിവുകൾ വികസിച്ചുകൊണ്ടിരിക്കുന്നു.

Try Mewayz Free

All-in-one platform for CRM, invoicing, projects, HR & more. No credit card required.

Start managing your business smarter today

Join 30,000+ businesses. Free forever plan · No credit card required.

Ready to put this into practice?

Join 30,000+ businesses using Mewayz. Free forever plan — no credit card required.

Start Free Trial →

Ready to take action?

Start your free Mewayz trial today

All-in-one business platform. No credit card required.

Start Free →

14-day free trial · No credit card · Cancel anytime