LLMs نى Flutter دا <200ms كەڭلىك بىلەن ئىجرا قىلىڭ

\ u003ch2 \ u003eRun LLMs Flutter دىكى <200ms كېچىكىش \ u003c / h2 \ u003e \ u003cp \ u003e بۇ ئوچۇق كودلۇق GitHub ئامبىرى ئاچقۇچىلارنىڭ ئېكولوگىيىلىك سىستېمىسىغا قوشقان تۆھپىسىگە ۋەكىللىك قىلىدۇ. بۇ تۈر زامانىۋى تەرەققىيات ئەمەلىيىتى ۋە ھەمكارلىق كودلاشنى كۆرسىتىدۇ. \ U003c / p \ u003e \ u003ch3 \ u003e تېخنىكىلىق ئىقتىدار \ u003c / h3 \ u003e \ u003cp \ u003e ئامبار بەلكىم ئۆز ئىچىگە ئالىدۇ: \ u003c / p \ u003e \ u003cul \ u003e \ u003cli \ u003eClean ، ياخشى پۈتۈلگەن كود \ u003c / li \ u003e \ u003cli \ u003e ئىشلىتىش مىسالى بىلەن ئەتراپلىق README \ u003c / li \ u003e \ u003cli \ u003e ئىز قوغلاش ۋە تۆھپە كۆرسەتمىسى \ u003c / li \ u003e \ u003cli \ u003e دائىملىق يېڭىلاش ۋە ئاسراش \ u003c / li \ u003e \ u003c / ul \ u003e \ u003ch3 \ u003e جەمئىيەتنىڭ تەسىرى \ u003c / h3 \ u003e \ u003cp \ u003e مۇشۇنىڭغا ئوخشاش مەنبەلىك تۈرلەر بىلىملەردىن تەڭ بەھرىلىنىشنى ئىلگىرى سۈرىدۇ ۋە قولايلىق كود ۋە ھەمكارلىقنى تەرەققىي قىلدۇرۇش ئارقىلىق تېخنىكىدا يېڭىلىق يارىتىشنى تېزلىتىدۇ. \ u003c / p \ u003e

دائىم سورايدىغان سوئاللار

Flutter دا LLM نى ئىجرا قىلىش نېمىدىن دېرەك بېرىدۇ؟

LLM نى يەرلىكتە ئىجرا قىلىش مودېلنىڭ پۈتۈنلەي ئىشلەتكۈچىنىڭ ئۈسكۈنىسىدە ئىجرا قىلىنىدىغانلىقىدىن دېرەك بېرىدۇ - API تېلېفونى يوق ، بۇلۇتقا تايىنىش يوق ، تور تەلەپ قىلىنمايدۇ. Flutter دا ، مىقدارلاشتۇرۇلغان مودېلنى باغلاش ۋە يەرلىك باغلىنىشنى ئىشلىتىش (FFI ياكى سۇپا يولى ئارقىلىق) ئارقىلىق ئۈسكۈنىدە بىۋاسىتە يەكۈن چىقىرىش ئارقىلىق ئەمەلگە ئاشىدۇ. نەتىجىدە تولۇق تورسىز ئىقتىدار ، سانلىق مەلۇمات مەخپىيەتلىكى نۆل ۋە زامانىۋى كۆچمە قاتتىق دېتاللاردا 200m دىن تۆۋەن چۈشەلەيدىغان ئىنكاس كېچىكىشى بار.

قايسى LLM لار كۆچمە ئۈسكۈنىدە ئىجرا قىلغۇدەك دەرىجىدە كىچىك؟

1B - 3B پارامېتىر دائىرىسىدىكى مودېللار 4 بىتلىق ياكى 8 خانىلىق مىقدارلاشتۇرۇلغان كۆچمە تېلېفوننىڭ ئەمەلىي تاتلىق يېرى. داڭلىق تاللاشلار Gemma 2B ، Phi-3 Mini ۋە TinyLlama قاتارلىقلارنى ئۆز ئىچىگە ئالىدۇ. بۇ مودېللار ئادەتتە 500MB - 2GB لىق ساقلاش بوشلۇقىنى ئىگىلەيدۇ ھەمدە ئوتتۇرا تىپتىكى ئاندىرويىد ۋە iOS ئۈسكۈنىلىرىدە ياخشى ئىشلەيدۇ. ئەگەر سىز تېخىمۇ كەڭ سۈنئىي ئەقلىي ئىقتىدارلىق مەھسۇلات ياساۋاتقان بولسىڭىز ، Mewayz (207 مودۇل ، 19 دوللار / ئاي) غا ئوخشاش سۇپىلار ئۈسكۈنىدىكى يەكۈننى بۇلۇتنىڭ ئارقىغا يېنىش خىزمەت ئېقىمى بىلەن بىرلەشتۈرەلەيسىز.

تېلېفوندا 200 مىللىمېتىردىن تۆۋەن كېچىكىشنى قانداق قىلغاندا ئەمەلگە ئاشۇرغىلى بولىدۇ؟

200ms دىن تۆۋەن بولۇش ئۈچۈن ئۈچ ئىش بىرلىكتە ئىشلەشنى تەلەپ قىلىدۇ: ئېغىر مىقداردىكى مودېل ، كۆچمە CPU / NPU لار ئۈچۈن ئەلالاشتۇرۇلغان (مەسىلەن llama.cpp ياكى MediaPipe LLM) ۋە ئىچكى ساقلىغۇچنى ئۈنۈملۈك باشقۇرۇش ، شۇڭا مودېل تېلېفوندا ئىچكى ساقلىغۇچتا ئىسسىق تۇرىدۇ. تېز بەلگە چاپلاش ، ئاچقۇچلۇق قىممەت ھالىتىنى ساقلاش ۋە تولۇق تەرتىپلىك كېچىكىشنى ئەمەس ، بەلكى بىرىنچى بەلگە كەڭلىكىنى نىشانلاش قىسقا ۋاقىت ئىچىدە ئىنكاس قايتۇرۇش ۋاقتىنى 200 مېتىردىن تۆۋەن دائىرىگە ئىتتىرىدىغان دەسلەپكى تېخنىكا.

يەرلىك LLM يەكۈن Flutter ئەپلىرىگە بۇلۇت API ئىشلىتىشتىن ياخشىمۇ؟

بۇ سىزنىڭ ئىشلىتىش ئەھۋالىڭىزغا باغلىق. يەرلىك يەكۈن شەخسىي مەخپىيەتلىك ، تورسىز قوللاش ۋە تەلەپتىكى نۆلگە ئېرىشىدۇ - سەزگۈر سانلىق مەلۇمات ياكى ئارىلاپ ئۇلىنىشقا ماس كېلىدۇ. بۇلۇت API لار خام ئىقتىدار ۋە مودېلنىڭ يېڭىلىقىدا غەلىبە قىلىدۇ. نۇرغۇن ئىشلەپچىقىرىش ئەپلىرى ئارىلاشما ئۇسۇلنى قوللىنىدۇ: ئۈسكۈنىدىكى يېنىك ۋەزىپىلەرنى ۋە بۇلۇت سۇپىسىدىكى مۇرەككەپ سوئاللارنى بىر تەرەپ قىلىڭ. ئەگەر ھەر ئىككى تاللاش ئالدىن بىرلەشتۈرۈلگەن تولۇق ھەل قىلىش چارىسىنى ئويلىسىڭىز ، Mewayz بۇنى 207 مودۇللۇق سۇپا بىلەن 19 دوللار / مودىن باشلايدۇ.