Whakahaerehia nga LLM i te rohe i roto i te Flutter me te <200ms torohūtanga

\u003ch2\u003eWhakahaerehia nga LLM i te rohe i Flutter me te <200ms torohūtanga\u003c/h2\u003e \u003cp\u003eKo tenei putunga putunga-tuwhera GitHub he tohu nui ki te puunaha rauwiringa kaiao. Ko te kaupapa e whakaatu ana i nga tikanga whanaketanga hou me te whakawaehere mahi tahi.\u003c/p\u003e \u003ch3\u003eAhuatanga Hangarau\u003c/h3\u003e \u003cp\u003eKei roto pea i te putunga:\u003c/p\u003e \u003cul\u003e \u003cli\u003eMa, kua tuhia pai\u003c/li\u003e \u003cli\u003e README matawhānui me nga tauira whakamahi\u003c/li\u003e \u003cli\u003e Aroturuki putanga me nga aratohu takoha\u003c/li\u003e \u003cli\u003eWhakahoutanga auau me te tiaki\u003c/li\u003e \u003c/ul\u003e \u003ch3\u003ePanga Hapori\u003c/h3\u003e \u003cp\u003eKo nga kaupapa puna-tuwhera penei i tenei ka whakatairanga i te tiritiri matauranga me te whakatere i nga mahi hangarau na roto i te waehere uru me te whanaketanga mahi tahi.\u003c/p\u003e

Patai Auau

He aha te tikanga o te whakahaere i te LLM i te rohe i Flutter?

Ko te whakahaere i te LLM i te rohe ko te tikanga ka mahia katoatia te tauira ki runga i te taputapu a te kaiwhakamahi — karekau he waea API, karekau he kapua, karekau he ipurangi. I roto i te Flutter, ka tutuki tenei ma te whakakotahi i tetahi tauira ine me te whakamahi i nga herenga taketake (ma te FFI, i nga hongere papaarangi ranei) ki te kii tika i runga i te taputapu. Ko te hua ko te kaha tuimotu katoa, ko te kore he awangawanga mo te hunanga-raraunga, me nga waahi whakautu ka taka ki raro i te 200ms i runga i nga taputapu pūkoro hou.

Ko ēhea LLM he iti rawa kia rere ki runga taputapu pūkoro?

Ko nga tauira i roto i te awhe tawhā 1B–3B me te inenga moka-4, moka-8 ranei te waahi reka mo te pūkoro. Ko nga whiringa rongonui ko Gemma 2B, Phi-3 Mini, me TinyLlama. Ko enei tauira e noho ana i te 500MB–2GB o te rokiroki me te mahi pai i runga i nga taputapu Android me iOS waenga-waenganui. Mēnā kei te hanga koe i tētahi hua whakakaha AI whānui ake, ko ngā tūāpapa pēnei i te Mewayz (207 kōwae, $19/mo) ka taea e koe te whakakotahi i te whakaaro i runga i te taputapu me nga rerengamahi takahuri kapua.

Me pehea e taea ai te torohūtanga iti-200ms i runga waea?

Kia eke ki raro i te 200ms me mahi tahi e toru nga mea: he tauira tino ine, he wa mahi kua arotauhia mo nga PTM/NPU pūkoro (pēnei i te llama.cpp, MediaPipe LLM), me te whakahaere mahara pai kia noho mahana te tauira i roto i te RAM i waenga i nga waea. Ko te whakahiato i nga tohu tere, te keteroki i te ahua uara-matua, me te aro ki te torohūtanga tohu tuatahi, kaua ki te raupapa-katoa, ko nga tikanga tuatahi e pana ana i nga wa whakautu ki roto i te awhe iti-200ms mo nga akiaki poto.

He pai ake te whakaaro LLM rohe i te whakamahi i te API kapua mo nga taupānga Flutter?

Kei runga i to take whakamahi. Ka wikitoria te whakatau a-rohe i runga i te noho muna, te tautoko tuimotu, me te kore utu mo ia tono — he pai mo nga raraunga tairongo, te honohono-a-waahi ranei. Ka wikitoria nga API kapua i runga i te kaha mata me te houtanga tauira. He maha nga taupānga whakangao e whakamahi ana i te huarahi ranu: hapai i nga mahi mama i runga i te taputapu me te ara i nga patai uaua ki te kapua. Mena kei te pirangi koe ki te otinga puranga-katoa me nga whiringa rua kua whakauruhia i mua i te whakauru, Mewayz ka hipokina tenei me tana papaaho 207-waewae timata mai i te $19/mo.