RAG 'o e Milisekoni Si'isi'i 'i he Silikoni 'o e 'Apele. ʻIkai ha Seva. 'Ikai ha API. Faile 'e taha

\u003ch2\u003eSub-Milisekoni RAG 'i he Silikoni 'o e 'Apele. ʻIkai ha Seva. 'Ikai ha API. Faile 'e taha\u003c/h2\u003e \u003cp\u003eKo e fale tuku'anga koloa GitHub 'oku fakaava ko 'eni 'oku ne fakafofonga'i ha tokoni mahu'inga ki he 'ekosisitemi 'o e kau fakalakalaka. 'Oku fakahaa'i 'e he poloseki 'a e ngaahi founga fakalakalaka fakaonopooni mo e fakakouti fakataha.\u003c/p\u003e Ngaahi Me'a Fakatekinikale\u003c/h3\u003e \u003cp\u003eKo e fale tuku'anga koloa 'oku ngalingali 'oku kau ai 'a e:\u003c/p\u003e \u003cul\u003e \u003cli\u003eKouti ma'a, kuo fakatohi lelei\u003c/li\u003e \u003cli\u003eLAU ME Fakalukufua mo e ngaahi fakatata hono ngaueaki\u003c/li\u003e \u003cli\u003eNgaahi fakahinohino ki hono muimui'i 'o e 'isiu mo e tokoni\u003c/li\u003e \u003cli\u003eNgaahi fakafo'ou mo e tokanga'i ma'u pe\u003c/li\u003e \u003c/ul\u003e \u003ch3\u003eUesia Fakakolo\u003c/h3\u003e \u003cp\u003eKo e ngaahi poloseki open-source hange ko e taha ko eni oku ne fakatupulaki a e fevahevaheaki o e ilo mo fakavave i a e founga fo ou fakatekinikale o fakafou i he code oku lava ke ma u mo e fakalakalaka fakataha.\u003c/p\u003e

Ngaahi Fehuʻi ʻoku Faʻa ʻEke

Ko e hā ʻa e RAG pea ko e hā ʻoku mahuʻinga ai ʻa e vave ʻo e milisekoni siʻisiʻí?

Ko e RAG (Retrieval-Augmented Generation) ko ha founga ia 'oku ne fakalahi 'a e ngaahi tali 'a e AI 'aki hono to'o mai 'a e ngaahi tu'unga fekau'aki mei ha 'ilo fakalotofonua kimu'a pea toki fakatupu ha tali. 'Oku 'uhinga 'a e retrieval 'o e sub-millisecond 'oku meimei ke 'ikai ke fakatokanga'i 'a e lookup 'i 'olunga, 'o 'ai 'a e AI ke ongo'i 'i he taimi pe ko ia. Ki he kau developers langa 'a e ngaahi me'angaue fakalotofonua 'o e AI pe fakataha'i 'a e 'atamai ki he ngaahi polokalama, 'Oku fakangata 'e he vave ko 'eni 'a e latency bottleneck 'oku angamaheni 'aki hono fakamamahi'i 'o e ngaahi paipa 'o e kumi 'o e 'ao-'ikai ha tatali 'i he netiueka takai-fononga pe ngaahi fakangatangata 'o e tu'unga 'o e API.

'Oku ou fie ma'u ha seva pe API 'o e 'ao ke fakalele 'aki 'eni?

ʻIkai. Ko e tefito'i premise ia 'o e poloseki ko 'eni-'oku lele kakato 'a e me'a kotoa pe 'i ho'o Apple Silicon Mac, fakalotofonua mo e offline. 'Oku 'ikai ha server ke tokonaki, 'ikai ha kī API ke pule'i, pea 'ikai ha ngaahi fakamole ki hono faka'aonga'i 'i he fehu'i. 'Oku lelei 'aupito 'eni ki he ngaahi keisi 'o e faka'aonga'i 'o e fakapulipuli-ongo'ingofua pe 'atakai 'ea-gapped. Kapau 'oku ke kumi ki ha tu'unga 'oku lahi ange 'a e kotoa-'i he-taha, 'Oku 'oatu 'e he Mewayz 'a e 207 modules ki he $19/mahina, kau ai 'a e ngaahi me'angaue AI 'oku nau fakakakato 'a e ngaahi ngaue fakalotofonua 'aki 'a e ngaahi fotunga 'oku fakalele 'e he 'ao 'i he taimi 'oku ma'u ai 'a e fehokotaki'anga.

Ko e hā ʻokú ne ʻai ʻa e Apple Silicon ke tautefito ʻene feʻunga mo e RAG fakalotofonuá?

'Oku fakahaa'i 'e he ngaahi fo'i 'Apele Silikoni (M1 mo e kimui ange) ha 'atakai 'o e manatu 'oku fakatahataha'i 'a ia 'oku vahevahe ai 'e he CPU, GPU, mo e Neural Engine 'a e pool manatu ma'olunga-bandwidth tatau. 'Oku faka'auha 'e he me'a ni 'a e fe'ave'aki 'o e fakamatala 'i he vaha'a 'o e ngaahi 'iuniti ngaue, 'o 'ai 'a e ngaahi fekumi 'o e vector faitatau mo e fakahu 'o e inference 'oku fu'u vave. Ko e ola ko e ngaahi ngaue 'a ia 'e fie ma'u 'i he angamaheni 'o e ngaahi naunau GPU fakatapui pe ko ha server mama'o 'e lava ke lele lelei 'i ha founga 'e taha 'i ha MacBook, 'o faka'ata 'a e ngaahi taimi 'o e retrieval 'o e sub-millisecond 'oku fakahaa'i 'e he poloseki ko 'eni.

'E lava fēfē ke u fakafuofua'i 'a e founga ko 'eni ki ha polokalama ngaohi?

Ki he ngaahi poloseki fakafo'ituitui pe ki'i timi, 'oku fe'unga mo faka'ofo'ofa 'a e founga ko 'eni 'o e faile 'e taha. Ki he fua 'o e ngaohi'anga-tokanga'i 'o e kau faka'aonga'i tokolahi, ngaahi ma'u'anga fakamatala kehekehe, mo e workflow automation-te ke fie ma'u ha toolset lahi ange. Ngaahi tu'unga hange ko e Mewayz 'oku nau fakataha'i 'a e 207 modules, kau ai 'a e AI, CRM, kakano, mo e ngaahi me'angaue analytics, ki he $19/mahina, 'o 'oange ki he ngaahi timi ha 'atakai 'oku pule'i ke fakalahi 'a e ngaahi fakatata fakalotofonua ki he ngaahi koloa kakato 'o 'ikai toe langa 'a e ngaahi langa fakalakalaka mei he kamata'anga. Ko e sipinga fakalotofonua 'o e RAG 'oku fakahaa'i heni 'e lava ke hoko ko e uho 'atamai 'i loto 'i ha 'atakai lahi ange.

Ko e hā ʻa e RAG pea ko e hā ʻoku vave ai ʻa e milisekoni siʻisiʻí me'a?","tali Tali":{"@fa'ahinga":"Tali","tohi":"Mo e RAG (To'utangata 'o e To'utangata-Fakalahi) ko ha founga 'oku ne fakalahi 'a e ngaahi tali 'o e AI 'aki hono to'o mai 'a e tu'unga fekau'aki mei ha tu'unga 'ilo fakalotofonua kimu'a pea toki fakatupu ha tali 'oku 'uhinga 'a e Sub-millisecond retrieval 'i he virtually 'a e lookup. developers langa 'a e ngaahi me'angaue fakalotofonua 'o e AI pe fakataha'i 'a e 'atamai ki he ngaahi polokalama, 'Oku fakangata 'e he vave ko 'eni 'a e latency bottlen "}},{"@fa'ahinga":"Fehu'i","hingoa":"'Oku ou fie ma'u ha seva pe 'ao API ke fakalele 'eni?","tali tali":{"@fa'ahinga":"Tali","'Ikai 'eni 'o e Tha":'s. project\u2014everything lele kakato 'i ho'o Apple Silicon Mac, fakalotofonua mo e offline 'Oku 'ikai ha seva ke tokonaki, 'ikai ha kī 'o e API ke pule'i, pea 'oku 'ikai ha ngaahi fakamole ki hono faka'aonga'i 'o e fehu'i 'oku lelei 'aupito 'eni ki he ngaahi keisi 'o e fakapulipuli-ongo'ingofua pe 'atakai 'o e 'ea-gapped off for Me-2. $19\/mahina, kau ai 'a e ngaahi me'angaue AI 'oku compl"}}, {"@fa'ahinga":"Fehu'i","hingoa":"Ko e ha 'oku ne 'ai 'a e Apple Silicon tautautefito ki he lelei-fe'unga mo e RAG fakalotofonua?","talitali": {"@fa'ahinga":"Tali","tohi":"'Apele Silicon 'a e ngaahi fotunga 'o e GPU mo e memory CPU) Neural Engine vahevahe 'a e pool manatu ma'olunga-bandwidth tatau. 'Oku fakangata 'e he me'a ni 'a e fe'ave'aki 'o e fakamatala 'i he vaha'a 'o e ngaahi 'iuniti ngaue, 'o 'ai 'a e ngaahi fekumi 'o e vector faitatau mo e fakahu 'o e inference 'oku fu'u vave. scale 'a e founga ko 'eni ki ha polokalama ngaohi?","tali Tali":{"@fa'ahinga":"Tali","tohi":"Ki he ngaahi poloseki fakafo'ituitui pe si'isi'i-timi, 'Oku fe'unga mo faka'ofo'ofa 'a e founga ko 'eni 'o e faile 'e taha Ki he scale 'o e ngaohi \ u2014tokanga'i 'o e kau faka'aonga'i tokolahi, ngaahi ma'u'anga fakamatala kehekehe 'o e bro0uder to4u'ol. Mewayz fu'u 207 modules, kau ai 'a e AI, CRM, kakano, mo e ngaahi me'angaue 'analaiso, ki he $19\/mahina, 'o 'oange ki he ngaahi timi ha 'atakai 'oku pule'i ke fakalahi 'a e ngaahi fakatata fakalotofonua ki he produ kakato"}}]}