LCM: Pule'i 'o e Context 'o e 'ikai ha mole [pdf].

"Ko e faikehekehe 'i he vaha'a 'o e lossy mo e lossless context management ko e faikehekehe ia 'i he vaha'a 'o ha pisinisi 'oku ngalo 'iate ia 'a e me'a na'e lea'aki 'e he'ene kau kasitomaa 'i he mahina kuo'osi pea mo e taha 'oku ne manatu'i 'a e ngaahi fakaikiiki fekau'aki kotoa pe — 'oku langa 'e he fakamuimuitaha 'a e falala, 'aonga, mo e compounding 'atamai 'i he taimi."

LCM outperforms 'a e ongo founga kehe 'i he ngaahi tu'unga 'oku fie ma'u 'a e fakakaukau loloa: 'analaiso 'o e ngaahi tohi fakalao, palani 'o e poloseki 'o e ngaahi fakataha lahi, ngaahi fononga faingata'a 'a e kasitomaa, mo e 'atita fakapa'anga 'oku fie ma'u kotoa ke 'oua na'a mole ha fakaikiiki fekau'aki 'i he liliu lea. Empirical sivi'i 'o e LCM-fakafe'unga'i 'a e ngaahi langa 'oku fakahaa'i ma'u pe 'a e ngaahi tu'unga hala ma'ulalo ange 'i he ngaahi ngaue 'oku fie ma'u 'a e hokohoko 'o e kolosi-fakataha mo e fakalakalaka lahi 'o e ngaahi maaka 'o e coherence 'i he ngaahi fetu'utaki 'a e AI 'o e ngaahi tafoki lahi.

Ko e hā ‘a e ngaahi pole ‘o hono fakahoko ‘o e Pule‘i ‘o e Fakakaukau‘i ‘o e Lossless Context?

Ko hono fakahoko 'o e LCM 'i he fua 'oku 'ikai ke ta'e 'i ai ha fepakipaki. Ko e pole 'enisinia tefito ko e fakamole computational — tauhi 'a e tu'unga kakato 'oku fie ma'u 'a e manatu lahi ange, ngaahi ngaue 'o e retrieval lahi ange, mo e ngaahi langa fakalakalaka indexing 'oku toe fakapotopoto ange 'i he ngaahi founga truncation faingofua ange. Ki he ngaahi timi 'oku nau langa pe fili 'a e ngaahi tu'unga 'oku fakalele 'e he AI, 'Oku 'uhinga 'eni ki hono sivi'i pe 'oku mo'oni 'a e 'atakai 'o ha vendor 'oku 'ikai ha mole pe ko hono fakamaketi'i pe 'o e ngaahi founga 'oku mole 'aki 'a e lossless branding.

Ko e latency ko e toe fakakaukau ia. 'Oku tanaki atu 'e he to'o mei he ngaahi falekoloa manatu 'i tu'a 'a e milliseconds ki he sitepu takitaha 'o e inference, 'a ia 'oku fakataha'i 'i he ngaahi polokalama taimi mo'oni. Ko e ngaahi fakahoko lelei taha kimu'a 'i he fetch ngalingali 'a e tu'unga 'i he parallel kae 'ikai ko e hokohoko, tauhi 'a e ngaahi taimi tali 'oku tali 'o 'ikai feilaulau'i 'a e kakato. 'Oku hoko foki 'a e pule'i 'o e fakamatala 'o faingata'a ange: kapau 'oku tauhi 'a e konga kotoa pe 'o e 'atakai, kuo pau ke fokotu'u 'e he ngaahi kautaha ha ngaahi tu'utu'uni mahino 'o takatakai 'i he me'a 'oku kei 'i ai 'a e fakamatala, 'i he fuoloa, pea ko hai 'e lava ke ne ma'u ia — tautautefito ki he taimi 'oku tokanga'i ai 'a e ngaahi fakamatala mahu'inga 'o e pisinisi pe kasitomaa.

'E Lava Fēfē ke Ngāue'aki 'e he Ngaahi Pisinisí 'a e Ngaahi Tefito'i Mo'oni 'o e LCM ke Fakalelei'i 'enau Ngaahi Ngāué?

Ki he kau taki pisinisi, 'Oku si'isi'i ange 'a e LCM fekau'aki mo e mahino 'o e ngaahi fakakaukau 'o e transformer pea lahi ange fekau'aki mo e fie ma'u 'a e hokohoko 'atamai mei he ngaahi tu'unga 'oku nau faka'aonga'i. 'I he taimi 'oku lava ai 'e ha tokoni pisinisi AI 'o manatu'i 'a e ngaahi taumu'a fakapotopoto na'a ke fokotu'u 'i Sanuali lolotonga hono fakahoko 'o ha ngaue 'i Siulai, ko e LCM ia 'oku ngaue 'i he ngaue. 'I he taimi 'oku 'ave ai 'e ho'o ngaahi ngaue 'o e 'otometiki 'a e 'ilo kakato ki he ngaahi fetu'utaki 'a e kasitomaa kimu'a ki he touchpoint fo'ou kotoa pe, 'a ia ko e LCM 'oku ne faka'uli 'a e ngaahi ola lelei ange.

Ko e ngaahi tu'unga 'oku langa 'aki 'a e ngaahi tefito'i mo'oni 'o e LCM 'i honau uho 'oku ne faka'ata 'a e compounding 'atamai fakakautaha — 'oku hanga 'e he fetu'utaki takitaha 'o 'ai ke ola lelei ange 'a e sisitemi 'i he resetting ki he zero. Ko e 'uhinga 'eni 'oku mahu'inga lahi ai 'a e ngaahi tu'utu'uni faka'ata 'oku fai 'e he kau tu'uaki 'o e AI platform ki he ngaahi pisinisi 'oku nau fakafalala kiate kinautolu ki he ngaahi ngaue mahu'inga.

Ngaahi Fehuʻi ʻoku Faʻa ʻEke

'Oku tatau nai 'a e pule'i 'o e konisitutone 'oku 'ikai ha mole mo hono ma'u 'o ha matapa sio'ata 'o e konisitutone lahi ange?

ʻIkai tonu. 'Oku fakalahi 'e ha matapa 'o e context lahi ange 'a e lahi 'o e fakamatala 'oku fe'unga 'i he manatu 'oku ngaue 'i he taimi pe 'e taha, ka 'oku kei fakangatangata pea 'oku kei mo'ulaloa ki he truncation. 'Oku 'alu 'a e LCM mo'oni 'o toe lahi ange 'aki hono fakataha'i 'o e ngaahi matapa sio'ata fakalahi mo e retrieval 'i tu'a, manatu fakahokohoko, mo e pule'i 'o e pule'anga ke fakapapau'i 'oku 'ikai ha me'a 'oku mole tu'uloa — tatau ai pe pe ko e loloa 'o e session pe faingata'a.

'Oku hanga 'e he LCM 'o 'ai ke fu'u tuai ange pe fakamole lahi ange 'a e ngaahi sisitemi AI?

'Oku 'i ai ha 'olunga fakakomipiuta mo'oni, ka 'oku fakasi'isi'i 'e he ngaahi fakahoko 'o e LCM 'enisinia lelei 'a e uesia 'o fakafou 'i he retrieval fakafehoanaki, caching 'atamai, mo e uta 'o e tu'unga fili. Ki he lahi taha 'o e ngaahi polokalama fakapisinisi, 'Oku mahulu hake 'a e ngaahi ma'u'anga tokoni 'o e tonu mo e tu'uma'u 'i he fakalahi 'o e marginal 'i he fakamole, tautautefito ki he taimi 'oku 'ave ai 'e he ngaahi fehalaaki mei he mole 'a e tu'unga 'o 'enau ngaahi fakamole 'i lalo 'i he taimi mo e falala.

Te u ʻilo fēfē pe ʻoku fakaʻaongaʻi ʻe ha tuʻunga pisinisi ʻoku ou siviʻi ʻa e puleʻi moʻoni ʻo e ʻātakaí ʻoku ʻikai ha mole?

'Eke ki he kau fakatau pau 'a e founga 'oku nau tokanga'i ai 'a e tu'unga 'i he tafa'aki 'o 'enau fakangatangata 'o e matapa sio'ata 'oku ngaue, 'a e founga 'oku nau pule'i ai 'a e ngaahi ngaue 'oku lele loloa pe ngaahi fakataha lahi, pea pe 'oku nau faka'aonga'i 'a e ngaahi founga retrieval-augmented. Ko e ngaahi tu'unga 'e lava ke ne fakahaa'i 'a e manatu hokohoko 'i he ngaahi fakataha, fakakaukau tu'uma'u 'i he ngaahi tohi loloa, mo e coherent 'o e ngaahi sitepu lahi 'o e 'otometiki ko e ngaahi faka'ilonga malohi ia 'o e LCM-aligned architecture.