Te Rahui Tonu mai i nga Kaupapa Tuatahi (2025)

Ko te whakahiatotanga haere tonu he tikanga whakahiato hihiko e whakanui ana i te urunga taputapu ma te whakauru i nga tono hou ki roto i te puranga tukatuka kaha i te wa e waatea ana te mokamoka, ka whakakore i nga huringa rorohiko mangere i waenga i nga mahi. Ma te maarama mai i nga maataapono tuatahi ka kitea te take i noho ai hei hoahoanga turanga mo ia punaha ratonga AI mahi nui ka tukuna i te tauine i te tau 2025.

He aha te Tikanga o te Whakakotahitanga Tonu me te aha i rahua ai te whakahiato pateko?

Ki te maioha ki te puranga tonu, me mohio koe ki te mea i whakakapia. Ko nga roopu roopu tuuturu o mua he maha o nga tono, ka tukatukahia hei waahanga kotahi, ka whakaaehia nga tono hou i muri i te mutunga o te puranga katoa. Ko te koha nui ko nga tauira reo nui ka whakaputa i nga tohu he rereke te roa - ka mutu tetahi tono i muri i nga tohu 20, ko tetahi atu i roto i te roopu kotahi mo te 2,000. Ka noho mangere nga GPU katoa o te roopu e tatari ana mo te raupapatanga roa kia oti i mua i te tiimata o nga mahi hou.

Ko te kohinga haere tonu, i whakatapua ki te pepa tohu whenua 2022 "Orca: He Pūnaha Tuhaa Toha mo nga Tauira Whakahanga-Whakawhiti," ka pakaru katoa tenei here. Ka mahi i tetaumata whitiwhitii te taumata tono. I muri i ia haere whakamua kotahi i roto i te tauira, ka tirohia e te kaiwhakariterite mena kua tae tetahi raupapa ki tana tohu mutunga-o-raupapa. Mena kei a ia, ka tangohia tonutia taua mokamoka ka tukuna ki te tono rarangi - kaore he tatari, kaore he ururua. Ka huri te titonga o te puranga ki ia taahiraa wetewete, kia tata tonu te whakamahi taputapu ki te morahi o te ariā i nga wa katoa.

Me pehea te Pahekoheko o te Keteroki KV ki te Rahui Tonu i te Taumata Pūnaha?

Ko te keteroki uara-matua ko te hanganga maumahara e taea ai te tarai i te huanga whakawhiti. Mo ia tohu kua tukatukahia, ka taraihia e te tauira nga taviri aro me nga uara me mau tonu kia kore ai nga tohu o muri mai e tukurua i nga tatauranga taapiri. I roto i te punaha puranga pateko, he ngawari te tohatoha keteroki KV: rahui te mahara kia rite ki te roa o te raupapatanga mo ia tono i roto i te puranga.

Ka whakararu i tenei mea te hangai tonu. Na te mea ka kuhu, ka puta nga tono i te puranga i nga wa ohorere, kaore e taea e te punaha te toha i mua i nga poraka mahara piri tonu. Koia tonu te take a vLLM's PagedAttention — i whakaurua mai i te tau 2023 — i kore e taea te wehe mai i te puranga haere tonu i roto i nga mahi whakangao. Ka tarewahia e PagedAttention te tauira wharangi mahara mariko mai i nga punaha whakahaere, ka wehewehea te keteroki KV ki nga poraka kore-tatatahi he rite te rahi. Ka marara nga wharangi keteroki o te raupapa puta noa i te mahara GPU pera i nga wharangi mahara mariko e marara ana puta noa i te RAM tinana. Ko te hua ka tata ki te kore-kore te ururua mahara mai i te wehewehenga, e whakamaori tika ana ki nga rahinga puranga teitei ake me te whakaputanga teitei ake kaore he haumi taputapu taapiri.

He aha nga Hangahanga Whakahōtaka Matua e mahi ana i te mahi tuitui haere tonu?

E toru nga whakataunga whakahoatanga e whakawhirinaki ana ki te whakahaere i ia punaha puranga tonu:

• Kaupapa here: Ina he nui te pehanga mahara ka tae mai he tono kaupapa matua hou, me whakatau te kaihōtaka mena ka tukuna he raupapa kaupapa-iti e rere ana, ka huri i tana keteroki KV ki te CPU RAM, ka tatau ano ranei i muri mai. Ko te utunga-a-whakawhitinga e pupuri ana i te tatauranga engari ka pau te bandwidth PCIe; ka pau nga huringa GPU engari ka mau te mahara kia ma.
• Mana urunga: Me matapae te kaihōtaka mēnā ka uru te keteroki KV tono hōu ki roto i te pūmahara e wātea ana puta noa i te wa katoa o te whakatipuranga. Ko te iti o te whakaaro ka paheke te mahara-waho i waenganui o te raupapa; ko te nui o te hiakai ka mate te rarangi. Ka whakamahia e nga punaha o naianei nga tohatoha roa kua tohua me nga papaa rahui hei whakataurite i enei tupono.
• Whakakī-mua: Ko te wahanga whakakī-mua — te tukatuka i te tere whakauru a te kaiwhakamahi — kua herea ki te rorohiko, ka taea e ia te whakapouri i te GPU, ka whakaroa i nga hikoi wetewete mo nga raupapa kua rere ke. Ka wehea te whakakī-mua i te poroporoaki i nga poroporoaki roa ki roto i nga wahanga-rahi-rahi kua tuituia ki te wetewete wetewete whitiwhitinga, ka whakaiti i te wa-ki-tuatahi-torotoro mo nga kaiwhakamahi i te wa ano i runga i te utu o te iti rawa o te urunga o mua.
• Tutirae matua: Nga tono wahanga whakangaonga hinonga na te taumata SLA. Ka karangahia e te API tairongo-taapiri ki mua i nga mahi puranga tino kaha. Ki te kore tenei paparanga, ka taea e te mahi whakarapopoto tuhinga roa te whakaheke i te wheako kaiwhakamahi tauwhitiwhiti mo nga rau o nga huihuinga kotahi.

"Kaore e pai ake te whakaputanga o te kohinga haere tonu - ka whakahou ano i te tauira ohaoha o AI inference. Ma te pupuri i nga GPU e noho ana i te maramatanga whitiwhiti kaua ki te tono mokamoka, ka eke nga kaiwhakahaere ki te 5-10x teitei ake te whakamahi mai i nga taputapu rite, koinei te reima nui rawa atu e waatea ana hei whakaiti i nga utu o te mahi tohu mo ia tohu i te tau 2025."

Me pehea e Ine ai nga Whakatupatotanga o te Ao i nga Hua Mahi?

Ko nga hua tohu mai i Anyscale, me nga whakaputanga motuhake puta noa i nga whanau tauira maha i te tau 2024, e whakaatu ana i nga wa katoa e tuku ana te tuku i waenga i te 23× me te 36× teitei ake te whakaputanga ki te whakahiato ki te whakahiato i raro i nga tauira hokohoko pono. Ka tino kitea nga hua ina he nui te rereketanga o te roa o te tono — ko nga ahuatanga e whakaatu ana i nga kawenga mahi AI korero mo te whakaputa i nga patai a nga kaiwhakamahi mai i nga kupu akiaki kupu-toru ki te tuku tuhinga maha-wharangi.

Ko te Latency he korero tino rerekee ake. Ko te wa-ki-tuatahi-tohu ka tino pai ake na te mea kua kore te punaha e tatari mo tetahi puranga pateko kia huihui i mua i te tiimata o te whakakii. Ka mau tonu te roanga o waenga-tohu i raro i te taumahatanga ngawari engari ka heke pai i raro i te waiwai, kaua ki te tiango, na te mea kei te ahu whakamua tonu te kaihōtaka i runga i nga raupapa hohe katoa ahakoa ka hohonu te rarangi. Mo nga pakihi e hanga ana i nga ahuatanga AI wa-tuuturu, he mea nui ake tenei kurupae whakaheke ataahua i nga tauhokohoko nui atu i nga tau putake teitei.

Me pehea e taea ai e nga Pakihi te Whakamahi i nga Maapono Whakakotahi Tonu I tua atu i te Whakaaetanga AI?

Ko te tirohanga hoahoanga i muri i te whakahiato tonu — whakahoki rawa i nga rauemi i te tino maramatanga ka taea, ka tautapa tonu i aua mea, kaua ki te tatari kia oti te waahanga mahi — he maataapono whanui mo tetahi punaha whakahaere i nga taumahatanga rerekee. He rite tonu te wero a nga punaha whakahaere pakihi: nga mahi he rereke te roa o te waa e whakataetae ana mo te kaha tukatuka tiritahi puta noa i nga rerengamahi CRM, aunoatanga hokohoko, paipa tātari, me nga mahi-e-tauhokohoko.

Ka whakamahi a Mewayz i tenei tikanga puta noa i tana OS pakihi 207-kowae, e ararere ana i nga kawenga mahi puta noa i tetahi papaaho whakauru e whakamahia ana e nga umanga 138,000 puta noa i te ao. Engari i te akiaki i nga roopu ki te tatari mo nga huringa purongo, nga rarangi whakaaetanga raupapa, me nga taputapu wahangu, ka whakahaere tonu a Mewayz i nga huihuinga pakihi - ka whangai tonu i nga putanga kua oti ki roto i nga waahanga o raro te huarahi e whangaia ai e te kaihōtaka whakahiato tonu nga mokamoka GPU kua tukuna ki te rarangi tono. Ko te hua ka taea te ine i roto i nga mahi pakihi, kaua ko nga tohu tohu noa.

Patai Auau

He rite tonu te puranga ki te puranga hihiri i roto i te TensorFlow Serving?

Kao. Ko te puranga hihiri a TensorFlow Serving ka kohia nga tono ki roto i nga puranga o te rahi rereke i runga i nga matapihi o te waa me te hohonu o te rarangi, engari kei te whakahaere tonu i ia puranga mai i te timatanga ki te mutunga. Ka mahi te puranga tonu i te hikoinga whakangao tohu takitahi, ka taea e te titonga puranga te huri i ia tuku whakamua. Ko te rerekeetanga ko te aha e eke ai te puranga haere tonu i te whakaputanga teitei ake mo nga kawenga mahi whakangao aunoa.

Me whakarerekē te hoahoanga tauira?

Karekau he whakarereketanga o nga hoahoanga whakawhiti paerewa. Ka whakatinanahia te puranga haere tonu ki te paparanga mahi na roto i nga huringa ki te kaihōtaka whakatau, te kaiwhakahaere mahara, me te pata aro. Heoi ano, ko etahi o nga arotautanga — ina koa ko te PagedAttention — e hiahia ana ki nga kakano CUDA ritenga hei whakakapi i nga whakatinanatanga aro nui, na reira karekau nga anga whakahiato-whakangao tonu penei i te vLLM me te TensorRT-LLM hei whakakapinga mo nga tuunga whakaaro whaanui.

He aha nga herenga taputapu e whakatiki ana i te whai huatanga o te puranga tonu?

Ko te hōkaiipurangi GPU HBM me te kaha katoa o te VRAM nga here tuatahi. Ko nga keteroki KV nui ake e hiahia ana kia nui ake te mahara, ka whakawhāiti i te nui o te whakakotahitanga. Ko nga hononga whanui-nui (NVLink, Infiniband) he mea nui mo nga tukunga maha-GPU me tohatoha te keteroki KV puta noa i nga taputapu. I roto i nga taiao e maumahara ana, ko te inenga kaha o nga uara keteroki KV (mai i te FP16 ki te INT8, INT4 ranei) ka whakaora i te kaha ki te utu mo te iti o te whakahekenga tika e pai ana mo te nuinga o nga tono arumoni.

Ahakoa kei te hanga koe i nga ahuatanga whai mana AI, kei te whakariterite ranei i nga mahi pakihi uaua puta noa i to whakahaere katoa, he rite tonu te maapono o raro: whakakore i te wa mangere, whakahoki tonu i te kaha, me te mahi i etahi atu mahi me nga rauemi kei a koe. Ka whakatinanahia e Mewayz taua maataapono puta noa i nga waahanga whakauru 207 — mai i te CRM me te e-tauhokohoko ki te tātari me te mahi tahi a te roopu — timata mai i te $19 ia marama.

Kua reri ki te whakahaere i to pakihi ki te whakapau kaha? Tīmatahia to whakamatautau kore utu i app.mewayz.com ka kite he pehea te mahi 138,000 pakihi me te Mewayz.