A fun awọn terabytes ti awọn akọọlẹ CI si LLM kan

The farasin Gold Mine Joko ninu rẹ CI Pipeline

Gbogbo ẹgbẹ imọ-ẹrọ n ṣe agbejade wọn. Awọn miliọnu awọn laini, ni gbogbo ọjọ kan - awọn ami igba, awọn itọpa akopọ, awọn ipinnu igbẹkẹle, awọn abajade idanwo, kọ awọn ohun-ọṣọ, ati awọn ifiranṣẹ aṣiṣe cryptic ti o yi lọ yiyara ju ẹnikẹni lọ le ka. Awọn akọọlẹ CI jẹ eefin eefin ti idagbasoke sọfitiwia ode oni, ati fun ọpọlọpọ awọn ajo, a tọju wọn ni deede bi eefi: ti jade sinu ibi ipamọ ati gbagbe. Ṣugbọn kini ti awọn akọọlẹ yẹn ba ni awọn ilana ti o le sọ asọtẹlẹ awọn ikuna ṣaaju ki wọn to ṣẹlẹ, ṣe idanimọ awọn igo ti o jẹ idiyele ẹgbẹ rẹ awọn ọgọọgọrun awọn wakati fun mẹẹdogun, ati ṣafihan awọn ọran eto eto ti ko si ẹlẹrọ kan ti o rii tẹlẹ? A pinnu lati ṣawari nipa fifun awọn terabytes ti data log CI sinu awoṣe ede nla kan - ati pe ohun ti a ṣe awari yipada bawo ni a ṣe ronu nipa DevOps patapata.

Kini idi ti Awọn iforukọsilẹ CI jẹ data ti a ko lo julọ ni Imọ-ẹrọ sọfitiwia

Ronu iwọn didun lasan. Ẹgbẹ imọ-ẹrọ agbedemeji ti n ṣiṣẹ 200 kọ fun ọjọ kan kọja awọn ibi ipamọ pupọ n ṣe ipilẹṣẹ aijọju 2-4 GB ti data log aise lojoojumọ. Ni ọdun kan, iyẹn ti kọja terabyte ti eleto ati ọrọ idasile ologbele ti o mu gbogbo akopo, gbogbo ipaniyan suite idanwo, gbogbo igbesẹ imuṣiṣẹ, ati gbogbo ipo ikuna ti eto rẹ ti pade. O jẹ igbasilẹ pipe ti imọ-jinlẹ ti iṣelọpọ ile-iṣẹ imọ-ẹrọ rẹ — ati pe ko si ẹnikan ti o ka.

Iṣoro naa kii ṣe pe data ko ni iye. O jẹ pe ipin ifihan-si-ariwo jẹ buruju. Ṣiṣe CI aṣoju kan ṣe agbejade ẹgbẹẹgbẹrun awọn laini ti iṣelọpọ, ati boya 3-5 ti awọn laini wọnyẹn ni alaye iṣe ṣiṣe. Awọn onimọ-ẹrọ kọ ẹkọ lati ṣe ọlọjẹ fun ọrọ pupa, grep fun “FAILED,” ati tẹsiwaju. Ṣugbọn awọn ilana ti o ṣe pataki julọ - idanwo flaky ti o kuna ni gbogbo ọjọ Tuesday, igbẹkẹle ti o ṣafikun awọn aaya 40 si gbogbo kikọ, jijo iranti ti o wa nikan nigbati awọn iṣẹ kan pato mẹta nṣiṣẹ ni igbakanna - awọn ilana yẹn jẹ alaihan ni ipele log kọọkan. Wọn farahan ni iwọn nikan.

Awọn irinṣẹ itupalẹ log aṣa bii awọn akopọ ELK ati Datadog le ṣajọpọ awọn metiriki ati awọn ibaamu koko koko, ṣugbọn wọn tiraka pẹlu eka itumọ-ọrọ ti iṣelọpọ CI. Ifiranṣẹ ikuna Kọ ti o ka“Asopọ kọ lori ibudo 5432”ati ọkan ti o ka“ FATAL: Ijeri ọrọ igbaniwọle ti kuna fun olumulo 'fifiranṣẹ'”jẹ awọn ikuna ti o ni ibatan data, ṣugbọn wọn ni awọn okunfa gbongbo ti o yatọ patapata ati awọn solusan. Lílóye ìyàtọ̀ yẹn ń béèrè irú ìrònú àyíká-ọ̀rọ̀ tí, títí di láìpẹ́, ènìyàn nìkan ni ó lè pèsè.

Ìdánwò náà: Nfi 3.2 Terabytes ti Ìtàn Kọ́ sí LLM

Iṣeto naa jẹ taara ni imọran ati alaburuku ni ipaniyan. A gba awọn oṣu 14 ti awọn iforukọsilẹ CI lati ori pẹpẹ ti n ṣiṣẹ lori awọn olumulo 138,000 - ibora ti o kọ kọja awọn iṣẹ lọpọlọpọ, awọn agbegbe, ati awọn ibi-afẹde imuṣiṣẹ. Ipilẹ data aise wa si awọn terabytes 3.2: isunmọ 847 milionu awọn laini log log kọọkan ti o to 1.6 milionu CI opo gigun ti epo. A fọ, ti fi sii, ati ṣe atọkasi data yii, lẹhinna ṣe opo opo gigun ti iran-pada (RAG) ti o le dahun awọn ibeere ede ti ẹda nipa itan-akọọlẹ kikọ wa.

Ipenija akọkọ jẹ ilana iṣaaju. Awọn akọọlẹ CI kii ṣe ọrọ mimọ. Wọn ni awọn koodu awọ ANSI, awọn ifi ilọsiwaju ti o kọ ara wọn atunkọ, awọn ayẹwo ohun-ọṣọ alakomeji, ati awọn aami akoko ni o kere ju awọn ọna kika mẹrin ti o da lori iru irinṣẹ ti o ṣe ipilẹṣẹ wọn. A lo ọ̀sẹ̀ mẹ́ta péré lórí ìmúpadàbọ̀sípò—pipa ariwo, dídíwọ̀n àkókò, àti fífi àmì sí apá ọ̀kọ̀ọ̀kan àkọ́kọ́ pẹ̀lú metadata nípa irú ìpele opo gigun ti epo, ibi ipamọ, ẹka, ati agbegbe ti o jẹ ti.

Ipenija keji jẹ idiyele. Iṣeduro ṣiṣiṣẹ lori awọn terabytes ti ọrọ kii ṣe olowo poku, paapaa pẹlu jijẹ ibinu ati iṣapeye igbapada. A sun nipasẹ awọn kirẹditi iṣiro pataki ni oṣu akọkọ nikan, pupọ julọ nitori pe ọna ibẹrẹ wa ko rọrun pupọ - fifiranṣẹ ọrọ-ọrọ pupọ ju fun ibeere ati pe ko ni yiyan to nipa iru awọn apakan log jẹ pataki. Ni opin oṣu keji, a yoo dinku awọn idiyele ibeere fun nipasẹ 87% nipasẹ awọn ilana ifibọ ti o dara julọ ati eto igbapada ipele meji ti o lo awoṣe ti o kere julọ lati ṣaju àlẹmọ ṣaaju fifiranṣẹ si eyi ti o tobi julọ.

Awọn Ilana Marun ti LLM Ti Wa Ti Eniyan Ko Ṣe

Laarin ọsẹ akọkọ ti awọn ibeere ṣiṣe, eto naa ṣafihan awọn oye ti yoo ti gba awọn oṣu atunnkanka eniyan lati ṣawari pẹlu ọwọ. Iwọnyi kii ṣe awọn ọran eti tabi awọn iyanilenu — wọn jẹ awọn ọran eto eto ti njẹ ẹjẹ awọn wakati imọ-ẹrọ gidi.

1. Kasikedi igbẹkẹle Phantom. Imudojuiwọn npm package kan ni oṣu 9 ṣaaju ti ṣafihan idaduro iṣẹju-aaya 22 si gbogbo kikọ JavaScript. Idaduro naa jẹ boju-boju nitori pe o ṣe deede pẹlu igbesoke amayederun CI ti o jẹ ki awọn kikọ ni iyara lapapọ. Net-net, awọn itumọ ti han yiyara, ṣugbọn wọn le ti jẹ awọn aaya 22 yiyara sibẹ. Kọja 400+ JS ti n kọ fun ọjọ kan, iyẹn jẹwakati 2.4 ti iṣiro asonu lojoojumọ.
2. Fọla aago aago. Ayẹyẹ idanwo kan ni oṣuwọn ikuna 4.7% - o kan ga to lati jẹ didanubi, o kan kere to pe ko si ẹnikan ti o ṣe pataki atunṣe. LLM ṣe idanimọ pe awọn ikuna ni ibamu ni pipe ni pipe pẹlu awọn itumọ ti o fa laarin 23:00 ati 01:00 UTC, nigbati iṣẹ afiwe-ọjọ kan kọja aala ọjọ kan. Atunṣe ila-meji ti yọ abọ naa kuro patapata.
3. Apẹrẹ ipalọlọ ipalọlọ. Awọn imuṣiṣẹ si iṣeto ṣaṣeyọri 99.2% ti akoko naa, ṣugbọn LLM ṣe akiyesi pe 31% ti awọn ifilọlẹ “aṣeyọri” ni atẹle nipasẹ imuṣiṣẹ miiran ti iṣẹ kanna laarin awọn iṣẹju 45 - ni iyanju pe imuṣiṣẹ akọkọ ti bajẹ ni iṣẹ-ṣiṣe paapaa kọja gbogbo awọn sọwedowo. Eyi yori si iṣawari pe idanwo iṣọpọ kan n kọja nitori awọn idahun ti a fipamọ lati inu iṣẹ ẹgan kan.
4. Aarọ bottleneck. Kọ awọn akoko isinyi spiked 340% gbogbo Monday laarin 9:00 ati 10:30 AM akoko agbegbe, nitori kóòdù ti o fe a ti ṣiṣẹ lori awọn ìparí gbogbo titari wọn ayipada ṣaaju ki o to imurasilẹ. Atunṣe naa kii ṣe imọ-ẹrọ — o ṣiṣẹ: iyalẹnu ni iṣeto igbelosoke adagun olusare CI lati nireti ifojusọna awọn iṣẹ aarọ.
5. Asia akopo ti ko si ẹnikan ti o ṣeto. 67% ti awọn ile-iṣẹ C++ nṣiṣẹ laisi iṣakojọpọ afikun, fifi aropin ti awọn iṣẹju 3.8 fun kikọ. A ti ṣe akọsilẹ asia naa ninu itọsọna gbigbe ṣugbọn a ko fikun rara si awoṣe iṣeto CI ti o pin.

"Awọn idun ti o gbowolori julọ kii ṣe awọn ti o fa ohun elo rẹ jẹ. Awọn ni o ji ni idakẹjẹ 30 iṣẹju-aaya lati gbogbo awọn iṣẹ ṣiṣe, lojoojumọ, fun awọn ọdun — titi ẹnikan yoo fi beere ibeere ti o tọ ti iwe data to tọ.”

Ilé kan Practical CI oye Layer

Ìdánwò náà mú wa dá wa lójú pé ìtúpalẹ̀ àkójọpọ̀ ọ̀rọ̀ LLM kii ṣe aratuntun - agbára ìṣiṣẹ́ gidi ni. Ṣugbọn ṣiṣe ni ilowo nilo ilana faaji ti o ni ironu. O ko le kan paipu awọn akọọlẹ aise sinu wiwo iwiregbe ati nireti awọn idahun to wulo. Eto naa nilo eto, ati pe o nilo lati ṣepọ sinu awọn onimọ-ẹrọ ṣiṣan iṣẹ ti lo tẹlẹ.

A yanju lori ọna ti ipele mẹta. Ipele akọkọ jẹItọpa adaṣe adaṣe: gbogbo ikole ti kuna laifọwọyi ni ipin nipasẹ ẹka idi root (awọn amayederun, igbẹkẹle, ọgbọn idanwo, iṣeto ni, tabi flake) pẹlu Dimegilio igbẹkẹle. Eyi nikan dinku apapọ akoko-lati-tunṣe fun awọn ikuna kikọ nipasẹ 34%, nitori awọn onimọ-ẹrọ ko ni lati lo iṣẹju mẹwa 10 kika awọn akọọlẹ kan lati ṣawari ibiti o bẹrẹ wiwa. Ipele keji jẹaṣawari aṣa: itọsẹ osẹ kan ti o ṣe afihan awọn ilana ti o nyoju - jijẹ awọn oṣuwọn ikuna, awọn akoko kikọ dagba, awọn ibuwọlu aṣiṣe titun - ṣaaju ki wọn to di pataki. Ipele kẹta jẹiwadii ibaraenisepo: wiwo kan nibiti awọn onimọ-ẹrọ le beere awọn ibeere ede abinibi nipa kikọ itan, bii “Kini idi ti iṣẹ X kuna diẹ sii nigbagbogbo lẹhin igbasilẹ Oṣu Kẹta?” tabi "Kini idi ti o wọpọ julọ fun awọn aṣiṣe akoko ipari ni opo gigun ti sisanwo?"

Fun awọn ẹgbẹ ti n ṣiṣẹ awọn iṣẹ ṣiṣe eka - paapaa awọn ti n ṣakoso awọn iṣẹ iṣowo lọpọlọpọ bii CRM, risiti, isanwo-owo, ati awọn atupale nipasẹ awọn iru ẹrọ biiMewayz, eyiti o ṣe agbekalẹ awọn modulu 207 ti a ṣepọ - iru akiyesi yii di paapaa pataki. Nigbati imuṣiṣẹ ẹyọkan kan ba kan awọn iṣan-iṣẹ ti nkọju si alabara, ọgbọn ìdíyelé, ati awọn eto HR nigbakanna, agbọye awọn ibaraenisepo ninu opo gigun ti epo CI rẹ kii ṣe iyan. O ṣe pataki fun mimu igbẹkẹle ti awọn olumulo 138,000 dale lori.

Kini Ko Ṣiṣẹ (Sibẹsibẹ)

Otitọ ṣe pataki ju ariwo lọ. Awọn idiwọn ti o han gbangba wa si ọna yii ti ẹnikẹni ti o gbero rẹ yẹ ki o loye. LLMs hallucinate, ati nigbati nwọn hallucinate nipa CI àkọọlẹ, awọn esi le jẹ convincingly ti ko tọ. A ti rii eto naa ni igboya tọka ikuna kikọ si rogbodiyan igbẹkẹle ti ko si tẹlẹ, ni pipe pẹlu awọn nọmba ẹya ti a ṣe. Opopona RAG dinku eyi ni pataki, ṣugbọn kii ṣe imukuro rẹ. Gbogbo oye ti eto n gbejade tun nilo ijẹrisi eniyan ṣaaju ṣiṣe.

Iwọn jẹ ipenija. Lakoko ti eto imupadabọ le mu awọn ibeere mu daradara, titọka ibẹrẹ ati ifibọ awọn akọọlẹ tuntun jẹ gbowolori ni iṣiro. A ṣe ilana isunmọ 800,000 awọn laini log tuntun lojoojumọ, ati mimu atọka naa di tuntun nilo awọn amayederun igbẹhin. Fun awọn ẹgbẹ kekere, iṣiro iye owo-anfaani le ma ṣe ojurere si ọna yii - o kere ju ko sibẹsibẹ. Bi awọn idiyele awoṣe ṣe tẹsiwaju lati lọ silẹ (wọn ti ṣubu ni aijọju 90% ni awọn oṣu 18 sẹhin fun agbara deede), eto-ọrọ yoo yipada.

Ibeere aabo tun wa. Awọn akọọlẹ CI le ni awọn aṣiri ninu - awọn bọtini API, awọn okun asopọ, awọn URL inu — laibikita awọn igbiyanju to dara julọ lati fọ wọn. Fifiranṣẹ data yii si awọn API LLM ita ṣafihan eewu. A ṣe iyọkuro eyi pẹlu opo gigun ti epo ti agbegbe ati nipa ṣiṣe itọkasi lori awọn awoṣe ti o gbalejo fun awọn ibi ipamọ ifura, ṣugbọn o ṣafikun idiju ati idiyele. Awọn ẹgbẹ yẹ ki o farabalẹ ṣe ayẹwo awoṣe irokeke wọn ṣaaju ṣiṣe ohunkohun ti o jọra.

Bibẹrẹ Laisi Terabytes

O ko nilo ipilẹ data nla kan tabi ẹgbẹ imọ-ẹrọ ML ti a ṣe iyasọtọ lati bẹrẹ yiyo iye jade lati awọn akọọlẹ CI rẹ. Eyi ni aaye ibẹrẹ pragmatic kan ti ẹgbẹ eyikeyi ti o ni idawọle ọgọrun diẹ fun ọsẹ kan le ṣe imuse:

• Bẹrẹ pẹlu ipinsi ikuna. Ṣe okeere 90 ọjọ rẹ ti o kẹhin ti awọn iforukọsilẹ ti o kuna. Lo eyikeyi LLM API lati ṣe lẹtọ ikuna kọọkan si awọn ẹka. Paapaa taxonomy ti o rọrun (infra vs. code vs. config vs. flake) pese iye lẹsẹkẹsẹ fun iṣaju.
• Tọpa awọn itesi iye akoko kọ.Tọ awọn aami akoko lati awọn akọọlẹ rẹ lati ṣẹda lẹsẹsẹ akoko ti awọn akoko kikọ fun ipele opo gigun ti epo. Ṣe ifunni awọn aiṣedeede si LLM kan pẹlu ọrọ-ọrọ log agbegbe ati beere fun awọn idawọle idi root.
• Ṣiṣe adaṣe awọn ibeere “o han gbangba”. Eyi nikan ṣafipamọ awọn iṣẹju 5-10 fun ikuna fun gbogbo ẹlẹrọ lori ẹgbẹ.
• Kọ ibi ipamọ ti o le ṣawari. Lo awọn ifibọ lati jẹ ki itan-akọọlẹ log rẹ le beere nipasẹ ede adayeba. Awọn irinṣẹ bii LangChain ati LlamaIndex jẹ ki eyi wa ni iyalẹnu, paapaa fun awọn ẹgbẹ laisi iriri ML.

Bọtini naa ni lati bẹrẹ kekere, fọwọsi pe awọn oye jẹ deede, ati faagun diẹdiẹ. Awọn ilolupo ilolupo ohun elo fun iru itupalẹ yii n dagba ni iyara, ati pe ohun ti o nilo awọn amayederun aṣa ni ọdun kan sẹhin ti n pọ si bi awọn paati ibi-ipamọ.

Ọla iwaju jẹ oye iṣẹ ṣiṣe

Ohun ti a n sọrọ nipa rẹ gaan kii ṣe itupalẹ log nikan — o jẹ iyipada ipilẹ kan sioye iṣẹ ṣiṣe. Ọna kanna ti o ṣiṣẹ fun awọn iforukọsilẹ CI kan si awọn tikẹti atilẹyin alabara, data opo gigun ti epo, awọn iṣowo owo, ati ṣiṣan iṣẹ ṣiṣe. Okun ti o wọpọ ni pe awọn ile-iṣẹ n ṣe agbejade iye ti o pọ julọ ti data ọrọ idasile-opin ti o ni awọn ilana iṣe ṣiṣe, ati awọn LLM ni o baamu ni iyasọtọ si wiwa awọn ilana wọnyẹn.

Eyi ni idi ti awọn iru ẹrọ ti o ṣe agbedemeji awọn iṣẹ iṣowo ni anfani igbekalẹ. Nigbati data CRM rẹ, iṣakoso iṣẹ akanṣe, risiti, awọn igbasilẹ HR, ati awọn atupale gbogbo n gbe ni eto kan - bi wọn ṣe ṣe fun awọn ẹgbẹ ti o nlo faaji module iṣọpọ Mewayz - agbara fun oye oye agbegbe-agbelebu pọ si. Apẹẹrẹ kan ninu awọn akọọlẹ CI rẹ le ni ibamu pẹlu churn alabara. Iwasoke ninu awọn tikẹti atilẹyin le ṣe asọtẹlẹ ikuna imuṣiṣẹ kan. Awọn asopọ wọnyi yoo han nikan nigbati data n gbe ni awọn ọna ṣiṣe ti a ti sopọ ju silos ti o ya sọtọ.

Awọn ẹgbẹ ti yoo ṣe rere ni ọdun mẹwa to nbọ kii ṣe awọn ti o ni awọn ẹlẹrọ pupọ julọ tabi awọn eto isuna ti o tobi julọ. Wọn jẹ awọn ti o kọ ẹkọ lati tẹtisi data tiwọn - pẹlu terabytes ti wọn ti n ju ​​silẹ. Awọn akọọlẹ CI rẹ n sọrọ. Ibeere naa ni boya o ti ṣetan lati gbọ ohun ti wọn ni lati sọ.

Awọn ibeere Nigbagbogbo

Njẹ awọn LLM le rii gaan awọn ilana iwulo ninu awọn akọọlẹ CI?

Nitootọ. Awọn awoṣe ede ti o tobi ga julọ ni idamo awọn ilana loorekoore kọja ọrọ nla ti a ko ṣeto. Nigbati o ba tọka si awọn terabytes ti awọn iforukọsilẹ CI, wọn le dada awọn ibamu ikuna, awọn ibuwọlu idanwo alaburuku, ati awọn ija igbẹkẹle ti awọn ẹlẹrọ eniyan kii yoo mu pẹlu ọwọ. Bọtini naa ni ṣiṣeto opo gigun ti epo jijẹ ni ọna ti o tọ ki awoṣe naa gba gige ni deede, awọn apakan akọọlẹ ọrọ ọrọ ọrọ ọrọ dipo ariwo aise.

Iru awọn ikuna CI wo ni a le sọtẹlẹ nipa lilo itupalẹ log?

Ṣiṣayẹwo iwe-iwakọ LLM le ṣe asọtẹlẹ awọn akoko ti o ni ibatan amayederun, awọn ikuna ipinnu igbẹkẹle loorekoore, awọn ipadanu ti o sopọ mọ iranti, ati awọn idanwo alagara ti o fa nipasẹ awọn ọna koodu kan pato. O tun ṣe idanimọ awọn ipadasẹhin ti nrako lọra nibiti awọn akoko kikọ pọ si ni diẹdiẹ lori awọn ọsẹ. Awọn ẹgbẹ ti o nlo ọna yii ni igbagbogbo yẹ awọn ilana ikuna ti npa ni meji si mẹta sprints ṣaaju ki wọn di awọn iṣẹlẹ idinamọ ni awọn imuṣiṣẹ iṣelọpọ.

Melo ni data log CI ti o nilo ṣaaju itupalẹ di niyelori?

Awọn ilana ti o ni itumọ nigbagbogbo farahan lẹhin ṣiṣe ayẹwo 30 si 90 ọjọ ti itan opo gigun ti n tẹsiwaju kọja awọn ẹka lọpọlọpọ. Awọn ipilẹ data ti o kere julọ fun awọn oye ipele-dada, ṣugbọn iye gidi wa lati itọkasi-agbelebu ẹgbẹẹgbẹrun awọn ṣiṣe ṣiṣe. Fun awọn ẹgbẹ ti n ṣakoso awọn ṣiṣan iṣẹ ti o nipọn lẹgbẹẹ awọn opo gigun ti CI wọn, awọn iru ẹrọ bii Mewayz nfunni ni awọn modulu iṣọpọ 207 ti o bẹrẹ ni $19/mo lati ṣe agbedemeji data iṣiṣẹ ni app.mewayz.com.

Ṣe jijẹ awọn akọọlẹ CI si LLM jẹ eewu aabo bi?

O le jẹ ti a ba mu ni aibikita. Awọn akọọlẹ CI nigbagbogbo ni awọn oniyipada ayika, awọn bọtini API, URL inu, ati awọn alaye amayederun. Ṣaaju ṣiṣe awọn iforukọsilẹ nipasẹ LLM eyikeyi, o gbọdọ ṣe awọn opo gigun ti o lagbara ti o yọ awọn aṣiri, awọn iwe-ẹri, ati alaye idanimọ tikalararẹ. Ti gbalejo ti ara ẹni tabi awọn imuṣiṣẹ awoṣe agbegbe ni pataki dinku ifihan ni akawe si fifiranṣẹ awọn iwe aise si awọn aaye ipari ifọrọhan ti o da lori awọsanma ẹni-kẹta.