Dali smo terabajte CI dnevnika LLM-u

Skriveni rudnik zlata u vašem CI cjevovodu

Svaki inženjerski tim ih generiše. Milioni redova, svakog dana - vremenske oznake, tragovi stekova, rezolucije zavisnosti, rezultati testova, artefakti izgradnje i kriptične poruke o grešci koje se kreću brže nego što iko može da pročita. CI dnevniki su izduvni gasovi modernog razvoja softvera, a za većinu organizacija tretiraju se baš kao ispušni gasovi: ispušni su u skladište i zaboravljeni. Ali šta ako ti zapisnici sadrže obrasce koji mogu predvidjeti kvarove prije nego što se dogode, identificirati uska grla koja koštaju vaš tim stotinama sati po kvartalu i otkriti sistemske probleme koje nijedan inženjer nikada ne vidi? Odlučili smo to saznati unosom terabajta CI log podataka u veliki jezički model — a ono što smo otkrili promijenilo je način na koji razmišljamo o DevOps-u u potpunosti.

Zašto su CI zapisi najviše nedovoljno korišteni podaci u softverskom inženjerstvu

Uzmite u obzir sam volumen. Inženjerski tim srednje veličine koji pokreće 200 build-ova dnevno u više spremišta generiše otprilike 2-4 GB neobrađenih podataka dnevnika dnevno. Više od godinu dana, to je preko terabajta strukturiranog i polustrukturiranog teksta koji bilježi svaku kompilaciju, svako izvršavanje testnog paketa, svaki korak implementacije i svaki način kvara na koji je vaš sistem ikada naišao. To je potpuna arheološka evidencija o produktivnosti vaše inženjerske organizacije — i gotovo je niko ne čita.

Problem nije u tome što podaci nemaju vrijednost. Radi se o tome da je odnos signal/šum brutalan. Tipično CI izvođenje proizvodi hiljade redova izlaza, a možda 3-5 od tih linija sadrži informacije koje se mogu primijeniti. Inženjeri uče da skeniraju crveni tekst, grep za "FAILED" i idu dalje. Ali obrasci koji su najvažniji - neuspešni test koji ne uspe svakog utorka, zavisnost koja dodaje 40 sekundi svakoj gradnji, curenje memorije koje se pojavljuje samo kada se tri specifične usluge pokreću istovremeno - ti obrasci su nevidljivi na nivou pojedinačnog dnevnika. Pojavljuju se samo u velikom obimu.

Tradicionalni alati za analizu dnevnika kao što su ELK stekovi i Datadog mogu agregirati metriku i površinska podudaranja ključnih riječi, ali se bore sa semantičkom složenošću CI izlaza. Poruka o neuspjehu izrade koja glasi "veza je odbijena na portu 5432" i ona koja glasi "FATALNO: provjera autentičnosti lozinke nije uspjela za korisnika 'deploy'" obje su greške vezane za bazu podataka, ali imaju potpuno različite uzroke i rješenja. Razumijevanje te razlike zahtijeva vrstu kontekstualnog rezonovanja koje su donedavno mogli pružiti samo ljudi.

Eksperiment: Dostavljanje 3,2 terabajta historije gradnje za LLM

Postavka je bila jednostavna u konceptu i noćna mora u izvedbi. Prikupili smo 14 mjeseci CI dnevnika sa platforme koja opslužuje preko 138.000 korisnika - pokrivajući gradnje u više usluga, okruženja i ciljeva implementacije. Neobrađeni skup podataka je dostigao 3,2 terabajta: približno 847 miliona pojedinačnih log linija koje obuhvataju 1,6 miliona CI cevovoda. Razdvojili smo, ugradili i indeksirali ove podatke, a zatim izgradili cjevovod za proširenu generaciju (RAG) koji bi mogao odgovoriti na pitanja prirodnog jezika o našoj historiji izrade.

Prvi izazov je bila predobrada. CI dnevniki nisu čist tekst. Oni sadrže ANSI kodove boja, trake napretka koje se zamenjuju, binarne kontrolne sume artefakata i vremenske oznake u najmanje četiri različita formata, ovisno o tome koji ih je alat generirao. Proveli smo tri sedmice samo na normalizaciji – uklanjanju šuma, standardiziranju vremenskih oznaka i označavanju svakog segmenta dnevnika metapodacima o tome kojoj fazi cjevovoda, spremištu, grani i okruženju pripada.

Drugi izazov je bio trošak. Izvođenje zaključivanja preko terabajta teksta nije jeftino, čak ni uz agresivno lomljenje i optimizaciju preuzimanja. Izgubili smo značajne računske kredite samo tokom prvog mjeseca, uglavnom zato što je naš početni pristup bio previše naivan - slanje previše konteksta po upitu i nedovoljno selektivan u pogledu toga koji su segmenti dnevnika relevantni. Do kraja drugog mjeseca smanjili smo troškove po upitu za 87% kroz bolje strategije ugrađivanja i dvostepeni sistem preuzimanja koji je koristio manji model za prethodno filtriranje prije slanja na veći.

Pet obrazaca za koje je LLM otkrio da ljudi nikada ne bi

Unutar prve sedmice pokretanja upita, sistem je otkrio uvide za koje bi ljudskom analitičaru bili potrebni mjeseci da ih otkrije ručno. To nisu bili krajnji slučajevi ili zanimljivosti – to su bili sistemski problemi koji su iskrvarili stvarne inženjerske sate.

1. Kaskada fantomskih zavisnosti. Jedno ažuriranje npm paketa prije 9 mjeseci uvelo je odgodu od 22 sekunde u svaku verziju JavaScripta. Kašnjenje je bilo maskirano jer se poklopilo s nadogradnjom CI infrastrukture koja je sveukupno ubrzala gradnje. Net-net, buildovi su se pojavili brže, ali su još uvijek mogli biti 22 sekunde brži. Preko 400+ JS build-ova dnevno, to je bilo 2,4 sata izgubljenog računanja dnevno.
2. Promena vremenske zone. Paket testova imao je stopu neuspjeha od 4,7% — dovoljno visok da bude dosadan, dovoljno nizak da niko nije dao prioritet popravljanju. LLM je utvrdio da su kvarovi u skoro savršenoj korelaciji sa izgradnjama pokrenutim između 23:00 i 01:00 UTC, kada je funkcija poređenja datuma prešla granicu dana. Popravak u dvije linije u potpunosti je eliminirao ljuspicu.
3. Tihi obrazac vraćanja u prethodno stanje. Raspoređivanje na scenu uspjelo je u 99,2% vremena, ali LLM je primijetio da je 31% "uspješnih" scenskih implementacija praćeno još jednom implementacijom iste usluge u roku od 45 minuta - što sugerira da je prva implementacija bila funkcionalno pokvarena uprkos prolasku svih provjera. To je dovelo do otkrivanja da je integracijski test prošao zbog keširanih odgovora lažne usluge.
4. Usko grlo u ponedjeljak ujutro. Vremena čekanja u redovima za izgradnju narasla su za 340% svakog ponedjeljka između 9:00 i 10:30 ujutro po lokalnom vremenu, jer su programeri koji su radili preko vikenda gurali svoje izmjene prije standup-a. Popravka nije bila tehnička – bila je operativna: zapanjujući raspored skaliranja CI runner pool-a da bi se predvidjeli skokovi u ponedjeljak.
5. Oznaka kompajlera koju niko nije postavio. 67% C++ verzija je radilo bez omogućene inkrementalne kompilacije, dodajući u prosjeku 3,8 minuta po izgradnji. Oznaka je dokumentirana u vodiču za uključivanje, ali nikada nije dodana u dijeljeni CI konfiguracijski predložak.

"Najskuplje greške nisu one koje ruše vašu aplikaciju. To su one koje tiho kradu 30 sekundi iz svake gradnje, svaki dan, godinama - dok neko konačno ne postavi pravo pitanje o pravom skupu podataka."

Izgradnja praktičnog CI inteligentnog sloja

Eksperiment nas je uvjerio da LLM analiza dnevnika nije novost – to je prava operativna sposobnost. Ali da ga učinite praktičnim, potrebna je promišljena arhitektura. Ne možete samo proslijediti neobrađene zapise u chat interfejs i očekivati ​​korisne odgovore. Sistemu je potrebna struktura i treba ga integrirati u tokove rada koje inženjeri već koriste.

Odgovorili smo na troslojni pristup. Prvi nivo je automatizovana trijaža: svaka neuspela izgradnja automatski se klasifikuje prema kategoriji osnovnog uzroka (infrastruktura, zavisnost, testna logika, konfiguracija ili fleke) sa ocenom pouzdanosti. Samo ovo je smanjilo prosječno vrijeme za otklanjanje grešaka u izgradnji za 34%, jer inženjeri više nisu morali trošiti 10 minuta čitajući dnevnike samo da bi shvatili gdje da počnu tražiti. Drugi nivo je detekcija trenda: sedmični sažetak koji prikazuje nove obrasce – povećanje stope kvarova, rastuće vrijeme izrade, nove oznake grešaka – prije nego što postanu kritične. Treći nivo je interaktivna istraga: sučelje u kojem inženjeri mogu postavljati pitanja prirodnom jeziku o historiji gradnje, poput "Zašto je usluga X češće propadala nakon izdanja u martu?" ili "Šta je najčešći uzrok grešaka pri isteku vremena u cjevovodu plaćanja?"

Za timove koji vode složene operacije – posebno one koji upravljaju višestrukim poslovnim funkcijama poput CRM-a, fakturisanja, obračuna plaća i analitike putem platformi kao što je Mewayz, koji orkestrira 207 integriranih modula – ova vrsta vidljivosti postaje još kritičnija. Kada jedna implementacija istovremeno dodirne tokove rada okrenute klijentima, logiku naplate i sisteme ljudskih resursa, razumijevanje međuzavisnosti u vašem CI kanalu nije obavezno. To je neophodno za održavanje pouzdanosti od koje zavisi više od 138.000 korisnika.

Šta (još) ne radi

Iskrenost je važnija od hype. Postoje jasna ograničenja ovog pristupa koja bi svako ko ga razmatra trebao razumjeti. LLM haluciniraju, a kada haluciniraju o CI zapisima, rezultati mogu biti uvjerljivo pogrešni. Vidjeli smo da sistem samouvjereno pripisuje neuspjeh izgradnje sukobu ovisnosti koji nikada nije postojao, zajedno sa izmišljenim brojevima verzija. RAG naftovod to značajno smanjuje, ali ga ne eliminiše. Svaki uvid koji sistem proizvede još uvijek zahtijeva ljudsku provjeru prije akcije.

Razmjer ostaje izazov. Dok sistem za pronalaženje može efikasno da obrađuje upite, početno indeksiranje i ugrađivanje novih dnevnika je računski skupo. Dnevno obrađujemo približno 800.000 novih linija dnevnika, a za održavanje indeksa svježim potrebna je namjenska infrastruktura. Za manje timove, proračun troškova i koristi možda neće favorizirati ovaj pristup — barem ne još. Kako troškovi modela nastavljaju da padaju (pali su za otprilike 90% u proteklih 18 mjeseci zbog ekvivalentne sposobnosti), ekonomija će se promijeniti.

Postoji i pitanje sigurnosti. CI dnevniki mogu sadržavati tajne — API ključeve, nizove veze, interne URL-ove — uprkos svim naporima da se one pročišćavaju. Slanje ovih podataka vanjskim LLM API-jima predstavlja rizik. Mi to ublažavamo pomoću lokalnog cjevovoda za čišćenje i izvođenja zaključaka o modelima koji se sami hostuju za osjetljiva spremišta, ali to dodaje složenost i cijenu. Timovi bi trebali pažljivo procijeniti svoj model prijetnje prije implementacije bilo čega sličnog.

Početak rada bez terabajta

Ne treba vam masivni skup podataka ili posvećeni ML inženjerski tim da biste počeli izvlačiti vrijednost iz vaših CI dnevnika. Evo pragmatične početne tačke koju svaki tim sa nekoliko stotina buildova sedmično može implementirati:

• Počnite s klasifikacijom neuspjeha. Izvezite dnevnike neuspjele izgradnje u posljednjih 90 dana. Koristite bilo koji LLM API da klasifikujete svaki kvar u kategorije. Čak i jednostavna taksonomija (infra vs. code vs. config vs. flake) pruža trenutnu vrijednost za određivanje prioriteta.
• Pratite trendove trajanja izgradnje. Parcirajte vremenske oznake iz vaših dnevnika da kreirate vremensku seriju trajanja izgradnje po fazi cjevovoda. Prenesite anomalije LLM-u s okolnim kontekstom dnevnika i zatražite hipoteze o osnovnom uzroku.
• Automatizirajte "očigledna" pitanja. Postavite zakačicu nakon neuspjeha koja šalje posljednjih 500 redova neuspjele gradnje LLM-u uz prompt: "Sažmite ovaj CI neuspjeh u jednoj rečenici i predložite najvjerovatnije rješenje." Samo ovo štedi 5-10 minuta po kvaru za svakog inženjera u timu.
• Izgradite arhivu koja se može pretraživati. Koristite ugradnje da svoju historiju dnevnika učinite upitnom prirodnim jezikom. Alati kao što su LangChain i LlamaIndex čine ovo iznenađujuće dostupnim, čak i za timove bez iskustva u ML-u.

Ključ je započeti s malim, potvrditi da su uvidi tačni i postepeno proširivati. Ekosistem alata za ovu vrstu analize ubrzano sazrijeva, a ono što je prije godinu dana zahtijevalo prilagođenu infrastrukturu sve je dostupnije kao gotove komponente.

Budućnost je operativna inteligencija

Ono o čemu zapravo govorimo nije samo analiza dnevnika – to je fundamentalni pomak ka operativnoj inteligenciji. Isti pristup koji radi za CI dnevnike primjenjuje se na tikete korisničke podrške, podatke o prodajnom procesu, finansijske transakcije i operativne tokove rada. Zajednička nit je da organizacije stvaraju ogromne količine polustrukturiranih tekstualnih podataka koji sadrže uzorke koji se mogu primijeniti, a LLM su jedinstveno prikladni za pronalaženje tih obrazaca.

Zato platforme koje centraliziraju poslovne operacije imaju strukturnu prednost. Kada vaši CRM podaci, upravljanje projektima, fakturisanje, HR evidencija i analitika žive u jednom sistemu — kao što to rade za timove koji koriste Mewayz-ovu integrisanu arhitekturu modula — potencijal za međudomensku inteligenciju se višestruko povećava. Obrazac u vašim CI dnevnikima može biti u korelaciji s odljevom kupaca. Nagli porast tiketa za podršku može predvidjeti neuspjeh implementacije. Ove veze postaju vidljive samo kada podaci žive u povezanim sistemima, a ne u izolovanim silosima.

Timovi koji će napredovati u sljedećoj deceniji nisu nužno oni s najviše inženjera ili najvećim budžetima. Oni su ti koji uče da slušaju sopstvene podatke – uključujući terabajte koje su bacali. Vaši CI dnevniki govore. Pitanje je da li ste spremni da čujete šta oni imaju da kažu.

Često postavljana pitanja

Mogu li LLM zaista pronaći korisne obrasce u CI logovima?

Apsolutno. Veliki jezički modeli izvrsni su u prepoznavanju ponavljajućih obrazaca u ogromnom nestrukturiranom tekstu. Kada se ukažu na terabajte CI dnevnika, oni mogu otkriti korelacije kvarova, labave testne potpise i sukobe zavisnosti koje ljudski inženjeri nikada ne bi uhvatili ručno. Ključno je pravilno strukturirati cevovod za unos tako da model prima pravilno podijeljene, kontekstualno bogate segmente dnevnika, a ne sirovu buku.

Koje vrste CI kvarova se mogu predvidjeti pomoću analize dnevnika?

LLM vođena analiza dnevnika može predvidjeti vremenska ograničenja vezana za infrastrukturu, ponavljajuće neuspjehe u rješavanju ovisnosti, padove gradnje vezanih za memoriju i promjenjive testove pokrenute određenim putevima koda. Takođe identifikuje spore regresije gde se vreme izgradnje postepeno povećava tokom nedelja. Timovi koji koriste ovaj pristup obično hvataju kaskadne obrasce kvarova dva do tri sprinta prije nego što postanu blokirajući incidente u proizvodnim implementacijama.

Koliko CI log podataka vam je potrebno prije nego analiza postane vrijedna?

Smisleni obrasci se obično pojavljuju nakon analize 30 do 90 dana neprekidne istorije cjevovoda u više grana. Manji skupovi podataka daju uvide na površinskom nivou, ali prava vrijednost dolazi iz unakrsnog referenciranja hiljada pokretanja izgradnje. Za timove koji upravljaju složenim radnim tokovima zajedno sa svojim CI cjevovodima, platforme poput Mewayza nude 207 integriranih modula počevši od 19 USD mjesečno za centralizaciju operativnih podataka na app.mewayz.com.

Da li je slanje CI dnevnika LLM-u sigurnosni rizik?

Može biti ako se nepažljivo rukuje. CI dnevniki često sadrže varijable okruženja, API ključeve, interne URL-ove i detalje o infrastrukturi. Prije obrade dnevnika kroz bilo koji LLM, morate implementirati robusne redakcijske kanale koji uklanjaju tajne, vjerodajnice i lične informacije. Implementacije modela koje se sami hostuju ili lokalnog tipa značajno smanjuju izloženost u poređenju sa slanjem neobrađenih dnevnika na krajnje tačke zaključka zasnovane na oblaku treće strane.