Biz LLMga terabayt CI jurnallarini berdik

Sizning CI quvuringizda o'tirgan yashirin oltin koni

Har bir muhandislik jamoasi ularni yaratadi. Har kuni millionlab satrlar - vaqt belgilari, stek izlari, bog'liqlik qarorlari, test natijalari, qurilish artefaktlari va sirli xato xabarlari har kim o'qiy olmaydigan darajada tezroq aylanadi. CI jurnallari zamonaviy dasturiy ta'minotni ishlab chiqishning chiqindi gazlari bo'lib, ko'pchilik tashkilotlar uchun ular xuddi egzoz kabi muomala qilinadi: saqlashga chiqariladi va unutiladi. Ammo bu jurnallarda nosozliklar sodir bo'lishidan oldin bashorat qila oladigan, jamoangizga chorakda yuzlab soat sarflaydigan qiyinchiliklarni aniqlaydigan va hech bir muhandis ko'rmaydigan tizimli muammolarni ochib beradigan naqshlar mavjud bo'lsa-chi? Biz terabayt hajmdagi CI jurnali maʼlumotlarini katta til modeliga kiritish orqali aniqlashga qaror qildik — va biz kashf etgan narsalar DevOps haqidagi fikrimizni butunlay oʻzgartirdi.

Nima uchun CI jurnallari dasturiy ta'minot muhandisligida eng kam foydalaniladigan ma'lumotlar

To'liq hajmni hisobga oling. Bir nechta omborlar bo'ylab kuniga 200 ta tuzilmani boshqaradigan o'rta o'lchamli muhandislik guruhi har kuni taxminan 2-4 Gb xom jurnal ma'lumotlarini ishlab chiqaradi. Bir yil davomida bu har bir kompilyatsiya, har bir test to'plamining bajarilishi, har bir o'rnatish bosqichi va tizimingiz duch kelgan har bir nosozlik rejimini qamrab oluvchi tuzilgan va yarim tizimli matndan iborat terabaytdan ortiq. Bu sizning muhandislik tashkilotingiz unumdorligi to‘g‘risidagi to‘liq arxeologik rekorddir va uni deyarli hech kim o‘qimaydi.

Muammo ma'lumotlarning qiymati yo'qligida emas. Bu signal-shovqin nisbati shafqatsiz. Odatiy CI ishga tushirish minglab chiqish qatorlarini ishlab chiqaradi va bu satrlarning 3-5 tasida amalda bo'ladigan ma'lumotlar bo'lishi mumkin. Muhandislar qizil matnni skanerlashni oʻrganadilar, “MUVOFIQ OLIB OLMAYDI” deb topadilar va davom etadilar. Lekin eng muhim bo'lgan naqshlar - har seshanba kuni muvaffaqiyatsiz bo'ladigan zaif sinov, har bir tuzilishga 40 soniya qo'shadigan bog'liqlik, faqat uchta maxsus xizmat bir vaqtning o'zida ishlayotganida yuzaga keladigan xotira oqishi - bu naqshlar individual jurnal darajasida ko'rinmaydi. Ular faqat miqyosda paydo bo'ladi.

ELK steklari va Datadog kabi an'anaviy jurnalni tahlil qilish vositalari o'lchovlar va kalit so'zlarning mosligini to'plashi mumkin, ammo ular CI chiqishining semantik murakkabligi bilan kurashadi. Qurilishdagi xato xabari "5432-portda ulanish rad etildi" va "FATAL: foydalanuvchi "tartibga solish" uchun parolni autentifikatsiya qilish muvaffaqiyatsiz tugadi" ma'lumotlar bazasi bilan bog'liq nosozliklardir, lekin ularning asosiy sabablari va yechimlari butunlay boshqacha. Bu farqni tushunish uchun yaqin vaqtgacha faqat odamlar ta'minlay oladigan kontekstli mulohazalarni talab qiladi.

Tajriba: LLMga 3,2 terabayt qurilish tarixini berish

Sozlash kontseptsiyada sodda va ijroda dahshatli edi. Biz 138 000 dan ortiq foydalanuvchilarga xizmat ko'rsatadigan platformadan 14 oylik CI jurnallarini to'pladik - bu bir nechta xizmatlar, muhitlar va joylashtirish maqsadlari bo'ylab tuzilmalarni qamrab oladi. Xom ma'lumotlar to'plami 3,2 terabaytni tashkil etdi: taxminan 847 million individual log liniyalari 1,6 million CI quvur liniyasini qamrab oladi. Biz bu maʼlumotlarni qismlarga boʻldik, joylashtirdik va indeksladik, soʻngra bizning qurilish tariximiz haqidagi tabiiy tildagi savollarga javob bera oladigan qidiruv-koʻpaytirilgan avlod (RAG) quvurini qurdik.

Birinchi qiyinchilik oldindan ishlov berish edi. CI jurnallari toza matn emas. Ularda ANSI rang kodlari, o'z-o'zidan yoziladigan progress barlari, ikkilik artefakt nazorat yig'indilari va qaysi vosita ularni yaratganiga qarab kamida to'rt xil formatdagi vaqt belgilari mavjud. Biz faqat normallashtirishga uch hafta vaqt sarfladik — shovqinni olib tashlash, vaqt belgilarini standartlashtirish va har bir jurnal segmentini qaysi quvur liniyasi bosqichi, ombori, filiali va muhitiga tegishliligi haqidagi metamaʼlumotlar bilan belgilash.

Ikkinchi qiyinchilik xarajat edi. Matnning terabaytlari bo'yicha xulosa chiqarish, hatto agressiv qismlarga ajratish va qidirishni optimallashtirish bilan ham arzon emas. Birinchi oyning o‘zida biz katta hisob-kitob kreditlarini yoqib yubordik, chunki bizning dastlabki yondashuvimiz juda sodda bo‘lgan - har bir so‘rov uchun juda ko‘p kontekst jo‘natgan va qaysi jurnal segmentlari tegishli ekanligi haqida yetarlicha tanlanmagan. Ikkinchi oyning oxiriga kelib, yaxshiroq joylashtirish strategiyalari va kattaroq modelga yuborishdan oldin filtrlash uchun kichikroq modeldan foydalangan ikki bosqichli qidiruv tizimi orqali har bir so‘rov uchun xarajatlarni 87 foizga kamaytirdik.

LLM tomonidan topilgan, odamlar hech qachon qila olmaydigan besh namuna

So'rovlarni amalga oshirishning birinchi haftasida tizim inson tahlilchisiga qo'lda kashf qilish uchun bir necha oy kerak bo'lgan tushunchalar paydo bo'ldi. Bu noxush holatlar yoki qiziq holatlar emas edi — ular haqiqiy muhandislik soatlarini qondiradigan tizimli muammolar edi.

1. Fantom bog'liqlik kaskadi. 9 oy oldin bitta npm paketini yangilash har bir JavaScript-ni yaratish uchun 22 soniyalik kechikishni kiritgan edi. Kechikish maskalandi, chunki u CI infratuzilmasini yangilash bilan bir vaqtga to'g'ri keldi, bu esa qurilishni tezroq qildi. Net-net, tuzilmalar tezroq paydo bo'ldi, lekin ular hali ham 22 soniya tezroq bo'lishi mumkin edi. Kuniga 400 dan ortiq JS tuzilmalari, bu kuniga 2,4 soat behuda sarflangan hisob edi.
2. Vaqt zonasi yorilishi. Sinov toʻplamida 4,7% ishlamay qolish darajasi boʻlgan — zerikarli boʻlish uchun yetarli darajada yuqori, shu qadar pastki, hech kim uni tuzatishga ustuvor ahamiyat bermagan. LLM nosozliklar UTC soat 23:00 dan 01:00 gacha, sanani taqqoslash funktsiyasi kun chegarasini kesib o'tganda boshlangan qurilishlar bilan deyarli mukammal bog'liqligini aniqladi. Ikki qatorli tuzatish yoriqni butunlay yo'q qildi.
3. Ovozsiz orqaga qaytarish sxemasi. Sahnalashtirish uchun oʻrnatishlar 99,2% hollarda muvaffaqiyatli boʻldi, biroq LLM “muvaffaqiyatli” joylashtirishlarning 31 foizidan soʻng 45 daqiqa ichida xuddi shu xizmatning yana bir joylashuvi kuzatilganini payqashdi, bu barcha tekshiruvlardan oʻtganiga qaramay, birinchi tarqatish funksional ravishda buzilganligini koʻrsatadi. Bu soxta xizmatdan keshlangan javoblar tufayli integratsiya testidan o‘tayotganini aniqlashga olib keldi.
4. Dushanba kuni ertalab muammo. Qurilish navbati vaqti har dushanba mahalliy vaqt bilan soat 9:00 dan 10:30 gacha 340% ga oshdi, chunki hafta oxiri ishlagan dasturchilar oʻz oʻzgarishlarini toʻxtash oldidan oldinga surdilar. Tuzatish texnik emas edi — u ishladi: dushanba kungi ko‘tarilishlarni kutish uchun CI runner hovuz masshtabini hayratda qoldirdi.
5. Hech kim o'rnatmagan kompilyator bayrog'i. C++ tuzilmalarining 67% qo'shimcha kompilyatsiya yoqilmagan holda ishlagan va har bir tuzilishga o'rtacha 3,8 daqiqa qo'shilgan. Bayroq ishga tushirish qo‘llanmasida hujjatlashtirilgan, biroq umumiy CI konfiguratsiya shabloniga hech qachon qo‘shilmagan.

"Eng qimmat xatolar ilovangizni buzadigan xatoliklar emas. Ular har kuni, yillar davomida har bir tuzilishdan 30 soniyani jimgina o'g'irlaydiganlardir - kimdir nihoyat to'g'ri ma'lumotlar to'plami haqida to'g'ri savol bermaguncha."

Amaliy CI razvedka qatlamini yaratish

Tajriba bizni LLM asosidagi jurnal tahlili yangilik emasligiga ishontirdi - bu haqiqiy operatsion qobiliyat. Ammo uni amaliy qilish puxta o'ylangan arxitekturani talab qiladi. Siz shunchaki chat interfeysiga xom jurnallarni kiritib, foydali javoblarni kuta olmaysiz. Tizim tuzilmaga muhtoj va u muhandislar allaqachon foydalanayotgan ish oqimlariga integratsiyalangan boʻlishi kerak.

Biz uch bosqichli yondashuvga qaror qildik. Birinchi daraja avtomatlashtirilgan triajdir: har bir muvaffaqiyatsiz tuzilish avtomatik ravishda asosiy sabablar toifasiga (infratuzilma, bog'liqlik, test mantig'i, konfiguratsiya yoki parchalanish) ishonch balli bilan tasniflanadi. Buning o'zi qurilishdagi nosozliklarni tuzatish uchun o'rtacha vaqtni 34 foizga qisqartirdi, chunki muhandislar endi qayerdan qidirishni boshlashni bilish uchun jurnallarni o'qish uchun 10 daqiqa vaqt sarflashlari shart emas edi. Ikkinchi daraja trendni aniqlash: haftalik dayjest, unda paydo bo'ladigan naqshlar - nosozliklar sonining ortishi, qurilish vaqtlarining o'sishi, yangi xato imzolari - ular muhim bo'lishidan oldin. Uchinchi daraja interaktiv tergov: muhandislar qurilish tarixi haqida tabiiy tilda savollar berishlari mumkin bo'lgan interfeys, masalan, "Nima uchun mart oyida chiqarilgandan keyin X xizmati tez-tez ishlamay qoldi?" yoki "To'lov quvuridagi vaqt tugashi xatolarining eng keng tarqalgan sababi nima?"

Murakkab operatsiyalarni bajaruvchi, ayniqsa, 207 integratsiyalashgan modullarni tashkil qiluvchi Mewayz kabi platformalar orqali CRM, hisob-faktura, ish haqi va tahlil kabi bir nechta biznes funktsiyalarini boshqaradigan jamoalar uchun kuzatuvning bunday turi yanada muhimroq bo'ladi. Bitta o‘rnatish mijozga qaratilgan ish oqimlari, hisob-kitob mantig‘i va HR tizimlariga bir vaqtda tegsa, CI quvuridagi o‘zaro bog‘liqlikni tushunish ixtiyoriy emas. Bu 138 000 dan ortiq foydalanuvchi ishonadigan ishonchlilikni saqlab qolish uchun zarur.

Nima ishlamayapti (hali)

Halollik shov-shuvdan ko'ra muhimroqdir. Ushbu yondashuvning aniq cheklovlari bor, uni ko'rib chiqayotgan har bir kishi tushunishi kerak. LLMlar gallyutsinatsiya qiladi va ular CI jurnallari haqida gallyutsinatsiya qilganda, natijalar ishonchli tarzda noto'g'ri bo'lishi mumkin. Tizim tuzilishdagi nosozlikni hech qachon mavjud bo‘lmagan, o‘ylab topilgan versiya raqamlari bilan to‘la qaramlik ziddiyatiga bog‘lashini ko‘rdik. RAG quvur liniyasi buni sezilarli darajada kamaytiradi, lekin uni yo'q qilmaydi. Tizim ishlab chiqaradigan har bir tushuncha, harakat qilishdan oldin inson tomonidan tasdiqlanishi kerak.

O'lchov muammosi bo'lib qolmoqda. Qidiruv tizimi so'rovlarni samarali bajarishi mumkin bo'lsa-da, yangi jurnallarni dastlabki indekslash va joylashtirish hisoblash qimmatga tushadi. Biz har kuni taxminan 800 000 ta yangi jurnal qatorlarini qayta ishlaymiz va indeksni yangilab turish maxsus infratuzilmani talab qiladi. Kichikroq jamoalar uchun xarajat-foyda hisobi bu yondashuvga mos kelmasligi mumkin - hech bo'lmaganda hali. Model narxi pasayishda davom etar ekan (ular ekvivalent imkoniyatlar uchun so‘nggi 18 oy ichida taxminan 90% ga pasaygan), iqtisod o‘zgaradi.

Xavfsizlik masalasi ham bor. CI jurnallari sirlarni o'z ichiga olishi mumkin - API kalitlari, ulanish satrlari, ichki URL-manzillar - ularni tozalash uchun qilingan barcha harakatlarga qaramay. Ushbu ma'lumotlarni tashqi LLM API'lariga yuborish xavf tug'diradi. Biz buni mahalliy tozalash quvurlari yordamida va sezgir omborlar uchun o'z-o'zidan joylashtirilgan modellar bo'yicha xulosa chiqarish orqali engillashtiramiz, ammo bu murakkablik va narxni oshiradi. Jamoalar shunga o'xshash narsalarni amalga oshirishdan oldin o'zlarining tahdid modelini sinchkovlik bilan baholashlari kerak.

Terabaytsiz ishni boshlash

CI jurnallaridan qiymat olishni boshlash uchun sizga katta hajmdagi maʼlumotlar toʻplami yoki maxsus ML muhandislik guruhi kerak emas. Haftada bir necha yuzta tuzilishga ega har qanday jamoa amalga oshirishi mumkin bo'lgan pragmatik boshlang'ich nuqta:

• Muvaffaqiyatsiz tasniflashdan boshlang. Oxirgi 90 kunlik muvaffaqiyatsiz tuzilish jurnallarini eksport qiling. Har bir nosozlikni toifalarga ajratish uchun LLM API-dan foydalaning. Hatto oddiy taksonomiya (infra-kod va konfiguratsiya va flake) ham ustuvorlik uchun darhol qiymat beradi.
• Yaratish davomiyligi tendentsiyalarini kuzatib boring. Har bir quvur bosqichida qurish davomiyliklarining vaqt qatorini yaratish uchun jurnallaringizdan vaqt belgilarini tahlil qiling. Anomaliyalarni LLMga atrofdagi jurnal konteksti bilan ta'minlang va asosiy sabab gipotezalarini so'rang.
• "Ochiq" savollarni avtomatlashtiring. Muvaffaqiyatsiz tuzilishning so'nggi 500 qatorini LLMga yuboradigan nosozlikdan keyingi kancani o'rnating: "Ushbu CI xatosini bitta jumlada jamlang va eng ko'p tuzatishni taklif qiling." Buning o'zi jamoadagi har bir muhandis uchun har bir nosozlik uchun 5-10 daqiqani tejaydi.
• Qidiriladigan arxiv yarating. Jurnal tarixini tabiiy tilda soʻrov qilish imkoniyatini yaratish uchun oʻrnatishlardan foydalaning. LangChain va LlamaIndex kabi vositalar buni hatto ML tajribasiga ega bo‘lmagan jamoalar uchun ham hayratlanarli darajada qulay qiladi.

Muhimi, kichikdan boshlash, tushunchalar toʻgʻriligini tasdiqlash va asta-sekin kengaytirishdir. Bunday tahlil uchun asbob-uskunalar ekotizimi jadal rivojlanmoqda va bir yil avval zarur bo‘lgan maxsus infratuzilma tayyor komponentlar sifatida tobora ko‘proq mavjud bo‘lmoqda.

Kelajak - bu operatsion razvedka

Aslida biz shunchaki jurnal tahlili emas, balki bu operatsion razvedkaga tubdan siljishdir. CI jurnallari uchun ishlaydigan bir xil yondashuv mijozlarni qo'llab-quvvatlash chiptalari, savdo quvurlari ma'lumotlari, moliyaviy operatsiyalar va operatsion ish oqimlari uchun amal qiladi. Umumiy jihat shundan iboratki, tashkilotlar katta hajmdagi yarim tizimli matn maʼlumotlarini ishlab chiqaradi, ularda amalda qoʻllash mumkin boʻlgan naqshlar mavjud va LLMlar bu naqshlarni topish uchun juda mos keladi.

Shuning uchun biznes operatsiyalarini markazlashtiruvchi platformalar tizimli afzalliklarga ega. Sizning CRM ma'lumotlaringiz, loyihalarni boshqarish, hisob-faktura, HR yozuvlari va analitika bir tizimda mavjud bo'lganda - Mewayzning integratsiyalashgan modul arxitekturasidan foydalanadigan jamoalar uchun bo'lgani kabi - domenlararo razvedka salohiyati ko'payadi. CI jurnallaridagi naqsh mijozlarning ishlamay qolishi bilan bog'liq bo'lishi mumkin. Qo'llab-quvvatlash chiptalaridagi keskin o'sish tarqatishda xatolikni bashorat qilishi mumkin. Bu ulanishlar faqat maʼlumotlar ajratilgan siloslarda emas, balki ulangan tizimlarda yashaganda koʻrinadi.

Keyingi o'n yillikda muvaffaqiyat qozonadigan jamoalar eng ko'p muhandis yoki eng katta byudjetga ega bo'lishi shart emas. Ular o'zlarining ma'lumotlarini tinglashni o'rganadilar, shu jumladan ular tashlab yuborgan terabaytlarini ham. Sizning CI jurnallaringiz gapirmoqda. Savol shundaki, siz ularning aytganlarini eshitishga tayyormisiz.

Ko'p beriladigan savollar

LLMlar haqiqatan ham CI jurnallarida foydali naqshlarni topa oladimi?

Mutlaqo. Katta til modellari katta tuzilmagan matnda takrorlanuvchi naqshlarni aniqlashda ustunlik qiladi. Terabaytli CI jurnallariga ishora qilinganda, ular inson muhandislari hech qachon qo'lda ushlay olmaydigan nosozlik korrelyatsiyalari, sinchkovlik imzolari va qaramlik ziddiyatlarini yuzaga keltirishi mumkin. Asosiysi, qabul qiluvchi quvurni to‘g‘ri tuzish, shuning uchun model xom shovqindan ko‘ra to‘g‘ri bo‘lingan, kontekstga boy log segmentlarini oladi.

Jurnal tahlili yordamida qanday turdagi CI nosozliklarini taxmin qilish mumkin?

LLM tomonidan boshqariladigan jurnal tahlili infratuzilma bilan bog'liq vaqt tugashini, takroriy bog'liqlikni hal qilishda nosozliklarni, xotira bilan bog'langan qurilish ishdan chiqishini va maxsus kod yo'llari tomonidan ishga tushirilgan testlarni prognoz qilishi mumkin. Shuningdek, u qurish vaqtlari haftalar davomida asta-sekin o'sib borayotgan sekin o'zgaruvchan regressiyalarni aniqlaydi. Ushbu yondashuvdan foydalanadigan jamoalar, odatda, ishlab chiqarishni joylashtirishda blokirovka qiluvchi hodisalarga aylanmasdan oldin, ikki-uch sprintda kaskadli nosozlik namunalarini ushlaydi.

Tahlil qimmatli bo'lishidan oldin sizga qancha CI jurnali ma'lumotlari kerak bo'ladi?

Ma'noli naqshlar odatda bir nechta filiallar bo'ylab 30-90 kunlik uzluksiz quvurlar tarixini tahlil qilgandan keyin paydo bo'ladi. Kichikroq ma'lumotlar to'plamlari sirt darajasidagi tushunchalarni beradi, ammo haqiqiy qiymat minglab qurilish ishlarini o'zaro bog'lashdan kelib chiqadi. CI quvurlari bilan bir qatorda murakkab ish oqimlarini boshqaradigan jamoalar uchun Mewayz kabi platformalar app.mewayz.com da operatsion ma'lumotlarni markazlashtirish uchun oyiga $19 dan boshlanadigan 207 ta integratsiyalashgan modullarni taklif qiladi.

CI jurnallarini LLMga yuborish xavfsizlikka xavf tug'diradimi?

Agar ehtiyotsizlik bilan foydalanilsa, shunday bo'lishi mumkin. CI jurnallarida ko'pincha muhit o'zgaruvchilari, API kalitlari, ichki URL manzillari va infratuzilma tafsilotlari mavjud. Har qanday LLM orqali jurnallarni qayta ishlashdan oldin, siz sirlarni, hisobga olish ma'lumotlarini va shaxsni identifikatsiyalash mumkin bo'lgan ma'lumotlarni o'chirib tashlaydigan mustahkam redaktsiya quvurlarini amalga oshirishingiz kerak. Oʻz-oʻziga xos yoki mahalliy modelni oʻrnatish uchinchi tomon bulutga asoslangan xulosa chiqarish nuqtalariga xom jurnallarni yuborish bilan solishtirganda taʼsirni sezilarli darajada kamaytiradi.