Vi ga terabyte med CI-logger til en LLM

Den skjulte gullgruven sitter i CI-rørledningen din

Hvert ingeniørteam genererer dem. Millioner av linjer, hver eneste dag – tidsstempler, stabelspor, avhengighetsoppløsninger, testresultater, byggeartefakter og kryptiske feilmeldinger som ruller forbi raskere enn noen kan lese. CI-logger er eksosgasene til moderne programvareutvikling, og for de fleste organisasjoner behandles de nøyaktig som eksos: ventilert inn i lagring og glemt. Men hva om disse loggene inneholdt mønstre som kunne forutsi feil før de skjer, identifisere flaskehalser som koster teamet hundrevis av timer per kvartal, og avsløre systemiske problemer som ingen enkelt ingeniør noen gang ser? Vi bestemte oss for å finne ut av det ved å mate terabyte med CI-loggdata inn i en stor språkmodell – og det vi oppdaget endret helt hvordan vi tenker om DevOps.

Hvorfor CI-logger er de mest underutnyttede dataene innen programvareteknikk

Tenk på det store volumet. Et mellomstort ingeniørteam som kjører 200 builds per dag på tvers av flere repositories genererer omtrent 2-4 GB råloggdata daglig. Over et år, det er over en terabyte med strukturert og semi-strukturert tekst som fanger opp hver kompilering, hver testpakkekjøring, hvert distribusjonstrinn og hver feilmodus systemet ditt noen gang har vært borti. Det er en fullstendig arkeologisk oversikt over ingeniørorganisasjonens produktivitet – og nesten ingen leser den.

Problemet er ikke at dataene mangler verdi. Det er at signal-til-støy-forholdet er brutalt. En typisk CI-kjøring produserer tusenvis av linjer med utdata, og kanskje 3-5 av disse linjene inneholder nyttig informasjon. Ingeniører lærer å skanne etter rød tekst, grep for «FAILED» og gå videre. Men mønstrene som betyr mest – den flassete testen som mislykkes hver tirsdag, avhengigheten som legger til 40 sekunder til hvert bygg, minnelekkasjen som bare dukker opp når tre spesifikke tjenester kjører samtidig – disse mønstrene er usynlige på det individuelle loggnivået. De dukker bare opp i stor skala.

Tradisjonelle logganalyseverktøy som ELK-stabler og Datadog kan samle beregninger og vise søkeordtreff, men de sliter med den semantiske kompleksiteten til CI-utdata. En melding om byggefeil som lyder "tilkobling nektet på port 5432" og en som leser "FATAL: passordautentisering mislyktes for brukeren 'deploy'" er begge databaserelaterte feil, men de har helt forskjellige grunnårsaker og løsninger. Å forstå denne forskjellen krever den typen kontekstuelle resonnementer som inntil nylig bare mennesker kunne gi.

Eksperimentet: Mate 3,2 terabyte med byggehistorie til en LLM

Oppsettet var enkelt i konsept og marerittaktig i utførelse. Vi samlet inn 14 måneder med CI-logger fra en plattform som betjener over 138 000 brukere – som dekker bygg på tvers av flere tjenester, miljøer og distribusjonsmål. Rådatasettet var på 3,2 terabyte: omtrent 847 millioner individuelle logglinjer som spenner over 1,6 millioner CI-rørledninger. Vi kuttet, innebygde og indekserte disse dataene, og bygde deretter en RAG-pipeline (gjenvinningsutvidet generasjon) som kunne svare på spørsmål om naturlig språk om byggehistorien vår.

Den første utfordringen var forbehandling. CI-logger er ikke ren tekst. De inneholder ANSI-fargekoder, fremdriftslinjer som overskriver seg selv, binære artefaktkontrollsummer og tidsstempler i minst fire forskjellige formater avhengig av hvilket verktøy som genererte dem. Vi brukte tre uker bare på normalisering – stripping av støy, standardisering av tidsstempler og merking av hvert loggsegment med metadata om hvilket rørledningstrinn, depot, filial og miljø det tilhørte.

Den andre utfordringen var kostnad. Å kjøre slutninger over terabyte med tekst er ikke billig, selv med aggressiv chunking og gjenfinningsoptimalisering. Vi brente gjennom betydelige beregningskreditter i løpet av den første måneden alene, mest fordi vår første tilnærming var for naiv – sendte for mye kontekst per spørring og ikke var selektive nok med hensyn til hvilke loggsegmenter som var relevante. Ved slutten av den andre måneden hadde vi redusert kostnadene per forespørsel

Frequently Asked Questions

Can LLMs really find useful patterns in CI logs?

Absolutely. Large language models excel at identifying recurring patterns across massive unstructured text. When pointed at terabytes of CI logs, they can surface failure correlations, flaky test signatures, and dependency conflicts that human engineers would never catch manually. The key is structuring the ingestion pipeline correctly so the model receives properly chunked, contextually rich log segments rather than raw noise.

What types of CI failures can be predicted using log analysis?

LLM-driven log analysis can predict infrastructure-related timeouts, recurring dependency resolution failures, memory-bound build crashes, and flaky tests triggered by specific code paths. It also identifies slow-creeping regressions where build times gradually increase over weeks. Teams using this approach typically catch cascading failure patterns two to three sprints before they become blocking incidents in production deployments.

How much CI log data do you need before analysis becomes valuable?

Meaningful patterns typically emerge after analyzing 30 to 90 days of continuous pipeline history across multiple branches. Smaller datasets yield surface-level insights, but the real value comes from cross-referencing thousands of build runs. For teams managing complex workflows alongside their CI pipelines, platforms like Mewayz offer 207 integrated modules starting at $19/mo to centralize operational data at app.mewayz.com.

Is feeding CI logs to an LLM a security risk?

It can be if handled carelessly. CI logs often contain environment variables, API keys, internal URLs, and infrastructure details. Before processing logs through any LLM, you must implement robust redaction pipelines that strip secrets, credentials, and personally identifiable information. Self-hosted or on-premise model deployments significantly reduce exposure compared to sending raw logs to third-party cloud-based inference endpoints.

Related Posts

• Vis HN: Musikalsk Intervalltrener
• Eksponeringssimulator
• Dimensjoneringskaos
• Arkeologer finner mulige første direkte bevis på Hannibals krigselefanter