Rodyti HN: ženklelis, rodantis, kaip gerai jūsų kodų bazė tinka LLM konteksto lange

Jūsų kodų bazėje yra nauja metrika, kuri iš tikrųjų yra svarbi

Dešimtmečius kūrėjai buvo apsėsti kodo eilučių, ciklomatinio sudėtingumo, bandymų aprėpties procentų ir diegimo dažnumo. Tačiau nauja metrika tyliai keičia tai, kaip inžinierių komandos galvoja apie savo kodų bazes: konteksto lango pritaikymas – visos jūsų kodų bazės procentinė dalis, kurią LLM gali suvirškinti vienu raginimu. Skamba apgaulingai paprastai, tačiau šis skaičius tampa vienu praktiškiausių rodiklių, rodančių, kaip efektyviai jūsų komanda gali panaudoti dirbtinio intelekto kūrimo įrankius. Ir jei to nepaisysite, paliksite didelį produktyvumo padidėjimą ant stalo.

Idėja neseniai sulaukė populiarumo kūrėjų bendruomenėse po to, kai pasirodė projektas, sugeneruojantis paprastą ženklelį – kitaip nei žinomi kūrimo ar aprėpties skydai – tiksliai parodo, kiek jūsų saugyklos telpa populiariuose LLM konteksto languose. Tai paskatino stebėtinai turtingą pokalbį apie kodų bazės architektūrą, monorepos ir mikropaslaugas ir tai, ar turėtume kurti savo kodą dėl AI supratimo. Pasekmės yra gilesnės, nei dauguma kūrėjų iš pradžių suvokia.

Ką iš tikrųjų matuoja kontekstinio lango pritaikymas

Kiekvienas didelis kalbos modelis veikia ribotame konteksto lange – didžiausias teksto kiekis, kurį jis gali apdoroti vienu metu. GPT-4 Turbo apdoroja maždaug 128 000 žetonų. Naujausi Claude modeliai viršija 200 tūkst. žetonų. Dvyniai pretenduoja į per milijoną. Kai įvedate savo kodų bazę į vieną iš šių modelių analizei, pertvarkymo pasiūlymams ar klaidų aptikimui, modelis gali „matyti“ tik tai, kas telpa tame lange. Viskas, kas yra už jos ribų, yra nematoma, tarsi to nebūtų.

Konteksto lango pritaikymas matuoja santykį tarp bendro kodų bazės dydžio (žetonais) ir tam tikro modelio kontekstinio lango. Saugykla, kuri sujungia žetonus iki 80 000 žetonų, 100 % tinka 200 000 žetonų modeliui – AI gali suprasti visą jūsų projektą vienu praėjimu. 2 milijonų žetonų monorepo? Jūs žiūrite į vienaženklius procentus, o tai reiškia, kad AI dirba su fragmentais, niekada nesupranta viso vaizdo. Šis skirtumas yra labai svarbus AI sugeneruotų kodų pasiūlymų, architektūrinių peržiūrų ir automatinio pertvarkymo kokybei.

Ženkliuko koncepcija sujungia tai į matomą, bendrinamą metriką. Įklijuokite jį į README kartu su CI būsena ir aprėpties procentais. Tai pasako kūrėjams ir prižiūrėtojams kai ką tikrai naudingo: kaip pritaikyta dirbtiniam intelektui ši kodų bazė?

Kodėl ši metrika keičia tai, kaip komandos kuria programinę įrangą

Programinės įrangos architektūros sprendimus visada lėmė žmogiškieji rūpesčiai – skaitomumas, priežiūra, našumas, komandos struktūra. Konteksto lango pritaikymas šiuose pokalbiuose pristato naują suinteresuotąją šalį: AI poros programuotoją. Kai visa jūsų kodų bazė telpa į konteksto langą, AI įrankiai gali pagrįsti įvairias problemas, nustatyti subtilias priklausomybės grandines ir pasiūlyti pakeitimus, susijusius su visa sistema. Jei ne, jūs iš esmės prašote dirbtinio intelekto, kad jis pakeistų jūsų virtuvę, o jai būtų rodomas tik vonios kambarys.

Tai turi praktinių pasekmių, į kurias inžinieriai pradeda žiūrėti rimtai. Komandos, turinčios aukštus balus pagal kontekstą, praneša apie žymiai geresnius AI kodo peržiūros įrankių rezultatus. Klaidų aptikimo rodikliai pagerėja, nes modelis gali atsekti failų vykdymo kelius. Pertvarkymo pasiūlymai tampa architektūriškai pagrįsti, o ne lokaliai optimalūs, bet globaliai griaunantys. Viena vidutinio dydžio „SaaS“ įmonės inžinierių komanda užfiksavo 40 % AI siūlomų regresijų sumažėjimą, padalijus monorepo į mažesnes, kontekstinio lango paslaugas.

Metrika taip pat sukuria geros inžinerinės praktikos priverstinę funkciją, kurios komandos vis tiek turėtų laikytis. Kodų bazėse, kurios gerai įvertina kontekstinio lango pritaikymą, paprastai yra aiškesnės modulių ribos, mažiau mirusio kodo, geresnis problemų atskyrimas ir labiau sutelktos saugyklos. AI supratimo metrika galiausiai yra bendros kodo būklės tarpinis rodiklis.

Architektūros pasekmės, kurių niekas nesitikėjo

Pokalbis apie kontekstinio lango pritaikymą iš naujo įžiebė monorepo ir polirepo debatus su visiškai nauju aspektu. „Monorepo“ advokatai jau seniai įrodinėja, kad viską laikydami vienoje saugykloje, supaprastina priklausomybės valdymą, įgalinamas atominis įsipareigojimas tarp paslaugų ir sumažėja integracijos skausmas. Tačiau kai jūsų monorepo prieigos raktas padidinamas iki 5 milijonų žetonų, o geriausias galimas konteksto langas yra 200 000, jūs sukūrėte kodų bazę, kurios negali visiškai suprasti joks AI įrankis.

Tai nereiškia, kad monorepos yra mirusios – toli gražu ne. Protingos komandos randa vidurį. Atsirandančios strategijos apima:

• Išmanus gabalų suskirstymas: .contextignore failų (panašių į .gitignore) naudojimas, kad iš AI analizės neįtrauktumėte sugeneruoto kodo, priklausomybės nuo pardavėjo ir testavimo įrenginių.
• Modulio lygio kontekstiniai žemėlapiai: nesudėtingų aprašų kūrimas, padedantis dirbtinio intelekto įrankiams suprasti, kurie failai yra susiję su kokiomis funkcijomis neįkeliant visko
• Architektūrinė dokumentacija kaip kontekstas: įtraukiant glaustus architektūros sprendimų įrašus (ADR), suteikiančius dirbtinio intelekto struktūrinį supratimą, nereikalaujant vien iš kodo daryti išvadų apie ryšius.
• Strateginis paslaugų išgavimas: tikrai nepriklausomų modulių suskirstymas į atskiras saugyklas, kai jie neturi realių kompleksinių rūpesčių su pagrindine sistema

Pagrindinė įžvalga yra ta, kad optimizuojant, kad jis atitiktų konteksto langą, reikia ne sumažinti kodų bazę – tai padaryti, kad ji būtų suprantama tiek dirbtinio intelekto įrankiams, tiek kartu su jais dirbantiems žmonėms.

Savo kodų bazės įvertinimas: praktinė struktūra

Prieš pradedant pertvarkyti visą sistemą, kad būtų galima ieškoti ženklelio metrikos, verta suprasti, kaip prasmingai įvertinti kontekstinio lango atitikimą. Neapdorotas visos saugyklos žetonų skaičius yra atskaitos taškas, tačiau tai bukas instrumentas. Taikant labiau niuansuotą metodą, atsižvelgiama į tai, ką AI iš tikrųjų turi matyti įvairioms užduotims atlikti.

"Tikrasis klausimas yra ne tai, ar visa kodų bazė telpa konteksto lange, o tai, ar tinka atitinkamas bet kurios užduoties kontekstas. Geros struktūros kodų bazė su aiškiomis ribomis leidžia AI įrankiams įkelti būtent tai, ko reikia, net jei visa saugykla yra didžiulė."

💡 DID YOU KNOW?

Mewayz replaces 8+ business tools in one platform

CRM · Invoicing · HR · Projects · Booking · eCommerce · POS · Analytics. Free forever plan available.

Start Free →

Norėdami gauti praktinį įvertinimą, pradėkite nuo pagrindinės programos kodo prieigos rakto – neįskaitant node_modules, tiekėjų katalogų, kūrimo artefaktų ir sugeneruotų failų. Dauguma šiuolaikinių tokenizatorių (pvz., OpenAI tiktoken arba Anthropic paskelbti žetonų skaičiavimo metodai) gali apdoroti katalogą per kelias sekundes. Palyginkite rezultatą su modelių, kuriuos iš tikrųjų naudoja jūsų komanda, kontekstiniais langais. Jei jūsų pagrindinės programos kodas telpa viename konteksto lange, kuriame yra vietos raginimams ir instrukcijoms, esate puikios formos. Jei jis 2–5 kartus viršija langą, reikės strateginio suskirstymo. Daugiau nei 10 kartų norėsite investuoti į architektūros pokyčius arba specializuotus RAG (papildytos kartos) vamzdynus, kad dirbtinio intelekto įrankiai būtų veiksmingi.

Komandoms, kurioms tokiose platformose kaip Mewayz, kur modulinė architektūra jau suskirsto problemas į skirtingus modulius – CRM, sąskaitų faktūrų išrašymo, HR, analizės ir daugiau nei 200 kitų – šis vertinimas tampa ypač įdomus. Kiekvienas modulis veikia kaip atskiras vienetas su aiškiomis sąsajomis, kurios natūraliai susiejamos su konteksto langui palankiomis dalimis. Tai yra toks architektūrinis modelis, kuris duoda naudos ir žmogaus priežiūrai, ir AI supratimui.

Apie ką kūrėjų bendruomenė iš tikrųjų diskutuoja

Diskusija „Hacker News“ apie kontekstinio lango ženklelius sukėlė keletą įdomių įtampų kūrėjų bendruomenėje. Pirmasis yra filosofinis: ar turėtume sukurti AI vartojimui skirtą kodą? Puristai teigia, kad kodas pirmiausia turėtų būti parašytas žmonėms, o dirbtinio intelekto įrankiai turėtų prisitaikyti. Pragmatikai prieštarauja, kad jei dėl paprasto architektūrinio pasirinkimo jūsų komanda 30 % produktyvesnė naudojant AI įrankius, o tai nekainuoja žmonėms suprantamam skaitymui, atsisakymas tai padaryti yra ideologija, o ne inžinerija.

Antroje diskusijoje daugiausia dėmesio skiriama tam, ar konteksto lango pritaikymas yra stabili metrika, kurią verta stebėti. Konteksto langai išaugo eksponentiškai – nuo ​​4K žetonų GPT-3.5 pradžioje iki daugiau nei milijono Gemini 1.5 Pro versijoje. Jei langai nuolat plečiasi, šiandieninis „netelpa“ tampa rytojaus „lengvai telpa“. Tačiau patyrę inžinieriai atkreipia dėmesį į tai, kad net ir esant dideliems konteksto langams modelio našumas prastėja atsižvelgiant į konteksto ilgį. Modelis, apdorojantis 50 000 fokusuoto atitinkamo kodo žetonų, pranoks tą patį modelį, apdorojantį 500 000 besiplečiančio monorepo žetonų, net jei abu techniškai „tinka“. Konteksto kokybė svarbi tiek pat, kiek kiekybė.

Trečias, praktiškesnis pokalbis sukasi apie įrankius. Kūrėjai nori kontekstą suvokiančių IDE integracijų, kurios automatiškai nustato, kuriuos failus įtraukti siunčiant kodą į AI. Jie nori saugyklos lygio intelekto, kuris supranta modulio ribas be rankinio konfigūravimo. Keli atvirojo kodo projektai dabar sprendžia šią konkrečią problemą ir kuria „konteksto kompiliatorius“, kurie surenka optimalų failų rinkinį bet kuriai AI padedamai užduočiai atlikti.

Paverskite tai konkurenciniu pranašumu

Įmonėms – ne tik kūrėjų komandoms – kontekstinio lango pritaikymas turi pasekmių, kurias verta suprasti. Įmonės, kurios programinę įrangą pristato greičiau, su mažiau klaidų ir mažesnėmis sąnaudomis, laimi savo rinkas. AI padedamas kūrimas yra tikras jėgos daugiklis, tačiau tik tada, kai pagrindinė kodų bazė sukurta taip, kad ja pasinaudotų. Organizacijos, kurios šiandien investuoja į dirbtiniam intelektui palankias kodų bazes, sukuria papildomų pranašumų, kurie laikui bėgant didės.

Šis principas apima ne tik programinės įrangos įmones. Įmonės, veikiančios tokiose platformose kaip „Mewayz“, kuri sujungia CRM, sąskaitų faktūrų išrašymą, darbo užmokesčio apskaičiavimą, personalo valdymą, transporto parko valdymą ir analizę į vieną modulinę sistemą, naudojasi ta pačia filosofija veiklos lygmeniu. Kai jūsų verslo duomenys yra gerai struktūrizuotuose, tarpusavyje sujungtuose moduliuose, o ne išsklaidytuose po 15 atjungtų SaaS įrankių, AI gali pagrįsti visą jūsų veiklą – nustatyti pardavimo, palaikymo ir finansų modelius, kurie būtų nematomi sujungtose sistemose. Tas pats principas, kuris daro kodų bazę palankią dirbtiniam intelektui, daro įmonę palankią dirbtiniam intelektui: aiški struktūra, aiškios ribos ir išsamus kontekstas.

Praktinis inžinerijos lyderių pasiūlymas yra nesudėtingas. Pradėkite matuoti savo konteksto lango tinkamumą šiandien – net neoficialiai. Pridėkite jį prie savo inžinerinės būklės prietaisų skydelių kartu su kūrimo laiku ir bandymo aprėptimi. Priimdami architektūrinius sprendimus naudokite jį kaip vieną įvestį (ne vienintelę įvestį). Ir pripažinkite, kad kodų bazės, kurioms daugiausia naudos iš naujos kartos dirbtinio intelekto kūrimo įrankių, bus sukurtos taip, kad būtų suprantamumą šiuo metu.

Ženklas yra pokalbio pradžia, o ne kelionės tikslas

Ženklas README, rodantis „87 % tinkamas kontekstui – Claude 200K“ yra smulkmena. Sugeneruoti užtrunka kelias sekundes ir projekto dokumentacijoje ji užima vieną eilutę. Tačiau tai, ką tai reiškia – apgalvotas, išmatuojamas įsipareigojimas siekti kodų bazės suprantamumo – rodo kažką reikšmingo apie inžinierių komandos prioritetus. Jame sakoma: mes galvojame apie tai, kaip mūsų kodą supras ne tik kitas kūrėjas, bet ir AI sistemos, kurios vis dažniau yra kiekvienos kūrimo darbo eigos dalis.

Vertingiausias šios tendencijos rezultatas nėra pats ženklelis. Tai pokalbiai, kuriuos jis sukelia architektūros peržiūrų, sprinto planavimo ir techninių skolų diskusijų metu. Kai „konteksto lango pritaikymas“ tampa jūsų inžinerijos žodyno dalimi, jūs pradedate priimti sprendimus, atitinkančius viską, ką žinojome apie gerą programinės įrangos dizainą dešimtmečius: maži, sutelkti moduliai su aiškiomis sąsajomis ir minimaliu sujungimu. AI revoliucija šių principų neišrado. Tačiau tai suteikia komandoms naują, kiekybiškai įvertinamą priežastį pagaliau jomis vadovautis.

Dažniausiai užduodami klausimai

Kas yra kontekstinio lango pritaikymas ir kodėl tai svarbu?

Konteksto lango pritaikymas matuoja, kiek procentų jūsų kodų bazės LLM gali apdoroti vienu raginimu. Didesnis procentas reiškia, kad dirbtinio intelekto įrankiai gali vienu metu suprasti daugiau jūsų projekto, todėl gali būti geresni kodo pasiūlymai, tikslesnis atkūrimas ir mažiau haliucinacijų. Kai DI padedama plėtra tampa standartine, ši metrika tiesiogiai veikia jūsų komandos produktyvumą naudojant tokius įrankius kaip „Copilot“, „Cursor“ ir „Claude“.

Kaip patikrinti, ar kodų bazės kontekstinis langas tinka?

Galite naudoti „Hacker News“ bendrinamą atvirojo kodo ženklelio įrankį, kad sugeneruotumėte vaizdinį savo saugyklos indikatorių. Jis apskaičiuoja bendrą kodų bazės prieigos raktų skaičių ir palygina jį su populiariais LLM konteksto langais. Ženkle rodomas procentinis balas, kurį galite įterpti į README, suteikdami bendradarbiams ir suinteresuotosioms šalims akimirksniu vaizdą, kaip jūsų projektas yra paruoštas dirbtiniam intelektui.

Kokios strategijos pagerina kodų bazės kontekstinio lango atitikimo balą?

Sutelkite dėmesį į modulinę architektūrą, aiškų problemų atskyrimą ir neveikiančio kodo pašalinimą. Geros struktūros monorepos su loginėmis ribomis leidžia LLM savarankiškai apdoroti atitinkamus modulius. Kodo dubliavimo mažinimas, failų glaustumas ir švarių priklausomybių medžių palaikymas – visa tai prisideda. Tokios platformos kaip Mewayz demonstruoja šį principą – supakuoja 207 modulius į supaprastintą verslo OS, sukurtą taip, kad būtų galima išlaikyti ir efektyviai.

Ar mažesnė kodų bazė visada reiškia geresnį AI suderinamumą?

Nebūtinai. Mažesnę kodų bazę su painiomis priklausomybėmis ir prastą dokumentaciją LLM gali būti sunkiau suprasti nei didesnę, gerai sutvarkytą. Svarbu, kiek atitinkamo konteksto telpa lange. Švarios abstrakcijos, nuoseklios pavadinimų suteikimo taisyklės ir modulinis dizainas leidžia dirbtinio intelekto įrankiams efektyviai veikti net tada, kai jie negali vienu metu gauti visų kodo eilučių.