අපි LLM එකකට ටෙරාබයිට් CI ලොග් දුන්නා

ඔබේ CI නල මාර්ගයේ සැඟවුණු රන් ආකරය

සෑම ඉංජිනේරු කණ්ඩායමක්ම ඒවා උත්පාදනය කරයි. සෑම දිනකම මිලියන ගණනක් පේළි - වේලා මුද්‍රා, අට්ටි හෝඩුවාවන්, පරායත්ත විභේදන, පරීක්ෂණ ප්‍රතිඵල, කෞතුක වස්තු ගොඩනඟා, සහ ඕනෑම කෙනෙකුට කියවීමට වඩා වේගයෙන් අතීතයට අනුචලනය වන ගුප්ත දෝෂ පණිවිඩ. CI ලඝු-සටහන් යනු නවීන මෘදුකාංග සංවර්ධනයේ පිටාර දුම් වන අතර, බොහෝ ආයතන සඳහා, ඒවා හරියටම පිටාර ලෙස සලකනු ලැබේ: ගබඩාවට මුදා හැර අමතක වී ඇත. නමුත් එම ලොග් වල අසාර්ථක වීම් සිදුවීමට පෙර පුරෝකථනය කළ හැකි රටා තිබේ නම්, ඔබේ කණ්ඩායමට කාර්තුවකට පැය සියගණනක් වැය වන බාධක හඳුනාගෙන, කිසිඳු ඉංජිනේරුවෙකු කිසිදා නොදකින පද්ධතිමය ගැටළු හෙළි කරයි නම් කුමක් කළ යුතුද? අපි CI ලොග් දත්ත ටෙරාබයිට් විශාල භාෂා ආකෘතියකට පෝෂණය කිරීමෙන් සොයා ගැනීමට තීරණය කළෙමු - සහ අපි සොයා ගත් දේ අපි DevOps ගැන සිතන ආකාරය සම්පූර්ණයෙන්ම වෙනස් කළා.

මෘදුකාංග ඉංජිනේරු විද්‍යාවේ CI ලොග් වඩාත්ම අවභාවිත දත්ත වන්නේ ඇයි

සම්පූර්ණ පරිමාව සලකා බලන්න. මධ්‍යම ප්‍රමාණයේ ඉංජිනේරු කණ්ඩායමක් බහු ගබඩා හරහා දිනකට බිල්ඩ් 200ක් ධාවනය කරන අතර දිනකට දළ වශයෙන් 2-4 GB පමණ raw log Data ජනනය කරයි. වසරක් පුරා, එය සෑම සම්පාදනයක්ම, සෑම පරීක්ෂණ කට්ටලයක්ම ක්‍රියාත්මක කිරීමක්, සෑම යෙදවීමේ පියවරක්ම, සහ ඔබේ පද්ධතිය මෙතෙක් මුහුණ දී ඇති සෑම අසාර්ථක මාදිලියක්ම ග්‍රහණය කර ගන්නා ව්‍යුහගත සහ අර්ධ ව්‍යුහගත පෙළ ටෙරාබයිට් එකකට වඩා වැඩිය. එය ඔබේ ඉංජිනේරු ආයතනයේ ඵලදායිතාව පිළිබඳ සම්පූර්ණ පුරාවිද්‍යාත්මක වාර්තාවකි — කිසිවෙක් එය කියවන්නේ නැති තරම්.

ප්‍රශ්නය දත්තවල වටිනාකමක් නොමැතිකම නොවේ. ඒ තමයි සංඥා-ශබ්ද අනුපාතය ම්ලේච්ඡයි. සාමාන්‍ය CI ධාවනයක් මඟින් ප්‍රතිදාන පේළි දහස් ගණනක් නිපදවන අතර සමහර විට එම රේඛා වලින් 3-5 ක් ක්‍රියාකාරී තොරතුරු අඩංගු වේ. ඉංජිනේරුවන් රතු අකුරු සඳහා ස්කෑන් කිරීමට ඉගෙන ගන්න, "අසාර්ථක" සඳහා grep, සහ ඉදිරියට යන්න. නමුත් වඩාත්ම වැදගත් රටා - සෑම අඟහරුවාදාවකම අසාර්ථක වන ෆ්ලැකි පරීක්ෂණය, සෑම ගොඩනැගීමකටම තත්පර 40ක් එකතු කරන පරායත්තතාවය, නිශ්චිත සේවා තුනක් සමගාමීව ක්‍රියාත්මක වන විට පමණක් මතුවන මතක කාන්දුව - එම රටා තනි පුද්ගල ලොග් මට්ටමින් නොපෙනේ. ඒවා මතුවන්නේ පරිමාණයෙන් පමණි.

ELK stacks සහ Datadog වැනි සාම්ප්‍රදායික ලඝු-සටහන් විශ්ලේෂණ මෙවලම්වලට ප්‍රමිතික සහ මතුපිට මූල පද ගැලපීම් එකතු කළ හැක, නමුත් ඒවා CI ප්‍රතිදානයේ අර්ථකථන සංකීර්ණත්වය සමඟ අරගල කරයි. "වරාය 5432 හි සම්බන්ධතාවය ප්‍රතික්ෂේප කරන ලදී" සහ "මාරාන්තික: පරිශීලක 'deploy' සඳහා මුරපද සත්‍යාපනය අසාර්ථක විය" යනුවෙන් කියවෙන ගොඩනැගීම අසාර්ථක පණිවිඩයක් යන දෙකම දත්ත සමුදාය ආශ්‍රිත අසාර්ථකත්වයන් වේ, නමුත් ඒවාට සම්පූර්ණයෙන්ම වෙනස් මූල හේතු සහ විසඳුම් ඇත. එම වෙනස අවබෝධ කර ගැනීම සඳහා මෑතක් වන තුරුම මිනිසුන්ට පමණක් සැපයිය හැකි ආකාරයේ සන්දර්භාත්මක තර්කයක් අවශ්‍ය වේ.

අත්හදා බැලීම: LLM වෙත ටෙරාබයිට් 3.2 ගොඩනැගීමේ ඉතිහාසය පෝෂණය කිරීම

සැකසුම සංකල්පයෙන් සරල වූ අතර ක්‍රියාත්මක කිරීමේදී බියකරු සිහිනයකි. අපි 138,000 පරිශීලකයින්ට වඩා සේවා සපයන වේදිකාවකින් මාස 14ක CI ලොග එකතු කළෙමු - බහු සේවා, පරිසරයන් සහ යෙදවීමේ ඉලක්ක හරහා ගොඩනැගීම් ආවරණය කරයි. අමු දත්ත කට්ටලය ටෙරාබයිට් 3.2 ක් විය: ආසන්න වශයෙන් මිලියන 847 ක තනි පුද්ගල ලඝු-සටහන් රේඛා මිලියන 1.6 ක CI නල මාර්ග ධාවනය වේ. අපි මෙම දත්ත කොටස් කර, කාවැද්දූ, සහ සුචිගත කර, පසුව අපගේ ගොඩනැගීමේ ඉතිහාසය පිළිබඳ ස්වාභාවික භාෂා ප්‍රශ්නවලට පිළිතුරු දිය හැකි නැවත ලබා ගැනීමේ-වැඩිදියුණු කළ පරම්පරාව (RAG) නල මාර්ගයක් ගොඩනඟා ඇත.

පළමු අභියෝගය වූයේ පෙර සැකසීමයි. CI ලොග පිරිසිදු පෙළ නොවේ. ඒවායේ ANSI වර්ණ කේත, තමන් විසින්ම උඩින් ලියන ප්‍රගති තීරු, ද්විමය කෞතුක භාණ්ඩ පිරික්සුම් සහ කාල මුද්‍රා ඒවා උත්පාදනය කළේ කුමන මෙවලම මතද යන්න මත පදනම්ව අවම වශයෙන් විවිධ ආකෘති හතරකින් සමන්විත වේ. අපි සති තුනක් ගත කළේ සාමාන්‍යකරණය සඳහා පමණි - ශබ්දය ඉවත් කිරීම, වේලා මුද්‍රා ප්‍රමිතිකරණය කිරීම සහ එක් එක් ලඝු ඛණ්ඩය එය අයත් නල වේදිකාව, ගබඩාව, ශාඛාව සහ පරිසරය පිළිබඳ පාර-දත්ත සමඟ ටැග් කිරීම.

දෙවන අභියෝගය වූයේ පිරිවැයයි. ආක්‍රමණශීලී කැබලි කිරීම සහ ප්‍රතිසාධන ප්‍රශස්තිකරණය සමඟ වුවද ටෙරාබයිට් පෙළ හරහා අනුමාන කිරීම ලාභදායී නොවේ. අපගේ ආරම්භක ප්‍රවේශය ඉතා බොළඳ වූ නිසා - විමසුමකට ඕනෑවට වඩා සන්දර්භය යැවීම සහ අදාළ ලොග් කොටස් මොනවාද යන්න පිළිබඳව ප්‍රමාණවත් ලෙස තෝරා නොගැනීම නිසා අපි පළමු මාසය තුළ පමණක් සැලකිය යුතු ගණනය කිරීම් ණය ලබා ගත්තෙමු. දෙවන මාසය අවසන් වන විට, අපි වඩා හොඳ කාවැද්දීමේ උපාය මාර්ග සහ විශාල එකට යැවීමට පෙර පෙර පෙරීමට කුඩා ආකෘතියක් භාවිතා කළ අදියර දෙකක ලබා ගැනීමේ පද්ධතිය හරහා විමසුමකට පිරිවැය 87% කින් අඩු කළෙමු.

මිනිසුන්ට කිසිදාක නොලැබෙන LLM සොයාගත් රටා පහක්

ක්‍රියාත්මක වන විමසුම්වල පළමු සතිය තුළ, පද්ධතිය මිනිස් විශ්ලේෂකයෙකුට අතින් සොයා ගැනීමට මාස කිහිපයක් ගතවනු ඇති තීක්ෂ්ණ බුද්ධිය මතු විය. මේවා අනපේක්ෂිත අවස්ථා හෝ කුතුහලය දනවන දේවල් නොවේ - ඒවා පද්ධතිමය ගැටළු සැබෑ ඉංජිනේරු පැය ලේ ගැලීම් විය.

1. ෆැන්ටම් පරායත්ත කඳුරැල්ල. මාස 9කට පෙර තනි npm පැකේජ යාවත්කාලීනයක් සෑම JavaScript ගොඩනැගීමකටම තත්පර 22ක ප්‍රමාදයක් හඳුන්වා දී ඇත. සමස්තයක් ලෙස ගොඩනැගීම වේගවත් කළ CI යටිතල පහසුකම් වැඩිදියුණු කිරීමක් සමඟ සමපාත වූ නිසා ප්‍රමාදය වසං කරන ලදී. Net-net, builds ඉක්මනින් දර්ශනය වූ නමුත්, ඒවා තව තත්පර 22ක් වේගවත් විය හැක. දිනකට JS ගොඩනැගීම් 400+ හරහා, එය දිනකට පැය 2.4ක අපතේ යන ගණනය කිරීම් විය.
2. වේලා කලාප තලය. පරීක්ෂණ කට්ටලයක 4.7% අසාර්ථක වීමේ ප්‍රතිශතයක් තිබුණි — කරදරකාරී වීමට තරම් ඉහළ, කිසිවකු එය සවි කිරීමට ප්‍රමුඛත්වය නොදුන් තරමට අඩුය. දින-සැසඳීමේ ශ්‍රිතයක් දිනක සීමාව ඉක්මවා ගිය විට, 23:00 සහ 01:00 UTC අතර ප්‍රේරණය වූ ගොඩනැගීම් සමඟ අසාර්ථක වීම් සම්පූර්ණයෙන්ම පාහේ සහසම්බන්ධ වන බව LLM හඳුනාගෙන ඇත. පේළි දෙකක සවි කිරීමකින් තලය සම්පූර්ණයෙන්ම ඉවත් විය.
3. නිහඬ ආපසු හැරීමේ රටාව. වේදිකාගත කිරීම සඳහා යෙදවීම 99.2% ක්ම සාර්ථක වූ නමුත්, "සාර්ථක" වේදිකාගත කිරීම්වලින් 31% ක් මිනිත්තු 45 ක් ඇතුළත එම සේවාවම තවත් යෙදවීමකින් අනුගමනය කරන බව LLM විසින් නිරීක්ෂණය කරන ලදී. මෙය ව්‍යාජ සේවාවකින් හැඹිලිගත ප්‍රතිචාර හේතුවෙන් ඒකාබද්ධතා පරීක්ෂණයක් සමත් වන බව සොයා ගැනීමට හේතු විය.
4. සඳුදා උදෑසන බාධකය. සෑම සඳුදා දිනකම දේශීය වේලාවෙන් පෙ.ව. 9:00 සිට 10:30 දක්වා කාලය තුළ ගොඩ නැගීමේ පෝලිම් වේලාවන් 340% කින් ඉහළ ගියේය, මන්ද සති අන්තයේ වැඩ කරන සංවර්ධකයින් සියල්ලෝම ස්ථාවර වීමට පෙර ඔවුන්ගේ වෙනස්කම් තල්ලු කළහ. නිවැරදි කිරීම තාක්‍ෂණික නොවීය - එය ක්‍රියාත්මක විය: සඳුදා වැඩිවීමක් අපේක්ෂා කිරීම සඳහා CI ධාවන තටාක පරිමාණය කිරීමේ කාලසටහන පුදුමයට පත් කරයි.
5. කිසිවෙකු විසින් සකසා නැති සම්පාදක ධජය. C++ ගොඩනැංවීම් වලින් 67% ක් වර්ධක සම්පාදනය සක්‍රීය නොකර ක්‍රියාත්මක වන අතර, එක් ගොඩනැගීමකට සාමාන්‍යයෙන් මිනිත්තු 3.8 ක් එක් කරයි. ධජය ඇතුළත් කිරීමේ මාර්ගෝපදේශය තුළ ලේඛනගත කර ඇති නමුත් බෙදාගත් CI වින්‍යාස අච්චුව වෙත කිසි විටෙක එක් නොකළේය.

"වඩාත් මිල අධික දෝෂ ඔබේ යෙදුම බිඳ වැටෙන ඒවා නොවේ. ඒවා සෑම ගොඩනැගීමකින්ම, සෑම දිනකම, වසර ගණනාවක් තිස්සේ නිහඬව තත්පර 30ක් සොරකම් කරන ඒවාය - කවුරුහරි අවසානයේ නිවැරදි දත්ත කට්ටලය පිළිබඳ නිවැරදි ප්‍රශ්නය අසන තුරු."

ප්‍රායෝගික CI බුද්ධි ස්ථරයක් ගොඩනැගීම

එල්එල්එම් බලයෙන් ක්‍රියාත්මක වන ලඝු-සටහන් විශ්ලේෂණය නව්‍යතාවයක් නොවන බව අත්හදා බැලීම අපට ඒත්තු ගැන්වීය - එය අව්‍යාජ මෙහෙයුම් හැකියාවකි. නමුත් එය ප්‍රායෝගික කිරීමට කල්පනාකාරී ගෘහ නිර්මාණ ශිල්පය අවශ්‍ය වේ. ඔබට කතාබස් අතුරුමුහුණතකට අමු ලොග් පයිප් කර ප්‍රයෝජනවත් පිළිතුරු අපේක්ෂා කළ නොහැක. පද්ධතියට ව්‍යුහය අවශ්‍ය වන අතර, එය ඉංජිනේරුවන් දැනටමත් භාවිතා කරන කාර්ය ප්‍රවාහයන් වෙත ඒකාබද්ධ කළ යුතුය.

අපි තට්ටු තුනක ප්‍රවේශයක් මත පදිංචි විය. පළමු ස්ථරය ස්වයංක්‍රීය ට්‍රයිජ් වේ: සෑම අසාර්ථක ගොඩනැගීමක්ම ස්වයංක්‍රීයව මූලික හේතු ප්‍රවර්ගය (යටිතල පහසුකම්, යැපීම, පරීක්ෂණ තර්කනය, වින්‍යාසය, හෝ තලය) විශ්වාස ලකුණු සමඟින් වර්ග කෙරේ. මෙය පමණක් ගොඩනැගීමේ අසාර්ථක වීම් සඳහා සාමාන්‍ය කාලය 34% කින් අඩු කළේය, මක්නිසාද යත්, සෙවීම ආරම්භ කළ යුත්තේ කොතැනින්දැයි සොයා බැලීමට ඉංජිනේරුවන්ට තවදුරටත් ලඝු-සටහන් කියවීමට මිනිත්තු 10ක් වැය කිරීමට සිදු නොවූ බැවිනි. දෙවන ස්ථරය වන්නේ ප්‍රවණතා හඳුනා ගැනීම: නැගී එන රටා මතු කරන සතිපතා සංග්‍රහයකි - අසාර්ථක වීමේ අනුපාත වැඩි වීම, ගොඩනැගීමේ වේලාවන් වර්ධනය වීම, නව දෝෂ අත්සන් - ඒවා තීරණාත්මක වීමට පෙර. තුන්වන ස්ථරය වන්නේ අන්තර්ක්‍රියාකාරී විමර්ශනය: ඉංජිනේරුවන්ට "මාර්තු නිකුතුවෙන් පසුව X සේවාව බොහෝ විට අසාර්ථක වූයේ ඇයි?" වැනි, ගොඩනැගීමේ ඉතිහාසය පිළිබඳ ස්වභාවික භාෂා ප්‍රශ්න ඇසිය හැකි අතුරු මුහුණතක්. හෝ "ගෙවීම් නල මාර්ගයේ කල් ඉකුත් වීමේ දෝෂ සඳහා වඩාත් පොදු හේතුව කුමක්ද?"

සංකීර්ණ මෙහෙයුම් ක්‍රියාත්මක කරන කණ්ඩායම් සඳහා - විශේෂයෙන්ම ඒකාබද්ධ මොඩියුල 207 ක් සංවිධානය කරන Mewayz වැනි වේදිකා හරහා CRM, ඉන්වොයිසි කිරීම, වැටුප් ලේඛනය සහ විශ්ලේෂණ වැනි බහු ව්‍යාපාරික කාර්යයන් කළමනාකරණය කරන අය සඳහා - මේ ආකාරයේ නිරීක්ෂණ වඩාත් තීරණාත්මක වේ. තනි යෙදවීමක් පාරිභෝගිකයන් මුහුණ දෙන කාර්ය ප්‍රවාහයන්, බිල්පත් තර්කනය සහ මානව සම්පත් පද්ධති එකවර ස්පර්ශ කරන විට, ඔබේ CI නල මාර්ගයේ අන්තර් රඳා පැවැත්ම තේරුම් ගැනීම විකල්ප නොවේ. 138,000+ පරිශීලකයන් මත රඳා පවතින විශ්වසනීයත්වය පවත්වා ගැනීම සඳහා එය අත්යවශ්ය වේ.

වැඩ නොකරන දේ (තවමත්)

ප්‍රබෝධයට වඩා අවංකකම වැදගත් වේ. මෙම ප්‍රවේශයට පැහැදිලි සීමාවන් තිබේ, එය සලකා බලන ඕනෑම කෙනෙකුට තේරුම් ගත යුතුය. LLMs මායාවට පත් වන අතර, ඔවුන් CI ලඝු-සටහන් ගැන මායාවට පත් වූ විට, ප්‍රතිඵල ඒත්තු ගැන්වෙන ලෙස වැරදි විය හැක. අපි පද්ධතිය විශ්වාසයෙන් යුතුව ගොඩ නැගීමේ අසාර්ථක වීමක් කිසිදා නොතිබූ, ගොතන ලද අනුවාද අංක සමඟ සම්පූර්ණ වූ පරායත්තතා ගැටුමකට ආරෝපණය කර ඇත. RAG නල මාර්ගය මෙය සැලකිය යුතු ලෙස අඩු කරයි, නමුත් එය එය ඉවත් නොකරයි. පද්ධතිය නිපදවන සෑම තීක්ෂ්ණ බුද්ධියක් සඳහාම තවමත් ක්‍රියාවට පෙර මානව සත්‍යාපනය අවශ්‍ය වේ.

පරිමාණය අභියෝගයක්ව පවතී. ප්‍රතිසාධන පද්ධතියට විමසුම් කාර්යක්ෂමව හැසිරවිය හැකි අතර, නව ලඝු-සටහන් මූලික සුචිගත කිරීම සහ කාවැද්දීම ගණනය කිරීම සඳහා මිල අධික වේ. අපි දිනකට ආසන්න වශයෙන් නව ලොග් රේඛා 800,000 ක් සකසන අතර, දර්ශකය නැවුම්ව තබා ගැනීමට කැපවූ යටිතල පහසුකම් අවශ්‍ය වේ. කුඩා කණ්ඩායම් සඳහා, පිරිවැය-ප්‍රතිලාභ ගණනය කිරීම මෙම ප්‍රවේශයට අනුග්‍රහය නොදක්වයි - අවම වශයෙන් තවමත් නැත. ආකෘති පිරිවැය අඛණ්ඩව පහත වැටෙන විට (පසුගිය මාස 18 තුළ සමාන හැකියාවක් සඳහා ඒවා දළ වශයෙන් 90% කින් පහත වැටී ඇත), ආර්ථිකය වෙනස් වනු ඇත.

ආරක්ෂාව පිළිබඳ ප්‍රශ්නයක් ද තිබේ. CI ලොග වල රහස් අඩංගු විය හැක — API යතුරු, සම්බන්ධතා තන්තු, අභ්‍යන්තර URL — ඒවා ස්ක්‍රබ් කිරීමට උපරිම උත්සාහයක් ගත්තද. මෙම දත්ත බාහිර LLM API වෙත යැවීම අවදානමක් හඳුන්වා දෙයි. අපි මෙය දේශීය ස්ක්‍රබ් කිරීමේ නල මාර්ගයක් සමඟින් සහ සංවේදී ගබඩා සඳහා ස්වයං-සත්කාරක මාදිලි පිළිබඳ අනුමාන ක්‍රියාත්මක කිරීමෙන් අවම කරන්නෙමු, නමුත් එය සංකීර්ණත්වය සහ පිරිවැය එක් කරයි. සමාන දෙයක් ක්‍රියාත්මක කිරීමට පෙර කණ්ඩායම් ඔවුන්ගේ තර්ජන ආකෘතිය ප්‍රවේශමෙන් ඇගයීමට ලක් කළ යුතුය.

ටෙරාබයිට් නොමැතිව ආරම්භ කිරීම

ඔබගේ CI ලොග වලින් අගය උකහා ගැනීම ආරම්භ කිරීමට ඔබට දැවැන්ත දත්ත කට්ටලයක් හෝ කැපවූ ML ඉංජිනේරු කණ්ඩායමක් අවශ්‍ය නොවේ. සතියකට ගොඩනැගීම් සිය ගණනක් ඇති ඕනෑම කණ්ඩායමකට ක්‍රියාත්මක කළ හැකි ප්‍රායෝගික ආරම්භක ලක්ෂ්‍යයක් මෙන්න:

• අසාර්ථක වර්ගීකරණය සමඟින් ආරම්භ කරන්න. ඔබේ පසුගිය දින 90 අසාර්ථක වූ ගොඩනැංවීමේ ලොග අපනයනය කරන්න. එක් එක් අසාර්ථකත්වය වර්ගීකරණය කිරීමට ඕනෑම LLM API භාවිතා කරන්න. සරල වර්ගීකරණයක් පවා (infra එදිරිව කේතය එදිරිව config එදිරිව flake) ප්‍රමුඛත්වය සඳහා ක්ෂණික වටිනාකමක් සපයයි.
• ගොඩනැගීමේ කාලසීමා ප්‍රවණතා හඹා යන්න. නල මාර්ග අදියරකට ගොඩනැංවීමේ කාල පරාසයක් සෑදීමට ඔබේ ලොගවලින් වේලා මුද්‍රා විග්‍රහ කරන්න. අවට ලඝු සන්දර්භය සහිත LLM වෙත විෂමතා සංග්‍රහ කර මූල හේතු උපකල්පන ඉල්ලා සිටින්න.
• "පැහැදිලි" ප්‍රශ්න ස්වයංක්‍රීය කරන්න. "මෙම CI අසාර්ථකත්වය එක වාක්‍යයකින් සාරාංශ කර බොහෝ දුරට නිවැරදි කිරීම යෝජනා කරන්න" යන විමසුම සමඟින් අසාර්ථක ගොඩනැගීමක අවසාන පේළි 500 LLM වෙත යවන පසු අසාර්ථක කොක්කක් සකසන්න. මෙය පමණක් කණ්ඩායමේ සෑම ඉංජිනේරුවෙකුටම අසාර්ථක වීමකට මිනිත්තු 5-10ක් ඉතිරි කරයි.
• සෙවිය හැකි සංරක්ෂිතයක් ගොඩනඟන්න. ඔබේ ලොග් ඉතිහාසය ස්වභාවික භාෂාවෙන් විමසිය හැකි බවට පත් කිරීමට කාවැද්දීම භාවිතා කරන්න. LangChain සහ LlamaIndex වැනි මෙවලම් ML අත්දැකීමක් නොමැති කණ්ඩායම් සඳහා පවා මෙය පුදුම සහගත ලෙස ප්‍රවේශ විය හැක.

ප්‍රධාන දෙය නම් කුඩාවෙන් ආරම්භ කිරීම, තීක්ෂ්ණ බුද්ධිය නිවැරදි බව තහවුරු කිරීම සහ ක්‍රමයෙන් පුළුල් කිරීමයි. මෙවැනි විශ්ලේෂණ සඳහා මෙවලම් පරිසර පද්ධතිය වේගයෙන් පරිණත වෙමින් පවතින අතර, වසරකට පෙර අවශ්‍ය වූ අභිරුචි යටිතල ව්‍යුහය වැඩි වැඩියෙන් ලබා ගත හැක්කේ රාක්කයෙන් පිටත සංරචක ලෙස ය.

අනාගතය මෙහෙයුම් බුද්ධියයි

අපි ඇත්තටම කතා කරන්නේ ලඝු-සටහන් විශ්ලේෂණය පමණක් නොවේ - එය මෙහෙයුම් බුද්ධිය වෙත මූලික මාරුවකි. CI ලොග් සඳහා ක්‍රියා කරන එම ප්‍රවේශය පාරිභෝගික සහාය ප්‍රවේශපත්‍ර, විකුණුම් නල මාර්ග දත්ත, මූල්‍ය ගනුදෙනු සහ ක්‍රියාකාරී කාර්ය ප්‍රවාහ සඳහාද අදාළ වේ. පොදු ත්‍රෙඩ් එක නම් ආයතන විසින් ක්‍රියා කළ හැකි රටා අඩංගු අතිවිශාල අර්ධ ව්‍යුහගත පෙළ දත්ත ප්‍රමාණයක් ජනනය කරන අතර, එම රටා සොයා ගැනීමට LLMs අනන්‍යව ගැලපේ.

ව්‍යාපාර මෙහෙයුම් මධ්‍යගත කරන වේදිකාවලට ව්‍යුහාත්මක වාසියක් ඇත්තේ එබැවිනි. ඔබේ CRM දත්ත, ව්‍යාපෘති කළමනාකරණය, ඉන්වොයිසි කිරීම, HR වාර්තා සහ විශ්ලේෂණ සියල්ල එකම පද්ධතියක ජීවත් වන විට - Mewayz හි ඒකාබද්ධ මොඩියුල ගෘහ නිර්මාණ ශිල්පය භාවිතා කරන කණ්ඩායම් සඳහා මෙන් - හරස් වසම් බුද්ධියේ විභවය ගුණ කරයි. ඔබේ CI ලඝු-සටහන් වල රටාවක් පාරිභෝගිකයින් අවුල් කිරීම සමඟ සහසම්බන්ධ විය හැක. ආධාරක ප්‍රවේශපත්‍රවල වැඩිවීමක් යෙදවීම අසාර්ථක වීමක් පුරෝකථනය කළ හැක. මෙම සම්බන්ධතා දෘශ්‍යමාන වන්නේ දත්ත හුදකලා සිලෝස් වලට වඩා සම්බන්ධිත පද්ධතිවල ජීවත් වන විට පමණි.

ඉදිරි දශකය තුළ දියුණු වන කණ්ඩායම් අවශ්‍යයෙන්ම බොහෝ ඉංජිනේරුවන් හෝ විශාලතම අයවැය ඇති ඒවා නොවේ. ඔවුන් ඉවතලන ටෙරාබයිට් ඇතුළු ඔවුන්ගේම දත්තවලට සවන් දීමට ඉගෙන ගන්නා අයයි. ඔබේ CI ලොග් කතා කරයි. ප්‍රශ්නය වන්නේ ඔවුන් පවසන දේ ඇසීමට ඔබ සූදානම්ද යන්නයි.

නිතර අසන ප්‍රශ්න

LLM වලට ඇත්තටම CI ලොග වල ප්‍රයෝජනවත් රටා සොයාගත හැකිද?

අනිවාර්‍යෙන්ම. විශාල භාෂා ආකෘති දැවැන්ත ව්‍යුහගත නොකළ පෙළ හරහා පුනරාවර්තන රටා හඳුනාගැනීමේදී විශිෂ්ටයි. ටෙරාබයිට් CI ලඝු-සටහන් වෙත යොමු කළ විට, ඒවාට අසාර්ථක සහසම්බන්ධතා, පතුරු පරීක්ෂණ අත්සන්, සහ මානව ඉංජිනේරුවන් අතින් කිසිදා හසු නොවන පරායත්තතා ගැටුම් මතු කළ හැක. ප්‍රධාන දෙය වන්නේ ආග්‍රහණ නල මාර්ගය නිවැරදිව ව්‍යුහගත කිරීමයි, එබැවින් ආකෘතියට අමු ශබ්දයට වඩා නිසි ලෙස කුට්ටි, සන්දර්භමය වශයෙන් පොහොසත් ලොග් කොටස් ලැබේ.

ලොග් විශ්ලේෂණය භාවිතයෙන් පුරෝකථනය කළ හැක්කේ කුමන ආකාරයේ CI අසමත්වීම්ද?

LLM-ධාවනය කරන ලද ලොග් විශ්ලේෂණයට යටිතල පහසුකම් ආශ්‍රිත කල් ඉකුත්වීම්, පුනරාවර්තන පරායත්ත විභේදන අසාර්ථකවීම්, මතකය-බැඳුණු ගොඩනැගීමේ බිඳවැටීම් සහ විශේෂිත කේත මාර්ග මගින් ක්‍රියාරම්භ කරන ලද පලුදු පරීක්ෂණ පුරෝකථනය කළ හැක. එය ගොඩ නැගීමේ කාලය සති කිහිපයකින් ක්‍රමයෙන් වැඩි වන සෙමින් බඩගා යන ප්‍රතිගමන ද හඳුනා ගනී. මෙම ප්‍රවේශය භාවිතා කරන කණ්ඩායම් සාමාන්‍යයෙන් නිෂ්පාදන යෙදවීමේදී සිදුවීම් අවහිර කිරීමට පෙර කැස්කැඩින් අසාර්ථක රටා දෙක තුනක් ස්ප්‍රින්ට් අල්ලා ගනී.

විශ්ලේෂණය වටිනා වීමට පෙර ඔබට කොපමණ CI ලොග් දත්ත අවශ්‍යද?

විවිධ ශාඛා හරහා දින 30 සිට 90 දක්වා අඛණ්ඩ නල මාර්ග ඉතිහාසය විශ්ලේෂණය කිරීමෙන් පසු අර්ථවත් රටා සාමාන්‍යයෙන් මතු වේ. කුඩා දත්ත කට්ටල මතුපිට-මට්ටමේ තීක්ෂ්ණ බුද්ධිය ලබා දෙයි, නමුත් සැබෑ අගය පැමිණෙන්නේ දහස් ගණනක් ගොඩනැංවීමේ ලකුණු හරස්-යොමු කිරීමෙනි. ඔවුන්ගේ CI නල මාර්ග සමඟ සංකීර්ණ කාර්ය ප්‍රවාහ කළමනාකරණය කරන කණ්ඩායම් සඳහා, Mewayz වැනි වේදිකා app.mewayz.com හි මෙහෙයුම් දත්ත මධ්‍යගත කිරීමට $19/mo සිට ඒකාබද්ධ මොඩියුල 207ක් පිරිනමයි.

LLM එකකට CI ලඝු-සටහන් සැපයීම ආරක්ෂක අවදානමක් ද?

එය නොසැලකිලිමත් ලෙස හසුරුවන්නේ නම් විය හැක. CI ලොග වල බොහෝ විට පරිසර විචල්‍ය, API යතුරු, අභ්‍යන්තර URL සහ යටිතල පහසුකම් විස්තර අඩංගු වේ. ඕනෑම LLM හරහා ලඝු-සටහන් සැකසීමට පෙර, ඔබ රහස්, අක්තපත්‍ර සහ පුද්ගලිකව හඳුනාගත හැකි තොරතුරු ඉවත් කරන ශක්තිමත් redaction නල මාර්ග ක්‍රියාත්මක කළ යුතුය. තෙවන පාර්ශ්ව වලාකුළු මත පදනම් වූ අනුමාන අන්ත ලක්ෂ්‍ය වෙත අමු ලඝු යැවීමට සාපේක්ෂව ස්වයං-සත්කාරක හෝ පරිශ්‍රයේ ආකෘති යෙදවීම් සැලකිය යුතු ලෙස නිරාවරණය අඩු කරයි.