Contra „Didmeistrio lygio šachmatai be paieškos“ (2024 m.): Kodėl vien modelio atpažinimas nepasiteisina

2024 m. „Google DeepMind“ dokumentas, kuriame teigiama, kad didžiojo meistro lygio šachmatai be tradicinių paieškos algoritmų, sukėlė tiesioginį ir pagrįstą skepticizmą AI tyrinėtojų bendruomenėje. Priešingi argumentai atskleidžia esminius apribojimus pakeičiant neapdorotą modelio atpažinimą sistemine analize – pamokos, apimančios daug daugiau nei šachmatai – verslo automatizavimas, sprendimų priėmimo sistemos ir kaip tokios platformos kaip „Mewayz“ sukuria intelektualias darbo eigas daugiau nei 138 000 vartotojų.

Ką iš tikrųjų skelbė originalas?

Pradiniame tyrime, kuriam vadovavo Aramas Ebrahimi ir kolegos iš Google DeepMind, buvo pasiūlyta, kad pakankamai didelis transformatoriaus modelis, pritaikytas šachmatų pozicijoms ir jų įvertinimams, galėtų žaisti didžiojo meistro jėga, nenaudojant aiškių paieškos algoritmų, tokių kaip minimax arba Monte Karlo medžio paieška. Skirtingai nuo variklių, tokių kaip „Stockfish“ ar „AlphaZero“, kurie prieš pasirinkdami žingsnį tyrinėja tūkstančius ar milijonus būsimų pozicijų, šis metodas buvo pagrįstas neuroniniu tinklu, kuris numatė vienu žingsniu – iš esmės „intuituoja“ geriausią žingsnį nuo modelio atpažinimo.

Teiginys buvo drąsus: jei modelis galėtų sugerti pakankamai padėties supratimo iš mokymo duomenų, grubios jėgos skaičiavimas gali tapti nereikalingas. Pradiniai etaloniniai rezultatai atrodė daug žadantys, o modelis pasiekė Elo įvertinimus grandmaster diapazone tam tikromis bandymo sąlygomis.

Kodėl kritikai teigia, kad paieška niekada nebuvo iš tikrųjų pašalinta?

Įtikinamiausias priešingas argumentas nukreiptas į pagrindinę straipsnio prielaidą. Transformatorius buvo apmokytas milijonuose pozicijų, kurias įvertino Stockfish – variklis, kuris labai priklauso nuo gilios paieškos. Kritikai teigia, kad modelis nepašalino paieškos; jį distiliavo. Paieška buvo tiesiog iš anksto įkelta į treniruočių duomenis, o ne atlikta išvados metu.

„Tvirtinti, kad modelis žaidžia šachmatais „be paieškos“, treniruodamas jį su paieška pagrįsto variklio išvestimis, panašus į teiginį, kad išsprendei labirintą be žemėlapio – įsiminęs sprendimą, kurį kažkas rado naudodamas žemėlapį.

Šis skirtumas yra labai svarbus. Modelis išmoko suspaustas paieškos rezultatų reprezentacijas, o ne nepriklausomą padėties supratimą. Pašalinkite paieškos gautą treniruočių signalą ir našumas sumažės. Tai turi tiesioginių paralelių verslo žvalgybos srityje: bet koks AI pagrįstas sprendimų įrankis yra toks geras, koks yra sisteminga analizė, įtraukta į jo mokymo programą.

Kur praktiškai sugenda grynas modelio atpažinimas?

Nepriklausomų tyrėjų atliktas empirinis bandymas atskleidė kritinius gedimų režimus, kuriuos užtemdė pradiniai etalonai:

• Gilios taktinės pozicijos: modelis nuolat praleisdavo kombinacijas, kurias reikia skaičiuoti daugiau nei 4–5 judesius, kai tradiciniai varikliai pasižymi aiškiu paieškos medžiu.
• Nauji žaidimo pabaigos scenarijai: pozicijos, nepriklausančios mokymo paskirstymui, atskleidė modelio nesugebėjimą mąstyti iš pirmųjų principų, todėl atsiranda elementarių klaidų, kurių nepadarytų joks didmeistris.
• Priešingas tvirtumas: kai oponentai tyčia nukreipdavo žaidimus į neįprastas pozicijas, modelio Elo labai sumažėjo – tai rodo įsiminimą, o ne tikrą supratimą.
• Nuoseklumas esant spaudimui: nors vidutinis našumas pasirodė esąs didžiojo meistro lygio, dispersija buvo daug didesnė nei žmonių didmeistrių ar paieškos sistemų, o katastrofiškų klaidų pasitaikydavo tokiu greičiu, kuris nesuderinamas su tikru didmeistriu.
• Padėties sudėtingumo mastelio keitimas: didėjant lentos sudėtingumui, atotrūkis tarp modelio be paieškos ir paieškos variklių padidėjo eksponentiškai, o ne tiesiškai.

Ką šios diskusijos reiškia dirbtinio intelekto valdomoms verslo sistemoms?

Ginčas dėl šachmatų be paieškos nušviečia įtampą šiuolaikinio AI diegimo centre. Modelių atpažinimas ir sisteminga analizė nepakeičiami – jie vienas kitą papildo. Veiksmingiausiose sistemose greiti intuityvi atsakymai derinami su struktūrizuotais samprotavimais, kai statymas yra didelis.

Būtent tokia yra Mewayz 207 modulių verslo operacinės sistemos architektūra. Užuot pasikliaujanti vien šablonų atitikimo euristika ar grynai taisyklėmis pagrįsta logika, platforma integruoja abu metodus į savo darbo eigos automatizavimą, CRM, projektų valdymą ir finansinius modulius. Greiti modeliu pagrįsti pasiūlymai sprendžia įprastus sprendimus, o struktūrinės analizės sistemos apima sudėtingus scenarijus – atspindi, kaip stipriausi šachmatų varikliai sujungia neuroninio tinklo vertinimą su tiksline paieška.

Kontra analizės pamoka yra aiški: sistemos, kurios teigia pašalinančios sistemingą samprotavimą grynos intuicijos naudai, neišvengiamai pasiekia našumo lubas. Nesvarbu, ar valdote šachmatų poziciją, ar verslo vamzdyną, greito modelio atpažinimo ir apgalvotos analizės derinys nuolat pranoksta bet kurį iš metodų atskirai.

Kaip turėtume įvertinti „Proveržio“ AI teiginius?

Kontra argumentai sukuria naudingą pagrindą kritiškai įvertinti ambicingus AI tyrimų teiginius. Pirmiausia patikrinkite, ar nurodytas pajėgumas tikrai buvo pasiektas, ar tik perskirstytas – ar sistema pašalino paiešką, ar paslėpė ją mokymo procese? Antra, patikrinkite veiksmingumą naudojant priešingus ir neplatinamus duomenis, o ne tik palankius etalonus. Trečia, įvertinkite nuoseklumą ir blogiausio atvejo našumą kartu su vidurkiais, nes sistema, kuri puikiai veikia 90 % laiko, bet katastrofiškai klysta 10 % laiko, nėra didmeistrio lygio jokia prasminga prasme.

Šie vertinimo principai vienodai taikomi, kai įmonės vertina dirbtinio intelekto įrankius savo veiklai. Paviršiaus lygmens gairės gali užgožti esminius trūkumus, kurie atsiranda realiomis sąlygomis – realybė, kuri lėmė Mewayz požiūrį į patikimumo kūrimą visoje modulio ekosistemoje.

Dažniausiai užduodami klausimai

Ar šachmatų be paieškos modelis iš tikrųjų pasiekė didmeistrio lygį?

Kontroliuojamomis etaloninėmis sąlygomis modelis pasiekė Elo įvertinimus grandmaster asortimente. Tačiau nepriklausomi bandymai atskleidė neatitikimus, priešiškumo pažeidžiamumą ir gilias taktines akląsias vietas, kurios kenkia didžiojo meistro klasifikacijai. Tikram didžiojo meistro žaidimui reikalingas patikimumas ir gilumas, kurio modelis nuosekliai neparodė, todėl teiginys yra techniškai siauras, o ne plačiai pagrįstas.

Ar AI šachmatų tyrimai be paieškos vis dar yra vertingi nepaisant šios kritikos?

Visiškai. Tyrimas parodė, kad transformatorių architektūros gali suspausti milžinišką šachmatų žinių kiekį į greitus vieno ėjimo įvertinimus. Tai praktiškai pritaikyta greitam apytiksliam įvertinimui, mokymo pagalbai ir hibridinėms sistemoms. Kontra argumentai nepaneigia tyrimo – jie teisingai kontekstualizuoja jo apribojimus ir ginčija perdėtą išvadą.

Kaip šios diskusijos susijusios su verslo automatizavimo įrankių pasirinkimu?

Pagrindinė pamoka yra ta, kad efektyviam automatizavimui reikia pritaikyti tinkamą argumentavimo metodą kiekvienam užduočių tipui. Paprastiems, pasikartojantiems sprendimams naudingas greitas modelio atpažinimas. Sudėtingiems, daug svarbiems sprendimams priimti reikalinga struktūrizuota analizė. Geriausios platformos, pvz., „Mewayz“ integruota verslo OS, sujungia abi, užtikrindamos, kad nė vienas požiūris netaptų kliūtimi ar nesėkmės tašku jūsų veikloje.

Pasiruošę vykdyti savo verslą sistemoje, sukurtoje tiek greičiui, tiek gyliui? „Mewayz“ sujungia 207 integruotus modulius su išmaniąja automatika, sukurta realiam sudėtingumui, o ne etaloniniam teatrui. Planai prasideda nuo 19 USD per mėnesį komandoms, kurioms reikalingas patikimumas visais lygmenimis. Pradėkite nemokamą bandomąją versiją adresu app.mewayz.com ir pajuskite, kaip atrodo tikroji verslo operacinė sistema.