Ekspertai suskamba pavojaus signalu po to, kai „ChatGPT Health“ neatpažįsta medicininės pagalbos

Kai dirbtinis intelektas klysta: pavojinga DI naudojamų sveikatos įrankių spraga

Dirbtinis intelektas turėjo pakeisti sveikatos priežiūros prieinamumą. Milijonai žmonių visame pasaulyje dabar kreipiasi į AI pokalbių robotus, kad gautų medicininių patarimų, prieš kalbėdami su gydytoju – aprašydami simptomus, ieškodami patikinimo ir pasitikėdami algoritminiais atsakymais į savo gerovę. Tačiau didėjantis medicinos specialistų ir dirbtinio intelekto tyrėjų būrys kelia neatidėliotiną susirūpinimą: kai kurios iš plačiausiai naudojamų dirbtinio intelekto sveikatos priemonių nesugeba nustatyti gyvybei pavojingų kritinių situacijų, todėl naudotojams gali kilti rimta rizika. Poveikis apima ne tik sveikatos priežiūrą, bet ir verčia kiekvieną pramonės šaką susidurti su nepatogiu klausimu apie dirbtinio intelekto įrankius, nuo kurių jos kasdien priklauso.

Neseniai atlikti AI varomų sveikatos asistentų vertinimai atskleidė nerimą keliančius akluosius taškus. Pranešama, kad kontroliuojamų bandymų scenarijuose šios priemonės nepastebėjo klasikinių įspėjamųjų būklių, tokių kaip insultas, širdies priepuolis ir sepsis, požymių – situacijų, kai kiekviena atidėto gydymo minutė gali reikšti skirtumą tarp atsigavimo ir nuolatinės žalos. Kai pokalbių robotas reaguoja į plaučių embolijos simptomus patardamas „pailsėti ir stebėti“, pasekmės nėra teorinės. Jie matuojami gyvenimu.

Ką iš tikrųjų mato medicinos ekspertai

Skubiosios medicinos pagalbos gydytojai ir kritinės priežiūros specialistai pradėjo dokumentuoti atvejus, kai pacientai pavojingai vėlai atvyko į ligonines, pirmiausia pasikonsultavę su dirbtinio intelekto pokalbių robotais, kurie nesugebėjo pažymėti skubos. Dr. AI įrankių rekomendacijos dažnai skaitomos kaip patikimos ir ramios – būtent tai ir yra problema. Įtikinanti reakcija į žmogų, patiriantį gniuždantį krūtinės skausmą ir dusulį, ne tik nepraleidžia diagnozės; tai aktyviai atgraso asmenį nuo reikalingos skubios pagalbos.

Tyrimai, tiriantys AI sveikatos pokalbių roboto tikslumą, nustatė klaidų dažnį, kuris būtų nepriimtinas bet kurioje klinikinėje aplinkoje. Viena plačiai cituota analizė parodė, kad populiarūs dirbtinio intelekto padėjėjai teisingai nustatė skubios pagalbos poreikį mažiau nei 50 % atvejų, susijusių su rimtomis ūminėmis sąlygomis. Atsižvelgiant į kontekstą, pirmo kurso medicinos studentas, apmokytas tiražo protokolų, turėtų pažymėti tuos pačius scenarijus beveik tobulu tikslumu. Skirtumas nėra ribinis – tai praraja.

Pagrindinė problema nėra ta, kad dirbtinis intelektas neturi medicininių žinių. Dideli kalbų modeliai parodė įspūdingą medicinos licencijavimo egzaminų našumą ir gali prisiminti daugybę klinikinės literatūros. Nesėkmė slypi kontekstiniame samprotavime ir dviprasmybėje – gebėjime pasverti konkuruojančius simptomus, atpažinti netipinius pasireiškimus ir klysti, kai neapibrėžtumas yra didelis. Tai yra būtent tokie įgūdžiai, kuriuos patyrę gydytojai išsiugdo per ilgametę praktiką ir kuriuos dabartinės AI architektūros sunkiai atkuria patikimai.

Kodėl AI kovoja su svarbių sprendimų priėmimu

Norint suprasti, kodėl dirbtinio intelekto sveikatos įrankiai nepavyksta atpažinti kritinės padėties, padeda suprasti, kaip iš tikrųjų veikia dideli kalbų modeliai. Šios sistemos generuoja atsakymus, pagrįstus statistiniais mokymo duomenų modeliais. Jie optimizuoti taip, kad sukurtų naudingą, pokalbį skatinantį ir kontekstą atitinkantį tekstą – neveiktų kaip diagnostikos instrumentai su įtaisytomis saugos slenksčiais. Kai vartotojas aprašo simptomus, modelis neatlieka klinikinių samprotavimų; ji numato, kaip atrodys naudingas atsakymas, remiantis išmoktais modeliais.

Tai sukuria esminį nesutapimą tarp vartotojo lūkesčių ir sistemos galimybių. Asmuo, rašantis „Man staiga stipriai skauda galvą ir mano regėjimas neryškus“, tikisi, kad dirbtinis intelektas supras galimą jo padėties rimtumą. Tačiau modelis gali sukurti atsakymą, kuris bendrai sprendžia galvos skausmą, o tai rodo hidrataciją, poilsį arba nereceptinį skausmo malšinimą, nes tie atsakymai dažnai pateikiami jo mokymo duomenyse, susijusiuose su galvos skausmu. Statistinė gerybinės priežasties tikimybė nustelbia kritinę mažumą atvejų, kai šie simptomai rodo skubią medicinos pagalbą, pvz., subarachnoidinį kraujavimą.

Pavojingiausias dirbtinio intelekto gedimo būdas nėra tai, kad viskas daroma visiškai neteisingai – jis yra užtikrintas, tikėtinas, beveik teisingas situacijose, kai „beveik“ gali kainuoti kam nors gyvybę arba verslą.

Ne tik sveikatos priežiūra: pasitikėjimo problema, su kuria susiduria kiekviena pramonės šaka

Nors sveikatos priežiūros nesėkmės yra pačios dramatiškiausios, pagrindinė problema apima visus sektorius, kuriuose įmonės ir asmenys pasikliauja dirbtiniu intelektu priimdami pasekmesnius sprendimus. Finansinių paslaugų įmonės, naudojančios dirbtinį intelektą sukčiavimo aptikimui, susiduria su panašia rizika – sistema, kuri užfiksuoja 95 % nesąžiningų operacijų, skamba įspūdingai, kol neapskaičiuosi nuostolių iš 5 %, kurį ji praleis. Teisininkų komandos, naudojančios dirbtinį intelektą sutarčių peržiūrai, gali pastebėti, kad įrankis užtikrintai apibendrina sąlygas, nepaisydamas ypatingos svarbos atsakomybės pozicijų, paslėptų sudėtinga kalba.

Daugiau nei 138 000 įmonių, naudojančių tokias platformas kaip Mewayz operacijoms valdyti – nuo CRM ir sąskaitų faktūrų išrašymo iki žmogiškųjų išteklių ir analizės – AI sveikatos įrankių gedimų pamoka yra aiški: automatizavimas turėtų sustiprinti žmogaus sprendimus, o svarbiausias darbo eigose jo niekada nepakeisti. Štai kodėl atsakingos verslo platformos kuria dirbtinį intelektą kaip papildomą lygmenį su žmogaus kontrolės taškais, o ne kaip savarankiški sprendimų priėmėjai, veikiantys be priežiūros.

AI eroje klestės tos įmonės, kurios supranta, kur agresyviai diegti automatizavimą ir kur išlaikyti žmogaus kontrolę. Susitikimų planavimas, sąskaitų faktūrų priminimų generavimas, transporto parko logistikos stebėjimas, klientų tendencijų analizė – tai sritys, kuriose dirbtinio intelekto automatizavimas suteikia didžiulę vertę su minimalia rizika. Tačiau sprendimus, susijusius su atitiktimi, darbuotojų gerove, finansiniais įsipareigojimais ar klientų saugumu, reikia peržiūrėti, kad ir kokia sudėtinga būtų pagrindinė technologija.

Penki atsakingo AI pritaikymo versle principai

AI sveikatos įrankių gedimai suteikia praktinę sistemą bet kuriai organizacijai, vertinančiai, kaip integruoti AI į savo veiklą. Šie principai taikomi nesvarbu, ar vadovaujate sveikatos priežiūros įmonei, ar vadovaujate 50 žmonių paslaugų įmonei:

1. Nustatykite sprogimo spindulį. Prieš įdiegdami bet kurį AI įrankį, nubrėžkite blogiausią scenarijų, jei jis nepavyktų. Jei pasekmės yra nereikšmingos (šiek tiek nepatogi automatiškai sugeneruota el. laiško temos eilutė), automatizuokite laisvai. Jei pasekmės rimtos (praleistas darbo užmokesčio mokėjimo terminas, neteisingas mokesčių deklaravimas, netinkamai išnagrinėtas kliento skundas), atlikite privalomus žmogaus peržiūros veiksmus.
2. Pasitikėjimą dirbtiniu intelektu traktuokite kaip signalą, o ne nuosprendį. AI sistemos iš tikrųjų „nežino“ dalykų – jos generuoja tikimybinius rezultatus. Pokalbių robotas, kuris sako, kad „tai gali būti nedidelė problema“, nediagnozuoja; tai modelio atitikimas. Taikykite tą patį skepticizmą dirbtinio intelekto sukurtoms verslo įžvalgoms, finansinėms prognozėms ir veiklos rekomendacijoms.
3. Tikrinti nuolat, ne tik diegiant. AI našumas laikui bėgant gali pablogėti, nes realios sąlygos nukrypsta nuo mokymo duomenų. Nustatykite reguliarius peržiūros ciklus, kurių metu žmonių ekspertai vertina AI rezultatus, palyginti su pagrindine tiesa. Tai taip pat svarbu jūsų verslo analizės informacijos suvestinei, kaip ir medicinos AI.
4. Išsaugokite atsarginius kelius. Kiekviena dirbtinio intelekto darbo eiga turi turėti aiškų eskalavimo kelią iki žmogaus, priimančio sprendimus. Jei jūsų automatizuotas klientų aptarnavimas negali išspręsti problemos per du mainus, jis turėtų būti sklandžiai perduotas asmeniui, o ne apkabinti klientui vis nereikšmingesnius pasiūlymus.
5. Pasirinkite platformas, kuriose vadovaujamasi šia filosofija. Įrankiai, kuriais kuriate savo verslą, atspindi jūsų vertybes, susijusias su patikimumu ir atsakomybe. Tokios platformos kaip „Mewayz“, integruojančios dirbtinio intelekto automatizavimą 207 moduliuose – nuo užsakymo sistemų iki darbo užmokesčio – tai daro suprasdamos, kad automatika valdo apimtį, o žmonės – sprendimus.

Ko pacientai ir vartotojai iš tikrųjų nori iš dirbtinio intelekto

Moksliniai tyrimai nuosekliai rodo, kad žmonės iš tikrųjų nenori, kad dirbtinis intelektas pakeistų žmogiškąją patirtį – jie nori, kad žmogaus patirtis būtų prieinamesnė. 2024 m. Pew tyrimų centro atlikta apklausa parodė, kad 60 proc. amerikiečių jaustųsi nepatogiai, jei jų sveikatos priežiūros paslaugų teikėjas pasikliautų dirbtiniu intelektu diagnozei nustatyti, tuo pačiu išreikšdamas susidomėjimą dirbtinio intelekto įrankiais, kurie galėtų padėti parengti geresnius klausimus gydytojui arba suprasti medicininę terminiją. Noras padidinti, o ne pakeisti.

Ta pati dinamika pasireiškia verslo kontekste. Smulkaus verslo savininkai nenori dirbtinio intelekto, kuris už juos priimtų finansinius sprendimus – jie nori sistemos, kuri aiškiai tvarko jų finansinius duomenis, žymi anomalijas ir pateikia parinktis, kad galėtų greitai priimti pagrįstus sprendimus. Sėkmingiausios verslo platformos šį skirtumą supranta intuityviai. Jie automatizuoja varginantį, daug laiko reikalaujantį darbą, kuris slegia verslininkus – duomenų įvedimą, susitikimų planavimą, sąskaitų faktūrų stebėjimą, ataskaitų generavimą – tuo pačiu išlaikant žmogui tvirtą strategijos, santykių ir svarbių sprendimų kontrolę.

Sveikatos priežiūros dirbtinio intelekto gedimai daugeliu atžvilgių yra įspėjamasis pasakojimas apie tai, kas nutinka, kai technologijų įmonės teikia pirmenybę pajėgumams, o ne tinkamu naudojimui. Sukurti AI, galintį aptarti medicininius simptomus, yra techniškai įspūdinga. Norint sukurti tokį, kuris patikimai žinotų, kada pasakyti „baikite kalbėti su manimi ir kvieskite greitąją pagalbą“, reikia iš esmės kitokios dizaino filosofijos – tokios, kuri teikia pirmenybę saugos riboms, o ne sklandžiui pokalbiui.

Saugesnės AI ateities verslui ir ne tik kūrimas

Kelias į priekį nėra atsisakyti dirbtinio intelekto – technologijos pranašumai yra per dideli ir pernelyg plačiai paskirstyti, kad būtų galima pakeisti kursą. Vietoj to, sveikatos priežiūros pavojaus signalas turėtų paskatinti brandesnį požiūrį į AI diegimą visose pramonės šakose. Tai reiškia reguliavimo sistemas, pagal kurias dirbtinio intelekto sveikatos įrankiai atitinka klinikinius standartus, pramonės etalonus, pagal kuriuos DI verslo įrankiai vertinami pagal realius rezultatus (ne tik demonstracinius scenarijus), ir kultūrinį pokytį nuo sampratos, kad daugiau automatizavimo visada reiškia didesnę pažangą.

Verslo savininkams, naršantiems šiame kraštovaizdyje, praktiškas patarimas yra paprastas: investuokite į platformas ir įrankius, kuriuose dirbtinis intelektas laikomas galingu pagalbininku, o ne neklystančiu orakulu. Ieškokite sistemų, kurios pagreitina jūsų darbo eigą ir aiškesnius duomenis nepanaikindamos galimybės nepaisyti, koreguoti ir galiausiai nuspręsti. Nesvarbu, ar vadovaujate penkių ar penkių šimtų žmonių komandai, tinkamas technologijų paketas turėtų suteikti jums sverto, o ne atimti vairą.

Medicinos specialistai, garsinantys pavojaus signalą apie dirbtinio intelekto sveikatos priemones, nėra prieš technologijas. Jie yra už atskaitomybę. Jie supranta, kad įmantriausias algoritmas pasaulyje yra tiek pat, kiek aplink jį sukurta kontrolė, pusiausvyra ir žmogaus priežiūra. Šis principas galioja ne tik medicinai. Tai taikoma kiekvienai jūsų siunčiamai sąskaitai faktūrai, kiekvienam jūsų dirbančiam darbuotojui, kiekvienam palaikomam ryšiui su klientais ir kiekvienam sprendimui, kuris formuoja jūsų verslo ateitį.

Dažniausiai užduodami klausimai

Kodėl „ChatGPT Health“ neatpažino skubios medicinos pagalbos?

ChatGPT Health ir panašūs AI sveikatos įrankiai remiasi modelių atitikimu, o ne klinikiniais samprotavimais. Medicinos specialistai nustatė, kad šios sistemos dažnai klaidingai klasifikuoja neatidėliotinus simptomus, tokius kaip krūtinės skausmas ar insulto rodikliai, kaip įprastus nusiskundimus, nes trūksta kontekstinio sprendimo, kurį kvalifikuoti gydytojai vysto bėgant metams. Įrankiai nebuvo sukurti naudojant avarinio skirstymo protokolus, todėl sukuriamas pavojingas atotrūkis tarp naudotojo lūkesčių ir faktinės diagnostikos galimybių.

Ar galima pasitikėti AI sveikatos pokalbių robotais, kad jie gautų medicinines konsultacijas?

Dabartiniai AI sveikatos pokalbių robotai niekada neturėtų pakeisti profesionalios medicininės konsultacijos, ypač esant neatidėliotiniems simptomams. Nors jie gali suteikti bendros sveikatos informacijos, ekspertai įspėja nepasikliauti jais diagnozuojant. Naudotojai turėtų laikyti AI sukurtas sveikatos rekomendacijas tik kaip atspirties tašką ir visada kreiptis į kvalifikuotą medicininę pagalbą, kai pajunta simptomus ar galimą kritinę situaciją.

Kokia rizika kyla, kai priimant sveikatos priežiūros sprendimus priklausomas nuo dirbtinio intelekto?

Pagrindinė rizika apima pavėluotą gydymą laikui jautrioms ligoms, pvz., širdies priepuoliams ir insultams, klaidingą diagnozę, dėl kurios netinkamai gydomi patys, ir klaidingą patikinimą, kuris atgraso ieškoti profesionalios priežiūros. Neproporcingai nukenčia pažeidžiamos gyventojų grupės, neturinčios lengvos sveikatos priežiūros paslaugų, nes jos gali labiau pasikliauti nemokamais dirbtinio intelekto įrankiais, o ne konsultuotis su medicinos specialistais.

Kaip įmonės turėtų siekti AI įrankių patikimumo visose operacijose?

Verslo įmonės turi kritiškai įvertinti kiekvieną DI įrankį, kurį naudoja sveikatos priežiūrai ar operacijoms. Tokios platformos kaip Mewayz siūlo 207 modulių verslo OS nuo 19 USD/mėn., kurios pagrindas yra skaidrumas ir patikimumas. Užuot aklai pasitikėjusia kokia nors viena AI sistema, organizacijos turėtų įdiegti žmogaus priežiūros lygmenis ir pasirinkti specialiai sukurtus įrankius, turinčius įrodytus rezultatus.