Эксперты б'юць трывогу пасля таго, як ChatGPT Health не можа распазнаць надзвычайныя сітуацыі

Калі штучны інтэлект памыляецца: небяспечны прабел у інструментах аховы здароўя на аснове штучнага інтэлекту

Штучны інтэлект павінен быў зрабіць рэвалюцыю ў доступе да аховы здароўя. Мільёны людзей па ўсім свеце цяпер звяртаюцца да чат-ботаў штучнага інтэлекту за медыцынскімі парадамі, перш чым паразмаўляць з лекарам — апісваючы сімптомы, шукаючы заспакаення і давяраючы алгарытмічным адказам сваё самаадчуванне. Але ўсё большая колькасць медыцынскіх работнікаў і даследчыкаў штучнага інтэлекту выклікае неадкладную занепакоенасць: некаторыя з найбольш шырока выкарыстоўваюцца інструментаў аховы здароўя са штучным інтэлектам не могуць вызначыць надзвычайныя сітуацыі, якія пагражаюць жыццю, што можа падвяргаць карыстальнікаў сур'ёзнай рызыцы. Наступствы выходзяць далёка за межы аховы здароўя, прымушаючы кожную галіну сутыкацца з нязручным пытаннем аб інструментах штучнага інтэлекту, ад якіх яны штодня залежаць.

Нядаўнія ацэнкі асістэнтаў аховы здароўя на базе штучнага інтэлекту выявілі трывожныя сляпыя плямы. Паведамляецца, што ў сцэнарыях кантраляванага тэсціравання гэтыя інструменты прапусцілі класічныя папераджальныя прыкметы такіх станаў, як інсульт, сардэчны прыступ і сэпсіс — сітуацыі, калі кожная хвіліна адкладзенага лячэння можа азначаць розніцу паміж выздараўленнем і незваротным пашкоджаннем. Калі чат-бот рэагуе на сімптомы тромбаэмбаліі лёгачнай артэрыі парадай «адпачываць і назіраць», наступствы не тэарэтычныя. Яны вымяраюцца жыццямі.

Што насамрэч бачаць медыцынскія эксперты

Урачы хуткай дапамогі і спецыялісты па рэанімацыі пачалі дакументаваць выпадкі, калі пацыенты прыбылі ў бальніцы з небяспечным спазненнем, спачатку пракансультаваўшыся з чат-ботамі штучнага інтэлекту, якія не пазначылі тэрміновасць. Рэкамендацыі доктара ад інструментаў штучнага інтэлекту часта ўспрымаюцца як праўдападобныя і спакойныя - у чым і заключаецца праблема. Абнадзейлівы адказ на чалавека, які адчувае жудасны боль у грудзях і дыхавіцу, не проста прапускае дыягназ; гэта актыўна перашкаджае чалавеку звяртацца па неадкладную дапамогу.

Даследаванні, якія вывучаюць дакладнасць чат-ботаў са здароўем штучнага інтэлекту, выявілі частату памылак, якая была б непрымальнай у любых клінічных умовах. Адзін шырока цытаваны аналіз паказаў, што папулярныя асістэнты штучнага інтэлекту правільна вызначылі неабходнасць экстранага ўмяшання менш чым у 50% выпадкаў сур'ёзных вострых захворванняў. Для кантэксту можна чакаць, што студэнт першага курса медыцыны, які навучаецца пратаколам сартавання, будзе адзначаць гэтыя ж сцэнарыі з амаль ідэальнай дакладнасцю. Разрыў не маргінальны — гэта прорва.

Асноўная праблема не ў тым, што ІІ не хапае медыцынскіх ведаў. Вялікія моўныя мадэлі прадэманстравалі ўражальную прадукцыйнасць на медыцынскіх ліцэнзійных экзаменах і могуць успомніць велізарную колькасць клінічнай літаратуры. Няўдача заключаецца ў кантэкстуальных развагах пры неадназначнасці - здольнасці ўзважваць канкуруючыя сімптомы, распазнаваць нетыповыя праявы і праяўляць асцярожнасць, калі нявызначанасць высокая. Гэта менавіта тыя навыкі, якія вопытныя клініцысты развіваюць за гады практыкі і якія сучасныя архітэктуры штучнага інтэлекту з цяжкасцю могуць надзейна паўтарыць.

Чаму штучнаму інтэлекту цяжка прымаць рашэнні з вялікімі стаўкамі

Каб зразумець, чаму інструменты аховы здароўя штучнага інтэлекту не спраўляюцца з экстраным распазнаваннем, дапаможа зразумець, як насамрэч працуюць вялікія моўныя мадэлі. Гэтыя сістэмы генеруюць адказы на аснове статыстычных заканамернасцей у навучальных дадзеных. Яны аптымізаваны для атрымання карыснага, гутарковага і адпаведнага кантэксту тэксту, а не для функцыянавання дыягнастычных інструментаў з убудаванымі парогамі бяспекі. Калі карыстальнік апісвае сімптомы, мадэль не выконвае клінічнае абгрунтаванне; ён прадказвае, як будзе выглядаць карысны адказ на аснове вывучаных шаблонаў.

Гэта стварае фундаментальную неадпаведнасць паміж чаканнямі карыстальнікаў і магчымасцямі сістэмы. Чалавек, які піша «У мяне раптам моцны галаўны боль і зрок расплываецца», чакае, што ІІ зразумее патэнцыйную сур'ёзнасць яго сітуацыі. Мадэль, аднак, можа генераваць адказ, які тычыцца галаўнога болю ў цэлым - прапаноўваючы ўвільгатненне, адпачынак або безрэцэптурнае абязбольванне - таму што гэтыя адказы часта з'яўляюцца ў яе навучальных дадзеных для запытаў, звязаных з галаўным болем. Статыстычная верагоднасць дабраякаснай прычыны засланяе крытычную меншасць выпадкаў, калі гэтыя сімптомы паказваюць на неадкладную медыцынскую дапамогу, напрыклад субарахнаідальнае кровазліццё.

Самы небяспечны спосаб адмовы штучнага інтэлекту заключаецца не ў тым, каб рабіць усё зусім няправільна — гэта ўпэўнена, праўдападобна, амаль у слушнасці ў сітуацыях, калі «амаль» можа каштаваць камусьці жыцця або бізнесу.

За межамі аховы здароўя: праблема даверу, з якой сутыкаецца кожная галіна

Хоць збоі ў ахове здароўя з'яўляюцца найбольш драматычнымі, асноўная праблема распаўсюджваецца на кожны сектар, дзе прадпрыемствы і прыватныя асобы разлічваюць на ІІ для прыняцця выніковых рашэнняў. Фірмы, якія прадстаўляюць фінансавыя паслугі, якія выкарыстоўваюць штучны інтэлект для выяўлення махлярства, сутыкаюцца з аналагічнымі рызыкамі - сістэма, якая ўлоўлівае 95% махлярскіх транзакцый, гучыць уражліва, пакуль вы не падлічыце страты з тых 5%, якія яна прапускае. Юрыдычныя групы, якія выкарыстоўваюць штучны інтэлект для праверкі кантрактаў, могуць выявіць, што інструмент упэўнена абагульняе пункты, не даючы крытычных крытычных крытэрыяў адказнасці, схаваных у складанай мове.

Для больш чым 138 000 прадпрыемстваў, якія выкарыстоўваюць такія платформы, як Mewayz, для кіравання аперацыямі — ад CRM і выстаўлення рахункаў да аддзела кадраў і аналітыкі — урок з няспраўнасцей інструментаў для здароўя штучнага інтэлекту відавочны: аўтаматызацыя павінна ўзмацняць чалавечае меркаванне, а ніколі не замяняць яго цалкам у важных працоўных працэсах. Вось чаму адказныя бізнес-платформы ствараюць штучны інтэлект як узровень дапаўнення з чалавечымі кантрольна-прапускнымі пунктамі, а не як аўтаномныя асобы, якія прымаюць рашэнні, якія працуюць без кантролю.

Бізнэсы, якія будуць квітнець ў эпоху штучнага інтэлекту, - гэта тыя, хто разумее, дзе трэба актыўна разгортваць аўтаматызацыю, а дзе захоўваць чалавечы кантроль. Планаванне сустрэч, стварэнне напамінкаў аб рахунках-фактурах, адсочванне лагістыкі аўтапарка, аналіз тэндэнцый кліентаў - гэта сферы, у якіх аўтаматызацыя штучнага інтэлекту забяспечвае велізарную карысць з мінімальнай рызыкай. Але рашэнні, звязаныя з адпаведнасцю, дабрабытам супрацоўнікаў, фінансавымі абавязацельствамі або бяспекай кліентаў, патрабуюць праверкі чалавекам, незалежна ад таго, наколькі складанай становіцца базавая тэхналогія.

Пяць прынцыпаў адказнага ўкаранення штучнага інтэлекту ў бізнэсе

Збоі інструментаў для здароўя AI прапануюць практычную аснову для любой арганізацыі, якая ацэньвае, як інтэграваць AI у сваю дзейнасць. Гэтыя прынцыпы прымяняюцца незалежна ад таго, кіруеце вы стартапам у галіне аховы здароўя або кіруеце кампаніяй, якая абслугоўвае 50 чалавек:

1. Вызначце радыус выбуху. Перш чым разгортваць любы інструмент штучнага інтэлекту, намеціце найгоршы сцэнарый, калі ён не спрацуе. Калі наступствы банальныя (крыху нязграбная аўтаматычна згенераваная тэма электроннай пошты), аўтаматызуйце свабодна. Калі наступствы сур'ёзныя (невыкананне тэрміну налічэння заработнай платы, няправільная падатковая дэкларацыя, няправільна разгледжаная скарга кліента), уключыце абавязковыя этапы праверкі чалавекам.
2. Ставіцеся да ўпэўненасці штучнага інтэлекту як да сігналу, а не да прысуду. Сістэмы штучнага інтэлекту насамрэч нічога не "ведаюць" — яны ствараюць імавернасныя вынікі. Чат-бот, які кажа, што "гэта, верагодна, нязначная праблема", не дыягнастуе; гэта адпаведнасць шаблону. Ужывайце той жа скептыцызм да бізнес-ацэнак, фінансавых прагнозаў і аперацыйных рэкамендацый, створаных штучным інтэлектам.
3. Правярайце бесперапынны аўдыт, а не толькі падчас разгортвання. Прадукцыйнасць штучнага інтэлекту з цягам часу можа пагаршацца, калі рэальныя ўмовы адхіляюцца ад навучальных даных. Стварыце рэгулярныя цыклы праверкі, у якіх эксперты-людзі ацэньваюць вынікі штучнага інтэлекту ў параўнанні з рэальнай праўдзівасцю. Гэта гэтак жа важна для прыборнай панэлі вашай бізнес-аналітыкі, як і для медыцынскага штучнага інтэлекту.
4. Падтрымлівайце запасныя шляхі. Кожны працоўны працэс на базе штучнага інтэлекту павінен мець дакладны шлях эскалацыі да асобы, якая прымае рашэнні. Калі ваша аўтаматызаваная служба падтрымкі кліентаў не можа вырашыць праблему за два абмены, яе трэба бесперашкодна перадаць чалавеку, а не перадаваць кліенту ўсё больш недарэчныя прапановы.
5. Выбірайце платформы, якія падзяляюць гэтую філасофію. Інструменты, на якіх вы будуеце свой бізнес, адлюстроўваюць вашы каштоўнасці, звязаныя з надзейнасцю і адказнасцю. Такія платформы, як Mewayz, якія аб'ядноўваюць аўтаматызацыю штучнага інтэлекту ў 207 модуляў - ад сістэм браніравання да разліку заработнай платы - робяць гэта з разуменнем таго, што аўтаматызацыя апрацоўвае аб'ём, а людзі - ацэнкі.

Чаго пацыенты і спажыўцы насамрэч хочуць ад ІІ

Даследаванні нязменна паказваюць, што людзі насамрэч не хочуць, каб штучны інтэлект замяніў чалавечы вопыт — яны хочуць, каб ён зрабіў чалавечы вопыт больш даступным. Апытанне, праведзенае ў 2024 г. Даследчым цэнтрам Pew, паказала, што 60% амерыканцаў было б непрыемна, калі б іх медыцынскія работнікі разлічвалі на ІІ для дыягностыкі, адначасова выказваючы цікавасць да інструментаў ІІ, якія маглі б дапамагчы ім лепш падрыхтаваць пытанні для лекара або зразумець медыцынскую тэрміналогію. Жаданне павелічэння, а не замены.

Гэтая ж дынаміка праяўляецца і ў бізнес-кантэкстах. Уладальнікі малога бізнесу не хочуць штучнага інтэлекту, які прымае за іх фінансавыя рашэнні — яны хочуць сістэму, якая дакладна арганізуе іх фінансавыя даныя, пазначае анамаліі і прапануе варыянты, каб яны маглі хутка рабіць абгрунтаваны выбар. Найбольш паспяховыя бізнес-платформы разумеюць гэтае адрозненне інтуітыўна. Яны аўтаматызуюць стомную, працаёмкую працу, якая зацягвае прадпрымальнікаў - увод даных, планаванне сустрэч, кантроль за выстаўленнем рахункаў, стварэнне справаздач - у той жа час захоўваючы цвёрды кантроль чалавека над стратэгіяй, адносінамі і важнымі рашэннямі.

Збоі штучнага інтэлекту ў ахове здароўя ў многіх адносінах з'яўляюцца папярэджаннем аб тым, што адбываецца, калі тэхналагічныя кампаніі аддаюць перавагу магчымасцям перад адпаведным выкарыстаннем. Стварэнне ІІ, які можа абмяркоўваць медыцынскія сімптомы, тэхнічна ўражвае. Стварэнне сістэмы, якая дакладна ведае, калі сказаць "перастань са мной размаўляць і выкліч хуткую дапамогу", патрабуе прынцыпова іншай філасофіі дызайну - той, якая аддае прыярытэт межам бяспекі, а не бегласці размовы.

Стварэнне больш бяспечнай будучыні AI для бізнесу і не толькі

Шлях наперад не заключаецца ў адмове ад штучнага інтэлекту — перавагі тэхналогіі занадта значныя і занадта шырока распаўсюджаныя, каб змяніць курс. Замест гэтага сігналізацыя аховы здароўя павінна стаць каталізатарам больш спелага падыходу да разгортвання штучнага інтэлекту ва ўсіх галінах. Гэта азначае нарматыўныя рамкі, якія падтрымліваюць медыцынскія інструменты штучнага інтэлекту ў адпаведнасці з клінічнымі стандартамі, галіновыя эталоны, якія вымяраюць бізнес-інструменты штучнага інтэлекту ў параўнанні з рэальнымі вынікамі (а не толькі дэманстрацыйныя сцэнарыі), і культурны адыход ад паняцця, што больш аўтаматызацыі заўсёды роўна большаму прагрэсу.

Для ўладальнікаў бізнесу, якія арыентуюцца ў гэтай мясцовасці, практычная парада простая: інвестуйце ў платформы і інструменты, якія разглядаюць ІІ як магутнага памочніка, а не як беспамылковага аракула. Шукайце сістэмы, якія робяць вашы працоўныя працэсы больш хуткімі, а даныя - больш яснымі, не пазбаўляючы вас магчымасці перавызначэння, карэкціроўкі і канчатковага прыняцця рашэнняў. Незалежна ад таго, кіруеце вы камандай з пяцісот ці пяцісот чалавек, правільны набор тэхналогій павінен даць вам рычагі ўплыву, а не пазбавіць вас руля.

Медыцыны, якія б'юць трывогу з нагоды інструментаў для аховы здароўя штучнага інтэлекту, не з'яўляюцца антытэхналогіямі. Яны выступаюць за адказнасць. Яны разумеюць, што самы дасканалы алгарытм у свеце настолькі добры, наколькі пабудаваны вакол яго механізм стрымак, проціваг і чалавечага кантролю. Гэты прынцып адносіцца не толькі да медыцыны. Гэта прымяняецца да кожнага рахунку-фактуры, які вы адпраўляеце, да кожнага супрацоўніка, якога вы працуеце, да ўсіх адносін з кліентамі, якія вы падтрымліваеце, і да кожнага рашэння, якое вызначае будучыню вашага бізнесу.

Часта задаюць пытанні

Чаму ChatGPT Health не распазнае надзвычайныя сітуацыі?

ChatGPT Health і падобныя інструменты аховы здароўя AI абапіраюцца на супадзенне шаблонаў, а не на клінічнае абгрунтаванне. Медыцынскія спецыялісты выявілі, што гэтыя сістэмы часта няправільна класіфікуюць неадкладныя сімптомы, такія як боль у грудзях або прыкметы інсульту, як звычайныя скаргі, не маючы кантэкстнага меркавання, якое навучаныя клініцысты выпрацоўваюць гадамі. Інструменты не былі распрацаваны з улікам пратаколаў экстранай сартавання, што стварае небяспечны разрыў паміж чаканнямі карыстальнікаў і рэальнымі магчымасцямі дыягностыкі.

Ці можна давяраць медыцынскім чат-ботам са штучным інтэлектам?

Цяперашнія чат-боты са штучным інтэлектам ніколі не павінны замяняць прафесійную медыцынскую кансультацыю, асабліва пры неадкладных сімптомах. Нягледзячы на ​​тое, што яны могуць даць агульную інфармацыю аб самаадчуванні, эксперты перасцерагаюць не спадзявацца на іх для дыягностыкі. Карыстальнікі павінны разглядаць інструкцыі па ахове здароўя, створаныя штучным інтэлектам, толькі як адпраўную кропку і заўсёды звяртацца за кваліфікаванай медыцынскай дапамогай, калі ў іх узнікаюць трывожныя сімптомы або магчымыя надзвычайныя сітуацыі.

Якія рызыкі залежыць ад ІІ пры прыняцці рашэнняў у галіне аховы здароўя?

Асноўныя рызыкі ўключаюць адкладзенае лячэнне пры захворваннях, якія залежаць ад часу, такіх як сардэчныя прыступы і інсульты, памылковы дыягназ, які прыводзіць да неадпаведнага самалячэння, і ілжывыя запэўніванні, якія перашкаджаюць звярнуцца да спецыяліста. Уразлівыя групы насельніцтва, якія не маюць лёгкага доступу да медыцынскай дапамогі, церпяць непрапарцыйна вялікі ўплыў, таму што яны могуць у большай ступені спадзявацца на бясплатныя інструменты штучнага інтэлекту замест кансультацый з медыцынскімі работнікамі.

Як кампаніі павінны падысці да надзейнасці інструментаў штучнага інтэлекту ў розных аперацыях?

Прадпрыемствы павінны крытычна ацэньваць кожны інструмент штучнага інтэлекту, які яны выкарыстоўваюць, як для аховы здароўя, так і для аперацый. Такія платформы, як Mewayz, прапануюць бізнес-АС з 207 модуляў па кошце ад 19 долараў у месяц, у аснове якой ляжаць празрыстасць і надзейнасць. Замест таго, каб слепа давяраць якой-небудзь адной сістэме штучнага інтэлекту, арганізацыі павінны ўкараняць узровень чалавечага кантролю і выбіраць спецыяльна створаныя інструменты з праверанымі паслужнымі спісамі.