Пакажыце HN: Hacker Smacker – з першага погляду выявіце выдатных (і жудасных) каментатараў HN

Акрамя галасоў "за": якія сістэмы рэпутацыі ў інтэрнэце вучаць бізнес якасці чалавечага сігналу

Улетку 2023 года серыя вірусных тэм на Hacker News выявіла праблему, якую добра ведае кожны, хто праводзіў час у тэхнічных інтэрнэт-суполках: не ўсе галасы маюць аднолькавую вагу, а сучасныя інструменты, якія мы выкарыстоўваем для адрознення сігналу ад шуму, вельмі прымітыўныя. Адзіная лічба кармы, значок узросту ўліковага запісу, колькасць каментарыяў - гэтыя тупыя інструменты маскіруюць значна больш тонкую рэальнасць пра тое, каго насамрэч варта прыслухацца. З'яўленне інструментаў, прызначаных для ацэнкі каментатараў з першага погляду, - гэта не проста навінка кіравання супольнасцю. Гэта лідар адной з самых сур'ёзных праблем, з якімі сутыкаюцца сучасныя арганізацыі: як вы сістэматычна ідэнтыфікуеце людзей, чый унёсак сапраўды рухае іголку, у параўнанні з людзьмі, якія ствараюць маштабны шум?

Гэтае пытанне важнае далёка за межамі інтэрнэт-форумаў. Гэта ляжыць у цэнтры праграм зваротнай сувязі з кліентамі, аглядаў эфектыўнасці працы супрацоўнікаў, кіравання продажамі і культуры каманднага зносін. Прадпрыемствы, якія высвятляюць, як выявіць якасныя чалавечыя сігналы — і адфільтраваць астатнія — атрымаюць дадатковыя перавагі перад тымі, што ўсё яшчэ патанаюць у недыферэнцыяваным уводзе.

Схаваны кошт недыферэнцыяванага ўваходу

Большасць арганізацый рэзка недаацэньваюць кошт шуму. Каманда падтрымкі кліентаў, якая разглядае кожную скаргу з аднолькавай тэрміновасцю, выкарыстоўвае рэсурсы, рэагуючы на ​​хранічных скаржнікаў з нізкай коштам, у той час як сапраўды засмучаныя кліенты з высокай каштоўнасцю чакаюць у чарзе. Каманда прадукту, якая аднолькава ўзважвае ўсе запыты функцый, у канчатковым выніку стварае найбольш гучныя галасы, а не найбольш рэпрэзентатыўныя або стратэгічна важныя. Гандлёвая арганізацыя, якая разглядае кожнага ўваходзячага патэнцыйнага кліента як аднолькава вартага далейшага кантролю, назірае, як яе лепшыя прадстаўнікі праводзяць пасля абеду ў тупіках.

Даследаванні, праведзеныя кансультантамі па ўзаемным узаемадзеянні з кліентамі, нязменна выяўляюць, што 20 % кліентаў з найбольшай коштам прыносяць непрапарцыйны прыбытак — у многіх кампаніях B2B SaaS гэты паказчык яшчэ больш рэзка схіляецца ў бок канцэнтраванага ядра. Але большасць разгортванняў CRM не выяўляюць гэтае стратыфікацыі ў рэжыме рэальнага часу, у дадзены момант прадстаўнік вырашае, як расставіць прыярытэты сваёй раніцы. Дадзеныя існуюць; сігнал схаваны.

Праблема ацэнкі каментатараў Hacker News структурна ідэнтычная. Супольнасць стварае тысячы каментарыяў штодня. Большасць у парадку. Значная падгрупа з'яўляецца выключнай - тэхнічна строгая, інтэлектуальна сумленная, якая злучае кропкі паміж даменамі спосабамі, якія ствараюць сапраўднае разуменне. І вымерная доля актыўна дэструктыўная: нядобрасумленная, упэўнена памылковая ці проста гучная. Праблема заключаецца ў тым, што без пласта балаў паверх неапрацаваных паказчыкаў актыўнасці звычайны чытач не можа з першага погляду вызначыць, што ёсць што.

Як насамрэч выглядае высакаякасны ўклад

Калі даследчыкі і кіраўнікі суполак вывучаюць, што адрознівае каштоўных удзельнікаў ад генератараў шуму — ці то на тэхнічных форумах, унутраных каналах Slack, у супольнасцях кліентаў або ў цыклах агляду супрацоўнікаў — пэўныя заканамернасці выяўляюцца з дзіўнай паслядоўнасцю. Высакаякасныя ўдзельнікі, як правіла, дэманструюць канкрэтнасць замест агульнасці, прызнаючы складанасць, а не згладжваючы яе. Яны абнаўляюць свае пазіцыі, калі прадстаўляюць новыя доказы. Яны прыводзяць канкрэтныя прыклады, а не адыходзяць да абстракцыі. І яны дэманструюць тое, што псіхолагі называюць "калібраванай нявызначанасцю" - яны ведаюць тое, чаго не ведаюць.

Параўнайце гэта з заканамернасцямі, якія характарызуюць нізкаякасны ўнёсак: упэўненыя сцвярджэнні без пацвярджаючых доказаў, рэфлексіўная супярэчлівасць, няздольнасць адрозніваць розныя ўзроўні пэўнасці і тэндэнцыя да нагрэву, а не святла ў любой дыскусіі. Гэтыя заканамернасці можна пазнаць незалежна ад таго, чытаеце вы ланцужок Hacker News, праглядаеце пакет водгукаў супрацоўнікаў 360 або сартуеце адказы кліентаў на апытанне NPS.

"Самы каштоўны сігнал у любой буйной сістэме чалавечага ўводу - гэта не сярэдняе значэнне — гэта здольнасць вызначаць, якія ўваходныя дадзеныя сістэматычна вартыя большага ўзважвання, і рабіць гэтую ідэнтыфікацыю з хуткасцю працоўнага працэсу, а не ў якасці рэтраспектыўнага аналізу."

Інструменты, якія з'яўляюцца ў інтэрнэт-супольнасцях для ацэнкі ўдзельнікаў з першага погляду - мадэлі адсочвання, такія як суадносіны канструктыўнага і крытычнага, узгодненасць тэмы, дакладнасць адказаў з цягам часу і глыбіня адабрэння аднагодкаў - па сутнасці ствараюць тое, што даследчыкі арганізацыйнага паводзінаў называюць "індэксамі якасці ўкладу". Гэта не новыя паняцці з акадэмічнага пункту гледжання. Новым з'яўляецца інфраструктура інструментаў, якая робіць іх карыснымі ў эксплуатацыі.

Пераклад логікі рэпутацыі супольнасці ў бізнес-аперацыі

Механіка сістэмы ацэнкі каментатараў на здзіўленне непасрэдна пераносіцца ў бізнес-кантэкст, калі вы выдаляеце спецыфічныя для форума дэталі паверхні. Разгледзім асноўныя кампаненты, якія робяць такую сістэму карыснай:

• Гістарычнае распазнаванне вобразаў: ці паказвае паслужны спіс гэтага ўдзельніка, што яго бягучая інфармацыя вартая прыярытэтнасці?
• Спецыфічнасць дамена: Ці каментуюць яны ў тых галінах, дзе яны маюць вопыт, ці на тэрыторыі, дзе якасць іх сігналу гістарычна пагаршаецца?
• Каэфіцыент якасці ўзаемадзеяння: Якая доля іх укладаў стварае прадуктыўную дыскусію ў параўнанні з тупікамі?
• Паслядоўнасць пад пільнай увагай: Ці вытрымліваюць іх пазіцыі, калі іх кідаюць выклік, ці яны руйнуюцца адразу?
• Сеткавая падтрымка: Хто яшчэ — чыім меркаванням мы давяраем — лічыць свой уклад каштоўным?

Цяпер заменіце "каментатар" на "перспектывы продажаў", "правайдэр зваротнай сувязі з супрацоўнікамі", "адпраўшчык квіткоў службы падтрымкі кліентаў" або "кантактная асоба для сувязяў з пастаўшчыкамі". Кожнае з гэтых вымярэнняў мае прамы аперацыйны аналаг. Перспектывы продажаў з гісторыяй сур'ёзнага ўзаемадзеяння з тэхнічным зместам, запытаў дэманстрацый для прадуктаў, цесна звязаных з іх роляй, і накіравання іншых кваліфікаваных патэнцыйных кліентаў выглядаюць зусім інакш, чым тыя, хто загрузіў тэхнічны дакумент два гады таму і з тых часоў не займаўся. Ацэнка павінна адлюстроўваць гэтую розніцу — і яна павінна з'яўляцца ў момант, калі прадстаўнік вырашае, ці браць трубку.

Архітэктура больш разумнай фільтрацыі сігналаў у вашым тэхнічным стэку

Убудаванне працоўных працэсаў з улікам рэпутацыі ў бізнес-аперацыі патрабуе злучэння даных, якія звычайна захоўваюцца ў сістэме. Гісторыя ўзаемадзеяння з кліентамі жыве ў CRM. Шаблоны квіткоў падтрымкі працуюць на платформах службы падтрымкі. Паводзіны пакупкі жывуць у білінгавых сістэмах. Якасць унёскаў супрацоўнікаў — хто генеруе ідэі, якія прымаюцца ў дзеянне, чые водгукі ў аглядах, як правіла, дакладныя, чые ацэнкі праектаў надзейна адкалібраваны — часта ўвогуле нідзе не фіксуецца сістэматычна.

Менавіта тут інтэграваныя бізнес-аперацыйныя сістэмы ствараюць структурныя перавагі перад кропкавымі рашэннямі. Калі ваша CRM абагульвае ўзровень даных з вашым модулем падтрымкі кліентаў, вашай гісторыяй выстаўлення рахункаў і вашымі журналамі сувязі, сістэма можа пачаць будаваць эквівалент індэкса якасці ўкладу для ўсіх адносін з зацікаўленымі бакамі. Кліент, які быў надзейнай крыніцай паведамленняў пра памылкі, якія пераўтварыліся ў адпраўленыя функцыі, які накіроўвае іншых кліентаў і які своечасова аплачвае рахункі, выглядае інакш, чым кліент, які стварае вялікі аб'ём падтрымкі, запытвае пастаянныя выключэнні і мае гісторыю затрымкі плацяжоў — нават калі абодва маюць аднолькавыя кошты кантрактаў.

Платформы, такія як Mewayz, якія аб'ядноўваюць CRM, выстаўленне рахункаў, HR, аналітыку і модулі ўзаемадзеяння з кліентамі ў рамках уніфікаванай архітэктуры даных, робяць гэты від міжмернай ацэнкі рэпутацыі аперацыйным. Калі даныя вашага канала продажаў узаемадзейнічаюць з гісторыяй вашай падтрымкі і вашымі фінансавымі справаздачамі, вы можаце выявіць ацэнкі здароўя кліентаў па некалькіх сігналах, для стварэння і падтрымання якіх раней патрабаваліся спецыяльныя каманды інжынераў даных. 138 000 прадпрыемстваў, якія выкарыстоўваюць Mewayz па ўсім свеце, фактычна працуюць на адным аперацыйным узроўні, дзе гэтыя сігналы аб'ядноўваюцца, а не знаходзяцца ў асобных сістэмах, якія ніколі не падтрымліваюць сувязь.

Праблема зваротнай сувязі з супрацоўнікамі: прымяненне ўнутранага мыслення аб якасці сігналу

Нідзе праблема недыферэнцыяванага ўводу не з'яўляецца такой паслядоўнай — або больш палітычна зараджанай — як ва ўнутраных сістэмах зваротнай сувязі з супрацоўнікамі. Большасць працэсаў агляду 360 разглядаюць усе водгукі як аднолькава сапраўдныя, што стварае сістэматычныя скажэнні. Людзі, якія карыстаюцца папулярнасцю, ствараюць завышаныя станоўчыя водгукі. Людзі, якія аспрэчваюць дрэнныя рашэнні, атрымліваюць больш нізкія балы не таму, што іх праца дрэнная, а таму, што іх сумленнасць выклікае дыскамфорт. Высокія выканаўцы, якія замкнёныя ў сабе і рэдка ўдзельнічаюць у бачнай сацыяльнай эканоміцы офіса, недаацэньваюцца ў параўнанні з экстравертамі, у якіх суадносіны прадукцыйнасці і бачнасці ніжэй.

Ацэнка каментатараў, прымененая тут, не датычыцца стварэння антыўтапічнай сістэмы сацыяльнага крэдытавання для супрацоўнікаў. Гаворка ідзе пра прызнанне таго, што можна ацаніць саму якасць зваротнай сувязі. Ці пастаянна гэты рэцэнзент адрознівае свае асабістыя перавагі ад аб'ектыўных назіранняў за эфектыўнасцю? Ці адпавядаюць іх ацэнкі іншым асобам - ці адрозніваюць яны ўзроўні прадукцыйнасці, ці ацэньваюць амаль усіх аднолькава? Ці ўтрымліваюць іх пісьмовыя каментарыі канкрэтныя прыклады паводзін або агульныя словы?

Кадравыя платформы, якія фіксуюць структураваныя даныя зваротнай сувязі на працягу некалькіх цыклаў праверкі, могуць пачаць выяўляць гэтыя шаблоны. Менеджэр, чые рэйтынгі прадукцыйнасці дэманструюць выдатную прагназавальную абгрунтаванасць - чые высокаацэненыя прамыя падначаленыя паслядоўна пераўзыходзяць вынікі - павінен мець большую вагу ў абмеркаваннях планавання пераемнасці, чым той, чые рэйтынгі не паказваюць ніякіх прагназуючых сігналаў наогул. Гэта ацэнка якасці ўкладу, якая прымяняецца да самой сістэмы зваротнай сувязі, і гэта адзін з найбольш недаследаваных рубяжоў у аналітыцы людзей.

Пазбяганне цёмнага боку: калі сістэмы рэпутацыі кальцыфікуюць перавагу

Любы сумленны аналіз сістэм ацэнкі рэпутацыі павінен змагацца з іх няўдачамі. Hacker News karma, нягледзячы на ​​сваю адносную складанасць сярод сістэм інтэрнэт-супольнасці, з'яўляецца добра задакументаваным прыкладам механізму рэпутацыі, які з цягам часу мае тэндэнцыю даць перавагу ўстояным галасам перад пачаткоўцамі, інсайдэрам перад староннімі і пэўным стылям зносін перад іншымі, якія могуць быць аднолькава каштоўнымі, але менш пазнавальнымі для супастаўлення шаблонаў існуючай супольнасці. Высокая карма становіцца самападмацоўваючай: вашы каментарыі бачаць больш, што азначае, што яны атрымліваюць большую падтрымку, што стварае больш кармы, а значыць, вашы каментарыі бачаць больш.

Сістэмы дзелавой рэпутацыі сутыкаюцца з аднолькавымі рызыкамі. Калі ваша мадэль ацэнкі патэнцыйных кліентаў навучалася на гістарычных дадзеных аб пераўтварэнні і ваша гістарычная каманда продажаў мела сістэматычныя прадузятасці адносна таго, якія перспектывы яны шукалі, ваша мадэль дакладна прайграе і ўзмоцніць гэтыя ўхілы. Калі пазначэнне вашай унутранай сістэмы зваротнай сувязі "высокакласны рэцэнзент" суадносіцца з тэрмінам знаходжання і бачнасцю арганізацыі, новыя супрацоўнікі са свежымі перспектывамі будуць сістэматычна мець меншую вагу, незалежна ад фактычнай якасці іх назіранняў.

Змякчэнне не заключаецца ў адмове ад фільтрацыі сігналаў з улікам рэпутацыі — альтэрнатыва разглядаць усе ўваходныя дадзеныя як аднолькава сапраўдныя дае горшыя вынікі. Змякчэнне наступстваў заключаецца ва ўбудаванні дакладных механізмаў аўдыту ў любую сістэму падліку балаў, рэгулярна правяраючы, ці з'яўляюцца балы на самай справе прагназавальнымі вынікамі, якія вас цікавяць, або проста прагназуюць павярхоўныя проксі. Добрыя сістэмы ацэнкі сціпла ставяцца да сваіх абмежаванняў і ствараюць структураваныя спосабы выяўлення і выпраўлення іх прадузятасцей з цягам часу.

Стварэнне арганізацыі з улікам рэпутацыі

Практычны шлях наперад для большасці арганізацый - гэта не адзіны грандыёзны архітэктурны праект, а шэраг паступовых крокаў, якія пачынаюць падключаць мысленне аб якасці сігналу да існуючых працоўных працэсаў. Некалькі адпраўных пунктаў, якія паслядоўна генеруюць датэрміновую аддачу:

1. Праверце ўваходныя патокі з самым высокім прыярытэтам на прадмет недыферэнцыяванага шуму — заяўкі ў службу падтрымкі, запісы канвеера продажаў, адказы на апытанні супрацоўнікаў — і вызначце, якія метададзеныя ўжо існуюць, якія могуць служыць проксі-сігналамі якасці.
2. Пачніце адсочваць вынікі ўкладу, а не толькі аб'ём унёску: якія запыты кліентаў на функцыі адпраўляюцца, водгукі якіх супрацоўнікаў аказваюцца дакладнымі ў рэтраспектыве, якія заяўленыя патрэбы патэнцыйных кліентаў адпавядаюць канчатковым паводзінам пакупкі.
3. Зрабіце бачнасць балаў у момант прыняцця рашэння, а не ў выглядзе рэтраспектыўнай справаздачы. Прадстаўніку, які прымае рашэнне аб прыярытызацыі выкліку ў 9 раніцы, сігнал патрэбны тады, а не ў штоквартальным аглядзе.
4. Стварыце цыклы зваротнай сувязі, каб сістэма ацэнкі магла вучыцца на сваіх памылках — выпадкі, калі высокія балы прадказвалі малакаштоўныя вынікі, і наадварот.
5. Прызначце права ўласнасці на якасць ацэнкі для пэўнай функцыі, няхай гэта будзе аперацыя па даходах, аналітыка персаналу або спецыяльная каманда па апрацоўцы даных, каб сістэма не кальцыніравалася.

З'яўленне ў тэхнічных супольнасцях інструментаў, якія дазваляюць з першага погляду выявіць выдатных і жудасных удзельнікаў, з'яўляецца сігналам таго, што практыкі пачынаюць дастаткова сур'ёзна ставіцца да праблемы якасці сігналу, каб будаваць вакол яе інфраструктуру. Такое ж прызнанне наспела ў кантэксце прадпрыемства. Арганізацыі, якія сістэматычна ўсплываюць і дзейнічаюць на аснове чалавечага ўкладу, дыферэнцыраванага па якасці - у адносінах з кліентамі, унутранай зваротнай сувязі і збору рынкавай інфармацыі - будуць прымаць лепшыя рашэнні хутчэй, чым тыя, хто па-ранейшаму разглядае ўсе ўклады як аднолькавыя. Гэта не нязначнае павышэнне эфектыўнасці працы. Гэта сукупная структурная перавага, якая выяўляецца ў кожнай важнай метрыцы.

Часта задаюць пытанні

Што менавіта вымярае Hacker Smacker акрамя стандартнага бала кармы?

Hacker Smacker аналізуе паводніцкія мадэлі ў гісторыі каментарыяў — у тым ліку паслядоўнасць разумення, суадносіны канструктыўных і грэблівых адказаў і тэматычную глыбіню — каб атрымаць больш багаты сігнал рэпутацыі, чым адна лічба кармы. Падобна таму, як платформы накшталт Mewayz (207-модульная бізнес-АС на app.mewayz.com) аб'ядноўваюць дзясяткі бізнес-сігналаў у адну прыборную панэль, Hacker Smacker аб'ядноўвае некалькі вымярэнняў каментатараў у адну чытэльную ацэнку.

Чаму традыцыйныя сістэмы кармы не могуць ахапіць сапраўднага вопыту?

Карма назапашваецца праз аб'ём і час, а таксама праз якасць, узнагароджваючы плённых плакатаў і першых каментатараў незалежна ад сутнасці. Дасціпны аднастрочны тэкст можа апярэдзіць глыбока вывучаны тэхнічны адказ. Сістэмам рэпутацыі патрэбныя шматмерныя ўваходныя дадзеныя — тып унёску, пацверджанне аналагаў і рэлевантнасць дамена — каб адлюстроўваць сапраўдны вопыт, а не проста папулярнасць у суполцы.

Як кампаніі могуць прымяніць гэтую інфармацыю аб рэпутацыі ў інтэрнэце ў сваіх суполках?

Кампаніі, якія вядуць форумы кліентаў, каналы падтрымкі або ўнутраныя базы ведаў, могуць выкарыстоўваць падобную логіку ацэнкі, каб аўтаматычна выяўляць сваіх самых надзейных удзельнікаў. Такія інструменты, як Mewayz ($19/месяц, app.mewayz.com), ужо дапамагаюць прадпрыемствам цэнтралізаваць аперацыі па 207 модулях; увядзенне сігналаў рэпутацыі супольнасці ў гэтыя працоўныя працэсы дазваляе камандам вызначаць давераныя галасы і хутчэй накіроўваць важныя размовы да патрэбных экспертаў.

Ці варта турбавацца карыстальнікам аб канфідэнцыяльнасці аўтаматычнага каментатара?

Паколькі Hacker Smacker цалкам працуе на агульнадаступных даных HN, ён не стварае дадатковага ўздзеяння на прыватнасць, акрамя таго, што карыстальнікі ўжо прымаюць, публікуючы публічна. Наадварот, этычнае меркаванне заключаецца ў празрыстасці - карыстальнікі павінны ведаць, калі сістэмы падліку балаў уплываюць на тое, як узважваюцца або адлюстроўваюцца іх уклады, каб яны маглі прымаць абгрунтаваныя рашэнні аб тым, як і дзе яны ўзаемадзейнічаюць у Інтэрнэце.