Rādīt HN: Hacker Smacker — vienā mirklī atrodiet lieliskus (un briesmīgus) HN komentētājus

Ne tikai pozitīvas atsauksmes: ko tiešsaistes reputācijas sistēmas māca uzņēmumiem par cilvēka signālu kvalitāti

2023. gada vasarā virkne vīrusu pavedienu vietnē Hacker News atklāja problēmu, ko ikviens, kurš ir pavadījis laiku tiešsaistes tehniskajās kopienās, labi zina: ne visām balsīm ir vienāds svars, un pašreizējie rīki, ko izmantojam, lai atšķirtu signālu no trokšņa, ir apkaunojoši primitīvi. Viens karmas skaitlis, konta vecuma žetons, komentāru skaits — šie neasie instrumenti maskē daudz niansētāku realitāti par to, kurā patiesībā ir vērts klausīties. Tādu rīku parādīšanās, kas izstrādāti, lai vienā mirklī novērtētu komentētājus, nav tikai kopienas pārvaldības jaunums. Tas ir zvana signāls vienai no svarīgākajām problēmām, ar ko saskaras mūsdienu organizācijas: kā sistemātiski identificēt cilvēkus, kuru ievade patiesi kustina adatu, salīdzinot ar tiem, kas rada liela mēroga troksni?

Šis jautājums ir svarīgs ne tikai interneta forumos. Tas ir klientu atsauksmju programmu, darbinieku veiktspējas pārskatu, pārdošanas cauruļvadu pārvaldības un komandas komunikācijas kultūras centrā. Uzņēmumi, kas izdomās, kā atklāt kvalitatīvus cilvēku signālus un filtrēt pārējos, saliks priekšrocības salīdzinājumā ar tiem, kas joprojām slīkst nediferencētā ievadē.

Nediferencētas ievades slēptās izmaksas

Lielākā daļa organizāciju ļoti zemu novērtē to, cik daudz tām izmaksā troksnis. Klientu atbalsta komanda, kas katru sūdzību izskata ar identisku steidzamību, izmanto resursus, reaģējot uz hroniskiem mazvērtīgiem sūdzību iesniedzējiem, kamēr patiesi noskumuši vērtīgi klienti gaida rindā. Produktu komanda, kas vienādi izsver visus funkciju pieprasījumus, galu galā veido skaļākās balsis, nevis reprezentatīvākās vai stratēģiski svarīgākās. Pārdošanas organizācija, kas katru ienākošo potenciālo pirkumu uzskata par vienlīdz vērtu pēcpārbaudes veikšanai, vēro, ka tās labākie pārstāvji pavada pēcpusdienas, dzenoties no strupceļiem.

Klientu pieredzes konsultantu veiktajos pētījumos ir konsekventi konstatēts, ka 20% lielākie klienti pēc dzīves vērtības rada nesamērīgus ieņēmumus — daudzos B2B SaaS uzņēmumos šis rādītājs vēl dramatiskāk novirzās uz koncentrētu kodolu. Taču lielākā daļa CRM izvietojumu šo noslāņošanos neparāda reāllaikā, šobrīd pārstāvis izlemj, kā noteikt prioritāti savam rītam. Dati pastāv; signāls ir aprakts.

Hacker News komentētāju punktu noteikšanas problēma ir strukturāli identiska. Kopiena katru dienu veido tūkstošiem komentāru. Lielākajai daļai viss ir kārtībā. Nozīmīga apakškopa ir ārkārtēja — tehniski stingra, intelektuāli godīga, savienojot punktus starp domēniem tādā veidā, kas rada patiesu ieskatu. Un izmērāma daļa ir aktīvi destruktīva: ļaunticīga, pārliecinoši maldīga vai vienkārši skaļa. Izaicinājums ir tāds, ka bez vērtēšanas slāņa uz neapstrādātas aktivitātes metrikas gadījuma lasītājs nevar uzreiz noteikt, kurš ir kurš.

Kā patiesībā izskatās augstas kvalitātes ieguldījums

Kad pētnieki un kopienu vadītāji pēta, kas atšķir vērtīgos līdzstrādniekus no trokšņu radītājiem — gan tehniskajos forumos, gan iekšējos Slack kanālos, klientu kopienās vai darbinieku pārskatīšanas ciklos, noteikti modeļi parādās ar ievērojamu konsekvenci. Augstas kvalitātes autori mēdz demonstrēt specifiku, nevis vispārīgumu, atzīstot sarežģītību, nevis to izlīdzinot. Viņi atjaunina savu nostāju, kad tiek iesniegti jauni pierādījumi. Viņi min konkrētus piemērus, nevis atkāpjas pie abstrakcijām. Un viņi demonstrē to, ko psihologi sauc par "kalibrētu nenoteiktību" — viņi zina to, ko nezina.

Salīdziniet to ar modeļiem, kas raksturo zemas kvalitātes ieguldījumu: pārliecināti apgalvojumi bez apstiprinošiem pierādījumiem, refleksīvs pretrunīgums, nespēja atšķirt dažādus noteiktības līmeņus un tendence jebkurā diskusijā radīt siltumu, nevis gaismu. Šīs tendences ir atpazīstamas neatkarīgi no tā, vai lasāt Hacker News pavedienu, pārskatāt darbinieku 360 atsauksmes vai šķirojat klientu NPS aptaujas atbildes.

"Visvērtīgākais signāls jebkurā lielā cilvēka ievades sistēmā nav vidējais rādītājs — tā ir spēja noteikt, kuras ievades sistemātiski ir vērts vairāk nosvērt, un veikt šo identifikāciju darbplūsmas ātrumā, nevis kā retrospektīva analīze."

Tiešsaistes kopienās parādās rīki, lai vienā mirklī novērtētu līdzstrādniekus — izsekošanas modeļi, piemēram, konstruktīvā un kritiskā attiecība, tēmas konsekvence, atbildes precizitāte laika gaitā un vienaudžu apstiprināšanas dziļums, būtībā veido to, ko organizācijas uzvedības pētnieki dēvē par "ieguldījuma kvalitātes indeksiem". Tie nav akadēmiski jauni jēdzieni. Jaunums ir rīku infrastruktūra, kas padara tos operatīvi noderīgus.

Kopienas reputācijas loģikas pārveidošana uzņēmējdarbības operācijās

Komentētāju vērtēšanas sistēmas mehānika pārsteidzoši tieši pārvēršas uzņēmējdarbības kontekstā, tiklīdz tiek noņemta forumam raksturīgā virsmas informācija. Apsveriet galvenos komponentus, kas padara šādu sistēmu noderīgu:

• Vēsturiskā rakstu atpazīšana: vai šī līdzstrādnieka pieredze liecina, ka viņu pašreizējais ieguldījums ir prioritāte?
• Domēna specifika: vai viņi komentē jomās, kurās ir izveidotas viņu zināšanas, vai arī teritorijā, kur viņu signāla kvalitāte vēsturiski pasliktinās?
• Iesaistīšanās kvalitātes attiecība: kāda daļa no viņu ieguldījuma rada produktīvu pakārtoto diskusiju salīdzinājumā ar strupceļiem?
• Pārbaudāma konsekvence: vai viņu pozīcijas noturas, kad tiek apstrīdētas, vai arī viņi nekavējoties sabrūk?
• Tīkla apstiprinājums: kurš vēl — kuru viedokļiem mēs uzticamies — uzskata, ka viņu ieguldījums ir vērtīgs?

Tagad aizstājiet vārdu "komentētājs" ar "pārdošanas potenciāls", "darbinieku atsauksmju sniedzējs", "klientu atbalsta biļešu iesniedzējs" vai "kontaktpersona saistībā ar pārdevēju". Katrai no šīm dimensijām ir tiešs darbības analogs. Pārdošanas potenciālais klients, kuram ir bijusi būtiska pieredze saistībā ar tehnisko saturu, pieprasot demonstrācijas produktiem, kas ir cieši saistīti ar viņu lomu, un atsaucoties uz citiem kvalificētiem potenciālajiem klientiem, izskatās ļoti atšķirīgi no tiem, kuri pirms diviem gadiem lejupielādēja balto grāmatu un kopš tā laika nav iesaistījušies. Rezultātam ir jāatspoguļo šī atšķirība — tam vajadzētu parādīties brīdī, kad pārstāvis izlemj, vai pacelt tālruni.

Viedāka signālu filtrēšanas arhitektūra jūsu tehniskajā komplektā

Lai uzņēmējdarbības operācijās izveidotu reputāciju apzinātas darbplūsmas, ir jāsavieno dati, kas parasti atrodas tvertnēs. Klientu mijiedarbības vēsture atrodas CRM. Atbalstiet biļešu modeļus palīdzības dienesta platformās. Pirkšanas uzvedība dzīvo norēķinu sistēmās. Darbinieku ieguldījuma kvalitāte — tas, kurš ģenerē idejas, kas tiek īstenotas, kuru atsauksmes pārskatos parasti ir precīzas, kuru projektu aplēses ir ticami kalibrētas, bieži vien netiek sistemātiski fiksēta.

Šajā gadījumā integrētās biznesa operētājsistēmas rada strukturālas priekšrocības salīdzinājumā ar punktu risinājumiem. Kad jūsu CRM koplieto datu slāni ar jūsu klientu atbalsta moduli, jūsu rēķinu vēsturi un komunikācijas žurnāliem, sistēma var sākt veidot līdzvērtīgu ieguldījumu kvalitātes indeksu katrai ieinteresēto pušu attiecībām. Klients, kurš ir bijis uzticams kļūdu ziņojumu avots, kas pārvērtās par piegādātajām funkcijām, kurš atsaucas uz citiem klientiem un kurš laikus apmaksā rēķinus, izskatās savādāk nekā klients, kurš nodrošina lielu atbalsta apjomu, pieprasa pastāvīgus izņēmumus un kuram ir bijuši kavēti maksājumi — pat ja abiem ir identiskas līguma vērtības.

Tādas platformas kā Mewayz, kas vienotā datu arhitektūrā integrē CRM, rēķinu izrakstīšanas, HR, analītikas un klientu iesaistīšanas moduļus, padara šāda veida starpdimensiju reputācijas vērtēšanu funkcionāli izsekojamu. Kad pārdošanas konveijera dati saskan ar atbalsta vēsturi un finanšu ierakstiem, varat parādīt tādus vairāku signālu klientu veselības rādītājus, kuru izveidei un uzturēšanai agrāk bija nepieciešamas īpašas datu inženieru komandas. 138 000 uzņēmumu, kas visā pasaulē izmanto Mewayz, efektīvi darbojas vienā darbības līmenī, kur šie signāli apvienojas, nevis atrodas atsevišķās sistēmās, kas nekad nesazinās.

Darbinieku atsauksmju problēma: signāla kvalitātes domāšanas izmantošana iekšēji

Nekur nediferencētā ievades problēma nav tik nozīmīgāka vai vairāk politiski uzlādēta kā darbinieku iekšējās atgriezeniskās saites sistēmās. Lielākajā daļā 360 pārskatīšanas procesu visas atsauksmes tiek uzskatītas par vienlīdz derīgām, kas rada sistemātiskus izkropļojumus. Cilvēki, kas ir populāri, rada pozitīvas atsauksmes. Cilvēki, kuri apstrīd sliktus lēmumus, iegūst zemākus punktus nevis tāpēc, ka viņu darbs ir slikts, bet gan tāpēc, ka viņu godīgums ir neērts. Augsti izpildītāji, kuri ir introverti un reti piedalās redzamajā biroja sociālajā ekonomikā, tiek novērtēti par zemu salīdzinājumā ar ekstravertiem, kuru rezultātu attiecība pret redzamību ir zemāka.

Šeit izmantotais komentētāju ieskats nav saistīts ar distopiskas darbinieku sociālo kredītu sistēmas izveidi. Runa ir par atzīšanu, ka var novērtēt pašu atgriezeniskās saites kvalitāti. Vai šis recenzents konsekventi nošķir savas personīgās izvēles un objektīvus darbības novērojumus? Vai viņu vērtējumi par citiem liecina par kalibrēšanu — vai tie atšķir veiktspējas līmeņus vai gandrīz visus vērtē vienādi? Vai viņu rakstiskajos komentāros ir ietverti konkrēti uzvedības piemēri vai vispārīgi apgalvojumi?

Cilvēkresursu platformas, kas tver strukturētus atgriezeniskās saites datus vairākos pārskatīšanas ciklos, var sākt atklāt šos modeļus. Pārvaldniekam, kura veiktspējas vērtējumi uzrāda ievērojamu paredzamo derīgumu — kura augsti novērtētie tiešie pārskati pastāvīgi pārspēj pēctecības plānošanas diskusijām, — vajadzētu būt lielākai nozīmei pēctecības plānošanas diskusijās nekā tam, kura vērtējumi vispār neliecina par paredzamo signālu. Šis ir ieguldījuma kvalitātes novērtējums, kas tiek piemērots pašai atsauksmju sistēmai, un tas ir viens no nepietiekami izpētītajiem cilvēku analīzes aspektiem.

Izvairīšanās no ēnas puses: kad reputācijas sistēmas pārkaļķo priekšrocības

Jebkurai godīgai reputācijas vērtēšanas sistēmu analīzei ir jācīnās ar to atteices režīmiem. Hacker News karma, neraugoties uz tās relatīvo izsmalcinātību interneta kopienu sistēmās, ir labi dokumentēts piemērs reputācijas mehānismam, kas laika gaitā mēdz dot priekšrocības pazīstamām balsīm salīdzinājumā ar jaunpienācējiem, iekšējām personām salīdzinājumā ar nepiederošām personām un noteiktiem komunikācijas stiliem salīdzinājumā ar citiem, kas varētu būt vienlīdz vērtīgi, bet mazāk atpazīstami esošās kopienas modeļu saskaņošanai. Augsta karma kļūst sevi pastiprinoša: jūsu komentāri tiek pamanīti vairāk, kas nozīmē, ka tie tiek vairāk novērtēti, kas rada vairāk karmas, kas nozīmē, ka jūsu komentāri tiek pamanīti vairāk.

Uzņēmējdarbības reputācijas sistēmas saskaras ar identiskiem riskiem. Ja jūsu potenciālo pirkumu vērtēšanas modelis tika apmācīts, pamatojoties uz vēsturiskajiem reklāmguvumu datiem, un jūsu vēsturiskajai pārdošanas komandai bija sistemātiski novirzes attiecībā uz to, kādus potenciālos klientus viņi meklē, jūsu modelis patiesi atveidos un pastiprinās šīs novirzes. Ja jūsu iekšējās atgriezeniskās saites sistēmas apzīmējums “augstas kvalitātes pārskatītājs” ir saistīts ar pilnvaru laiku un organizācijas redzamību, jaunākiem darbiniekiem ar jaunām perspektīvām sistemātiski būs mazāka nozīme neatkarīgi no viņu novērojumu faktiskās kvalitātes.

Mīkstināšanas mērķis nav atteikšanās no signālu filtrēšanas, kas ņem vērā reputāciju — alternatīva, ja visas ievades tiek uzskatītas par vienlīdz derīgām, rada sliktākus rezultātus. Mīkstināšanas mērķis ir jebkurā vērtēšanas sistēmā iestrādāt skaidrus audita mehānismus, regulāri pārbaudot, vai rezultāti patiešām paredz jums svarīgus rezultātus vai tikai paredz virspusējus starpniekus. Labas vērtēšanas sistēmas pazemīgi izturas pret saviem ierobežojumiem un veido strukturētus veidus, kā atklāt un koriģēt to novirzes laika gaitā.

Reputāciju apzinošas organizācijas veidošana

Lielākā daļa organizāciju praktiskais ceļš uz priekšu nav viens grandiozs arhitektūras projekts, bet gan virkne pakāpenisku darbību, kas sāk savienot signāla kvalitātes domāšanu ar esošajām darbplūsmām. Daži sākumpunkti, kas konsekventi rada agrīnu atdevi:

1. Pārbaudiet savas augstākās prioritātes ievades straumes, lai noteiktu nediferencētu troksni — atbalsta biļetes, pārdošanas konveijera ierakstus, darbinieku aptauju atbildes — un noskaidrojiet, kādi metadati jau pastāv, kas varētu kalpot kā starpniekservera kvalitātes signāli.
2. Sāciet izsekot ieguldījumu rezultātiem, nevis tikai ieguldījumu apjomam: kuri klientu funkciju pieprasījumi tiek nosūtīti, kuras darbinieku atsauksmes ir precīzas retrospektīvi, kuras pārdošanas potenciālo klientu norādītās vajadzības atbilst iespējamām pirkšanas darbībām.
3. Izveidojiet rezultātu redzamību lēmuma pieņemšanas brīdī, nevis kā retrospektīvu pārskatu. Pārstāvim, kurš pieņem lēmumu par zvanu prioritātes noteikšanu plkst. 9.00, signāls ir vajadzīgs, nevis reizi ceturksnī.
4. Izveidojiet atgriezeniskās saites cilpas, lai vērtēšanas sistēma varētu mācīties no savām kļūdām — gadījumiem, kad augsti rezultāti paredzēja zemas vērtības rezultātus un otrādi.
5. Piešķiriet īpašumtiesības uz rezultātu kvalitāti noteiktai funkcijai, neatkarīgi no tā, vai tā ir ieņēmumu operācijas, cilvēku analīze vai īpaša datu komanda, lai sistēma nepārkaļķotos.

Tādu rīku parādīšanās, kas ļauj vienā mirklī pamanīt izcilus un briesmīgus atbalstītājus tehniskajās kopienās, ir signāls, ka praktiķi sāk uztvert signāla kvalitātes problēmu pietiekami nopietni, lai ap to izveidotu infrastruktūru. Tāda pati atzīšana ir nokavēta uzņēmuma kontekstā. Organizācijas, kas sistemātiski atklāj un rīkojas, pamatojoties uz kvalitātes diferencētu cilvēku ieguldījumu — attiecībās ar klientiem, iekšējās atgriezeniskās saites cilpām un tirgus informācijas vākšanā —, pieņems labākus lēmumus ātrāk nekā tās, kuras joprojām uzskata, ka visi ieguldījumi ir vienādi. Tas nav mazs darbības efektivitātes pieaugums. Tā ir sarežģīta strukturāla priekšrocība, kas parādās katrā svarīgajā metrikā.

Bieži uzdotie jautājumi

Ko tieši Hacker Smacker mēra, pārsniedzot standarta karmas rādītāju?

Hacker Smacker analizē uzvedības modeļus komentāru vēsturē, tostarp ieskatu konsekvenci, konstruktīvu un noraidošu atbilžu attiecību un aktuālo dziļumu, lai radītu bagātāku reputācijas signālu nekā viens karmas skaitlis. Tāpat kā tādas platformas kā Mewayz (207 moduļu biznesa operētājsistēma vietnē app.mewayz.com) apkopo desmitiem biznesa signālu vienā informācijas panelī, arī Hacker Smacker apvieno vairākas komentētāju kategorijas vienā lasāmā rezultātos.

Kāpēc tradicionālās karmas sistēmas nespēj iegūt patiesas zināšanas?

Karma uzkrājas gan apjoma un laika, gan kvalitātes dēļ, atalgojot ražīgus plakātus un agrīnos komentētājus neatkarīgi no satura. Asprātīgs viengabalains var pārspēt dziļi izpētītu tehnisko atbildi. Reputācijas sistēmām ir nepieciešama daudzdimensionāla ievade — ieguldījuma veids, salīdzinošā pārbaude un domēna atbilstība — lai atspoguļotu patiesas zināšanas, nevis vienkāršu popularitāti kopienā.

Kā uzņēmumi var izmantot šos tiešsaistes reputācijas ieskatus savās kopienās?

Uzņēmumi, kuros darbojas klientu forumi, atbalsta kanāli vai iekšējās zināšanu bāzes, var izmantot līdzīgu vērtēšanas loģiku, lai automātiski parādītu savus uzticamākos dalībniekus. Tādi rīki kā Mewayz ($ 19/mo, app.mewayz.com) jau palīdz uzņēmumiem centralizēt darbību 207 moduļos; kopienas reputācijas signālu ieklāšana šajās darbplūsmās ļauj komandām noteikt uzticamas balsis un ātrāk novirzīt vērtīgas sarunas īstajiem ekspertiem.

Vai lietotājiem būtu jāuztraucas par konfidencialitāti, lai novērtētu automatizētu komentētāju?

Tā kā Hacker Smacker darbojas tikai ar publiski pieejamiem HN datiem, tas nerada papildu konfidencialitātes apdraudējumu, izņemot to, ko lietotāji jau piekrīt, publicējot ziņas. Ētiskais apsvērums drīzāk ir saistīts ar pārredzamību — lietotājiem ir jāzina, kad vērtēšanas sistēmas ietekmē to, kā viņu ieguldījums tiek novērtēts vai parādīts, lai viņi varētu pieņemt pārdomātus lēmumus par to, kā un kur viņi iesaistās tiešsaistē.