Ang Problema sa Pagsukod Sulod sa Human-in-the-Loop AI

If the same person makes hundreds of judgments over time, do we learn something stable about that person, or mostly about the tasks we happened to give them?

AI systems increasingly rely on people to label, rank, score, forecast, compare, annotate and adjudicate. The output is often reduced to a clean label or a contributor quality score. That makes the pipeline easier to operate. It can also hide a measurement problem.

When a reviewer is right, wrong, calibrated, inconsistent or unusually useful, what exactly produced that result? Their underlying capability? The task? Domain familiarity? Language? The rubric? Motivation? Context? A lucky guess? A bad question?

Kanunay namo nga masinati kini nga problema samtang nagpatukod sa Pukot. Nagpakita kini sa forecasting, evaluation, annotation, multilingual delivery, question design ug contributor routing. Mas daghang among paningkamot sa pagsukod sa mapuslanong paghukom sa tawo, mas dili mao ang pagtan-aw sa usa ka context-free quality score nga lig-on.

Ang iskor sa kontribyutor usa ka sagol

Ang usa ka mapuslanong unang pagbanabana dili usa ka pormula sa puntos. Kini usa ka problema sa kalainan.

Bisan unsang padayon nga iskor nga gihatag sa usa ka tawo nagpasabot sa dili direkta nga pag-angkon nga ang bahin sa tawo dako, lig-on ug kasagaran igo aron matarong nga ipadayon ang maong iskor.

That claim needs evidence.

Industrial-organizational psychology and psychometrics have dealt with versions of this problem for decades. SIOP's guidance for AI-based employee assessments emphasizes that scores used for decisions should support the intended interpretation, predict relevant outcomes, show appropriate consistency, be evaluated for fairness, and be documented so the scoring process can be verified and audited. Technology changes the instrument. It does not remove the measurement burden.

The scalar score trap

Imagine three contributors.

• Ana scores 0.84 across 200 relatively easy tasks.
• Ben scores 0.73 across 45 difficult specialist tasks.
• Mas kanunay nga dili mouyon si Carla sa kadaghanan kaysa sa bisan kinsa kanila, apan ang iyang forecast sa minoridad sa ulahi kasagarang husto sa talagsaong rate.

Kinsa ang labing maayong tig-ambag?

Posible nga walay depensableng tubag sa sukdanan. Mahimo nga kwentahon ang ranggo, apan ang pagkalkula dili parehas sa pagsukod.

Usa ka iskor mahimong makapakataas sa husto, kasabutan, kalibrasyon, konsistensya, kahanas ug kapuslanan sa downstream ngadto sa usa ka numero bisan pa nga kini nga mga kinaiyahan dili magkapuli. Mahimo usab kini magpasidungog sa sayon nga pag-atubang sa buluhaton, silotan ang produktibong kalainan sa opinyon ug maghimo og bakak nga husto sa gagmay nga sample.

Ang longitudinal nga kahigayunan

Ang makapainteres nga posibilidad dili nga ang matag tawo adunay talagsaong kahimtang nga nagpaabut nga madiskobre. Kini mao nga ang balik-balik nga obserbasyon mahimong motugot kanato sa pagbanabana kung asa ang usa ka tawo mapuslanon, ilawom sa unsang kahimtang, ug uban sa unsang kalibog.

Kana nag-usab sa mga pangutana sa panukiduki.

• Kalig-on Nagpadayon ba ang performance sulod sa mga semana o buwan?
• Pagkapanguna Ang kusgan nga performance ba molapas sa lainlaing klase sa buluhaton o domain?
• Kalibrasyon Kung ang mga tawo nagpahayag og pagsalig, ba ang maong pagsalig mohaom sa nakab-ot nga resulta?
• Pagkat-on Kung mag-usab ang mga iskor sa paglabay sa panahon, nagtan-aw ba kita sa kasaba, epekto sa praktis o tinuod nga pag-uswag sa kahanas?
• Dili pag-uuyon Kanus-a ang kalahi-lahi usa ka ebidensya sa sayop, ug kanus-a kini usa ka impormasyon nga ang consensus makaguba?
• Pagkapareho sa sukod Nag-ukod ba ang parehas nga buluhaton sa parehas nga butang sa lain-laing pinulongan, grupo ug konteksto?
• Inkremental nga balido Nakahatag ba ang usa ka longitudinal nga profile og bisan unsang mapuslanong impormasyon gawas sa klarong mga variable sama sa kasinatian ug naunang pag-atubang sa buluhaton?

Ang kalidad sa pangutana kabahin sa pagsukod sa kontribyutor

Ang usa ka talagsaong butang nga huyang makapahimo sa usa ka lig-on nga kontribyutor nga tan-awon nga huyang. Ang walay klaro nga rubric makapahimo ug panagbangi. Ang usa ka hubad makapreserbar sa nominal nga tubag samtang nag-usab sa kognitibo nga karga. Ang usa ka butang nga tan-awon lisod sa wala pa ipalunsad mahimong wala magpili bisan unsa paghuman tubagon sa tawo.

Mao kini nga karon ginatratar namo ang universal-core difficulty bands ni Pukot isip author priors kaysa calibrated item parameters. Ang adaptive routing limitado ug heuristic. Ang empirical difficulty, discrimination, reliability, fairness ug differential item functioning nagkinahanglan og response data. Ang full CAT o multidimensional IRT claims sayo pa.

Ang parehas nga pag-amping ang gikinahanglan sa mga iskor sa kontribyutor. Atong bulagon ang ebidensya sa unibersal nga rason, performance sa espesipikong disiplina, pagka-accessible sa pinulongan ug espesipikong resulta sa buluhaton kaysa tratuhon kini isip usa ka permanente nga ranggo.

Ang klarong resulta naghatag kanato og usa ka talagsaong limpyo nga pagsulay

Ang pagtagna naghatag og mapuslanong kaso tungod kay ang pipila ka mga pangutana sa katapusan masulbad batok sa eksternal nga kamatuoran. Ang tagna dili mahimong husto tungod kay uyon siya sa lain nga modelo o sa kadaghanan. Ang ilang posibilidad mahimong i-score batok sa tinuod nga nahitabo.

Nagatanyag kini kanato og kriteriyo nga kulang sa daghang tahas sa pag-ila sa tawo. Nagpadayag usab kini og mas halapad nga problema: kung walay ulahing tinuod nga basehan, unsa ang angay mo-validate sa sistema sa paghukom? Eksperto ba nga adjudication? Kasabutan sa inter-rater? Pagpaayo sa downstream nga modelo? Mas maayong mga desisyon? Balik-balik nga konsistensya? Ang lain-laing paggamit mahimo magkinahanglan og lain-laing kriteriyo.

Unsa ang among gina-instrument

Gihimo ang Pukot aron ang tubag dili kinahanglan nga bulagon gikan sa mga kondisyon nga naghimo niini. Kung may kalabotan, mahimo natong tipigan ang mga bersyon sa buluhaton ug rubrik, domain, paghubad sa pinulongan, independyenteng reference sa tubag, timestamps, pagsalig, estado sa QC, dili pagsugot ug ulahing tinuod nga datos.

Dili kini nagpalig-on sa usa ka konsepto. Kini nagmugna og kahigayunan sa pagsulay niini sa usa ka paagi.

Ang among internal nga kasaysayan sa disenyo naglangkob na sa balik-balik nga mga pananglitan sa pagbungkag sa mga basehan sa eksaktong marka kung usbon namo ang buluhaton, natad, kalidad sa pangutana o paghubad sa resulta. Ang wala pa namo mao ang igo nga hinog nga longitudinal nga datos sa tubag sa tawo aron ipanghambog nga ang Pukot nakadiskobre sa usa ka lig-on nga latent nga kabtangan nga gitawag og "kalidad sa paghukom." Mao kana gayud ang problema sa panukiduki.

Ang among research nga agenda

Sa paglabay sa panahon gusto namo susihon kon ang longitudinal nga mga profile sa paghukom sa tawo makasuporta ba sa mas maayong routing, pagtimbang-timbang ug mga sistema sa paghimo og desisyon nga wala nagpakaaron-ingnon nga ang aktibidad mismo mao ang abilidad.

1. Tantiya ang kasaligan ug kalig-on sa paglabay sa panahon.
2. Sukda ang pag-generalize sa lain-laing domain ug lain-laing buluhaton.
3. Bulaga ang kalibrasyon gikan sa hilaw nga eksaktong sukod.
4. Tantiya ang epekto sa tagahatag sa grado, buluhaton, rubrik ug interaksyon.
5. Sukda ang kalidad sa pangutana imbis itratong kini nga permanente.
6. Sulayi ang pagsukod sa pagkakapareho sa lain-laing pinulongan ug henerasyon.
7. Pagtuon sa interaksyon sa tawo ug sintetiko nga paghukom.
8. Susihi ang mga iskor batok sa independente nga resulta kung mahimo.
9. Pagsulay kung ang dili pag-uyon magpanagna sa umaabot nga kantidad.
10. Itandi ang multidimensional nga reputasyon sa scalar nga reputasyon.

Ang pangutana nga gusto namong hagiton

Kung pangutan-on ka nga ipakita nga ang usa ka longitudinal nga profile sa kalidad sa tigsalmot nagrepresentar sa usa ka tinuod ug mapuslanong butang imbes nga usa ka komplikadong sukdanan sa plataporma, unsang ebidensya ang imong gikinahanglan sa dili pa kini saligan?

Kana ang estandard nga gusto nato tukoron.

Mga reperensya ug dugang pagbasa

Katilingban para sa Industriyal ug Organisasyonal nga Sikolohiya: Mga Rekomendasyon para sa Pagsusi nga Gibase sa AI

SIOP: Bag-ong Mga Giya alang sa Teknolohiya-based nga Pagsusi

Mga Sumbanan alang sa Edukasyonal ug Sikolohikal nga Pagsulay