Ang paghukom sa tawo nagkahiusa na nga imprastruktura para sa AI. Gusto namo mahibal-an kung kanus-a kini masaligan.
Gatudlo ni Pukot kung giunsa pagsukod, pag-calibrate, paghiusa ug pagpadala ang mga paghukom sa tawo sa AI, panukiduki ug sistema sa paghimo og desisyon.
Q(tawo)
Q(tawo, domain, buluhaton, oras)
Ang limpyo nga iskor makatabon sa hugaw nga sistema sa pagsukod.
Ang mga human-in-the-loop nga sistema kasagaran nagbag-o sa mga hatol ngadto sa mga label, ranggo ug marka sa kalidad. Ang mga resulta niini mahimong maghiusa sa epekto sa tawo uban sa kalisud sa buluhaton, pamilyaridad sa domain, sinultian, kalidad sa rubrik, konteksto, pagkat-on ug sayop.
Unsa man ang atong gisuukod?
Ang husto, pagsinabtanay, kalibrasyon, konsistensya, kahanas ug kapuslanan lahi-lahi nga mga konstrukto.
Unsa ang nag-generalize?
Ang kusog nga pagpakita sa usa ka buluhaton o larangan dili sigurado nga mabalhin sa lain. Ang padayon nga reputasyon nagkinahanglan og ebidensya sa kalig-on ug pagbalhin.
Unsa ang angay mabuhi?
Ang dili pag-uyon, kawalay kasiguruhan ug konteksto mahimong timaan. Ang pag-collapse niini sa sayo kaayo mahimong makapakataas sa rason ngano nga importante ang paghukum.
Panggaon ang mga kahimtang palibot sa tubag.
Ang Pukot gidisenyo aron ang usa ka paghukom magpabilin nga konektado sa mga kondisyon nga nagmugna niini, diin ang mga kondisyon may kalabutan sa interpretasyon.
Kasaligan sa paglabay sa panahon
Unsa kadugay magpabilin ang nasukod nga kahimtang sa performance, ug unsa kadaghan niini tingog lang o pagkat-on?
Pagpalapad sa kasayuran sa lain-laing natad
Asa man mabalhin ang kapasidad, ug asa kini kinahanglan magpabilin nga nakasalig sa buluhaton?
Kalibrasyon kumpara sa katukma
Kung adunay kumpiyansa, makapauswag ba kini sa prediksyon sa umaabot nga pagkahusto?
Mga epekto sa rater ug buluhaton
Pila ang nakitang kalainan nga gikahatag sa tawo kumpara sa butang, rubrika o interaksyon?
Pagkapareho sa sukod
Nagpabilin ba ang kahulugan sa mga iskor sa lain-laing pinulongan, grupo ug kahimtang sa presentasyon?
Dili pag-uyon isip timailhan
Kanus-a man ang desisyon sa minorya nagpanghimatuud sa umaabot nga bili imbes sayop?
Dala kami og problema sa pagsukod
Kung nagatukod ka og scoring, evaluation, annotation, assessment, forecasting o human-in-the-loop nga sistema ug nagduha-duha kung ang resulta nga mga sukod mapamatud-an, sugdi sa problema. Mahimo nato susihon ang usa ka limitado nga kolaborasyon sa panukiduki, disenyo sa evaluation, audit, pilot o advisory engagement nga walay pag-assume sa komersyal nga porma daan.
Trabaho sa problema uban kanamo
Nagpatukod kami og distributed nga network sa mga eksperto bahin sa statistical science, forecasting science, prediction markets ug research methodology. Ang kasikbit nga kahibalo sa I-O psychology, psychometrics, quantitative psychology, measurement theory, behavioral science, computational social science ug AI evaluation direkta nga may kalabutan.
Mas gipangga namo ang ipakita nga trabaho ug metodolohikal nga kritisismo kaysa titulo. Ang mga Founding Fellows makahatag kontribusyon sulod sa usa ka natad sa wala pa motungha ang responsable nga Domain Lead.
Gatukod kami sa ebidensya sa wala pa paghimo sa pag-angkon.
Ang Pukot sa pagkakaron naggamit og limitadong heuristics ug ebidensya nga espesipiko sa buluhaton. Wala kami mag-angkon og usa ka validated nga universal judgment construct, calibrated nga universal item bank, deployed nga kompleto nga CAT/MIRT nga sistema, o napamatud-an nga kolektibong intelihensya. Kining mga utlanan kabahin sa disenyo sa panukiduki.