Ang paghuhusga ng tao ay nagiging imprastruktura para sa AI. Nais naming malaman kung kailan ito maaaring pagkatiwalaan.
Pinag-aaralan ng Pukot kung paano masusukat, maikakantidad, mapag-sama-sama, at maipapadala ang mga hatol ng tao sa AI, pananaliksik, at mga sistema ng desisyon.
Q(tao)
Q(tao, larangan, gawain, oras)
Ang malinis na iskor ay maaaring itago ang maguluhang sistema ng pagsukat.
Ang mga sistemang may human-in-the-loop ay karaniwang nagiging mga label, ranggo, at kalidad na iskor ang mga paghuhusga. Ang mga output na iyon ay maaaring pagsamahin ang mga epekto ng tao sa kahirapan ng gawain, pamilyaridad sa domain, wika, kalidad ng rubric, konteksto, pagkatuto, at error.
Ano ang sinusukat natin?
Tumpakness, pagkakasundo, kalibrasyon, konsistensya, kadalubhasaan, at pagiging kapaki-pakinabang ay magkakaibang konstrukto.
Ano ang nagkakapareho o gumeneralis?
Ang matibay na performance sa isang gawain o domain ay maaaring hindi mailipat sa iba. Ang patuloy na reputasyon ay nangangailangan ng ebidensya ng katatagan at paglilipat.
Ano ang dapat manatili?
Ang hindi pagkakasundo, kawalan ng katiyakan at konteksto ay maaaring maging senyales. Ang pagsasama-sama sa mga ito nang masyadong maaga ay maaaring burahin ang dahilan kung bakit mahalaga ang isang hatol.
Panatilihin ang mga kundisyon sa paligid ng sagot.
Ang Pukot ay dinisenyo upang ang isang hatol ay manatiling konektado sa mga kundisyon na lumikha nito, kung saan ang mga kundisyon na iyon ay mahalaga sa interpretasyon.
Katatagan sa paglipas ng panahon
Gaano katagal nananatili ang nasukat na pagganap, at gaano ang bahagi na ingay o pagkatuto?
Paglinang sa kabila ng domain
Saan naililipat ang kakayahan, at saan dapat mananatili ito bilang kondisyonal sa gawain?
Pag-kalibrate kumpara sa kawastuhan
Kapag available ang kumpiyansa, pinapabuti ba nito ang prediksyon ng hinaharap na katumpakan?
Mga epekto ng tagasuri at gawain
Gaano karaming napansing pagkakaiba ang kabilang sa tao kumpara sa item, rubrik o interaksyon?
Pagkakapantay-pantay ng sukat
Nananatili ba ang kahulugan ng mga marka sa iba't ibang wika, grupo, at kalagayan ng presentasyon?
Hindi pagkakasundo bilang senyales
Kailan hinuhulaan ng hatol ng minorya ang huling halaga kaysa sa error?
Dalhin sa amin ang isang problema sa pagsukat.
Kung ikaw ay gumagawa ng isang sistema para sa scoring, pagsusuri, anotasyon, pagtataya, forecasting o human-in-the-loop at hindi sigurado kung ang mga resulta ng sukat ay mapagtatanggol, magsimula sa problema. Maaari nating tuklasin ang isang limitadong kolaborasyon sa pananaliksik, disenyo ng pagsusuri, audit, pilot o pagsangguni nang hindi inaakala ang komersyal na anyo nang maaga.
Magtrabaho sa problema kasama namin.
Kami ay nagtatayo ng isang distributed expert network tungkol sa siyensiya ng estadistika, siyensiya ng forecasting, prediction markets at metodolohiya ng pananaliksik. Ang kalapit na kaalaman sa I-O psychology, psychometrics, quantitative psychology, teorya ng pagsukat, behavioral science, computational social science at evaluasyon ng AI ay direktang kaugnay.
Mas pinapahalagahan namin ang napatunayang gawa at metodolohikal na kritisismo kaysa sa mga titulo. Ang mga Founding Fellows ay maaaring mag-ambag sa isang domain bago lumitaw ang isang accountable Domain Lead.
Nagtatatag kami ng ebidensya bago gumawa ng pag-angkin.
Sa kasalukuyan, gumagamit ang Pukot ng limitadong heuristics at task-specific na ebidensya. Hindi namin sinisiguro ang isang validated na universal judgment construct, calibrated na universal item bank, deployed na buong CAT/MIRT system, o napatunayan na kolektibong intelihensiya. Ang mga limitasyong iyon ay bahagi ng disenyo ng pananaliksik.