Ang Suliranin sa Pagsukat sa Loob ng Human-in-the-Loop AI

Kung ang parehong tao ay gumawa ng daan-daang hatol sa paglipas ng panahon, natututo ba tayo ng isang matatag na bagay tungkol sa taong iyon, o karamihan tungkol sa mga gawain na ibinigay namin sa kanila?

Ang mga sistema ng AI ay lalong umaasa sa mga tao upang mag-label, mag-ranggo, mag-score, mag-forecast, magkumpara, mag-annotate at mag-adjudicate. Ang resulta ay kadalasang pinapasimple sa isang malinis na label o score ng kalidad ng kontribyutor. Ginagawang mas madali ang pagpapatakbo ng pipeline. Maaari rin nitong itago ang isang problema sa pagsukat.

Kapag ang isang tagasuri ay tama, mali, naka-calibrate, hindi pare-pareho o labis na kapaki-pakinabang, ano talaga ang nagbunga ng resulta na iyon? Ang kanilang likas na kakayahan? Ang gawain? Pamilyaridad sa domain? Wika? Ang rubric? Motibasyon? Konteksto? Isang maswerteng hula? Isang maling tanong?

Patuloy naming nararanasan ang problemang ito habang binubuo ang Pukot. Lumilitaw ito sa pagtataya ng hinaharap, pagsusuri, anotasyon, multilinggwal na paghahatid, disenyo ng tanong at pag-ruta ng kontribyutor. Habang sinisikap naming sukatin ang kapaki-pakinabang na paghatol ng tao, mas nagiging hindi mapagtatanggol ang isang natatanging kalidad na iskor na walang konteksto.

Ang iskor ng kontribyutor ay isang halo

Ang isang kapaki-pakinabang na paunang pagtatantiya ay hindi isang pormula ng iskor. Ito ay isang problema sa baryasyon.

Ang anumang patuloy na iskor na ibinibigay sa isang tao ay gumagawa ng implicit na pahayag na ang bahagi ng tao ay sapat na malaki, sapat na matatag at sapat na pangkalahatan upang bigyang katwiran ang pagpasa ng iskor na iyon.

Kailangang may ebidensya ang pahayag na iyon.

Ang sikolohiyang pang-industriyal at organisasyonal at ang psychometrics ay nakaharap sa mga bersyon ng problemang ito sa loob ng mga dekada. Ang gabay ng SIOP para sa mga pagsusuri ng empleyado batay sa AI ay nagbibigay-diin na ang mga iskor na ginagamit para sa mga desisyon ay dapat sumuporta sa layuning interpretasyon, hulaan ang mga kaugnay na kinalabasan, ipakita ang angkop na pagkakapare-pareho, suriin para sa katarungan, at idokumento upang ang proseso ng pag-iskor ay maaaring beripikahin at i-audit. Binabago ng teknolohiya ang instrumento. Hindi nito tinatanggal ang pasaning pang-sukat.

Ang patibong ng scalar score

Isipin ang tatlong kontribyutor.

• Nakakuha si Ana ng 0.84 sa 200 medyo madaling gawain.
• Nakakuha si Ben ng 0.73 sa 45 mahihirap na espesyalistang gawain.
• Mas madalas na hindi sumasang-ayon si Carla sa nakararami kaysa alinman sa kanila, ngunit ang kanyang mga minoryang hula ay sa kalaunan ay tama sa isang hindi pangkaraniwang rate.

Sino ang pinakamahusay na kontribyutor?

Maaaring walang mapagtatanggol na sagot sa anyo ng scalar. Maaaring makalkula ang ranggo, ngunit ang pagkalkula ay hindi kapareho ng pagsukat.

Maaaring pagsamahin ng isang solong iskor ang katumpakan, pagkakasundo, kalibrasyon, pagkakapare-pareho, kadalubhasaan, at kapakinabangan sa hinaharap sa isang numero kahit na ang mga katangiang ito ay hindi nagpapalitan. Maaari rin nitong gantimpalaan ang madaling pagkakalantad sa gawain, parusahan ang produktibong pagtutol, at lumikha ng maling katumpakan sa maliit na mga sample.

Ang pangmatagalang pagkakataon

Ang kawili-wiling posibilidad ay hindi na bawat tao ay may isang nakatagong numero ng kalidad na naghihintay na matuklasan. Ito ay na ang paulit-ulit na pagmamasid ay maaaring magpahintulot sa atin na tantiyahin kung saan kapaki-pakinabang ang isang tao, sa ilalim ng aling mga kondisyon, at may anong antas ng kawalang-katiyakan.

Binabago nito ang mga tanong sa pananaliksik.

• Katatagan. Nanatili ba ang pagganap sa loob ng mga linggo o buwan?
• Pagpapalawig. Naililipat ba ang matatag na pagganap sa iba't ibang uri ng gawain o larangan?
• Kalibrasyon. Kapag nagpapahayag ng tiwala ang mga tao, ang tiwalang iyon ba ay tumutugma sa mga naitalang kinalabasan?
• Pagkatuto. Kapag nagbabago ang mga marka sa paglipas ng panahon, nakikita ba natin ang ingay, epekto ng pagsasanay o tunay na pag-unlad ng kasanayan?
• Hindi pagkakasundo. Kailan ang pagkakaiba ay patunay ng kamalian, at kailan ito ay impormasyon na mawawasak kung may pagkakasundo?
• Pagkakapareho sa pagsukat. Ang parehong gawain ba ay sumusukat sa parehong bagay sa iba't ibang wika, grupo at konteksto?
• Pamamahaging bisa. May sinasabi ba sa atin ang isang pangmatagalang profile na may silbi higit pa sa mga halatang variable tulad ng karanasan at naunang pagkakakilala sa gawain?

Ang kalidad ng tanong ay bahagi ng pagsukat sa kontribyutor

Ang isang mahina na item ay maaaring gawing mahina ang isang malakas na kontribyutor. Ang malabo na rubric ay maaaring lumikha ng hindi pagkakaunawaan. Ang isang pagsasalin ay maaaring mapanatili ang nominal na espasyo ng sagot habang binabago ang pabigat-balang kognitibo. Ang isang item na mukhang mahirap bago ilunsad ay maaaring magtapos sa hindi nagtatangi ng halos anuman kapag sinagot ito ng tao.

Ito ang dahilan kung bakit sa kasalukuyan ay tinatrato natin ang universal-core difficulty bands ng Pukot bilang mga paunang paniniwala ng may-akda sa halip na mga naka-kalibreng parameter ng item. Ang adaptive routing ay may hangganan at heuristik. Ang empirikal na kahirapan, diskriminasyon, pagiging maaasahan, katarungan at pagganap ng iba't ibang item ay nangangailangan ng datos ng tugon. Ang mga kumpletong pag-angkop ng CAT o multidimensional IRT na pahayag ay magiging maaga pa.

Parehong pag-iingat ang naaangkop sa mga iskor ng tagapag-ambag. Pinaghihiwalay namin ang ebidensya ng unibersal na pangangatwiran, pagganap sa espesyalisadong larangan, accessibility ng wika at mga resulta sa partikular na gawain sa halip na ituring silang isa lamang permanenteng ranggo.

Ang mga nalutas na resulta ay nagbibigay sa atin ng isang hindi pangkaraniwang malinaw na pagsubok

Nagbibigay ang pagtataya ng isang kapaki-pakinabang na kaso dahil ang ilang mga tanong ay sa huli ay nalulutas laban sa panlabas na katotohanan. Ang isang tagapag-taya ay hindi nagiging tama dahil sumang-ayon sila sa isa pang modelo o sa karamihan ng tao. Ang kanilang posibilidad ay maaaring suriin laban sa kung ano ang talagang nangyari.

Ibinibigay nito sa atin ang isang pamantayan na kulang sa maraming gawaing pagsusuri ng tao. Ipinapakita rin nito ang isang mas malawak na problema: kapag walang huling katotohanan, ano ang dapat magpatunay sa sistema ng paghuhusga? Pagsusuri ng eksperto? Kasunduan ng mga tagasuri? Pagpapabuti ng modelo sa susunod na hakbang? Mas mahusay na mga desisyon? Paulit-ulit na pagiging pare-pareho? Maaaring mangailangan ang iba’t ibang kaso ng paggamit ng iba't ibang pamantayan.

Ano ang aming isinasaayos

Itinatayo ang Pukot upang ang sagot ay hindi kailangang ihiwalay mula sa mga kundisyon na lumikha nito. Kung nauukol, maaari naming panatilihin ang mga bersyon ng gawain at rubric, domain, pagsasalin ng wika, mga independiyenteng reperensya ng sagot, mga timestamp, kumpiyansa, estado ng QC, hindi pagkakasundo at huling katotohanan.

Iyon ay hindi nagpapatunay ng isang konstrukto. Lumilikha lamang ito ng posibilidad na subukan ang isa.

Ang aming panloob na kasaysayan ng disenyo ay naglalaman na ng paulit-ulit na mga halimbawa ng pagkasira ng mga palagay sa pagmamarka kapag binabago namin ang gawain, larangan, kalidad ng tanong, o depinisyon ng resulta. Ang wala pa kaming sapat ay sapat na matured na longitudinal na datos ng tugon ng tao upang igiit na natuklasan ng Pukot ang isang matatag na latenteng katangian na tinatawag na "kalidad ng paghuhusga." Iyan mismo ang problema sa pananaliksik.

Ang aming agenda sa pananaliksik

Sa paglipas ng panahon, nais naming subukan kung ang longitudinal na mga profile ng paghuhusga ng tao ay makakatulong sa mas magandang pag-route, pagsusuri at sistema ng desisyon nang hindi nagpapanggap na ang aktibidad mismo ay kakayahan.

1. Tantiyahin ang pagiging maaasahan at katatagan sa paglipas ng panahon.
2. Sukatin ang generalisasyon sa iba't ibang domain at gawain.
3. Ihiwalay ang kalibrasyon mula sa raw na katumpakan.
4. Tantiyahin ang epekto ng tagasuri, gawain, rubrik, at interaksyon.
5. Sukatin ang kalidad ng tanong sa halip na ituring itong nakapirmi.
6. Subukin ang invariance ng sukat sa iba't ibang wika at pangkat.
7. Pag-aralan ang interaksyon ng hatol ng tao at sintetikong hatol.
8. Patunayan ang mga marka laban sa independiyenteng kinalabasan kung maaari.
9. Subukin kung kailan ang hindi pagkakasang-ayon ay hula sa susunod na halaga.
10. Ihambing ang multidimensional na reputasyon sa scalar na reputasyon.

Ang tanong na nais naming hamunin

Kung hihilingin sa iyo na patunayan na ang isang longitudinal na profile ng kalidad ng nag-aambag ay kumakatawan sa isang tunay at kapaki-pakinabang na bagay sa halip na isang masalimuot na metriko ng plataporma, anong ebidensya ang kakailanganin mo bago ito pagkatiwalaan?

Iyan ang pamantayan na nais naming maabot.

Mga sanggunian at karagdagang babasahin

Samahan para sa Industriyal at Organisasyonal na Sikolohiya: Mga Rekomendasyon para sa AI-Based na Pagsusuri

SIOP: Bagong Mga Patnubay para sa Teknolohiya-Based na Pagsusuri

Mga Pamantayan para sa Edukasyonal at Sikolohikal na Pagsusuri