Bakit dapat manatili ang hindi pagkakasundo sa unang pagdaan

Kapaki-pakinabang ang pagkakaisa. Ngunit ang isang malinaw na mayorya ay maaari ring itago ang eksaktong lugar kung saan ang isang modelo, rubric o palagay sa produkto ay pinakamahina.

Maraming mga workflow sa pagsusuri ay dinisenyo upang alisin agad ang hindi pagkakasundo. Mangolekta ng ilang mga label, lutasin ang mga salungatan, at gumawa ng panghuling sagot. Minsan kinakailangan ito. Hindi ito laging ang pinaka-impormatibong gawin muna.

Ang magkakaibang sagot ay maaaring nangangahulugang magkakaiba rin

Maaaring magkaiba ang pananaw ng mga reviewer dahil malabo ang gawain. Maaaring may iba't ibang lehitimong kagustuhan ang bawat isa. Maaaring kulang sa konteksto ang isang reviewer. Maaaring may hindi nakasaad na hangganan ang isang rubric. Ang output ng modelo ay maaaring katanggap-tanggap sa isang interpretasyon at mahina sa isa pa.

Kung kaagad na pinagsasama ng workflow ang mga sagot na iyon sa isang label, mawawala ang pinagmumulan ng sanhi.

Ang kapaki-pakinabang na yunit ay ang ebidensya sa paligid ng sagot

Ang mas matibay na pagsusuri ay maaaring mapanatili ang bersyon ng gawain, independiyenteng mga tugon, may-kaugnayang paliwanag, kalagayan ng QC at huling ground truth kung available. Ang layunin ay hindi ipagdiwang ang hindi pagkakasundo. Ito ay upang malaman kung kailan ang hindi pagkakasundo ay nagdadala ng impormasyon.

Ano ang binabago nito

Ang tanong sa disenyo ay nagiging: alin sa mga pagkakaiba ang dapat pagsamahin, alin ang dapat hatiin, at alin ang dapat mag-trigger ng isa pang tanong? Mas kapaki-pakinabang iyon kaysa asumihin na ang unang nakararami ay ang katapusan ng pagsusuri.