Skip to Main Content
Table 6.

Agreement between annotators (including the CSO classifier) and average agreement of each annotator according to the evaluation in Osborne et al. (2019). Bold indicates the best agreements for each annotator

 CSO-CUser1User2User3User4User5User6
CSO-C – 56% 68% 64% 64% 76% 64% 
User1 56% – 40% 56% 36% 48% 44% 
User2 68% 40% – 64% 52% 76% 64% 
User3 64% 56% 64% – 52% 64% 68% 
User4 64% 36% 52% 52% – 64% 52% 
User5 76% 48% 76% 64% 64% – 72% 
User6 64% 44% 64% 68% 52% 72% – 
Av. agreement 66% 45% 58% 59% 51% 63% 60% 
 CSO-CUser1User2User3User4User5User6
CSO-C – 56% 68% 64% 64% 76% 64% 
User1 56% – 40% 56% 36% 48% 44% 
User2 68% 40% – 64% 52% 76% 64% 
User3 64% 56% 64% – 52% 64% 68% 
User4 64% 36% 52% 52% – 64% 52% 
User5 76% 48% 76% 64% 64% – 72% 
User6 64% 44% 64% 68% 52% 72% – 
Av. agreement 66% 45% 58% 59% 51% 63% 60% 
Close Modal

or Create an Account

Close Modal
Close Modal