Skip to Main Content
Table 2.

Example of IRR calculations for sample rows

#Labeler #1Labeler #2Labeler #3Labeler #4Labeler #5Labeler #6Final/correct labelTotal agreementMean percentage correct
1 yes unsure yes yes yes [blank] yes 
2 yes yes yes yes no yes yes 0.83 
3 no n/a yes no yes [blank] yes 0.4 
4 yes no yes [blank] yes unsure no 0.25 
#Labeler #1Labeler #2Labeler #3Labeler #4Labeler #5Labeler #6Final/correct labelTotal agreementMean percentage correct
1 yes unsure yes yes yes [blank] yes 
2 yes yes yes yes no yes yes 0.83 
3 no n/a yes no yes [blank] yes 0.4 
4 yes no yes [blank] yes unsure no 0.25 
Close Modal

or Create an Account

Close Modal
Close Modal