The confusion matrix resulting from mapping the subset of FactBank used as gold standard against De Facto output is shown in Table 7. The total number at the bottom-right corner corresponds to the number of event/source pairs in the gold standard, that is, the number of instances to be classified with a factuality value. Classes pru and psu are not shown because they have no instance in the gold standard.

Table 7

Confusion matrix: Gold standard (rows) vs. De Facto output (columns).

CT+
CT−
Ctu
PR+
PR−
PS+
PS−
Uu
NA
Total
CT+ 1,131 0 0 0 0 2 0 84 59 1,276 
CT− 13 33 0 0 0 0 0 1 4 51 
CTu 1 0 0 0 0 0 0 0 0 1 
PR+ 12 0 0 8 0 0 0 3 2 25 
PR− 0 0 0 0 0 0 0 0 0 0 
PS+ 7 0 0 0 0 22 0 2 2 33 
PS− 0 0 0 0 0 0 2 0 0 2 
Uu 226 4 1 2 0 17 0 532 22 804 
Total 1,390 37 1 10 0 41 2 622 89 2,192 
CT+
CT−
Ctu
PR+
PR−
PS+
PS−
Uu
NA
Total
CT+ 1,131 0 0 0 0 2 0 84 59 1,276 
CT− 13 33 0 0 0 0 0 1 4 51 
CTu 1 0 0 0 0 0 0 0 0 1 
PR+ 12 0 0 8 0 0 0 3 2 25 
PR− 0 0 0 0 0 0 0 0 0 0 
PS+ 7 0 0 0 0 22 0 2 2 33 
PS− 0 0 0 0 0 0 2 0 0 2 
Uu 226 4 1 2 0 17 0 532 22 804 
Total 1,390 37 1 10 0 41 2 622 89 2,192 
View Large

Close Modal
This Feature Is Available To Subscribers Only

or Create an Account

Close Modal
Close Modal
This site uses cookies. By continuing to use our website, you are agreeing to our privacy policy. No content on this site may be used to train artificial intelligence systems without permission in writing from the MIT Press.
Accept