Skip to Main Content
Table 4 

Inter-annotator agreement (Krippendorff's αU) across various registers, topics, and argument components. Bold values emphasize αU ≥ 0.50. Joint logos is a joint αU for all argument components in the logos dimension (claim, premise, backing, rebuttal, refutation). HS = homeschooling; RS = redshirting; PIS = prayer in schools; SSE = single sex education; MS = mainstreaming; PPS = private vs. public schools.

All topicsHSRSPISSSEMSPPS
 
 (a) Comments + Forum posts 
Claim 0.59 0.52 0.36 0.70 0.69 0.51 0.55 
Premise 0.69 0.35 0.31 0.80 0.47 0.16 0.38 
Backing 0.48 0.15 0.06 0.36 0.54 0.14 0.49 
Rebuttal 0.37 0.12 0.03 0.25 -0.02 0.80 0.34 
Refutation 0.08 0.03 -0.01 -0.02 – 0.32 0.11 
Joint logos 0.60 0.28 0.19 0.68 0.49 0.16 0.44 
 
 (b) Articles + Blog posts 
Claim 0.22 -0.02 -0.03 – – 0.33 – 
Premise 0.24 0.02 0.24 – -0.04 0.40 – 
Backing -0.03 0.18 -0.20 – 0.26 -0.20 – 
Rebuttal 0.01 – 0.08 – -0.08 -0.08 – 
Refutation 0.34 – 0.40 – -0.01 -0.01 – 
Joint logos 0.09 0.05 0.01 – 0.08 0.04 – 
 
 (c) Articles + Blog posts + Comments + Forum posts 
Claim 0.54 0.52 0.28 0.70 0.71 0.43 0.55 
Premise 0.62 0.33 0.29 0.80 0.32 0.27 0.38 
Backing 0.31 0.17 0.00 0.36 0.42 -0.04 0.49 
Rebuttal 0.08 0.12 0.09 0.25 0.02 0.03 0.34 
Refutation 0.17 0.03 0.38 -0.02 0.00 0.20 0.11 
Joint logos 0.48 0.27 0.14 0.68 0.34 0.08 0.44 
All topicsHSRSPISSSEMSPPS
 
 (a) Comments + Forum posts 
Claim 0.59 0.52 0.36 0.70 0.69 0.51 0.55 
Premise 0.69 0.35 0.31 0.80 0.47 0.16 0.38 
Backing 0.48 0.15 0.06 0.36 0.54 0.14 0.49 
Rebuttal 0.37 0.12 0.03 0.25 -0.02 0.80 0.34 
Refutation 0.08 0.03 -0.01 -0.02 – 0.32 0.11 
Joint logos 0.60 0.28 0.19 0.68 0.49 0.16 0.44 
 
 (b) Articles + Blog posts 
Claim 0.22 -0.02 -0.03 – – 0.33 – 
Premise 0.24 0.02 0.24 – -0.04 0.40 – 
Backing -0.03 0.18 -0.20 – 0.26 -0.20 – 
Rebuttal 0.01 – 0.08 – -0.08 -0.08 – 
Refutation 0.34 – 0.40 – -0.01 -0.01 – 
Joint logos 0.09 0.05 0.01 – 0.08 0.04 – 
 
 (c) Articles + Blog posts + Comments + Forum posts 
Claim 0.54 0.52 0.28 0.70 0.71 0.43 0.55 
Premise 0.62 0.33 0.29 0.80 0.32 0.27 0.38 
Backing 0.31 0.17 0.00 0.36 0.42 -0.04 0.49 
Rebuttal 0.08 0.12 0.09 0.25 0.02 0.03 0.34 
Refutation 0.17 0.03 0.38 -0.02 0.00 0.20 0.11 
Joint logos 0.48 0.27 0.14 0.68 0.34 0.08 0.44 
View Large
Close Modal
This Feature Is Available To Subscribers Only

or Create an Account

Close Modal
Close Modal
This site uses cookies. By continuing to use our website, you are agreeing to our privacy policy.
Accept