Skip to Main Content
Table 9 

Ten-fold cross validation results of classification of argument components using different feature sets. Macro-F1 and F1 scores for individual classes are shown. Column Hum denotes human performance, Ran is a random classifier, “O” is a majority voting (each token is labeled as “O”). Bold numbers denote the best results for the given class. The best performing configuration is the 234 feature set. Differences between the best feature sets (01234 and 234) and other sets are statistically significant (p < 0.001, paired exact Liddell's test).

Feature set combinations
HumRan“O”0010120123012341234234344
M-F1 .602 .071 .065 .156 .217 .229 .219 .251 .240 .251 .238 .229 
Bac-B .664 .063 .000 .140 .262 .311 .294 .320 .326 .291 .278 .278 
Bac-I .579 .120 .000 .159 .339 .364 .334 .372 .380 .366 .362 .363 
Cla-B .739 .051 .000 .127 .203 .234 .211 .257 .259 .270 .266 .252 
Cla-I .728 .051 .000 .165 .207 .224 .194 .237 .245 .269 .258 .242 
.833 .136 .707 .714 .705 .703 .708 .691 .686 .675 .671 .669 
Pre-B .673 .082 .000 .176 .280 .289 .286 .298 .294 .265 .269 .246 
Pre-I .736 .179 .000 .241 .390 .391 .380 .400 .396 .357 .366 .356 
Reb-B .403 .026 .000 .000 .000 .000 .000 .082 .000 .037 .000 .035 
Reb-I .495 .053 .000 .000 .000 .000 .000 .104 .054 .118 .036 .076 
Ref-B .390 .000 .000 .000 .000 .000 .000 .000 .000 .057 .057 .000 
Ref-I .387 .023 .000 .000 .000 .000 .000 .000 .000 .055 .052 .000 
Feature set combinations
HumRan“O”0010120123012341234234344
M-F1 .602 .071 .065 .156 .217 .229 .219 .251 .240 .251 .238 .229 
Bac-B .664 .063 .000 .140 .262 .311 .294 .320 .326 .291 .278 .278 
Bac-I .579 .120 .000 .159 .339 .364 .334 .372 .380 .366 .362 .363 
Cla-B .739 .051 .000 .127 .203 .234 .211 .257 .259 .270 .266 .252 
Cla-I .728 .051 .000 .165 .207 .224 .194 .237 .245 .269 .258 .242 
.833 .136 .707 .714 .705 .703 .708 .691 .686 .675 .671 .669 
Pre-B .673 .082 .000 .176 .280 .289 .286 .298 .294 .265 .269 .246 
Pre-I .736 .179 .000 .241 .390 .391 .380 .400 .396 .357 .366 .356 
Reb-B .403 .026 .000 .000 .000 .000 .000 .082 .000 .037 .000 .035 
Reb-I .495 .053 .000 .000 .000 .000 .000 .104 .054 .118 .036 .076 
Ref-B .390 .000 .000 .000 .000 .000 .000 .000 .000 .057 .057 .000 
Ref-I .387 .023 .000 .000 .000 .000 .000 .000 .000 .055 .052 .000 
Close Modal

or Create an Account

Close Modal
Close Modal