Results of classification of argument components in the in-domain cross-validation scenario. Macro-F1 scores reported, bold numbers denote the best results. HS = homeschooling, MS = mainstreaming; PIS = prayer in schools; PPS = private vs. public schools; RS = redshirting; SSE = single sex education. Results in the aggregated row are computed from an aggregated confusion matrix over all domains. The differences between the best feature set combination (01234) and others are statistically significant (p < 0.001; paired exact Liddell's test).
Feature set combinations . | |||||||||
---|---|---|---|---|---|---|---|---|---|
Domain . | 0 . | 01 . | 012 . | 0123 . | 01234 . | 1234 . | 234 . | 34 . | 4 . |
HS | 0.134 | 0.162 | 0.167 | 0.165 | 0.187 | 0.176 | 0.205 | 0.203 | 0.193 |
MS | 0.072 | 0.123 | 0.138 | 0.151 | 0.198 | 0.216 | 0.165 | 0.190 | 0.226 |
PIS | 0.152 | 0.174 | 0.178 | 0.168 | 0.212 | 0.192 | 0.175 | 0.177 | 0.181 |
PPS | 0.235 | 0.233 | 0.230 | 0.240 | 0.265 | 0.250 | 0.239 | 0.250 | 0.243 |
RS | 0.090 | 0.156 | 0.156 | 0.144 | 0.195 | 0.201 | 0.204 | 0.190 | 0.225 |
SSE | 0.141 | 0.176 | 0.200 | 0.185 | 0.206 | 0.216 | 0.189 | 0.202 | 0.201 |
Aggregated | 0.182 | 0.200 | 0.205 | 0.206 | 0.236 | 0.230 | 0.218 | 0.228 | 0.229 |
Feature set combinations . | |||||||||
---|---|---|---|---|---|---|---|---|---|
Domain . | 0 . | 01 . | 012 . | 0123 . | 01234 . | 1234 . | 234 . | 34 . | 4 . |
HS | 0.134 | 0.162 | 0.167 | 0.165 | 0.187 | 0.176 | 0.205 | 0.203 | 0.193 |
MS | 0.072 | 0.123 | 0.138 | 0.151 | 0.198 | 0.216 | 0.165 | 0.190 | 0.226 |
PIS | 0.152 | 0.174 | 0.178 | 0.168 | 0.212 | 0.192 | 0.175 | 0.177 | 0.181 |
PPS | 0.235 | 0.233 | 0.230 | 0.240 | 0.265 | 0.250 | 0.239 | 0.250 | 0.243 |
RS | 0.090 | 0.156 | 0.156 | 0.144 | 0.195 | 0.201 | 0.204 | 0.190 | 0.225 |
SSE | 0.141 | 0.176 | 0.200 | 0.185 | 0.206 | 0.216 | 0.189 | 0.202 | 0.201 |
Aggregated | 0.182 | 0.200 | 0.205 | 0.206 | 0.236 | 0.230 | 0.218 | 0.228 | 0.229 |