Skip to Main Content
Table A5
Correlation with human judgments at sentence level across various data sets with different types of human judgments. Kendall tau is reported for WMT16 Relative Ranking data set, and absolute Spearman correlation coefficient is reported for the rest of the data sets. This table corresponds to Table 10 in the main body of the article.
WMT16-DAWMT16-RAWMT17MTC-AMTC-FGALEEAMTEAMT-PE
Meteor .565 .362 .380 .431 .237 .461 .261 .719 
TERp-A .554 .356 .392 .421 .243 .441 .259 .717 
ROUGE-SU* .521 .335 .391 .390 .229 .379 .223 .712 
ChrF3 .515 .366 .362 .414 .209 .376 .213 .698 
NIST-4 .478 .301 .350 .380 .192 .372 .201 .696 
BLEU-4 .456 .289 .357 .308 .185 .346 .228 .707 
TER .455 .293 .373 .301 .207 .367 .220 .737 
WER .443 .290 .377 .245 .184 .360 .223 .748 
PER .429 .266 .356 .336 .192 .325 .185 .693 
 
UPF-Cobalt .544 .375 .411 .436 .251 .458 .311 .710 
CP-Oc(*) .491 .323 .370 .360 .206 .383 .230 .704 
SP-lNIST .483 .315 .348 .396 .205 .368 .201 .697 
DP-Oc(*) .385 .235 .378 .214 .139 .307 .213 .611 
SR-Or(*) .307 .208 .202 .256 .165 .276 .083 .380 
 
BEER .505 .366 .358 .405 .215 .369 .194 .719 
WMT16-DAWMT16-RAWMT17MTC-AMTC-FGALEEAMTEAMT-PE
Meteor .565 .362 .380 .431 .237 .461 .261 .719 
TERp-A .554 .356 .392 .421 .243 .441 .259 .717 
ROUGE-SU* .521 .335 .391 .390 .229 .379 .223 .712 
ChrF3 .515 .366 .362 .414 .209 .376 .213 .698 
NIST-4 .478 .301 .350 .380 .192 .372 .201 .696 
BLEU-4 .456 .289 .357 .308 .185 .346 .228 .707 
TER .455 .293 .373 .301 .207 .367 .220 .737 
WER .443 .290 .377 .245 .184 .360 .223 .748 
PER .429 .266 .356 .336 .192 .325 .185 .693 
 
UPF-Cobalt .544 .375 .411 .436 .251 .458 .311 .710 
CP-Oc(*) .491 .323 .370 .360 .206 .383 .230 .704 
SP-lNIST .483 .315 .348 .396 .205 .368 .201 .697 
DP-Oc(*) .385 .235 .378 .214 .139 .307 .213 .611 
SR-Or(*) .307 .208 .202 .256 .165 .276 .083 .380 
 
BEER .505 .366 .358 .405 .215 .369 .194 .719 
Close Modal

or Create an Account

Close Modal
Close Modal