Skip to Main Content
Table 2

Results on WMT12 at the system-level (calculated on 6 systems for cs-en, 16 for de-en, 12 for es-en, and 15 for fr-en). Spearman's correlation with human judgments.

Metrics+DR+DR-lex
I DR 0.807 – – 
DR-lex 0.876 – – 
 
II SEMPOS 0.902 0.853 0.903 
AMBER 0.857 0.829 0.869 
Meteor 0.834 0.861 0.888 
TerrorCat 0.831 0.854 0.889 
SIMPBLEU 0.823 0.826 0.859 
TER 0.812 0.836 0.848 
BLEU 0.810 0.830 0.846 
pos0.754 0.841 0.857 
BlockErrCats 0.751 0.859 0.855 
WordBlockEC 0.738 0.822 0.843 
XEnErrCats 0.735 0.819 0.843 
 
III BLEU 0.791 0.880 0.859 
NIST 0.817 0.842 0.875 
Rouge 0.884 0.899 0.869 
TER 0.908 0.926 0.920 
Metrics+DR+DR-lex
I DR 0.807 – – 
DR-lex 0.876 – – 
 
II SEMPOS 0.902 0.853 0.903 
AMBER 0.857 0.829 0.869 
Meteor 0.834 0.861 0.888 
TerrorCat 0.831 0.854 0.889 
SIMPBLEU 0.823 0.826 0.859 
TER 0.812 0.836 0.848 
BLEU 0.810 0.830 0.846 
pos0.754 0.841 0.857 
BlockErrCats 0.751 0.859 0.855 
WordBlockEC 0.738 0.822 0.843 
XEnErrCats 0.735 0.819 0.843 
 
III BLEU 0.791 0.880 0.859 
NIST 0.817 0.842 0.875 
Rouge 0.884 0.899 0.869 
TER 0.908 0.926 0.920 
Close Modal

or Create an Account

Close Modal
Close Modal