Skip to Main Content
Table 1

Number of systems (sys), unique non-tied translation pairs (pairs), and unique sentences for which such pairs exist (sent) for the different language pairs, for the human evaluation of the WMT11-WMT14 metric shared tasks. These statistics show what we use for training; the numbers for testing are higher, as explained in the text.

WMT11WMT12WMT13WMT14
syspairssentsyspairssentsyspairssentsyspairssent
cs-en 12 2,477 190 8,269 937 11 46,397 2,572 10,301 1,288 
de-en 28 7,358 346 16 9,084 968 17 75,856 2,589 13 15,971 1,472 
es-en 21 4,799 274 12 8,751 910 12 36,626 2,172 – – – 
fr-en 24 5,085 247 15 8,747 932 13 43,234 2,272 15,033 1,365 
ru-en – – – – – – 19 94,509 2,740 13 24,595 1,800 
hi-en – – – – – – – – – 14,678 1,180 
WMT11WMT12WMT13WMT14
syspairssentsyspairssentsyspairssentsyspairssent
cs-en 12 2,477 190 8,269 937 11 46,397 2,572 10,301 1,288 
de-en 28 7,358 346 16 9,084 968 17 75,856 2,589 13 15,971 1,472 
es-en 21 4,799 274 12 8,751 910 12 36,626 2,172 – – – 
fr-en 24 5,085 247 15 8,747 932 13 43,234 2,272 15,033 1,365 
ru-en – – – – – – 19 94,509 2,740 13 24,595 1,800 
hi-en – – – – – – – – – 14,678 1,180 
Close Modal

or Create an Account

Close Modal
Close Modal