Table 1: 
Low/medium resource machine translation Pre-training consistently improves over a randomly initialized baseline, with particularly large gains on low resource language pairs (e.g., Vi-En).
Languages En-Gu En-Kk En-Vi En-Tr En-Ja En-Ko 
Data Source WMT19 WMT19 IWSLT15 WMT17 IWSLT17 IWSLT17 
Size 10K 91K 133K 207K 223K 230K 
Direction ← → ← → ← → ← → ← → ← → 
Random 0.0 0.0 0.8 0.2 23.6 24.8 12.2 9.5 10.4 12.3 15.3 16.3 
mBART25 0.3 0.1 7.4 2.5 36.1 35.4 22.5 17.8 19.1 19.4 24.6 22.6 
  
Languages En-Nl En-Ar En-It En-My En-Ne En-Ro 
Data Source IWSLT17 IWSLT17 IWSLT17 WAT19 FLoRes WMT16 
Size 237K 250K 250K 259K 564K 608K 
Direction ← → ← → ← → ← → ← → ← → 
Random 34.6 29.3 27.5 16.9 31.7 28.0 23.3 34.9 7.6 4.3 34.0 34.3 
mBART25 43.3 34.8 37.6 21.6 39.8 34.0 28.3 36.9 14.5 7.4 37.8 37.7 
  
Languages En-Si En-Hi En-Et En-Lt En-Fi En-Lv 
Data Source FLoRes ITTB WMT18 WMT19 WMT17 WMT17 
Size 647K 1.56M 1.94M 2.11M 2.66M 4.50M 
Direction ← → ← → ← → ← → ← → ← → 
Random 7.2 1.2 10.9 14.2 22.6 17.9 18.1 12.1 21.8 20.2 15.6 12.9 
mBART25 13.7 3.3 23.5 20.8 27.8 21.4 22.4 15.3 28.5 22.4 19.3 15.9 
Languages En-Gu En-Kk En-Vi En-Tr En-Ja En-Ko 
Data Source WMT19 WMT19 IWSLT15 WMT17 IWSLT17 IWSLT17 
Size 10K 91K 133K 207K 223K 230K 
Direction ← → ← → ← → ← → ← → ← → 
Random 0.0 0.0 0.8 0.2 23.6 24.8 12.2 9.5 10.4 12.3 15.3 16.3 
mBART25 0.3 0.1 7.4 2.5 36.1 35.4 22.5 17.8 19.1 19.4 24.6 22.6 
  
Languages En-Nl En-Ar En-It En-My En-Ne En-Ro 
Data Source IWSLT17 IWSLT17 IWSLT17 WAT19 FLoRes WMT16 
Size 237K 250K 250K 259K 564K 608K 
Direction ← → ← → ← → ← → ← → ← → 
Random 34.6 29.3 27.5 16.9 31.7 28.0 23.3 34.9 7.6 4.3 34.0 34.3 
mBART25 43.3 34.8 37.6 21.6 39.8 34.0 28.3 36.9 14.5 7.4 37.8 37.7 
  
Languages En-Si En-Hi En-Et En-Lt En-Fi En-Lv 
Data Source FLoRes ITTB WMT18 WMT19 WMT17 WMT17 
Size 647K 1.56M 1.94M 2.11M 2.66M 4.50M 
Direction ← → ← → ← → ← → ← → ← → 
Random 7.2 1.2 10.9 14.2 22.6 17.9 18.1 12.1 21.8 20.2 15.6 12.9 
mBART25 13.7 3.3 23.5 20.8 27.8 21.4 22.4 15.3 28.5 22.4 19.3 15.9 
View Large
Close Modal
This Feature Is Available To Subscribers Only

or Create an Account

Close Modal
Close Modal
This site uses cookies. By continuing to use our website, you are agreeing to our privacy policy.
Accept