Table 3: 
Comparison with other pre-training approaches on WMT16 Ro-En.
Pre-trainingFine-tuning
ModelDataEn → RoRo → En+BT
Random None 34.3 34.0 36.8 
XLM (2019) En Ro – 35.6 38.5 
MASS (2019) En Ro – – 39.1 
BART (2019) En – – 38.0 
XLM-R (2019) CC100 35.6 35.8 – 
BART-En En 36.0 35.8 37.4 
BART-Ro Ro 37.6 36.8 38.1 
mBART02 En Ro 38.5 38.5 39.9 
mBART25 CC25 37.7 37.8 38.8 
Pre-trainingFine-tuning
ModelDataEn → RoRo → En+BT
Random None 34.3 34.0 36.8 
XLM (2019) En Ro – 35.6 38.5 
MASS (2019) En Ro – – 39.1 
BART (2019) En – – 38.0 
XLM-R (2019) CC100 35.6 35.8 – 
BART-En En 36.0 35.8 37.4 
BART-Ro Ro 37.6 36.8 38.1 
mBART02 En Ro 38.5 38.5 39.9 
mBART25 CC25 37.7 37.8 38.8 
Close Modal

or Create an Account

Close Modal
Close Modal