Skip to Main Content
Table 3: 
Results of different models and initialization setups on WikiSplit. Blockwise sorted by SARI score.
WikiSplit Exact SARI BLEU 
(Botha et al., 2018) 14.3 61.5 76.4 
Initialized with the base checkpoint (12 layers) 
bertShare 16.3 63.5 77.2 
robertaShare 16.1 63.4 77.1 
bert2bert 15.6 63.2 77.0 
roberta2gpt 15.1 63.2 76.8 
bert2rnd 15.9 63.1 76.9 
bert2gpt 14.6 62.4 76.5 
rnd2bert 15.2 61.8 76.5 
rnd2rnd 14.6 61.7 76.3 
rnd2gpt 14.2 61.3 76.2 
gpt 14.2 61.1 75.8 
 
Initialized with the large checkpoint (24 layers) 
robertaShare 16.4 63.8 77.4 
bertShare 16.6 63.7 77.3 
WikiSplit Exact SARI BLEU 
(Botha et al., 2018) 14.3 61.5 76.4 
Initialized with the base checkpoint (12 layers) 
bertShare 16.3 63.5 77.2 
robertaShare 16.1 63.4 77.1 
bert2bert 15.6 63.2 77.0 
roberta2gpt 15.1 63.2 76.8 
bert2rnd 15.9 63.1 76.9 
bert2gpt 14.6 62.4 76.5 
rnd2bert 15.2 61.8 76.5 
rnd2rnd 14.6 61.7 76.3 
rnd2gpt 14.2 61.3 76.2 
gpt 14.2 61.1 75.8 
 
Initialized with the large checkpoint (24 layers) 
robertaShare 16.4 63.8 77.4 
bertShare 16.6 63.7 77.3 
Close Modal

or Create an Account

Close Modal
Close Modal