Skip to Main Content
Table 6: 

Detailed results corresponding to the plots of Figure 2: EN*-FR Transformer NMT quality versus training data size (1.9M, 100K, or 10K sentence pairs). Source language variants: Fixed-order (SOV) and free-order (random) with different case systems (+overt/implicit/declens). Scores averaged over three training runs.

Eparl-BLEU 1.9M 100k 10k 
 
original 38.3 26.9 11.0 
SOV 37.9 25.3 8.8 
SOV+overt 37.4 24.6 8.4 
random 37.5 24.6 8.5 
random+overt 37.3 24.1 7.8 
random+implicit 37.3 24.3 7.1 
random+declens 37.4 23.1 7.7 
 
Eparl-RIBES 1.9M 100k 10k 
original 84.9 80.1 67.5 
SOV 84.5 78.7 64.1 
SOV+overt 84.5 78.4 63.1 
random 84.2 77.7 61.7 
random+overt 84.4 77.6 61.6 
random+implicit 84.3 77.4 59.8 
random+declens 84.3 77.1 61.3 
 
Challenge-RIBES 1.9M 100k 10k 
original 97.7 92.2 74.2 
SOV 97.2 89.8 69.5 
SOV+overt 97.7 86.5 64.9 
random 74.1 72.9 63.1 
random+overt 98.1 84.5 57.4 
random+implicit 97.5 85.4 54.8 
random+declens 97.6 84.4 53.1 
Eparl-BLEU 1.9M 100k 10k 
 
original 38.3 26.9 11.0 
SOV 37.9 25.3 8.8 
SOV+overt 37.4 24.6 8.4 
random 37.5 24.6 8.5 
random+overt 37.3 24.1 7.8 
random+implicit 37.3 24.3 7.1 
random+declens 37.4 23.1 7.7 
 
Eparl-RIBES 1.9M 100k 10k 
original 84.9 80.1 67.5 
SOV 84.5 78.7 64.1 
SOV+overt 84.5 78.4 63.1 
random 84.2 77.7 61.7 
random+overt 84.4 77.6 61.6 
random+implicit 84.3 77.4 59.8 
random+declens 84.3 77.1 61.3 
 
Challenge-RIBES 1.9M 100k 10k 
original 97.7 92.2 74.2 
SOV 97.2 89.8 69.5 
SOV+overt 97.7 86.5 64.9 
random 74.1 72.9 63.1 
random+overt 98.1 84.5 57.4 
random+implicit 97.5 85.4 54.8 
random+declens 97.6 84.4 53.1 
Close Modal

or Create an Account

Close Modal
Close Modal