Skip to Main Content
Table 3: 
Evaluation on NMT models trained with different language pairs for single-objective (BLEU) optimization. Results are averaged over 100 trials and standard deviations are also reported. Fixed-target best (ftb) and fixed-target close (ftc) are measured by number of model evaluations, and fixed-budget (fb) is measured by BLEU difference. For ftc, the tolerance of performance degradation is set to 0.5 BLEU.17 For fb, the runtime budget is set to 20.18
zh-enru-enja-en
ftbftcfbftbftcfbftbftcfb
RS 61±34 14±11 0.26±0.25 79±47 20±17 0.42±0.29 71±43 16±15 0.40±0.24 
BO_EI_M 29±19 13±9 0.24±0.24 41±19 26±17 0.51±0.36 27±17 16±15 0.39±0.45 
BO_EI_R 24±15 11±8 0.22±0.26 40±26 20±13 0.44±0.37 20±11 13±9 0.33±0.44 
GB_EI_M 84±15 13±8 0.35±0.21 50±34 18±17 0.35±0.25 23±7 6 ±3 0.14±0.11 
GB_EI_R 86±15 12±7 0.33±0.20 51±32 18±17 0.35±0.28 21±6 6 ±3 0.10±0.12 
GB_EIF_M 19±21 8±5 0.11±0.17 32±18 22±13 0.46±0.31 13 ±4 6 ±2 0.01 ±0.04 
GB_EIF_R 13 ±20 6 ±4 0.06 ±0.15 28 ±17 17 ±12 0.33 ±0.30 13 ±3 6 ±2 0.01 ±0.05 
 
 en-ja sw-en so-en 
 ftb ftc fb ftb ftc fb ftb ftc fb 
RS 71±46 12±10 0.71±0.37 334±201 186±152 2.45±0.97 301±161 39±39 0.63±0.32 
BO_EI_M 60±29 15±17 0.86±0.60 33 ±17 29 ±17 1.60±1.41 65±62 19±21 0.41±0.36 
BO_EI_R 62±36 13±12 0.79±0.58 55±47 33±24 1.42 ±1.33 52±70 13 ±11 0.24 ±0.30 
GB_EI_M 22 ±20 11±11 0.42 ±0.57 63±37 62±36 3.56±0.95 187±99 61±28 1.17±0.44 
GB_EI_R 24±21 13±12 0.47±0.59 56±26 55±26 3.39±0.95 201±104 62±29 1.16±0.44 
GB_EIF_M 47±22 9 ±7 0.63±0.32 58±24 57±24 3.13±0.51 42 ±30 26±8 0.48±0.13 
GB_EIF_R 45±22 10±7 0.69±0.39 59±25 58±25 3.15±0.52 42 ±30 28±7 0.49±0.12 
zh-enru-enja-en
ftbftcfbftbftcfbftbftcfb
RS 61±34 14±11 0.26±0.25 79±47 20±17 0.42±0.29 71±43 16±15 0.40±0.24 
BO_EI_M 29±19 13±9 0.24±0.24 41±19 26±17 0.51±0.36 27±17 16±15 0.39±0.45 
BO_EI_R 24±15 11±8 0.22±0.26 40±26 20±13 0.44±0.37 20±11 13±9 0.33±0.44 
GB_EI_M 84±15 13±8 0.35±0.21 50±34 18±17 0.35±0.25 23±7 6 ±3 0.14±0.11 
GB_EI_R 86±15 12±7 0.33±0.20 51±32 18±17 0.35±0.28 21±6 6 ±3 0.10±0.12 
GB_EIF_M 19±21 8±5 0.11±0.17 32±18 22±13 0.46±0.31 13 ±4 6 ±2 0.01 ±0.04 
GB_EIF_R 13 ±20 6 ±4 0.06 ±0.15 28 ±17 17 ±12 0.33 ±0.30 13 ±3 6 ±2 0.01 ±0.05 
 
 en-ja sw-en so-en 
 ftb ftc fb ftb ftc fb ftb ftc fb 
RS 71±46 12±10 0.71±0.37 334±201 186±152 2.45±0.97 301±161 39±39 0.63±0.32 
BO_EI_M 60±29 15±17 0.86±0.60 33 ±17 29 ±17 1.60±1.41 65±62 19±21 0.41±0.36 
BO_EI_R 62±36 13±12 0.79±0.58 55±47 33±24 1.42 ±1.33 52±70 13 ±11 0.24 ±0.30 
GB_EI_M 22 ±20 11±11 0.42 ±0.57 63±37 62±36 3.56±0.95 187±99 61±28 1.17±0.44 
GB_EI_R 24±21 13±12 0.47±0.59 56±26 55±26 3.39±0.95 201±104 62±29 1.16±0.44 
GB_EIF_M 47±22 9 ±7 0.63±0.32 58±24 57±24 3.13±0.51 42 ±30 26±8 0.48±0.13 
GB_EIF_R 45±22 10±7 0.69±0.39 59±25 58±25 3.15±0.52 42 ±30 28±7 0.49±0.12 
Close Modal

or Create an Account

Close Modal
Close Modal