Skip to Main Content
Table 4: 
Evaluation on NMT models trained with different language pairs for multiobjective (BLEU & decoding time) optimization. Fixed-target one (fto) and fixed-target all (fta) are measured by number of model evaluations, and fixed-budget (fbp) is measured by number of Pareto-optimal points. J is the size of the true Pareto set and B is the runtime budget.19
zh-enru-enja-en
 fto fta (J=3) fbp (B=50) fto fta (J=4) fbp (B=50) fto fta (J=5) fbp (B=50) 
RS 30±24 88±22 1.3±0.8 33±26 139±28 1.3±0.9 21±18 129±20 1.7±1.0 
BO_M 24±16 81±16 1.7±0.7 16 ±14 80 ±26 2.4 ±0.9 17±13 77 ±28 3.3 ±1.3 
BO_R 20 ±13 75 ±15 1.8 ±0.5 17±15 84±32 2.4 ±1.0 18±14 94±32 2.8±1.2 
GB_M 24±16 85±16 1.8 ±0.6 17±14 102±30 1.9±0.9 16 ±12 103±21 2.4±1.1 
GB_R 24±15 90±12 1.7±0.6 17±12 103±30 2.0±0.9 19±12 107±20 2.2±1.0 
 
 en-ja sw-en so-en 
 fto fta (J=8) fbp (B=50) fto fta (J=14) fbp (B=200) fto fta (J=7) fbp (B=200) 
RS 17±16 150±17 2.5±1.4 54±51 719±47 3.4±1.7 88±73 534±55 2.1±1.3 
BO_M 15 ±10 100±34 4.6 ±1.7 26 ±20 344 ±201 12.0 ±2.8 30 ±21 321 ±113 5.1 ±1.2 
BO_R 17±13 93 ±30 4.3±2.0 28±27 454±153 10.0±2.2 31±25 399±129 4.7±1.4 
GB_M 17±13 121±28 4.0±1.5 59±75 469±198 7.8±4.3 61±63 447±99 2.9±1.4 
GB_R 17±14 119±24 3.6±1.5 58±75 509±193 7.4±4.1 66±58 426±102 2.9±1.4 
zh-enru-enja-en
 fto fta (J=3) fbp (B=50) fto fta (J=4) fbp (B=50) fto fta (J=5) fbp (B=50) 
RS 30±24 88±22 1.3±0.8 33±26 139±28 1.3±0.9 21±18 129±20 1.7±1.0 
BO_M 24±16 81±16 1.7±0.7 16 ±14 80 ±26 2.4 ±0.9 17±13 77 ±28 3.3 ±1.3 
BO_R 20 ±13 75 ±15 1.8 ±0.5 17±15 84±32 2.4 ±1.0 18±14 94±32 2.8±1.2 
GB_M 24±16 85±16 1.8 ±0.6 17±14 102±30 1.9±0.9 16 ±12 103±21 2.4±1.1 
GB_R 24±15 90±12 1.7±0.6 17±12 103±30 2.0±0.9 19±12 107±20 2.2±1.0 
 
 en-ja sw-en so-en 
 fto fta (J=8) fbp (B=50) fto fta (J=14) fbp (B=200) fto fta (J=7) fbp (B=200) 
RS 17±16 150±17 2.5±1.4 54±51 719±47 3.4±1.7 88±73 534±55 2.1±1.3 
BO_M 15 ±10 100±34 4.6 ±1.7 26 ±20 344 ±201 12.0 ±2.8 30 ±21 321 ±113 5.1 ±1.2 
BO_R 17±13 93 ±30 4.3±2.0 28±27 454±153 10.0±2.2 31±25 399±129 4.7±1.4 
GB_M 17±13 121±28 4.0±1.5 59±75 469±198 7.8±4.3 61±63 447±99 2.9±1.4 
GB_R 17±14 119±24 3.6±1.5 58±75 509±193 7.4±4.1 66±58 426±102 2.9±1.4 
Close Modal

or Create an Account

Close Modal
Close Modal