Skip to Main Content
Table 5:
A pairwise comparison of the algorithms in 5-D and 20-D in terms of the number of wins of the row algorithm against the column algorithm over all COCO functions for two evaluation budgets. The budget (a) 1 denotes the smallest number of FE/D at which any of the algorithms reached the target ft=10-8 on the respective function, or 250 FE/D if the target was not reached, and (b) 13 is one third of the budget 1. For all four combinations of budgets and dimensions, the Iman-Davenport test rejects the hypothesis of equal ranks of algorithms with p-value <10-7. The asterisk marks the row algorithm achieving a significantly lower value of the objective function than the column algorithm (on medians over 15 instances from 24 functions) according to the Friedman post-hoc test with the Shaffer correction at the family-wise level 0.05.
5-DS-CMA-ES0.05 DTSadp. DTSMA-ESGPOPSAPEOCMA-ESCMA-ES 2pops*ACM-ESlmm-CMABOBYQASMACfmincon
eval. budget131131131131131131131131131131131131131
S-CMA-ES — — 12 13 14 12 13 14 11 10 16 18 12 10 
0.05 DTS 21* 22* — — 16 15 18 19* 21 23* 19 21* 19* 19* 21* 18* 20* 19* 15 16 16 19 19* 20* 16 22* 
adp. DTS 19 22* — — 17 20 15 20* 18 19 22 23* 23* 23* 22 18 12 16 12 15 18 20* 13 15 
MA-ES 12 15 — — 12 15 13 12 18 16 20 15 16 11 10 10 14 19 11 10 
GPOP 15 11 12 — — 11 14 13 16 11 15 10 12 13 14 10 
SAPEO 15 17 11 12 13 15 — — 15 16 21 16 14 11 10 10 14 18 13 
CMA-ES 10 12 10 11 — — 18 10 11 11 11 12 15 11 
CMA-ES 2pop 11 10 13 14 — — 10 10 15 11 10 
s*ACM-ES 13 14 13 15 10 13 13 13 15 14 — — 12 13 17 12 13 
lmm-CMA 19 22 12 16 18 16 17 18 18 21 18 19* 16 18 19 — — 14 14 17 19* 13 13 
BOBYQA 16 16 12 14 14 14 17 14 14 13 15 16 14 15 12 10 10 — — 15 17 16 12 
SMAC 10 12 11 10 12 16 11 — — 13 11 
fmincon 12 14 11 13 14 10 14 11 15 13 15 13 14 12 11 11 11 12 11 13 — — 
S-CMA-ES — — 11 10 15 12 11 11 12 11 11 11 18 16 13 10 
0.05 DTS 23 21 — — 13 14 18 17 18* 18 17 16 19* 18 17* 14 15 17 14 19 17 20* 19* 17 13 
adp. DTS 16 18* 10 — — 20 21 20* 21* 17 18 22* 21 23* 21 15 17 12 17 13 20* 20* 16 11 
MA-ES 13 14 — — 15 15 18 11 17 12 11 16 18 12 11 
GPOP 12 — — 11 10 13 16 17 14 
SAPEO 16 16 16 21 15 17 — — 21 21 20 16 11 11 10 15 12 20 20* 16 11 
CMA-ES 13 13 13 13 14 — — 19 12 11 11 14 17 12 
CMA-ES 2pop 12 17 10 15 11 17 12 — — 10 13 14 19 12 
s*ACM-ES 15 19* 18 15 16 20 18 19* 13 13 18 15 19 16 — — 10 13 16 17 17 21* 16 15 
lmm-CMA 13 20 10 12 18 18 17 18 15 14 20 18 19 14 14 11 — — 18 18 17* 20* 13 10 
BOBYQA 13 13 11 12 13 15 18 12 13 13 16 11 — — 15 17 13 13 
SMAC 10 10 — — 11 10 
fmincon 11 14 11 13 12 13 10 15 13 12 15 12 15 11 14 11 11 13 14 — — 
5-DS-CMA-ES0.05 DTSadp. DTSMA-ESGPOPSAPEOCMA-ESCMA-ES 2pops*ACM-ESlmm-CMABOBYQASMACfmincon
eval. budget131131131131131131131131131131131131131
S-CMA-ES — — 12 13 14 12 13 14 11 10 16 18 12 10 
0.05 DTS 21* 22* — — 16 15 18 19* 21 23* 19 21* 19* 19* 21* 18* 20* 19* 15 16 16 19 19* 20* 16 22* 
adp. DTS 19 22* — — 17 20 15 20* 18 19 22 23* 23* 23* 22 18 12 16 12 15 18 20* 13 15 
MA-ES 12 15 — — 12 15 13 12 18 16 20 15 16 11 10 10 14 19 11 10 
GPOP 15 11 12 — — 11 14 13 16 11 15 10 12 13 14 10 
SAPEO 15 17 11 12 13 15 — — 15 16 21 16 14 11 10 10 14 18 13 
CMA-ES 10 12 10 11 — — 18 10 11 11 11 12 15 11 
CMA-ES 2pop 11 10 13 14 — — 10 10 15 11 10 
s*ACM-ES 13 14 13 15 10 13 13 13 15 14 — — 12 13 17 12 13 
lmm-CMA 19 22 12 16 18 16 17 18 18 21 18 19* 16 18 19 — — 14 14 17 19* 13 13 
BOBYQA 16 16 12 14 14 14 17 14 14 13 15 16 14 15 12 10 10 — — 15 17 16 12 
SMAC 10 12 11 10 12 16 11 — — 13 11 
fmincon 12 14 11 13 14 10 14 11 15 13 15 13 14 12 11 11 11 12 11 13 — — 
S-CMA-ES — — 11 10 15 12 11 11 12 11 11 11 18 16 13 10 
0.05 DTS 23 21 — — 13 14 18 17 18* 18 17 16 19* 18 17* 14 15 17 14 19 17 20* 19* 17 13 
adp. DTS 16 18* 10 — — 20 21 20* 21* 17 18 22* 21 23* 21 15 17 12 17 13 20* 20* 16 11 
MA-ES 13 14 — — 15 15 18 11 17 12 11 16 18 12 11 
GPOP 12 — — 11 10 13 16 17 14 
SAPEO 16 16 16 21 15 17 — — 21 21 20 16 11 11 10 15 12 20 20* 16 11 
CMA-ES 13 13 13 13 14 — — 19 12 11 11 14 17 12 
CMA-ES 2pop 12 17 10 15 11 17 12 — — 10 13 14 19 12 
s*ACM-ES 15 19* 18 15 16 20 18 19* 13 13 18 15 19 16 — — 10 13 16 17 17 21* 16 15 
lmm-CMA 13 20 10 12 18 18 17 18 15 14 20 18 19 14 14 11 — — 18 18 17* 20* 13 10 
BOBYQA 13 13 11 12 13 15 18 12 13 13 16 11 — — 15 17 13 13 
SMAC 10 10 — — 11 10 
fmincon 11 14 11 13 12 13 10 15 13 12 15 12 15 11 14 11 11 13 14 — — 
Close Modal

or Create an Account

Close Modal
Close Modal