Skip to Main Content
Table 3:
The average errors obtained by PS-CMA-ES, MA-LSch-CMA (MA), IPOP-CMA-ES-ncb (IPOP-ncb), and IPOP-CMA-ES-05 (IPOP-05) over 25 independent runs for each of the CEC’05 functions except f7 and f25 (these two functions are excluded as for these, only an initialization range is specified). The numbers in parentheses represent the number of times an algorithm is better, equal, or worse, respectively, compared to IPOP-CMA-ES-05. The underlined values indicate that the corresponding average error values of PS-CMA-ES (or MA-LSch-CMA) are the same or very close to the infeasible average error values obtained by IPOP-CMA-ES-ncb. The symbol denotes that all 25 solutions of IPOP-CMA-ES-ncb or MA-LSch-CMA-ncb are outside the bounds. The symbol denotes some of the 25 solutions of IPOP-CMA-ES-ncb or MA-LSch-CMA-ncb are outside the bounds.
30 dimensions50 dimensions
fcecPS-CMA-ESMAIPOP-ncbIPOP-05PS-CMA-ESMAIPOP-ncbIPOP-05
f1 1.00E−08 — 1.00E−08 1.00E−08 1.00E−08 — 1.00E−08 1.00E−08 
f2 1.00E−08 — 1.00E−08 1.00E−08 9.79E−04 — 1.00E−08 1.00E−08 
f3 8.00E+04 — 1.00E−08 1.00E−08 3.28E+05 — 1.00E−08 1.00E−08 
f4 8.47E−04 — 2.44E+03 1.11E+04 1.58E+03 — 1.32E+05 4.68E+05 
f5 3.98E+02 — 2.30E+01 1.00E−08 1.18E+03 — 7.91E+02 2.85E+00 
f6 1.35E+01 1.19E+01 1.00E−08 1.00E−08 2.98E+01 6.58E+01 1.00E−08 1.00E−08 
f8 2.10E+01 2.03E+01 2.07E+01 2.01E+01 2.11E+01 2.05E+01 2.11E+01 2.01E+01 
f9 1.00E−08 1.00E−08 1.01E+00 9.38E−01 1.00E−08 1.00E−08 1.12E+00 1.39E+00 
f10 1.00E−08 1.84E+01 1.37E+00 1.65E+00 1.00E−08 3.75E+01 2.36E+00 1.72E+00 
f11 3.91E+00 4.35E+00 6.36E+00 5.48E+00 1.22E+01 1.08E+01 1.49E+01 1.17E+01 
f12 7.89E+01 7.69E+02  1.38E+03 4.43E+04 2.36E+03 2.76E+03  7.38E+03 2.27E+05 
f13 2.11E+00 2.34E+00 2.47E+00 2.49E+00 4.00E+00 3.51E+00 4.31E+00 4.59E+00 
f14 1.29E+01 1.27E+01 1.28E+01 1.29E+01 2.25E+01 2.23E+01 2.34E+01 2.29E+01 
f15 2.10E+02 3.08E+02  2.01E+02 2.08E+02 2.64E+02 2.88E+02  2.01E+02 2.04E+02 
f16 2.61E+01 1.36E+02  7.95E+01 3.50E+01 2.27E+01 6.40E+01  1.36E+02 3.09E+01 
f17 5.17E+01 1.35E+02  4.31E+02 2.91E+02 6.16E+01 8.32E+01  7.69E+02 2.34E+02 
f18 8.16E+02 8.16E+02 8.16E+029.04E+02 8.36E+02 8.45E+02 8.36E+029.13E+02 
f19 8.16E+02 8.16E+02 8.16E+029.04E+02 8.36E+02 8.45E+02 8.36E+029.12E+02 
f20 8.16E+02 8.16E+02 8.16E+029.04E+02 8.36E+02 8.41E+02 8.36E+029.12E+02 
f21 7.11E+02 5.12E+02  8.57E+02 5.00E+02 7.18E+02 5.45E+02  7.15E+021.00E+03 
f22 5.00E+02 5.26E+02  5.98E+02 8.03E+02 5.00E+02 5.00E+02 5.00E+028.05E+02 
f23 7.99E+02 5.34E+02  8.69E+02 5.34E+02 7.24E+02 5.81E+02  7.27E+021.01E+03 
f24 2.10E+02 2.00E+02 2.10E+029.10E+02 2.14E+02 2.00E+02 2.14E+029.55E+02 
 (13, 3, 7) (11, 1, 6) (11, 4, 8)  (15, 1, 7) (13, 0, 5) (12, 4, 7)  
30 dimensions50 dimensions
fcecPS-CMA-ESMAIPOP-ncbIPOP-05PS-CMA-ESMAIPOP-ncbIPOP-05
f1 1.00E−08 — 1.00E−08 1.00E−08 1.00E−08 — 1.00E−08 1.00E−08 
f2 1.00E−08 — 1.00E−08 1.00E−08 9.79E−04 — 1.00E−08 1.00E−08 
f3 8.00E+04 — 1.00E−08 1.00E−08 3.28E+05 — 1.00E−08 1.00E−08 
f4 8.47E−04 — 2.44E+03 1.11E+04 1.58E+03 — 1.32E+05 4.68E+05 
f5 3.98E+02 — 2.30E+01 1.00E−08 1.18E+03 — 7.91E+02 2.85E+00 
f6 1.35E+01 1.19E+01 1.00E−08 1.00E−08 2.98E+01 6.58E+01 1.00E−08 1.00E−08 
f8 2.10E+01 2.03E+01 2.07E+01 2.01E+01 2.11E+01 2.05E+01 2.11E+01 2.01E+01 
f9 1.00E−08 1.00E−08 1.01E+00 9.38E−01 1.00E−08 1.00E−08 1.12E+00 1.39E+00 
f10 1.00E−08 1.84E+01 1.37E+00 1.65E+00 1.00E−08 3.75E+01 2.36E+00 1.72E+00 
f11 3.91E+00 4.35E+00 6.36E+00 5.48E+00 1.22E+01 1.08E+01 1.49E+01 1.17E+01 
f12 7.89E+01 7.69E+02  1.38E+03 4.43E+04 2.36E+03 2.76E+03  7.38E+03 2.27E+05 
f13 2.11E+00 2.34E+00 2.47E+00 2.49E+00 4.00E+00 3.51E+00 4.31E+00 4.59E+00 
f14 1.29E+01 1.27E+01 1.28E+01 1.29E+01 2.25E+01 2.23E+01 2.34E+01 2.29E+01 
f15 2.10E+02 3.08E+02  2.01E+02 2.08E+02 2.64E+02 2.88E+02  2.01E+02 2.04E+02 
f16 2.61E+01 1.36E+02  7.95E+01 3.50E+01 2.27E+01 6.40E+01  1.36E+02 3.09E+01 
f17 5.17E+01 1.35E+02  4.31E+02 2.91E+02 6.16E+01 8.32E+01  7.69E+02 2.34E+02 
f18 8.16E+02 8.16E+02 8.16E+029.04E+02 8.36E+02 8.45E+02 8.36E+029.13E+02 
f19 8.16E+02 8.16E+02 8.16E+029.04E+02 8.36E+02 8.45E+02 8.36E+029.12E+02 
f20 8.16E+02 8.16E+02 8.16E+029.04E+02 8.36E+02 8.41E+02 8.36E+029.12E+02 
f21 7.11E+02 5.12E+02  8.57E+02 5.00E+02 7.18E+02 5.45E+02  7.15E+021.00E+03 
f22 5.00E+02 5.26E+02  5.98E+02 8.03E+02 5.00E+02 5.00E+02 5.00E+028.05E+02 
f23 7.99E+02 5.34E+02  8.69E+02 5.34E+02 7.24E+02 5.81E+02  7.27E+021.01E+03 
f24 2.10E+02 2.00E+02 2.10E+029.10E+02 2.14E+02 2.00E+02 2.14E+029.55E+02 
 (13, 3, 7) (11, 1, 6) (11, 4, 8)  (15, 1, 7) (13, 0, 5) (12, 4, 7)  

denotes there is a significant difference over the distribution of average errors between PS-CMA-ES (MA-LSch-CMA) and IPOP-CMA-ES-05 according to a two-sided Wilcoxon matched-pairs signed-rank test at the 0.05 -level.

Close Modal

or Create an Account

Close Modal
Close Modal