Skip to Main Content

Table 4,0 presents the statistical results of IGD¯ of the solution sets obtained by the seven algorithms averaged over 20 runs; S¯ and HV¯ metric values can be found in the Section S4.2 of Supplementary material. In Table 4, the best results of the first five algorithms using a different single response strategy are highlighted. These results indicate the best single response strategy among RDI, MDI, LPS, FPS, and PPS for each benchmark function in the presence of different environmental changes (columns 4 to 8). The experimental results (IGD¯) of the proposed algorithm and the best of the first five algorithms are also analyzed using the Wilcoxon rank-sum test (Derrac et al., 2011). In Table 4, p-value represents the probability of two set of IGD¯ obtained by two different algorithms come from the same distribution, “”, “§”, and “” denote the performance of the proposed algorithm is better than, worse than, or comparable to that of the best of the first five algorithms, respectively.

Table 4:

The statistical results of IGD¯ for different algorithms. “”, “§”, and “” denote the performance of MOEA-OSD/SRS is better than, worse than, or comparable with that of the best of the first five algorithms.

MOEAMOEAMOEAMOEAMOEAMOEAMOEA/
-OSD-OSD-OSD-OSD-OSD-OSD-OSD§/
functions(τT,nT)Statistic/RDI/MDI/LPS/FPS/PPS/SADI/SRSp-value
F1 (20,10) Mean 0.0044 0.0043 0.0060 0.0043 0.0053 0.0149 0.0042 0.0947  
  Std 5.71E-04 2.17E-04 9.62E-05 4.83E-04 0.0012 0.0035 3.49E-05   
 (15,10) Mean 0.0054 0.0049 0.0073 0.0051 0.0061 0.0255 0.0047 0.6761  
  Std 8.45E-04 4.05E-04 2.49E-04 6.58E-04 3.88E-04 0.0056 5.51E-05   
 (10,10) Mean 0.0089 0.0080 0.0156 0.0079 0.0111 0.0507 0.0072 0.6791  
  Std 0.0016 0.0020 0.0023 0.0014 0.0024 0.0147 1.30E-04   
F2 (20,10) Mean 0.0082 0.0077 0.0056 0.0071 0.0061 0.0088 0.0056 0.5309  
  Std 1.08E-04 7.07E-04 4.78E-05 1.23E-04 1.01E-04 1.40E-04 3.27E-05   
 (15,10) Mean 0.0118 0.0107 0.0067 0.0096 0.0079 0.0139 0.0067 0.6761  
  Std 1.54E-04 1.51E-04 7.85E-05 2.31E-04 1.57E-04 3.60E-04 5.58E-05   
 (10,10) Mean 0.0228 0.0192 0.0099 0.0169 0.0133 0.0297 0.0098 0.2446  
  Std 3.79E-04 7.51E-04 2.26E-04 7.60E-04 4.40E-04 0.0016 1.35E-04   
F3 (20,10) Mean 0.0064 0.0071 0.0050 0.0060 0.0058 0.0064 0.0050 0.5006  
  Std 6.62E-05 6.81E-05 3.81E-05 7.46E-05 5.80E-05 1.23E-04 2.99E-05   
 (15,10) Mean 0.0086 0.0085 0.0059 0.0079 0.0073 0.0085 0.0059 0.1984  
  Std 1.75E-04 1.43E-04 7.21E-05 1.47E-04 1.44E-04 1.00E-04 5.49E-05   
 (10,10) Mean 0.0148 0.0150 0.0082 0.0127 0.0126 0.0142 0.0081 0.1258  
  Std 4.22E-04 6.64E-04 1.09E-04 5.16E-04 5.69E-04 4.64E-04 1.71E-04   
F4 (20,10) Mean 0.0073 0.0069 0.0054 0.0065 0.0057 0.0088 0.0054 0.2446  
  Std 8.01E-05 7.48E-05 3.35E-05 9.65E-05 8.06E-05 1.40E-04 3.98E-05   
 (15,10) Mean 0.0099 0.0091 0.0063 0.0084 0.0070 0.0113 0.0062 0.0235  
  Std 1.18E-04 1.05E-04 5.12E-05 1.84E-04 1.68E-04 2.22E-03 1.44E-04   
 (10,10) Mean 0.0180 0.0151 0.0087 0.0140 0.0108 0.0226 0.0086 0.0982  
  Std 4.18E-04 3.57E-04 1.59E-04 4.71E-04 3.39E-04 0.0011 2.09E-04   
F5 (20,10) Mean 0.0060 0.0058 0.0073 0.0059 0.0065 0.0073 0.0057 0.0122  
  Std 6.86E-05 1.40E-04 1.65E-04 9.86E-05 1.40E-04 6.93E-04 7.39E-05   
 (15,10) Mean 0.0072 0.0066 0.0088 0.0068 0.0079 0.0095 0.0066 0.0367  
  Std 1.88 E-04 1.01E-04 1.81E-04 1.65E-04 3.76E-04 7.43E-04 1.23E-04   
 (10,10) Mean 0.0100 0.0087 0.0130 0.0088 0.0121 0.0198 0.0085 0.5815  
  Std 2.03E-04 2.05E-04 2.98E-04 1.51E-04 0.0015 0.0036 1.54E-04   
F6 (20,10) Mean 0.0131 0.0156 0.0084 0.0128 0.0109 0.0117 0.0083 0.5815  
  Std 8.68E-04 0.0016 4.69E-04 0.0016 9.33E-04 0.0011 7.04E-04   
 (15,10) Mean 0.0186 0.0206 0.0108 0.0169 0.0160 0.0213 0.0109 0.2979  
  Std 0.0012 0.0014 8.34E-04 0.0020 0.0017 0.0029 0.0011   
 (10,10) Mean 0.0273 0.0320 0.0159 0.0242 0.0271 0.0301 0.0160 0.2979  
  Std 9.16E-04 0.0025 8.79E-04 0.0018 0.0034 0.0017 0.0010   
F7 (20,10) Mean 0.0577 0.0581 0.0541 0.0569 0.0575 0.0630 0.0468 0.0122  
  Std 2.32E-04 2.27E-04 2.28E-04 4.09E-04 4.00E-04 3.15E-04 0.0011   
 (15,10) Mean 0.0625 0.0633 0.0571 0.0612 0.0628 0.0676 0.0508 0.0027  
  Std 2.93E-04 4.18E-04 2.45E-04 3.86E-04 8.25E-04 3.82E-04 0.0020   
 (10,10) Mean 0.0732 0.0763 0.0630 0.0715 0.0804 0.0730 0.0572 0.0235  
  Std 7.28E-04 0.0011 5.21E-04 0.0010 0.0033 0.0018 0.0040   
F8 (20,10) Mean 0.0435 0.0446 0.0386 0.0422 0.0441 0.0838 0.0372 0.0963  
  Std 0.0011 0.0011 3.66E-04 0.0012 0.0012 0.0012 0.0025   
 (15,10) Mean 0.0518 0.0539 0.0448 0.0491 0.0544 0.0863 0.0440 0.1542  
  Std 9.43E-04 0.0015 8.88E-04 0.0010 0.0018 0.0014 0.0026   
 (10,10) Mean 0.0678 0.0781 0.0548 0.0654 0.0874 0.1001 0.0538 0.0583  
  Std 0.0024 0.0017 0.0019 0.0024 0.0085 0.0030 0.0054   
F9 (20,10) Mean 0.0094 0.0086 0.0062 0.0075 0.0064 0.0109 0.0061 0.0216  
  Std 1.28E-04 7.63E-04 4.58E-05 1.70E-04 1.08E-04 4.79E-04 7.86E-05   
 (15,10) Mean 0.0133 0.0177 0.0074 0.0102 0.0079 0.0166 0.0071 0.0122  
  Std 2.21E-04 1.40E-04 5.86E-05 3.49E-04 1.83E-04 5.95E-04 5.76E-05   
 (10,10) Mean 0.0245 0.0198 0.0103 0.0170 0.0123 0.0324 0.0097 0.0216  
  Std 8.78E-04 3.66E-04 1.85E-04 5.04E-04 3.27E-04 0.0027 3.33E-04   
MOEAMOEAMOEAMOEAMOEAMOEAMOEA/
-OSD-OSD-OSD-OSD-OSD-OSD-OSD§/
functions(τT,nT)Statistic/RDI/MDI/LPS/FPS/PPS/SADI/SRSp-value
F1 (20,10) Mean 0.0044 0.0043 0.0060 0.0043 0.0053 0.0149 0.0042 0.0947  
  Std 5.71E-04 2.17E-04 9.62E-05 4.83E-04 0.0012 0.0035 3.49E-05   
 (15,10) Mean 0.0054 0.0049 0.0073 0.0051 0.0061 0.0255 0.0047 0.6761  
  Std 8.45E-04 4.05E-04 2.49E-04 6.58E-04 3.88E-04 0.0056 5.51E-05   
 (10,10) Mean 0.0089 0.0080 0.0156 0.0079 0.0111 0.0507 0.0072 0.6791  
  Std 0.0016 0.0020 0.0023 0.0014 0.0024 0.0147 1.30E-04   
F2 (20,10) Mean 0.0082 0.0077 0.0056 0.0071 0.0061 0.0088 0.0056 0.5309  
  Std 1.08E-04 7.07E-04 4.78E-05 1.23E-04 1.01E-04 1.40E-04 3.27E-05   
 (15,10) Mean 0.0118 0.0107 0.0067 0.0096 0.0079 0.0139 0.0067 0.6761  
  Std 1.54E-04 1.51E-04 7.85E-05 2.31E-04 1.57E-04 3.60E-04 5.58E-05   
 (10,10) Mean 0.0228 0.0192 0.0099 0.0169 0.0133 0.0297 0.0098 0.2446  
  Std 3.79E-04 7.51E-04 2.26E-04 7.60E-04 4.40E-04 0.0016 1.35E-04   
F3 (20,10) Mean 0.0064 0.0071 0.0050 0.0060 0.0058 0.0064 0.0050 0.5006  
  Std 6.62E-05 6.81E-05 3.81E-05 7.46E-05 5.80E-05 1.23E-04 2.99E-05   
 (15,10) Mean 0.0086 0.0085 0.0059 0.0079 0.0073 0.0085 0.0059 0.1984  
  Std 1.75E-04 1.43E-04 7.21E-05 1.47E-04 1.44E-04 1.00E-04 5.49E-05   
 (10,10) Mean 0.0148 0.0150 0.0082 0.0127 0.0126 0.0142 0.0081 0.1258  
  Std 4.22E-04 6.64E-04 1.09E-04 5.16E-04 5.69E-04 4.64E-04 1.71E-04   
F4 (20,10) Mean 0.0073 0.0069 0.0054 0.0065 0.0057 0.0088 0.0054 0.2446  
  Std 8.01E-05 7.48E-05 3.35E-05 9.65E-05 8.06E-05 1.40E-04 3.98E-05   
 (15,10) Mean 0.0099 0.0091 0.0063 0.0084 0.0070 0.0113 0.0062 0.0235  
  Std 1.18E-04 1.05E-04 5.12E-05 1.84E-04 1.68E-04 2.22E-03 1.44E-04   
 (10,10) Mean 0.0180 0.0151 0.0087 0.0140 0.0108 0.0226 0.0086 0.0982  
  Std 4.18E-04 3.57E-04 1.59E-04 4.71E-04 3.39E-04 0.0011 2.09E-04   
F5 (20,10) Mean 0.0060 0.0058 0.0073 0.0059 0.0065 0.0073 0.0057 0.0122  
  Std 6.86E-05 1.40E-04 1.65E-04 9.86E-05 1.40E-04 6.93E-04 7.39E-05   
 (15,10) Mean 0.0072 0.0066 0.0088 0.0068 0.0079 0.0095 0.0066 0.0367  
  Std 1.88 E-04 1.01E-04 1.81E-04 1.65E-04 3.76E-04 7.43E-04 1.23E-04   
 (10,10) Mean 0.0100 0.0087 0.0130 0.0088 0.0121 0.0198 0.0085 0.5815  
  Std 2.03E-04 2.05E-04 2.98E-04 1.51E-04 0.0015 0.0036 1.54E-04   
F6 (20,10) Mean 0.0131 0.0156 0.0084 0.0128 0.0109 0.0117 0.0083 0.5815  
  Std 8.68E-04 0.0016 4.69E-04 0.0016 9.33E-04 0.0011 7.04E-04   
 (15,10) Mean 0.0186 0.0206 0.0108 0.0169 0.0160 0.0213 0.0109 0.2979  
  Std 0.0012 0.0014 8.34E-04 0.0020 0.0017 0.0029 0.0011   
 (10,10) Mean 0.0273 0.0320 0.0159 0.0242 0.0271 0.0301 0.0160 0.2979  
  Std 9.16E-04 0.0025 8.79E-04 0.0018 0.0034 0.0017 0.0010   
F7 (20,10) Mean 0.0577 0.0581 0.0541 0.0569 0.0575 0.0630 0.0468 0.0122  
  Std 2.32E-04 2.27E-04 2.28E-04 4.09E-04 4.00E-04 3.15E-04 0.0011   
 (15,10) Mean 0.0625 0.0633 0.0571 0.0612 0.0628 0.0676 0.0508 0.0027  
  Std 2.93E-04 4.18E-04 2.45E-04 3.86E-04 8.25E-04 3.82E-04 0.0020   
 (10,10) Mean 0.0732 0.0763 0.0630 0.0715 0.0804 0.0730 0.0572 0.0235  
  Std 7.28E-04 0.0011 5.21E-04 0.0010 0.0033 0.0018 0.0040   
F8 (20,10) Mean 0.0435 0.0446 0.0386 0.0422 0.0441 0.0838 0.0372 0.0963  
  Std 0.0011 0.0011 3.66E-04 0.0012 0.0012 0.0012 0.0025   
 (15,10) Mean 0.0518 0.0539 0.0448 0.0491 0.0544 0.0863 0.0440 0.1542  
  Std 9.43E-04 0.0015 8.88E-04 0.0010 0.0018 0.0014 0.0026   
 (10,10) Mean 0.0678 0.0781 0.0548 0.0654 0.0874 0.1001 0.0538 0.0583  
  Std 0.0024 0.0017 0.0019 0.0024 0.0085 0.0030 0.0054   
F9 (20,10) Mean 0.0094 0.0086 0.0062 0.0075 0.0064 0.0109 0.0061 0.0216  
  Std 1.28E-04 7.63E-04 4.58E-05 1.70E-04 1.08E-04 4.79E-04 7.86E-05   
 (15,10) Mean 0.0133 0.0177 0.0074 0.0102 0.0079 0.0166 0.0071 0.0122  
  Std 2.21E-04 1.40E-04 5.86E-05 3.49E-04 1.83E-04 5.95E-04 5.76E-05   
 (10,10) Mean 0.0245 0.0198 0.0103 0.0170 0.0123 0.0324 0.0097 0.0216  
  Std 8.78E-04 3.66E-04 1.85E-04 5.04E-04 3.27E-04 0.0027 3.33E-04   
Table 4:

Continued.

MOEAMOEAMOEAMOEAMOEAMOEAMOEA/
-OSD-OSD-OSD-OSD-OSD-OSD-OSD§/
functions(τT,nT)Statistic/RDI/MDI/LPS/FPS/PPS/SADI/SRSp-value
F10 (20,10) Mean 0.0062 0.0060 0.0068 0.0060 0.0062 0.0103 0.0060 0.8345  
  Std 2.79E-05 1.73E-05 2.18E-05 1.73E-05 4.93E-05 4.48E-04 3.24E-05   
 (15,10) Mean 0.0065 0.0062 0.0076 0.0062 0.0064 0.0154 0.0062 0.0601  
  Std 3.05E-05 2.79E-05 6.39E-05 2.52E-05 7.65E-05 0.0010 3.80E-05   
 (10,10) Mean 0.0073 0.0067 0.0094 0.0066 0.0072 0.0286 0.0067 0.1437  
  Std 9.04E-05 5.76E-05 1.31E-04 9.42E-05 2.10E-04 0.0030 3.01E-04   
F11 (20,10) Mean 0.2911 0.4092 0.1174 0.1654 0.1393 0.0555 0.1156 0.0122  
  Std 0.0217 0.0661 5.41E-04 0.0147 0.0435 0.0354 0.0033   
 (15,10) Mean 0.3552 0.7125 0.1666 0.2651 0.3119 0.4015 0.1632 0.2453  
  Std 0.0227 0.0088 0.0015 0.0368 0.1604 0.0133 0.0038   
 (10,10) Mean 0.5452 0.9708 0.2780 0.5454 0.6613 0.6536 0.2785 0.6985  
  Std 0.0178 0.1062 0.0249 0.0057 0.3908 0.0180 0.0116   
MOEAMOEAMOEAMOEAMOEAMOEAMOEA/
-OSD-OSD-OSD-OSD-OSD-OSD-OSD§/
functions(τT,nT)Statistic/RDI/MDI/LPS/FPS/PPS/SADI/SRSp-value
F10 (20,10) Mean 0.0062 0.0060 0.0068 0.0060 0.0062 0.0103 0.0060 0.8345  
  Std 2.79E-05 1.73E-05 2.18E-05 1.73E-05 4.93E-05 4.48E-04 3.24E-05   
 (15,10) Mean 0.0065 0.0062 0.0076 0.0062 0.0064 0.0154 0.0062 0.0601  
  Std 3.05E-05 2.79E-05 6.39E-05 2.52E-05 7.65E-05 0.0010 3.80E-05   
 (10,10) Mean 0.0073 0.0067 0.0094 0.0066 0.0072 0.0286 0.0067 0.1437  
  Std 9.04E-05 5.76E-05 1.31E-04 9.42E-05 2.10E-04 0.0030 3.01E-04   
F11 (20,10) Mean 0.2911 0.4092 0.1174 0.1654 0.1393 0.0555 0.1156 0.0122  
  Std 0.0217 0.0661 5.41E-04 0.0147 0.0435 0.0354 0.0033   
 (15,10) Mean 0.3552 0.7125 0.1666 0.2651 0.3119 0.4015 0.1632 0.2453  
  Std 0.0227 0.0088 0.0015 0.0368 0.1604 0.0133 0.0038   
 (10,10) Mean 0.5452 0.9708 0.2780 0.5454 0.6613 0.6536 0.2785 0.6985  
  Std 0.0178 0.1062 0.0249 0.0057 0.3908 0.0180 0.0116   
Table 5:

The statistical results of IGD¯ for different algorithms. “”, “§”, and “” denote the performance of MOEA-OSD/SRS is better than, worse than, and comparable with that of the corresponding comparison algorithm.

FPSPPSMOEA
DNSGADNSGA-RM-RMImmune-OSD
functions(τT,nT)Statistic-II-A-II-B-MEDA-MEDASGEAMOEA/DGDE3/SRS
F1 (20,10) Mean 0.0158  0.0124  0.009 5  0.0095  0.0087  0.0101  0.0094  0.0042 
  Std 0.0075 0.0064 0.0025 0.0025 0.0022 0.0040 0.0020 3.49E-05 
 (15,10) Mean 0.0238  0.0194  0.0128  0.0127  0.0112  0.0145  0.0120  0.0047 
  Std 0.0088 0.0078 0.0020 0.0025 0.0028 0.0028 0.0088 5.51E-05 
 (10,10) Mean 0.0360  0.0307  0.0244  0.0253  0.0156  0.0264  0.0220  0.0072 
  Std 0.0125 0.0097 0.0064 0.0125 0.0039 7.78E-04 0.0125 1.30E-04 
F2 (20,10) Mean 0.0113  0.0111  0.0109  0.0093  0.0074  0.0098  0.0089  0.0056 
  Std 5.83E-04 2.76E-04 3.00E-05 6.03E-04 5.57E-04 1.31E-04 6.42E-04 3.27E-05 
 (15,10) Mean 0.0168  0.0169  0.0197  0.0171  0.0096  0.0115  0.0101  0.0067 
  Std 5.69E-04 5.78E-04 9.71E-04 0.0020 8.70E-04 7.43E-04 5.69E-04 5.58E-05 
 (10,10) Mean 0.0368  0.0381  0.0430  0.0973  0.0144  0.0236  0.0153  0.0098 
  Std 0.0024 0.0035 0.0021 0.0444 9.15E-04 0.0074 0.0014 1.35E-04 
F3 (20,10) Mean 0.0099  0.0096  0.0084  0.0119  0.0718  0.0088  0.0085  0.0050 
  Std 7.23E-04 5.75E-05 2.92E-04 9.47E-04 0.0088 1.63E-04 6.16E-04 2.99E-05 
 (15,10) Mean 0.0158  0.0163  0.0116  0.0229  0.0869  0.0121  0.0118  0.0059 
  Std 0.0010 0.0011 4.06E-04 0.0015 0.0103 5.09E-04 0.0020 5.49E-05 
 (10,10) Mean 0.0508  0.0542  0.0210  0.0655  0.1303  0.0256  0.0189  0.0081 
  Std 0.0031 0.0064 0.0010 0.0114 0.0105 0.0049 0.0018 1.71E-04 
F4 (20,10) Mean 0.0099  0.0096  0.0084  0.0119  0.0718  0.0088  0.0085  0.0050 
  Std 3.05E-04 2.54E-05 1.60E-04 4.02E-04 7.63E-04 5.42E-04 1.41E-04 3.98E-05 
 (15,10) Mean 0.0137  0.0141  0.0129  0.0130  0.0091  0.0121  0.0108  0.0062 
  Std 5.41E-04 9.29E-04 4.97E-04 0.0014 0.0012 3.05E-04 5.86E-04 1.44E-04 
 (10,10) Mean 0.0299  0.0297  0.0266  0.0626  0.0135  0.0263  0.0228  0.0086 
  Std 0.0026 0.0019 0.0012 0.0233 0.0012 0.0016 0.0026 2.09E-04 
F5 (20,10) Mean 0.1547  0.1548  0.0071  0.0107  0.0067  0.0087  0.0079  0.0057 
  Std 8.89E-05 2.90E-04 1.54E-04 0.0012 0.0011 8.47E-05 7.75E-04 7.39E-05 
 (15,10) Mean 0.1553  0.1552  0.0079  0.0153  0.0084  0.0094  0.0088  0.0066 
  Std 2.65E-04 1.77E-04 2.20E-04 0.0014 0.0028 1.93E-04 8.95E-04 1.23E-04 
 (10,10) Mean 0.1565  0.1564  0.0111  0.0385  0.0099  0.0138  0.0118  0.0085 
  Std 6.42E-04 7.24E-04 3.88E-04 0.0084 0.0014 0.0021 5.58E-04 1.54E-04 
F6 (20,10) Mean 0.1436  0.1435  0.0110  0.0173  0.0108  0.0153  0.0144  0.0083 
  Std 0.0043 0.0041 5.57E-04 0.0020 0.0042 2.84E-04 0.0010 7.04E-04 
 (15,10) Mean 0.1516  0.1461  0.0114  0.0362  0.0134  0.0176  0.0153  0.0109 
  Std 0.0090 0.0039 4.53E-04 0.0075 0.0033 0.0012 0.0040 0.0011 
 (10,10) Mean 0.1713  0.1872  0.0199  0.1972  0.0175  0.0213  0.0195  0.0160 
  Std 0.0594 0.0707 0.0011 0.0582 0.0051 0.0046 0.0018 0.0010 
F7 (20,10) Mean 0.1372  0.1585  0.0994  0.0988  0.0764  0.0910  0.0795  0.0468 
  Std 0.0122 0.0091 0.0012 0.0016 0.0012 0.0076 0.0012 0.0011 
 (15,10) Mean 0.2255  0.2424  0.1033  0.1076  0.0907  0.1053  0.0948  0.0508 
  Std 0.0227 0.0218 0.0017 0.0020 0.0018 0.0021 0.0020 0.0020 
 (10,10) Mean 0.4007  0.4180  0.1138  0.1303  0.1307  0.1206  0.1181  0.0572 
  Std 0.0348 0.0324 0.0016 0.0067 0.0058 0.0034 0.0040 0.0040 
F8 (20,10) Mean 0.2609  0.2595  0.0998  0.0988  0.0622  0.0713  0.0680  0.0372 
  Std 0.0074 0.0078 0.0043 0.0016 0.0044 0.0018 0.0017 0.0025 
 (15,10) Mean 0.2797  0.2833  0.0948  0.1059  0.0746  0.0833  0.0785  0.0440 
  Std 0.0073 0.0080 0.0017 0.0073 0.0045 0.0042 0.0043 0.0026 
 (10,10) Mean 0.3504  0.3566  0.0840  0.1204  0.0980  0.1072  0.1001  0.0538 
  Std 0.0143 0.0145 0.0016 0.0093 0.0079 0.0044 0.0041 0.0054 
F9 (20,10) Mean 0.0153  0.0156  0.0468  0.0541  0.0077  0.0098  0.0095  0.0061 
  Std 6.25E-04 7.24E-04 1.28E-04 0.0155 1.76E-04 1.77E-04 4.55E-04 7.86E-05 
 (15,10) Mean 0.0257  0.0255  0.0471  0.0477  0.0103  0.0114  0.0110  0.0071 
  Std 0.0012 0.0013 2.01E-04 3.91E-04 3.05E-04 0.0013 0.0010 5.76E-05 
 (10,10) Mean 0.0607  0.0625  0.0514  0.0667  0.0158  0.0159  0.0168  0.0097 
  Std 0.0048 0.0054 6.13E-04 0.0141 4.33E-04 0.0026 0.0030 3.33E-04 
FPSPPSMOEA
DNSGADNSGA-RM-RMImmune-OSD
functions(τT,nT)Statistic-II-A-II-B-MEDA-MEDASGEAMOEA/DGDE3/SRS
F1 (20,10) Mean 0.0158  0.0124  0.009 5  0.0095  0.0087  0.0101  0.0094  0.0042 
  Std 0.0075 0.0064 0.0025 0.0025 0.0022 0.0040 0.0020 3.49E-05 
 (15,10) Mean 0.0238  0.0194  0.0128  0.0127  0.0112  0.0145  0.0120  0.0047 
  Std 0.0088 0.0078 0.0020 0.0025 0.0028 0.0028 0.0088 5.51E-05 
 (10,10) Mean 0.0360  0.0307  0.0244  0.0253  0.0156  0.0264  0.0220  0.0072 
  Std 0.0125 0.0097 0.0064 0.0125 0.0039 7.78E-04 0.0125 1.30E-04 
F2 (20,10) Mean 0.0113  0.0111  0.0109  0.0093  0.0074  0.0098  0.0089  0.0056 
  Std 5.83E-04 2.76E-04 3.00E-05 6.03E-04 5.57E-04 1.31E-04 6.42E-04 3.27E-05 
 (15,10) Mean 0.0168  0.0169  0.0197  0.0171  0.0096  0.0115  0.0101  0.0067 
  Std 5.69E-04 5.78E-04 9.71E-04 0.0020 8.70E-04 7.43E-04 5.69E-04 5.58E-05 
 (10,10) Mean 0.0368  0.0381  0.0430  0.0973  0.0144  0.0236  0.0153  0.0098 
  Std 0.0024 0.0035 0.0021 0.0444 9.15E-04 0.0074 0.0014 1.35E-04 
F3 (20,10) Mean 0.0099  0.0096  0.0084  0.0119  0.0718  0.0088  0.0085  0.0050 
  Std 7.23E-04 5.75E-05 2.92E-04 9.47E-04 0.0088 1.63E-04 6.16E-04 2.99E-05 
 (15,10) Mean 0.0158  0.0163  0.0116  0.0229  0.0869  0.0121  0.0118  0.0059 
  Std 0.0010 0.0011 4.06E-04 0.0015 0.0103 5.09E-04 0.0020 5.49E-05 
 (10,10) Mean 0.0508  0.0542  0.0210  0.0655  0.1303  0.0256  0.0189  0.0081 
  Std 0.0031 0.0064 0.0010 0.0114 0.0105 0.0049 0.0018 1.71E-04 
F4 (20,10) Mean 0.0099  0.0096  0.0084  0.0119  0.0718  0.0088  0.0085  0.0050 
  Std 3.05E-04 2.54E-05 1.60E-04 4.02E-04 7.63E-04 5.42E-04 1.41E-04 3.98E-05 
 (15,10) Mean 0.0137  0.0141  0.0129  0.0130  0.0091  0.0121  0.0108  0.0062 
  Std 5.41E-04 9.29E-04 4.97E-04 0.0014 0.0012 3.05E-04 5.86E-04 1.44E-04 
 (10,10) Mean 0.0299  0.0297  0.0266  0.0626  0.0135  0.0263  0.0228  0.0086 
  Std 0.0026 0.0019 0.0012 0.0233 0.0012 0.0016 0.0026 2.09E-04 
F5 (20,10) Mean 0.1547  0.1548  0.0071  0.0107  0.0067  0.0087  0.0079  0.0057 
  Std 8.89E-05 2.90E-04 1.54E-04 0.0012 0.0011 8.47E-05 7.75E-04 7.39E-05 
 (15,10) Mean 0.1553  0.1552  0.0079  0.0153  0.0084  0.0094  0.0088  0.0066 
  Std 2.65E-04 1.77E-04 2.20E-04 0.0014 0.0028 1.93E-04 8.95E-04 1.23E-04 
 (10,10) Mean 0.1565  0.1564  0.0111  0.0385  0.0099  0.0138  0.0118  0.0085 
  Std 6.42E-04 7.24E-04 3.88E-04 0.0084 0.0014 0.0021 5.58E-04 1.54E-04 
F6 (20,10) Mean 0.1436  0.1435  0.0110  0.0173  0.0108  0.0153  0.0144  0.0083 
  Std 0.0043 0.0041 5.57E-04 0.0020 0.0042 2.84E-04 0.0010 7.04E-04 
 (15,10) Mean 0.1516  0.1461  0.0114  0.0362  0.0134  0.0176  0.0153  0.0109 
  Std 0.0090 0.0039 4.53E-04 0.0075 0.0033 0.0012 0.0040 0.0011 
 (10,10) Mean 0.1713  0.1872  0.0199  0.1972  0.0175  0.0213  0.0195  0.0160 
  Std 0.0594 0.0707 0.0011 0.0582 0.0051 0.0046 0.0018 0.0010 
F7 (20,10) Mean 0.1372  0.1585  0.0994  0.0988  0.0764  0.0910  0.0795  0.0468 
  Std 0.0122 0.0091 0.0012 0.0016 0.0012 0.0076 0.0012 0.0011 
 (15,10) Mean 0.2255  0.2424  0.1033  0.1076  0.0907  0.1053  0.0948  0.0508 
  Std 0.0227 0.0218 0.0017 0.0020 0.0018 0.0021 0.0020 0.0020 
 (10,10) Mean 0.4007  0.4180  0.1138  0.1303  0.1307  0.1206  0.1181  0.0572 
  Std 0.0348 0.0324 0.0016 0.0067 0.0058 0.0034 0.0040 0.0040 
F8 (20,10) Mean 0.2609  0.2595  0.0998  0.0988  0.0622  0.0713  0.0680  0.0372 
  Std 0.0074 0.0078 0.0043 0.0016 0.0044 0.0018 0.0017 0.0025 
 (15,10) Mean 0.2797  0.2833  0.0948  0.1059  0.0746  0.0833  0.0785  0.0440 
  Std 0.0073 0.0080 0.0017 0.0073 0.0045 0.0042 0.0043 0.0026 
 (10,10) Mean 0.3504  0.3566  0.0840  0.1204  0.0980  0.1072  0.1001  0.0538 
  Std 0.0143 0.0145 0.0016 0.0093 0.0079 0.0044 0.0041 0.0054 
F9 (20,10) Mean 0.0153  0.0156  0.0468  0.0541  0.0077  0.0098  0.0095  0.0061 
  Std 6.25E-04 7.24E-04 1.28E-04 0.0155 1.76E-04 1.77E-04 4.55E-04 7.86E-05 
 (15,10) Mean 0.0257  0.0255  0.0471  0.0477  0.0103  0.0114  0.0110  0.0071 
  Std 0.0012 0.0013 2.01E-04 3.91E-04 3.05E-04 0.0013 0.0010 5.76E-05 
 (10,10) Mean 0.0607  0.0625  0.0514  0.0667  0.0158  0.0159  0.0168  0.0097 
  Std 0.0048 0.0054 6.13E-04 0.0141 4.33E-04 0.0026 0.0030 3.33E-04 
Table 5:

Continued.

FPSPPSMOEA
DNSGADNSGA-RM-RMImmune-OSD
functions(τT,nT)Statistic-II-A-II-B-MEDA-MEDASGEAMOEA/DGDE3/SRS
F10 (20,10) Mean 0.0067  0.0066  0.0058  0.0058  0.0042 § 0.0063  0.0060  0.0060 
  Std 5.62E-04 4.45E-04 3.14E-05 5.51E-05 1.25E-05 9.70E-05 3.85E-04 3.24E-05 
 (15,10) Mean 0.0060  0.0062  0.0060  0.0062  0.0043 § 0.0068  0.0065  0.0062 
  Std 3.17E-04 3.82E-04 4.25E-05 8.53E-05 2.35E-05 2.89E-04 4.28E-04 3.80E-05 
 (10,10) Mean 0.0059 § 0.0060  0.0067  0.0073  0.0044 0.0087  0.0070  0.0067 
  Std 3.60E-04 2.91E-04 1.10E-04 4.03E-04 5.45E-05 6.01E-04 5.55E-04 3.01E-04 
F11 (20,10) Mean 0.4826  0.5418  0.2260  0.2560  0.1241  0.8585  0.3746  0.1156 
  Std 0.0127 0.0242 0.0035 0.0053 0.0019 0.0160 0.0252 0.0033 
 (15,10) Mean 0.5971  0.5576  0.3376  0.3988  0.1889  0.8673  0.2150  0.1632 
  Std 0.0269 0.0331 0.0046 0.0101 0.0154 0.1085 0.0146 0.0038 
 (10,10) Mean 0.9034  0.8868  0.7904  0.8852  0.4915  0.8484  0.5976  0.2785 
  Std 0.1505 0.0053 0.0215 0.0232 0.0718 0.0975 0.0127 0.0116 
FPSPPSMOEA
DNSGADNSGA-RM-RMImmune-OSD
functions(τT,nT)Statistic-II-A-II-B-MEDA-MEDASGEAMOEA/DGDE3/SRS
F10 (20,10) Mean 0.0067  0.0066  0.0058  0.0058  0.0042 § 0.0063  0.0060  0.0060 
  Std 5.62E-04 4.45E-04 3.14E-05 5.51E-05 1.25E-05 9.70E-05 3.85E-04 3.24E-05 
 (15,10) Mean 0.0060  0.0062  0.0060  0.0062  0.0043 § 0.0068  0.0065  0.0062 
  Std 3.17E-04 3.82E-04 4.25E-05 8.53E-05 2.35E-05 2.89E-04 4.28E-04 3.80E-05 
 (10,10) Mean 0.0059 § 0.0060  0.0067  0.0073  0.0044 0.0087  0.0070  0.0067 
  Std 3.60E-04 2.91E-04 1.10E-04 4.03E-04 5.45E-05 6.01E-04 5.55E-04 3.01E-04 
F11 (20,10) Mean 0.4826  0.5418  0.2260  0.2560  0.1241  0.8585  0.3746  0.1156 
  Std 0.0127 0.0242 0.0035 0.0053 0.0019 0.0160 0.0252 0.0033 
 (15,10) Mean 0.5971  0.5576  0.3376  0.3988  0.1889  0.8673  0.2150  0.1632 
  Std 0.0269 0.0331 0.0046 0.0101 0.0154 0.1085 0.0146 0.0038 
 (10,10) Mean 0.9034  0.8868  0.7904  0.8852  0.4915  0.8484  0.5976  0.2785 
  Std 0.1505 0.0053 0.0215 0.0232 0.0718 0.0975 0.0127 0.0116 
Table 6:

The statistical results of S¯ for different algorithms. “”, “§”, and “” denote the performance of MOEA-OSD/SRS is better than, worse than, and comparable with that of the corresponding comparison algorithm.

FPSPPSMOEA
DNSGADNSGA-RM-RMImmune-OSD
functions(τT,nT)Statistic-II-A-II-B-MEDA-MEDASGEAMOEA/DGDE3/SRS
F1 (20,10) Mean 0.0089  0.0089  0.0109  0.0119  0.0059  0.0080  0.0075  0.0058 
  Std 0.0017 0.0017 0.0151 0.0039 1.70E-04 1.59E-04 2.60E-04 9.94E-05 
 (15,10) Mean 0.0145  0.0123  0.0145  0.0196  0.0077  0.0087  0.0082  0.0064 
  Std 0.0045 0.0044 0.0371 0.0103 1.15E-04 8.46E-04 0.0088 1.14E-04 
 (10,10) Mean 0.0210  0.0206  0.0195  0.0171  0.0085  0.0099  0.0095  0.0075 
  Std 0.0053 0.0099 0.0385 0.0144 5.62E-04 1.85E-04 0.0125 1.20E-04 
F2 (20,10) Mean 0.0073  0.0073  0.0222  0.0077  0.0073  0.0085  0.0080  0.0069 
  Std 1.28E-04 1.15E-04 0.0089 1.97E-04 1.79E-04 1.06E-04 5.83E-04 5.88E-05 
 (15,10) Mean 0.0098  0.0098  0.0437  0.0123  0.0086  0.0101  0.0092  0.0076 
  Std 3.21E-04 2.23E-04 0.0133 0.0011 2.49E-04 1.21E-04 5.69E-04 4.92E-05 
 (10,10) Mean 0.0168  0.0166  0.0919  0.0243  0.0093  0.0115  0.0100  0.0090 
  Std 9.60E-04 7.80E-04 0.0161 0.0043 1.91E-04 5.23E-04 4.58E-04 7.43E-05 
F3 (20,10) Mean 0.0068 § 0.0067 § 0.0155  0.0079 § 0.0060 § 0.0115  0.0099 § 0.0108 
  Std 1.66E-04 1.07E-05 0.0016 0.0010 4.30E-04 8.81E-05 7.23E-04 7.99E-05 
 (15,10) Mean 0.008 § 0.0088 § 0.0155  0.0111  0.0062 § 0.0158  0.0088 § 0.0112 
  Std 1.35E-04 1.69E-04 0.0050 0.0022 5.28E-04 1.61E-04 0.0010 5.01E-05 
 (10,10) Mean 0.0164  0.0166  0.0234  0.0153  0.0075 § 0.0145  0.0080 § 0.0116 
  Std 6.98E-04 6.11E-04 0.0051 0.0011 4.79E-04 3.60E-04 0.0031 4.72E-05 
F4 (20,10) Mean 0.0067 § 0.0067 § 0.0118  0.0074 § 0.0050 § 0.0118  0.0065 § 0.0109 
  Std 1.30E-04 1.03E-04 0.0018 0.0012 8.94E-05 8.83E-05 3.05E-04 6.80E-05 
 (15,10) Mean 0.0083 § 0.0083 § 0.0387  0.0092 § 0.0062 § 0.0135  0.0085 § 0.0112 
  Std 2.87E-04 2.19E-04 0.0128 8.80E-04 2.48E-04 4.52E-04 5.41E-04 1.50E-04 
 (10,10) Mean 0.0137  0.0137  0.0650  0.0236  0.0089 § 0.0154  0.0120  0.0117 
  Std 7.39E-04 8.04E-04 0.0211 0.0085 3.86E-04 1.92E-03 0.0026 8.76E-05 
F5 (20,10) Mean 0.0066 § 0.0066 § 0.0086 § 0.0064 § 0.0053 § 0.0123  0.0084 § 0.0113 
  Std 1.17E-04 7.90E-05 0.0017 2.92E-04 2.26E-04 2.04E-04 8.89E-04 7.24E-05 
 (15,10) Mean 0.0066 § 0.0066 § 0.0089 § 0.0068 § 0.0058 § 0.0138  0.0088 § 0.0115 
  Std 1.76E-04 2.02E-04 0.0016 1.89E-04 1.98E-04 2.28E-04 2.65E-04 3.70E-05 
 (10,10) Mean 0.0069 § 0.0068 § 0.0137  0.0100 § 0.0071 § 0.0155  0.0089 § 0.0118 
  Std 3.54E-04 2.81E-04 0.0034 5.88E-04 2.44E-04 1.91E-04 6.42E-04 5.33E-05 
F6 (20,10) Mean 0.0296  0.0305  0.0184  0.0167  0.0456  0.0432  0.0285  0.0128 
  Std 0.0079 0.0081 0.0028 0.0027 0.0011 0.0075 0.0043 2.03E-04 
 (15,10) Mean 0.0229  0.0319  0.0300  0.0288  0.0472  0.0577  0.0299  0.0131 
  Std 0.0133 0.0071 0.0081 0.0087 7.51E-04 0.0019 0.0090 7.09E-05 
 (10,10) Mean 0.0383  0.0350  0.0647  0.0626  0.0542  0.0690  0.0305  0.0142 
  Std 0.0117 0.0136 0.0154 0.0144 0.0013 0.0019 0.0059 3.70E-04 
F7 (20,10) Mean 0.0667  0.0686  0.1118  0.0705  0.0332 § 0.0925  0.0825  0.0553 
  Std 0.0014 0.0018 0.0124 0.0016 6.52E-04 0.0012 0.0012 0.0016 
 (15,10) Mean 0.0801  0.0794  0.1239  0.0837  0.0398 § 0.0927  0.0766  0.0586 
  Std 0.0015 0.0029 0.0095 0.0079 0.0020 1.99E-04 0.0022 0.0020 
 (10,10) Mean 0.0989  0.0982  0.1408  0.0975  0.0529 § 0.0930  0.0959  0.0617 
  Std 0.0040 0.0029 0.0069 0.0075 0.0016 6.19E-04 0.0034 7.90E-04 
F8 (20,10) Mean 0.1008  0.1002  0.1537  0.0804 § 0.0436 § 0.1451  0.0899 § 0.0999 
  Std 0.0013 0.0012 0.0066 0.0044 6.05E-04 0.0012 0.0074 0.0024 
 (15,10) Mean 0.1056  0.1076  0.1239  0.1403  0.0470 § 0.1488  0.0988  0.1035 
  Std 0.0020 0.0014 0.0095 0.0052 6.20E-04 0.0015 0.0073 0.0022 
 (10,10) Mean 0.1188  0.1181  0.1869  0.1539  0.0550 § 0.1551  0.1095  0.1083 
  Std 0.0021 0.0014 0.0071 0.0068 0.0015 0.0016 0.0143 0.0027 
F9 (20,10) Mean 0.0114  0.0116  0.0177  0.0086  0.0064 § 0.0188  0.0099  0.0085 
  Std 6.02E-04 5.46E-04 0.0058 7.97E-04 1.44E-04 1.74E-04 6.25E-04 5.75E-05 
 (15,10) Mean 0.0157  0.0153  0.0315  0.0131  0.0084 § 0.0320  0.0115  0.0091 
  Std 0.0012 7.15E-04 0.0058 0.0012 2.70E-04 2.05E-04 0.0012 4.07E-05 
 (10,10) Mean 0.0271  0.0273  0.0640  0.0268  0.0124  0.0642  0.0138  0.0099 
  Std 0.0014 0.0012 0.0077 0.0056 3.47E-04 2.38E-04 0.0048 4.95E-05 
FPSPPSMOEA
DNSGADNSGA-RM-RMImmune-OSD
functions(τT,nT)Statistic-II-A-II-B-MEDA-MEDASGEAMOEA/DGDE3/SRS
F1 (20,10) Mean 0.0089  0.0089  0.0109  0.0119  0.0059  0.0080  0.0075  0.0058 
  Std 0.0017 0.0017 0.0151 0.0039 1.70E-04 1.59E-04 2.60E-04 9.94E-05 
 (15,10) Mean 0.0145  0.0123  0.0145  0.0196  0.0077  0.0087  0.0082  0.0064 
  Std 0.0045 0.0044 0.0371 0.0103 1.15E-04 8.46E-04 0.0088 1.14E-04 
 (10,10) Mean 0.0210  0.0206  0.0195  0.0171  0.0085  0.0099  0.0095  0.0075 
  Std 0.0053 0.0099 0.0385 0.0144 5.62E-04 1.85E-04 0.0125 1.20E-04 
F2 (20,10) Mean 0.0073  0.0073  0.0222  0.0077  0.0073  0.0085  0.0080  0.0069 
  Std 1.28E-04 1.15E-04 0.0089 1.97E-04 1.79E-04 1.06E-04 5.83E-04 5.88E-05 
 (15,10) Mean 0.0098  0.0098  0.0437  0.0123  0.0086  0.0101  0.0092  0.0076 
  Std 3.21E-04 2.23E-04 0.0133 0.0011 2.49E-04 1.21E-04 5.69E-04 4.92E-05 
 (10,10) Mean 0.0168  0.0166  0.0919  0.0243  0.0093  0.0115  0.0100  0.0090 
  Std 9.60E-04 7.80E-04 0.0161 0.0043 1.91E-04 5.23E-04 4.58E-04 7.43E-05 
F3 (20,10) Mean 0.0068 § 0.0067 § 0.0155  0.0079 § 0.0060 § 0.0115  0.0099 § 0.0108 
  Std 1.66E-04 1.07E-05 0.0016 0.0010 4.30E-04 8.81E-05 7.23E-04 7.99E-05 
 (15,10) Mean 0.008 § 0.0088 § 0.0155  0.0111  0.0062 § 0.0158  0.0088 § 0.0112 
  Std 1.35E-04 1.69E-04 0.0050 0.0022 5.28E-04 1.61E-04 0.0010 5.01E-05 
 (10,10) Mean 0.0164  0.0166  0.0234  0.0153  0.0075 § 0.0145  0.0080 § 0.0116 
  Std 6.98E-04 6.11E-04 0.0051 0.0011 4.79E-04 3.60E-04 0.0031 4.72E-05 
F4 (20,10) Mean 0.0067 § 0.0067 § 0.0118  0.0074 § 0.0050 § 0.0118  0.0065 § 0.0109 
  Std 1.30E-04 1.03E-04 0.0018 0.0012 8.94E-05 8.83E-05 3.05E-04 6.80E-05 
 (15,10) Mean 0.0083 § 0.0083 § 0.0387  0.0092 § 0.0062 § 0.0135  0.0085 § 0.0112 
  Std 2.87E-04 2.19E-04 0.0128 8.80E-04 2.48E-04 4.52E-04 5.41E-04 1.50E-04 
 (10,10) Mean 0.0137  0.0137  0.0650  0.0236  0.0089 § 0.0154  0.0120  0.0117 
  Std 7.39E-04 8.04E-04 0.0211 0.0085 3.86E-04 1.92E-03 0.0026 8.76E-05 
F5 (20,10) Mean 0.0066 § 0.0066 § 0.0086 § 0.0064 § 0.0053 § 0.0123  0.0084 § 0.0113 
  Std 1.17E-04 7.90E-05 0.0017 2.92E-04 2.26E-04 2.04E-04 8.89E-04 7.24E-05 
 (15,10) Mean 0.0066 § 0.0066 § 0.0089 § 0.0068 § 0.0058 § 0.0138  0.0088 § 0.0115 
  Std 1.76E-04 2.02E-04 0.0016 1.89E-04 1.98E-04 2.28E-04 2.65E-04 3.70E-05 
 (10,10) Mean 0.0069 § 0.0068 § 0.0137  0.0100 § 0.0071 § 0.0155  0.0089 § 0.0118 
  Std 3.54E-04 2.81E-04 0.0034 5.88E-04 2.44E-04 1.91E-04 6.42E-04 5.33E-05 
F6 (20,10) Mean 0.0296  0.0305  0.0184  0.0167  0.0456  0.0432  0.0285  0.0128 
  Std 0.0079 0.0081 0.0028 0.0027 0.0011 0.0075 0.0043 2.03E-04 
 (15,10) Mean 0.0229  0.0319  0.0300  0.0288  0.0472  0.0577  0.0299  0.0131 
  Std 0.0133 0.0071 0.0081 0.0087 7.51E-04 0.0019 0.0090 7.09E-05 
 (10,10) Mean 0.0383  0.0350  0.0647  0.0626  0.0542  0.0690  0.0305  0.0142 
  Std 0.0117 0.0136 0.0154 0.0144 0.0013 0.0019 0.0059 3.70E-04 
F7 (20,10) Mean 0.0667  0.0686  0.1118  0.0705  0.0332 § 0.0925  0.0825  0.0553 
  Std 0.0014 0.0018 0.0124 0.0016 6.52E-04 0.0012 0.0012 0.0016 
 (15,10) Mean 0.0801  0.0794  0.1239  0.0837  0.0398 § 0.0927  0.0766  0.0586 
  Std 0.0015 0.0029 0.0095 0.0079 0.0020 1.99E-04 0.0022 0.0020 
 (10,10) Mean 0.0989  0.0982  0.1408  0.0975  0.0529 § 0.0930  0.0959  0.0617 
  Std 0.0040 0.0029 0.0069 0.0075 0.0016 6.19E-04 0.0034 7.90E-04 
F8 (20,10) Mean 0.1008  0.1002  0.1537  0.0804 § 0.0436 § 0.1451  0.0899 § 0.0999 
  Std 0.0013 0.0012 0.0066 0.0044 6.05E-04 0.0012 0.0074 0.0024 
 (15,10) Mean 0.1056  0.1076  0.1239  0.1403  0.0470 § 0.1488  0.0988  0.1035 
  Std 0.0020 0.0014 0.0095 0.0052 6.20E-04 0.0015 0.0073 0.0022 
 (10,10) Mean 0.1188  0.1181  0.1869  0.1539  0.0550 § 0.1551  0.1095  0.1083 
  Std 0.0021 0.0014 0.0071 0.0068 0.0015 0.0016 0.0143 0.0027 
F9 (20,10) Mean 0.0114  0.0116  0.0177  0.0086  0.0064 § 0.0188  0.0099  0.0085 
  Std 6.02E-04 5.46E-04 0.0058 7.97E-04 1.44E-04 1.74E-04 6.25E-04 5.75E-05 
 (15,10) Mean 0.0157  0.0153  0.0315  0.0131  0.0084 § 0.0320  0.0115  0.0091 
  Std 0.0012 7.15E-04 0.0058 0.0012 2.70E-04 2.05E-04 0.0012 4.07E-05 
 (10,10) Mean 0.0271  0.0273  0.0640  0.0268  0.0124  0.0642  0.0138  0.0099 
  Std 0.0014 0.0012 0.0077 0.0056 3.47E-04 2.38E-04 0.0048 4.95E-05 
Table 6:

Continued.

FPSPPSMOEA
DNSGADNSGA-RM-RMImmune-OSD
functions(τT,nT)Statistic-II-A-II-B-MEDA-MEDASGEAMOEA/DGDE3/SRS
F10 (20,10) Mean 0.0113  0.0117  0.0090 § 0.0065 § 0.0034 § 0.0128  0.0098 § 0.0108 
  Std 0.0026 0.0040 0.0015 1.48E-04 6.68E-05 1.27E-04 5.62E-04 6.55E-05 
 (15,10) Mean 0.0142  0.0157  0.0130  0.0069 § 0.0037 § 0.0158  0.0106 § 0.0111 
  Std 0.0025 0.0031 0.0034 4.19E-04 5.36E-04 3.01E-05 3.17E-04 9.43E-05 
 (10,10) Mean 0.0213  0.0207  0.0221  0.0082 § 0.0039 § 0.0209  0.0125  0.0118 
  Std 0.0049 0.0042 0.0052 8.03E-04 5.53E-4 2.23E-04 3.60E-04 1.03E-04 
F11 (20,10) Mean 0.0828  0.0801  0.6646  0.4047  0.0649  0.0885  0.0778  0.0633 
  Std 0.0088 0.0092 0.0572 0.0326 0.0207 0.0060 0.0019 0.0032 
 (15,10) Mean 0.1054  0.1566  0.7423  0.5610  0.0907  0.1083  0.1022  0.0807 
  Std 0.0132 0.0225 0.0656 0.0329 0.0134 0.0043 0.0102 0.0113 
 (10,10) Mean 0.2448  0.2996  0.7673  0.5560  0.1623  0.2480  0.2470  0.1323 
  Std 0.0168 0.0261 0.0427 0.0440 0.0238 0.0279 0.0062 0.0155 
FPSPPSMOEA
DNSGADNSGA-RM-RMImmune-OSD
functions(τT,nT)Statistic-II-A-II-B-MEDA-MEDASGEAMOEA/DGDE3/SRS
F10 (20,10) Mean 0.0113  0.0117  0.0090 § 0.0065 § 0.0034 § 0.0128  0.0098 § 0.0108 
  Std 0.0026 0.0040 0.0015 1.48E-04 6.68E-05 1.27E-04 5.62E-04 6.55E-05 
 (15,10) Mean 0.0142  0.0157  0.0130  0.0069 § 0.0037 § 0.0158  0.0106 § 0.0111 
  Std 0.0025 0.0031 0.0034 4.19E-04 5.36E-04 3.01E-05 3.17E-04 9.43E-05 
 (10,10) Mean 0.0213  0.0207  0.0221  0.0082 § 0.0039 § 0.0209  0.0125  0.0118 
  Std 0.0049 0.0042 0.0052 8.03E-04 5.53E-4 2.23E-04 3.60E-04 1.03E-04 
F11 (20,10) Mean 0.0828  0.0801  0.6646  0.4047  0.0649  0.0885  0.0778  0.0633 
  Std 0.0088 0.0092 0.0572 0.0326 0.0207 0.0060 0.0019 0.0032 
 (15,10) Mean 0.1054  0.1566  0.7423  0.5610  0.0907  0.1083  0.1022  0.0807 
  Std 0.0132 0.0225 0.0656 0.0329 0.0134 0.0043 0.0102 0.0113 
 (10,10) Mean 0.2448  0.2996  0.7673  0.5560  0.1623  0.2480  0.2470  0.1323 
  Std 0.0168 0.0261 0.0427 0.0440 0.0238 0.0279 0.0062 0.0155 
Table 7:

The statistical results of HV¯ for different algorithms. “”, “§”, and “” denote the performance of MOEA-OSD/SRS is better than, worse than, and comparable with that of the corresponding comparison algorithm.

FPSPPSMOEA
DNSGADNSGA-RM-RMImmune-OSD
functions(τT,nT)Statistic-II-A-II-B-MEDA-MEDASGEAMOEA/DGDE3/SRS
F1 (20,10) Mean 0.6436  0.6405  0.6456  0.6448  0.6488  0.6434  0.6425  0.6550 
  Std 0.0047 0.0017 8.76E-04 0.0015 2.35E-04 5.69E-04 6.75E-04 6.69E-05 
 (15,10) Mean 0.6411  0.6403  0.6429  0.6439  0.6446  0.6391  0.6399  0.6538 
  Std 0.0023 0.0029 6.85E-04 1.59E-04 6.11E-04 0.0030 0.0040 1.59E-04 
 (10,10) Mean 0.6368  0.6330  0.6356  0.6321  0.6435  0.6356  0.6365  0.6500 
  Std 0.0039 0.0024 0.0015 0.0018 0.0029 1.04E-04 0.0054 3.63E-04 
F2 (20,10) Mean 0.6404  0.6403  0.6398  0.6424  0.6468  0.6417  0.6406  0.6511 
  Std 3.19E-04 7.82E-04 0.0010 2.97E-04 0.0010 1.62E-04 5.83E-04 6.37E-05 
 (15,10) Mean 0.6303  0.6299  0.6231  0.6254  0.6426  0.6248  0.6250  0.6488 
  Std 7.78E-04 6.27E-04 0.0013 0.0032 0.0016 0.0011 5.69E-04 1.43E-04 
 (10,10) Mean 0.5962  0.5888  0.5800  0.5894  0.6340  0.5846  0.5885  0.6429 
  Std 0.0041 0.0121 0.0011 0.0270 8.67E-04 0.0079 0.0024 2.93E-04 
F3 (20,10) Mean 0.8597  0.8586  0.8611  0.8542  0.7645  0.7694  0.8588  0.8682 
  Std 9.54E-04 4.75E-05 3.82E-04 0.0012 0.0106 1.02E-04 7.23E-04 7.26E-05 
 (15,10) Mean 0.8491  0.8491  0.8557  0.8383  0.7312  0.7606  0.8221  0.8665 
  Std 9.74E-04 0.0025 1.61E-04 0.0031 0.0045 8.70E-04 0.0010 1.12E-04 
 (10,10) Mean 0.7949  0.7904  0.8392  0.7627  0.6759  0.7502  0.7895  0.8619 
  Std 0.0042 0.0045 0.0012 0.0020 0.0034 1.56E-04 0.0031 1.89E-04 
F4 (20,10) Mean 0.8607  0.8605  0.8617  0.8632  0.8646  0.8602  0.8622  0.8674 
  Std 2.11E-04 5.38E-05 1.94E-04 1.64E-04 1.23E-04 2.04E-04 3.05E-04 3.86E-05 
 (15,10) Mean 0.8516  0.8526  0.8531  0.8492  0.8611  0.8529  0.8541  0.8658 
  Std 0.0011 2.45E-04 9.69E-04 0.0020 1.63E-04 1.41E-04 5.41E-04 3.37E-04 
 (10,10) Mean 0.8216  0.8250  0.8313  0.8295  0.8539  0.8301  0.8342  0.8612 
  Std 0.0054 0.0053 0.0021 0.0011 8.65E-04 0.0016 0.0026 1.73E-04 
F5 (20,10) Mean 0.7030  0.7029  0.6598  0.6516  0.7034  0.6256  0.6556  0.7043 
  Std 1.32E-04 1.39E-05 2.55E-04 0.0011 8.67E-04 1.76E-05 8.89E-04 1.00E-04 
 (15,10) Mean 0.7005  0.7011  0.6579  0.6459  0.7006  0.6239  0.6531  0.7029 
  Std 2.63E-04 1.02E-04 6.92E-04 7.59E-04 0.0028 6.34E-04 2.65E-04 1.22E-04 
 (10,10) Mean 0.6966  0.6964  0.6529  0.6037  0.6986  0.6175  0.6428  0.6997 
  Std 1.08E-04 1.77E-04 2.91E-04 0.0020 9.37E-04 0.0024 6.42E-04 1.28E-04 
F6 (20,10) Mean 1.0147  1.0154  1.0170  0.9985  1.0169  0.9788  0.9988  1.0214 
  Std 0.0038 0.0018 0.0017 0.0055 0.0079 9.14E-04 0.0043 0.0056 
 (15,10) Mean 1.0010  1.0060  1.0040  0.9923  1.0105  0.9773  0.9956  1.0115 
  Std 0.0126 0.0116 0.0020 0.0107 0.0034 0.0049 0.0090 0.0026 
 (10,10) Mean 0.9988  0.9985  0.9934  0.9857  1.0015  0.9758  0.9915  1.0056 
  Std 0.0083 0.0038 0.0117 0.0518 0.0079 0.0048 0.0059 0.0010 
F7 (20,10) Mean 0.5294  0.5201  0.5886  0.5821  0.6724  0.5977  0.6022  0.7351 
  Std 0.0214 0.0102 0.0021 0.0026 9.74E-04 3.31E-04 0.0021 1.50E-04 
 (15,10) Mean 0.4084  0.4119  0.5776  0.5642  0.6524  0.5887  0.5999  0.7220 
  Std 0.0026 0.0228 3.53E-04 0.0018 0.0027 2.22E-04 0.0022 0.0076 
 (10,10) Mean 0.2902  0.3036  0.5571  0.5007  0.6416  0.5690  0.5901  0.7166 
  Std 0.0057 0.0033 0.0065 0.0070 0.0010 5.84E-04 0.0034 2.40E-04 
F8 (20,10) Mean 3.0936  3.0475  2.8990  2.7988  3.4270  3.2993  3.3345  3.5342 
  Std 0.0642 0.0467 0.0174 0.0165 0.0044 0.0013 0.0074 0.0019 
 (15,10) Mean 2.8396  2.8047  2.7445  2.4886  3.3664  3.2760  3.2985  3.4784 
  Std 0.0019 0.0532 0.0517 0.1279 0.0023 0.0011 0.0073 0.0023 
 (10,10) Mean 2.4662  2.4445  2.3414  2.0190  3.2432  3.2101  3.2564  3.4415 
  Std 0.0089 0.0874 0.0213 0.0126 0.0084 0.0053 0.0143 0.0475 
F9 (20,10) Mean 0.6891  0.6878  0.6937  0.6979  0.6999  0.6874  0.6957  0.7022 
  Std 9.54E-04 1.36E-04 2.02E-04 2.72E-04 1.09E-04 8.49E-04 6.25E-04 2.17E-05 
 (15,10) Mean 0.6730  0.6689  0.6819  0.6904  0.6964  0.6246  0.6942  0.7011 
  Std 0.0014 0.0054 7.05E-04 3.47E-04 1.75E-04 0.0013 0.0012 2.72E-04 
 (10,10) Mean 0.6117  0.6055  0.6508  0.6307  0.6893  0.6173  0.6921  0.7001 
  Std 0.0022 0.0081 0.0035 0.0082 2.69E-04 0.0041 0.0048 2.17E-04 
FPSPPSMOEA
DNSGADNSGA-RM-RMImmune-OSD
functions(τT,nT)Statistic-II-A-II-B-MEDA-MEDASGEAMOEA/DGDE3/SRS
F1 (20,10) Mean 0.6436  0.6405  0.6456  0.6448  0.6488  0.6434  0.6425  0.6550 
  Std 0.0047 0.0017 8.76E-04 0.0015 2.35E-04 5.69E-04 6.75E-04 6.69E-05 
 (15,10) Mean 0.6411  0.6403  0.6429  0.6439  0.6446  0.6391  0.6399  0.6538 
  Std 0.0023 0.0029 6.85E-04 1.59E-04 6.11E-04 0.0030 0.0040 1.59E-04 
 (10,10) Mean 0.6368  0.6330  0.6356  0.6321  0.6435  0.6356  0.6365  0.6500 
  Std 0.0039 0.0024 0.0015 0.0018 0.0029 1.04E-04 0.0054 3.63E-04 
F2 (20,10) Mean 0.6404  0.6403  0.6398  0.6424  0.6468  0.6417  0.6406  0.6511 
  Std 3.19E-04 7.82E-04 0.0010 2.97E-04 0.0010 1.62E-04 5.83E-04 6.37E-05 
 (15,10) Mean 0.6303  0.6299  0.6231  0.6254  0.6426  0.6248  0.6250  0.6488 
  Std 7.78E-04 6.27E-04 0.0013 0.0032 0.0016 0.0011 5.69E-04 1.43E-04 
 (10,10) Mean 0.5962  0.5888  0.5800  0.5894  0.6340  0.5846  0.5885  0.6429 
  Std 0.0041 0.0121 0.0011 0.0270 8.67E-04 0.0079 0.0024 2.93E-04 
F3 (20,10) Mean 0.8597  0.8586  0.8611  0.8542  0.7645  0.7694  0.8588  0.8682 
  Std 9.54E-04 4.75E-05 3.82E-04 0.0012 0.0106 1.02E-04 7.23E-04 7.26E-05 
 (15,10) Mean 0.8491  0.8491  0.8557  0.8383  0.7312  0.7606  0.8221  0.8665 
  Std 9.74E-04 0.0025 1.61E-04 0.0031 0.0045 8.70E-04 0.0010 1.12E-04 
 (10,10) Mean 0.7949  0.7904  0.8392  0.7627  0.6759  0.7502  0.7895  0.8619 
  Std 0.0042 0.0045 0.0012 0.0020 0.0034 1.56E-04 0.0031 1.89E-04 
F4 (20,10) Mean 0.8607  0.8605  0.8617  0.8632  0.8646  0.8602  0.8622  0.8674 
  Std 2.11E-04 5.38E-05 1.94E-04 1.64E-04 1.23E-04 2.04E-04 3.05E-04 3.86E-05 
 (15,10) Mean 0.8516  0.8526  0.8531  0.8492  0.8611  0.8529  0.8541  0.8658 
  Std 0.0011 2.45E-04 9.69E-04 0.0020 1.63E-04 1.41E-04 5.41E-04 3.37E-04 
 (10,10) Mean 0.8216  0.8250  0.8313  0.8295  0.8539  0.8301  0.8342  0.8612 
  Std 0.0054 0.0053 0.0021 0.0011 8.65E-04 0.0016 0.0026 1.73E-04 
F5 (20,10) Mean 0.7030  0.7029  0.6598  0.6516  0.7034  0.6256  0.6556  0.7043 
  Std 1.32E-04 1.39E-05 2.55E-04 0.0011 8.67E-04 1.76E-05 8.89E-04 1.00E-04 
 (15,10) Mean 0.7005  0.7011  0.6579  0.6459  0.7006  0.6239  0.6531  0.7029 
  Std 2.63E-04 1.02E-04 6.92E-04 7.59E-04 0.0028 6.34E-04 2.65E-04 1.22E-04 
 (10,10) Mean 0.6966  0.6964  0.6529  0.6037  0.6986  0.6175  0.6428  0.6997 
  Std 1.08E-04 1.77E-04 2.91E-04 0.0020 9.37E-04 0.0024 6.42E-04 1.28E-04 
F6 (20,10) Mean 1.0147  1.0154  1.0170  0.9985  1.0169  0.9788  0.9988  1.0214 
  Std 0.0038 0.0018 0.0017 0.0055 0.0079 9.14E-04 0.0043 0.0056 
 (15,10) Mean 1.0010  1.0060  1.0040  0.9923  1.0105  0.9773  0.9956  1.0115 
  Std 0.0126 0.0116 0.0020 0.0107 0.0034 0.0049 0.0090 0.0026 
 (10,10) Mean 0.9988  0.9985  0.9934  0.9857  1.0015  0.9758  0.9915  1.0056 
  Std 0.0083 0.0038 0.0117 0.0518 0.0079 0.0048 0.0059 0.0010 
F7 (20,10) Mean 0.5294  0.5201  0.5886  0.5821  0.6724  0.5977  0.6022  0.7351 
  Std 0.0214 0.0102 0.0021 0.0026 9.74E-04 3.31E-04 0.0021 1.50E-04 
 (15,10) Mean 0.4084  0.4119  0.5776  0.5642  0.6524  0.5887  0.5999  0.7220 
  Std 0.0026 0.0228 3.53E-04 0.0018 0.0027 2.22E-04 0.0022 0.0076 
 (10,10) Mean 0.2902  0.3036  0.5571  0.5007  0.6416  0.5690  0.5901  0.7166 
  Std 0.0057 0.0033 0.0065 0.0070 0.0010 5.84E-04 0.0034 2.40E-04 
F8 (20,10) Mean 3.0936  3.0475  2.8990  2.7988  3.4270  3.2993  3.3345  3.5342 
  Std 0.0642 0.0467 0.0174 0.0165 0.0044 0.0013 0.0074 0.0019 
 (15,10) Mean 2.8396  2.8047  2.7445  2.4886  3.3664  3.2760  3.2985  3.4784 
  Std 0.0019 0.0532 0.0517 0.1279 0.0023 0.0011 0.0073 0.0023 
 (10,10) Mean 2.4662  2.4445  2.3414  2.0190  3.2432  3.2101  3.2564  3.4415 
  Std 0.0089 0.0874 0.0213 0.0126 0.0084 0.0053 0.0143 0.0475 
F9 (20,10) Mean 0.6891  0.6878  0.6937  0.6979  0.6999  0.6874  0.6957  0.7022 
  Std 9.54E-04 1.36E-04 2.02E-04 2.72E-04 1.09E-04 8.49E-04 6.25E-04 2.17E-05 
 (15,10) Mean 0.6730  0.6689  0.6819  0.6904  0.6964  0.6246  0.6942  0.7011 
  Std 0.0014 0.0054 7.05E-04 3.47E-04 1.75E-04 0.0013 0.0012 2.72E-04 
 (10,10) Mean 0.6117  0.6055  0.6508  0.6307  0.6893  0.6173  0.6921  0.7001 
  Std 0.0022 0.0081 0.0035 0.0082 2.69E-04 0.0041 0.0048 2.17E-04 
Table 7:

Continued.

FPSPPSMOEA
DNSGADNSGA-RM-RMImmune-OSD
functions(τT,nT)Statistic-II-A-II-B-MEDA-MEDASGEAMOEA/DGDE3/SRS
F10 (20,10) Mean 0.7061  0.7066  0.7057  0.7054  0.7090 0.7064  0.7068  0.7086 
  Std 5.67E-04 3.21E-04 1.18E-05 8.30E-05 3.96E-05 1.42E-04 5.62E-04 2.17E-05 
 (15,10) Mean 0.7043  0.7041  0.7053  0.7046  0.7089 0.7048  0.7049  0.7082 
  Std 1.38E-04 3.77E-04 8.95E-05 5.22E-04 2.08E-05 4.39E-04 3.17E-04 1.64E-04 
 (10,10) Mean 0.7021  0.7027  0.7034  0.7017  0.7084 § 0.7032  0.7038  0.7064 
  Std 2.31E-04 3.05E-04 4.33E-04 4.06E-04 9.22E-05 3.29E-04 3.60E-04 0.0013 
F11 (20,10) Mean 0.0734  0.1444  0.4341  0.2560  0.5887  0.3369  0.4823  0.6009 
  Std 0.0033 0.0229 0.0017 0.0053 0.0023 0.0116 0.0127 9.01E-04 
 (15,10) Mean 0.0639  0.0943  0.3046  0.1155  0.5166  0.3217  0.4092  0.5463 
  Std 0.0132 0.0531 0.0130 0.0319 0.0122 0.0243 0.0099 0.0054 
 (10,10) Mean 0.0900  0.0413  0.0896  0.0445  0.2651  0.2673  0.1993  0.4142 
  Std 9.56E-04 0.0076 0.0136 0.0266 0.0365 0.0133 0.0085 4.68E-04 
FPSPPSMOEA
DNSGADNSGA-RM-RMImmune-OSD
functions(τT,nT)Statistic-II-A-II-B-MEDA-MEDASGEAMOEA/DGDE3/SRS
F10 (20,10) Mean 0.7061  0.7066  0.7057  0.7054  0.7090 0.7064  0.7068  0.7086 
  Std 5.67E-04 3.21E-04 1.18E-05 8.30E-05 3.96E-05 1.42E-04 5.62E-04 2.17E-05 
 (15,10) Mean 0.7043  0.7041  0.7053  0.7046  0.7089 0.7048  0.7049  0.7082 
  Std 1.38E-04 3.77E-04 8.95E-05 5.22E-04 2.08E-05 4.39E-04 3.17E-04 1.64E-04 
 (10,10) Mean 0.7021  0.7027  0.7034  0.7017  0.7084 § 0.7032  0.7038  0.7064 
  Std 2.31E-04 3.05E-04 4.33E-04 4.06E-04 9.22E-05 3.29E-04 3.60E-04 0.0013 
F11 (20,10) Mean 0.0734  0.1444  0.4341  0.2560  0.5887  0.3369  0.4823  0.6009 
  Std 0.0033 0.0229 0.0017 0.0053 0.0023 0.0116 0.0127 9.01E-04 
 (15,10) Mean 0.0639  0.0943  0.3046  0.1155  0.5166  0.3217  0.4092  0.5463 
  Std 0.0132 0.0531 0.0130 0.0319 0.0122 0.0243 0.0099 0.0054 
 (10,10) Mean 0.0900  0.0413  0.0896  0.0445  0.2651  0.2673  0.1993  0.4142 
  Std 9.56E-04 0.0076 0.0136 0.0266 0.0365 0.0133 0.0085 4.68E-04 

Close Modal

or Create an Account

Close Modal
Close Modal