Skip to Main Content
Table 7:
Average game score of best agent under test conditions for TPG along with comparator algorithms in which screen capture represents state information. Numbers in bold represent best score on each game title. Source information for comparitor algorithms is as follows: DQN (Mnih et al., 2015), Gorila (Nair et al., 2015), Double DQN (van Hasselt et al., 2016), and Hyper-NEAT (Hausknecht and Stone, 2015).
Game TPG DQN Gorila Double DQN Hyper-NEAT 
Alien 3,382.7 3,069.3 2,621.53 2,907.3 1,586 
Amidar 398.4 739.5 1,189.7 702.1 184.4 
Assault 2,422 3,359.6 1,450.4 5,022.9 912.6 
Asterix 2,400 6,011.7 6,433.3 15,150 2,340 
Asteroids 3,050.7 1,629.3 1,047.7 930.3 1,694 
Atlantis 89,653 85,950 100,069 64,758 61,260 
Bank Heist 1,051 429.7 609 728.3 214 
Battle Zone 47,233.4 26,300 25,266.7 25,730 36,200 
Beam Rider 1,320.8 6,845.9 3,302.9 7,654 1,412.8 
Bowling 223.7 42.4 54 70.5 135.8 
Boxing 76.5 71.8 94.9 81.7 16.4 
Breakout 12.8 401.2 402.2 375 2.8 
Centipede 34,731.7 8,309.4 8,432.3 4,139.4 25,275.2 
C. Command 7,070 6,686.7 4,167.5 4,653 3,960 
Crazy Climber 8,367 114,103.3 85,919.1 101,874 
Demon Attack 2,920.4 9,711.2 13,693.1 9,711.9 3,590 
Double Dunk 2 -18.1 -10.6 -6.3 2 
Enduro 125.9 301.8 114.9 319.5 93.6 
Fishing Derby 49 -0.8 20.2 20.3 -49.8 
Freeway 28.9 30.3 11.7 31.8 29 
Frostbite 8,144.4 328.3 605.2 241.5 2,260 
Gopher 581.4 8,520 5,279 8,215.4 364 
Gravitar 786.7 306.7 1,054.6 170.5 370 
H.E.R.O. 16,545.4 19,950.3 14,913.9 20,357 5,090 
Ice Hockey 10 -1.6 -0.6 -2.4 10.6 
James Bond 3,120 576.7 605 438 5,660 
Kangaroo 14,780 6,740 2,547.2 13,651 800 
Krull 12,850.4 3,804.7 7,882 4,396.7 12,601.4 
Kung-Fu Master 43,353.4 23,270 27,543.3 29,486 7,720 
M's Revenge 4.3 
Ms. Pac-Man 5,156 2,311 3,233.5 3,210 3,408 
Name This Game 3,712 7,256.7 6,182.2 6,997.1 6,742 
Pong 18.9 18.3 21 -17.4 
Private Eye 15,028.3 1,787.6 748.6 670.1 10,747.4 
Q*Bert 2,245 10,595.8 10,815.6 14,875 695 
River Raid 3,884.7 8,315.7 8,344.8 12,015 2,616 
Road Runner 27,410 18,256.7 51,008 48,377 3,220 
Robotank 22.9 51.6 36.4 46.7 43.8 
Seaquest 1,368 5,286 13,169.1 7,995 716 
Space Invader 1,597.2 1,975.5 1,883.4 3,154 1,251 
Star Gunner 1,406.7 57,996.7 19,145 65,188 2,720 
Tennis -1.6 10.9 1.7 
Time Pilot 13,540 5,946.7 10,659.3 7,964 7,340 
Tutankham 128 186.7 245 190.6 23.6 
Up 'N Down 34,416 8,456.3 12,561.6 16,769.9 43,734 
Venture 576.7 380 1,245 1,188 
Video Pinball 37,954.4 42,684.1 157,550.2 70,009 
Wizard of Wor 5,196.7 3,393.3 13,731.3 5,204 3,360 
Zaxxon 6,233.4 4,976.7 7,129.3 10,182 3,000 
Avg. Rank (Ri2.74 3.11 2.63 2.64 3.87 
Game TPG DQN Gorila Double DQN Hyper-NEAT 
Alien 3,382.7 3,069.3 2,621.53 2,907.3 1,586 
Amidar 398.4 739.5 1,189.7 702.1 184.4 
Assault 2,422 3,359.6 1,450.4 5,022.9 912.6 
Asterix 2,400 6,011.7 6,433.3 15,150 2,340 
Asteroids 3,050.7 1,629.3 1,047.7 930.3 1,694 
Atlantis 89,653 85,950 100,069 64,758 61,260 
Bank Heist 1,051 429.7 609 728.3 214 
Battle Zone 47,233.4 26,300 25,266.7 25,730 36,200 
Beam Rider 1,320.8 6,845.9 3,302.9 7,654 1,412.8 
Bowling 223.7 42.4 54 70.5 135.8 
Boxing 76.5 71.8 94.9 81.7 16.4 
Breakout 12.8 401.2 402.2 375 2.8 
Centipede 34,731.7 8,309.4 8,432.3 4,139.4 25,275.2 
C. Command 7,070 6,686.7 4,167.5 4,653 3,960 
Crazy Climber 8,367 114,103.3 85,919.1 101,874 
Demon Attack 2,920.4 9,711.2 13,693.1 9,711.9 3,590 
Double Dunk 2 -18.1 -10.6 -6.3 2 
Enduro 125.9 301.8 114.9 319.5 93.6 
Fishing Derby 49 -0.8 20.2 20.3 -49.8 
Freeway 28.9 30.3 11.7 31.8 29 
Frostbite 8,144.4 328.3 605.2 241.5 2,260 
Gopher 581.4 8,520 5,279 8,215.4 364 
Gravitar 786.7 306.7 1,054.6 170.5 370 
H.E.R.O. 16,545.4 19,950.3 14,913.9 20,357 5,090 
Ice Hockey 10 -1.6 -0.6 -2.4 10.6 
James Bond 3,120 576.7 605 438 5,660 
Kangaroo 14,780 6,740 2,547.2 13,651 800 
Krull 12,850.4 3,804.7 7,882 4,396.7 12,601.4 
Kung-Fu Master 43,353.4 23,270 27,543.3 29,486 7,720 
M's Revenge 4.3 
Ms. Pac-Man 5,156 2,311 3,233.5 3,210 3,408 
Name This Game 3,712 7,256.7 6,182.2 6,997.1 6,742 
Pong 18.9 18.3 21 -17.4 
Private Eye 15,028.3 1,787.6 748.6 670.1 10,747.4 
Q*Bert 2,245 10,595.8 10,815.6 14,875 695 
River Raid 3,884.7 8,315.7 8,344.8 12,015 2,616 
Road Runner 27,410 18,256.7 51,008 48,377 3,220 
Robotank 22.9 51.6 36.4 46.7 43.8 
Seaquest 1,368 5,286 13,169.1 7,995 716 
Space Invader 1,597.2 1,975.5 1,883.4 3,154 1,251 
Star Gunner 1,406.7 57,996.7 19,145 65,188 2,720 
Tennis -1.6 10.9 1.7 
Time Pilot 13,540 5,946.7 10,659.3 7,964 7,340 
Tutankham 128 186.7 245 190.6 23.6 
Up 'N Down 34,416 8,456.3 12,561.6 16,769.9 43,734 
Venture 576.7 380 1,245 1,188 
Video Pinball 37,954.4 42,684.1 157,550.2 70,009 
Wizard of Wor 5,196.7 3,393.3 13,731.3 5,204 3,360 
Zaxxon 6,233.4 4,976.7 7,129.3 10,182 3,000 
Avg. Rank (Ri2.74 3.11 2.63 2.64 3.87 
Close Modal

or Create an Account

Close Modal
Close Modal