Skip to Main Content
Table 3:
Test Error Rates (%) on the 20 bAbI QA Tasks for Models Using 10,000 Training Examples.
TasksJoint NTMSingle D-NTM (ff)Single D-NTM (GRU)Joint DNC1Joint DNC2Joint MemN2NSingle MemN2NSingle DMNSingle DMN+
1: One supporting fact 31.50 0.00 0.00 0.00 0.00 0.00 0.00 0.00 
2: Two supporting facts 54.50 27.50 53.13 1.30 0.40 1.00 0.30 1.80 0.3 
3: Three supporting facts 43.90 63.54 41.45 2.40 1.80 6.80 2.10 4.80 1.1 
4: Two argument relations 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 
5: Three argument relations 0.80 0.62 1.04 0.50 0.80 6.10 0.80 0.70 0.5 
6: Yes/no questions 17.10 1.46 11.04 0.00 0.00 0.10 0.10 0.00 
7: Counting 17.80 6.04 2.70 0.20 0.60 6.60 2.00 3.10 2.4 
8: Lists/sets 13.80 0.00 0.74 0.10 0.30 2.70 0.90 3.50 
9: Simple negation 16.40 0.00 27.63 0.00 0.20 0.00 0.30 0.00 
10: Indefinite knowledge 16.60 1.00 20.83 0.20 0.20 0.50 0.00 0.00 
11: Basic coreference 15.20 0.00 1.25 0.00 0.00 0.00 0.10 0.10 
12: Conjunction 8.90 0.00 1.46 0.10 0.00 0.10 0.00 0.00 
13: Compound coreference 7.40 0.00 1.04 0.00 0.10 0.00 0.00 0.20 
14: Time reasoning 24.20 0.00 55.21 0.30 0.40 0.00 0.10 0.00 0.2 
15: Basic deduction 47.00 0.00 0.00 0.00 0.00 0.20 0.00 0.00 
16: Basic induction 53.60 49.65 45.41 52.40 55.10 0.20 51.80 0.60 45.3 
17: Positional reasoning 25.50 1.25 9.16 24.10 12.00 41.80 18.60 40.40 4.2 
18: Size reasoning 2.20 0.00 0.00 4.00 0.80 8.00 5.30 4.70 2.1 
19: Path finding 4.30 6.35 57.76 0.10 3.90 75.70 2.30 65.50 
20: Agent motivation 1.50 0.00 0.00 0.00 0.00 0.00 0.00 0.00 
Average error (%) 20.11 7.87 16.49 4.29 3.83 7.49 4.24 6.27 2.81 
Falied (err. 5%) 15 
TasksJoint NTMSingle D-NTM (ff)Single D-NTM (GRU)Joint DNC1Joint DNC2Joint MemN2NSingle MemN2NSingle DMNSingle DMN+
1: One supporting fact 31.50 0.00 0.00 0.00 0.00 0.00 0.00 0.00 
2: Two supporting facts 54.50 27.50 53.13 1.30 0.40 1.00 0.30 1.80 0.3 
3: Three supporting facts 43.90 63.54 41.45 2.40 1.80 6.80 2.10 4.80 1.1 
4: Two argument relations 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 
5: Three argument relations 0.80 0.62 1.04 0.50 0.80 6.10 0.80 0.70 0.5 
6: Yes/no questions 17.10 1.46 11.04 0.00 0.00 0.10 0.10 0.00 
7: Counting 17.80 6.04 2.70 0.20 0.60 6.60 2.00 3.10 2.4 
8: Lists/sets 13.80 0.00 0.74 0.10 0.30 2.70 0.90 3.50 
9: Simple negation 16.40 0.00 27.63 0.00 0.20 0.00 0.30 0.00 
10: Indefinite knowledge 16.60 1.00 20.83 0.20 0.20 0.50 0.00 0.00 
11: Basic coreference 15.20 0.00 1.25 0.00 0.00 0.00 0.10 0.10 
12: Conjunction 8.90 0.00 1.46 0.10 0.00 0.10 0.00 0.00 
13: Compound coreference 7.40 0.00 1.04 0.00 0.10 0.00 0.00 0.20 
14: Time reasoning 24.20 0.00 55.21 0.30 0.40 0.00 0.10 0.00 0.2 
15: Basic deduction 47.00 0.00 0.00 0.00 0.00 0.20 0.00 0.00 
16: Basic induction 53.60 49.65 45.41 52.40 55.10 0.20 51.80 0.60 45.3 
17: Positional reasoning 25.50 1.25 9.16 24.10 12.00 41.80 18.60 40.40 4.2 
18: Size reasoning 2.20 0.00 0.00 4.00 0.80 8.00 5.30 4.70 2.1 
19: Path finding 4.30 6.35 57.76 0.10 3.90 75.70 2.30 65.50 
20: Agent motivation 1.50 0.00 0.00 0.00 0.00 0.00 0.00 0.00 
Average error (%) 20.11 7.87 16.49 4.29 3.83 7.49 4.24 6.27 2.81 
Falied (err. 5%) 15 

Notes: This table reports the test error rate of the best model out of several models trained with different random seeds. denotes joint training of one model on all tasks, and denotes separate training of separate models on each task. The number in bold indicates the best performance.

Close Modal

or Create an Account

Close Modal
Close Modal