Skip to Main Content
Table 5: 
Distribution (%) of types of required prior knowledge based on a subset of test and development sets of C3, Chinese free-form abstractive dataset DuReader (He et al., 2017), and English free-form multiple-choice datasets RACE (Lai et al., 2017) and DREAM (Sun et al., 2019a). Answering a question may require more than one type of prior knowledge.
CM3CD3C3RACEDREAMDuReader
Matching 12.0 14.3 13.2 14.7 8.7 62.0 
Prior knowledge 88.0 85.7 86.8 85.3 91.3 38.0 
 ◇ Linguistic 49.0 30.7 39.8 47.3 40.0 22.0 
 ◇ Domain-specific 0.7 1.0 0.8 0.0 0.0 16.0 
 ◇ General world 50.7 64.0 57.3 43.3 57.3 0.0 
  Arithmetic 3.0 4.7 3.8 3.3 1.3 0.0 
  Connotation 1.3 5.3 3.3 2.0 5.3 0.0 
  Cause-effect 14.0 6.7 10.3 2.7 3.3 0.0 
  Implication 17.7 20.3 19.0 24.0 26.7 0.0 
  Part-whole 5.0 5.0 5.0 2.7 7.3 0.0 
  Precondition 2.7 4.3 3.5 2.7 1.3 0.0 
  Scenario 9.6 24.3 17.0 7.3 21.3 0.0 
  Other 3.3 0.3 1.8 2.0 0.7 0.0 
 
Single sentence 50.7 22.7 36.7 24.0 12.0 14.6 
Multiple sentences 47.0 77.0 62.0 75.3 88.0 68.7 
Independent 2.3 0.3 1.3 0.7 0.0 16.7 
 
# of annotated instances 300 300 600 150 150 150 
CM3CD3C3RACEDREAMDuReader
Matching 12.0 14.3 13.2 14.7 8.7 62.0 
Prior knowledge 88.0 85.7 86.8 85.3 91.3 38.0 
 ◇ Linguistic 49.0 30.7 39.8 47.3 40.0 22.0 
 ◇ Domain-specific 0.7 1.0 0.8 0.0 0.0 16.0 
 ◇ General world 50.7 64.0 57.3 43.3 57.3 0.0 
  Arithmetic 3.0 4.7 3.8 3.3 1.3 0.0 
  Connotation 1.3 5.3 3.3 2.0 5.3 0.0 
  Cause-effect 14.0 6.7 10.3 2.7 3.3 0.0 
  Implication 17.7 20.3 19.0 24.0 26.7 0.0 
  Part-whole 5.0 5.0 5.0 2.7 7.3 0.0 
  Precondition 2.7 4.3 3.5 2.7 1.3 0.0 
  Scenario 9.6 24.3 17.0 7.3 21.3 0.0 
  Other 3.3 0.3 1.8 2.0 0.7 0.0 
 
Single sentence 50.7 22.7 36.7 24.0 12.0 14.6 
Multiple sentences 47.0 77.0 62.0 75.3 88.0 68.7 
Independent 2.3 0.3 1.3 0.7 0.0 16.7 
 
# of annotated instances 300 300 600 150 150 150 
Close Modal

or Create an Account

Close Modal
Close Modal