Skip to Main Content
Table 4: 
Data statistics. Data properties vary depending on languages, as documents on Wikipedia differ significantly and annotators don’t overlap between languages. We include a small amount of English data for debugging purposes, though we do not include English in macro-averaged results, nor in the leaderboard competition. Note that a single character may occupy several bytes in non-Latin alphabets.
LanguageTrain(1-way)Dev(3-way)Test(3-way)Avg. Question TokensArticle Article BytesAnswer Answer BytesAvg. Passage Candidates% With Passage Answer% With Minimal Answer
(English) 9,211 1031 1046 7.1 30K 57 47 50% 42% 
Arabic 23,092 1380 1421 5.8 14K 114 34 76% 69% 
Bengali 10,768 328 334 7.5 13K 210 34 38% 35% 
Finnish 15,285 2082 2065 4.9 19K 74 35 49% 41% 
Indonesian 14,952 1805 1809 5.6 11K 91 32 38% 34% 
Japanese 16,288 1709 1706 — 14K 53 52 41% 32% 
Kiswahili 17,613 2288 2278 6.8 5K 39 35 24% 22% 
Korean 10,981 1698 1722 5.1 12K 67 67 26% 22% 
Russian 12,803 1625 1637 6.5 27K 106 74 64% 51% 
Telugu 24,558 2479 2530 5.2 7K 279 32 28% 27% 
Thai 11,365 2245 2203 — 14K 171 38 54% 43% 
 
Total 166,916 18,670 18,751  
LanguageTrain(1-way)Dev(3-way)Test(3-way)Avg. Question TokensArticle Article BytesAnswer Answer BytesAvg. Passage Candidates% With Passage Answer% With Minimal Answer
(English) 9,211 1031 1046 7.1 30K 57 47 50% 42% 
Arabic 23,092 1380 1421 5.8 14K 114 34 76% 69% 
Bengali 10,768 328 334 7.5 13K 210 34 38% 35% 
Finnish 15,285 2082 2065 4.9 19K 74 35 49% 41% 
Indonesian 14,952 1805 1809 5.6 11K 91 32 38% 34% 
Japanese 16,288 1709 1706 — 14K 53 52 41% 32% 
Kiswahili 17,613 2288 2278 6.8 5K 39 35 24% 22% 
Korean 10,981 1698 1722 5.1 12K 67 67 26% 22% 
Russian 12,803 1625 1637 6.5 27K 106 74 64% 51% 
Telugu 24,558 2479 2530 5.2 7K 279 32 28% 27% 
Thai 11,365 2245 2203 — 14K 171 38 54% 43% 
 
Total 166,916 18,670 18,751  
Close Modal

or Create an Account

Close Modal
Close Modal