Skip to Main Content
Table 3: 

Ablation of our Reader Model. Asterisk (*) indicates our best reader used in Table 1.

SystemROUGE-L
devtest
BM25 + BART reader (baseline) 23.16 24.47 
 + BART-FiD reader 25.95 – 
Our ranker + BART reader 25.83 26.95 
 + BART-FiD reader 26.27 – 
 repl BART w/ GPT-2 22.22 – 
 repl BART w/ T5 20.57 – 
 + book preread 26.82 – 
  + BART-FiD Reader* 27.91 29.21 
 + book preread (decoder-only26.51 – 
SystemROUGE-L
devtest
BM25 + BART reader (baseline) 23.16 24.47 
 + BART-FiD reader 25.95 – 
Our ranker + BART reader 25.83 26.95 
 + BART-FiD reader 26.27 – 
 repl BART w/ GPT-2 22.22 – 
 repl BART w/ T5 20.57 – 
 + book preread 26.82 – 
  + BART-FiD Reader* 27.91 29.21 
 + book preread (decoder-only26.51 – 
Close Modal

or Create an Account

Close Modal
Close Modal