Table 6: 
Ablation results of various models on all versions of DSTC2.
DatasetModelper-resp. accBLEUROUGEEntity F1
12L
Hi-DSTC2 Seq2seq-Bahdanau Attn 48.0 55.1 62.9 52.5 61.0 74.3 
GCN-Bahdanau Attn 38.5 50.4 58.9 47.7 56.7 59.1 
RNN+GCN-Bahdanau Attn 47.1 56.0 65.1 55.2 62.9 72.2 
RNN-SeA 45.8 55.9 65.1 55.5 63.1 71.8 
RNN+GCN-SeA 49.2 57.1 66.4 56.8 64.4 75.9 
 
Be-DSTC2 Seq2seq-Bahdanau Attn 50.4 55.6 67.4 57.6 65.1 76.2 
GCN-Bahdanau Attn 42.1 55.1 63.7 52.8 61.1 64.3 
RNN+GCN-Bahdanau Attn 47.0 57.7 67.0 57.4 64.6 70.9 
RNN-SeA 46.8 58.5 67.6 58.1 65.1 71.9 
RNN+GCN-SeA 50.3 59.2 69.0 59.4 66.6 75.1 
 
Gu-DSTC2 Seq2seq-Bahdanau Attn 47.7 54.5 64.8 54.9 62.6 71.3 
GCN-Bahdanau Attn 38.8 49.5 59.2 48.3 56.8 58.0 
RNN+GCN-Bahdanau Attn 46.5 55.5 65.6 55.9 63.4 70.6 
RNN-SeA 45.4 56.0 66.0 56.6 63.9 69.8 
RNN+GCN-SeA 48.9 56.7 66.1 56.9 64.1 73.0 
 
Ta-DSTC2 Seq2seq-Bahdanau Attn 49.3 62.9 67.8 56.3 65.6 77.7 
GCN-Bahdanau Attn 42.0 59.3 64.8 52.8 62.1 69.7 
RNN+GCN-Bahdanau Attn 46.3 63.2 68.0 57.2 65.6 72.1 
RNN-SeA 46.8 64.0 69.3 59.0 67.1 74.2 
RNN+GCN-SeA 50.7 64.9 70.2 59.9 67.9 77.9 
 
En-DSTC2 Seq2seq-Bahdanau Attn 46.0 57.3 67.2 56.0 64.9 67.1 
GCN-Bahdanau Attn 45.7 58.1 66.5 55.9 64.1 70.1 
RNN+GCN-Bahdanau Attn 47.4 59.5 67.9 57.7 65.6 72.9 
RNN-SeA 47.0 60.2 68.5 58.9 66.2 72.7 
RNN+GCN-SeA 51.4 61.2 69.6 60.2 67.4 77.9 
DatasetModelper-resp. accBLEUROUGEEntity F1
12L
Hi-DSTC2 Seq2seq-Bahdanau Attn 48.0 55.1 62.9 52.5 61.0 74.3 
GCN-Bahdanau Attn 38.5 50.4 58.9 47.7 56.7 59.1 
RNN+GCN-Bahdanau Attn 47.1 56.0 65.1 55.2 62.9 72.2 
RNN-SeA 45.8 55.9 65.1 55.5 63.1 71.8 
RNN+GCN-SeA 49.2 57.1 66.4 56.8 64.4 75.9 
 
Be-DSTC2 Seq2seq-Bahdanau Attn 50.4 55.6 67.4 57.6 65.1 76.2 
GCN-Bahdanau Attn 42.1 55.1 63.7 52.8 61.1 64.3 
RNN+GCN-Bahdanau Attn 47.0 57.7 67.0 57.4 64.6 70.9 
RNN-SeA 46.8 58.5 67.6 58.1 65.1 71.9 
RNN+GCN-SeA 50.3 59.2 69.0 59.4 66.6 75.1 
 
Gu-DSTC2 Seq2seq-Bahdanau Attn 47.7 54.5 64.8 54.9 62.6 71.3 
GCN-Bahdanau Attn 38.8 49.5 59.2 48.3 56.8 58.0 
RNN+GCN-Bahdanau Attn 46.5 55.5 65.6 55.9 63.4 70.6 
RNN-SeA 45.4 56.0 66.0 56.6 63.9 69.8 
RNN+GCN-SeA 48.9 56.7 66.1 56.9 64.1 73.0 
 
Ta-DSTC2 Seq2seq-Bahdanau Attn 49.3 62.9 67.8 56.3 65.6 77.7 
GCN-Bahdanau Attn 42.0 59.3 64.8 52.8 62.1 69.7 
RNN+GCN-Bahdanau Attn 46.3 63.2 68.0 57.2 65.6 72.1 
RNN-SeA 46.8 64.0 69.3 59.0 67.1 74.2 
RNN+GCN-SeA 50.7 64.9 70.2 59.9 67.9 77.9 
 
En-DSTC2 Seq2seq-Bahdanau Attn 46.0 57.3 67.2 56.0 64.9 67.1 
GCN-Bahdanau Attn 45.7 58.1 66.5 55.9 64.1 70.1 
RNN+GCN-Bahdanau Attn 47.4 59.5 67.9 57.7 65.6 72.9 
RNN-SeA 47.0 60.2 68.5 58.9 66.2 72.7 
RNN+GCN-SeA 51.4 61.2 69.6 60.2 67.4 77.9 
Close Modal

or Create an Account

Close Modal
Close Modal