Skip to Main Content
Table 3: 

XLNet+prop segmentation and recognition results for different label sets granularities; in MRDA: full (51), general (11), basic (5), and pure segmentation (1); in SWDA basic (42) and pure segmentation (1). DER and JointWER are not defined for pure segmentation. All experiments are performed using full dialog context, with identical hyperparameters, except for the output layer size. The asterisk (*) denotes the label sets typically used in other works.

CaseDatasetTagsetmicro_f1macro_f1DSERSegWERDERJointWER
lower MRDA 51 91.90 30.94 32.93 39.15 58.62 63.90 
  12 94.07 48.39 35.51 40.56 48.72 49.42 
  5* 94.89 75.82 32.87 38.32 43.61 43.76 
  96.74 95.23 32.85 38.94 – – 
 
 SWDA 42* 95.57 54.86 17.48 24.09 37.51 44.38 
  98.20 97.45 17.51 24.32 – – 
 
nolower MRDA 51 93.85 40.65 13.88 17.38 45.22 49.11 
  12 96.57 64.51 14.21 17.42 27.62 26.96 
  5* 97.55 85.67 14.15 16.85 22.29 18.92 
  98.76 98.21 14.55 16.52 – – 
 
 SWDA 42* 96.65 58.17 8.39 12.34 30.21 35.90 
  99.22 98.89 8.37 12.18 – – 
CaseDatasetTagsetmicro_f1macro_f1DSERSegWERDERJointWER
lower MRDA 51 91.90 30.94 32.93 39.15 58.62 63.90 
  12 94.07 48.39 35.51 40.56 48.72 49.42 
  5* 94.89 75.82 32.87 38.32 43.61 43.76 
  96.74 95.23 32.85 38.94 – – 
 
 SWDA 42* 95.57 54.86 17.48 24.09 37.51 44.38 
  98.20 97.45 17.51 24.32 – – 
 
nolower MRDA 51 93.85 40.65 13.88 17.38 45.22 49.11 
  12 96.57 64.51 14.21 17.42 27.62 26.96 
  5* 97.55 85.67 14.15 16.85 22.29 18.92 
  98.76 98.21 14.55 16.52 – – 
 
 SWDA 42* 96.65 58.17 8.39 12.34 30.21 35.90 
  99.22 98.89 8.37 12.18 – – 
Close Modal

or Create an Account

Close Modal
Close Modal