Skip to Main Content
Table 5: 

Results for DA-style quality estimation over the three WMT language pairs.

en-zh testru-en testsi-en test
rCalNLPDShprCalNLPDShprCalNLPDShp
SBERT Cosine similarity 0.115 n/a n/a n/a 0.428 n/a n/a n/a 0.097 n/a n/a n/a 
SBERT LR 0.270 n/a n/a n/a 0.616 n/a n/a n/a 0.397 n/a n/a n/a 
SBERT Bayesian LR 0.280 0.025 0.155 0.908 0.625 0.013 0.223 0.771 0.371 0.013 0.193 0.934 
SBERT Sparse GP Regression 0.384 0.026 0.143 0.892 0.626 0.007 0.207 0.776 0.366 0.010 0.191 0.931 
 
BERT LR 0.395 n/a n/a n/a 0.621 n/a n/a n/a 0.504 n/a n/a n/a 
BERT ConvLR 0.436 n/a n/a n/a 0.641 n/a n/a n/a 0.524 n/a n/a n/a 
BERT Bayesian LR 0.385 0.726 11600 0.005 0.644 0.515 11666 0.005 0.506 0.568 10971 0.005 
BERT Bayesian ConvLR 0.378 1.780 683.7 0.066 0.609 1.775 723.4 0.069 0.503 1.758 638.5 0.059 
 
BERT LR MC dropout 0.407 0.250 9.216 0.190 0.637 0.315 17.00 0.126 0.527 0.178 6.578 0.200 
BERT ConvLR MC dropout 0.441 0.268 13.33 0.127 0.649 0.333 22.28 0.106 0.530 0.275 10.19 0.133 
en-zh testru-en testsi-en test
rCalNLPDShprCalNLPDShprCalNLPDShp
SBERT Cosine similarity 0.115 n/a n/a n/a 0.428 n/a n/a n/a 0.097 n/a n/a n/a 
SBERT LR 0.270 n/a n/a n/a 0.616 n/a n/a n/a 0.397 n/a n/a n/a 
SBERT Bayesian LR 0.280 0.025 0.155 0.908 0.625 0.013 0.223 0.771 0.371 0.013 0.193 0.934 
SBERT Sparse GP Regression 0.384 0.026 0.143 0.892 0.626 0.007 0.207 0.776 0.366 0.010 0.191 0.931 
 
BERT LR 0.395 n/a n/a n/a 0.621 n/a n/a n/a 0.504 n/a n/a n/a 
BERT ConvLR 0.436 n/a n/a n/a 0.641 n/a n/a n/a 0.524 n/a n/a n/a 
BERT Bayesian LR 0.385 0.726 11600 0.005 0.644 0.515 11666 0.005 0.506 0.568 10971 0.005 
BERT Bayesian ConvLR 0.378 1.780 683.7 0.066 0.609 1.775 723.4 0.069 0.503 1.758 638.5 0.059 
 
BERT LR MC dropout 0.407 0.250 9.216 0.190 0.637 0.315 17.00 0.126 0.527 0.178 6.578 0.200 
BERT ConvLR MC dropout 0.441 0.268 13.33 0.127 0.649 0.333 22.28 0.106 0.530 0.275 10.19 0.133 
Close Modal

or Create an Account

Close Modal
Close Modal