Skip to Main Content
Table 6 
Accuracy obtained in the XNLI task comparing our multilingual model with pretrained vector embedings. Results marked with † taken from Conneau et al. (2018c) and use a feed-forward neural network as a classifier as opposed to all others that use a logistic regression.
 Classifier trained onENDEFRES
M ↔ M k = 50   65.0 59.0 55.9 58.0 
MUSE   55.9 47.8 42.5 42.8 
fastText EN 53.1 – – – 
X-CBOW   64.5 61.0 60.3 60.7 
  
M ↔ M k = 50   58.9 62.6 54.8 57.9 
MUSE DE 50.5 53.1 39.2 42.5 
fastText   – 52.9 – – 
  
M ↔ M k = 50   62.6 60.9 63.5 61.9 
MUSE FR 45.9 43.3 53.0 41.8 
fastText   – – 48.6 – 
  
M ↔ M k = 50   61.2 59.0 56.3 63.8 
MUSE ES 49.2 44.5 43.1 52.5 
fastText   – – – 50.6 
  
M ↔ M k = 50   65.3 62.8 58.6 60.8 
MUSE EN+DE 55.4 53.4 40.1 43.1 
  
M ↔ M k = 50   65.2 61.6 63.8 61.7 
MUSE EN+FR 55.0 46.5 52.8 44.5 
  
M ↔ M k = 50   64.9 60.9 58.5 64.6 
MUSE EN+ES 54.5 46.9 43.4 52.0 
  
M ↔ M k = 50   64.8 62.8 63.0 63.6 
MUSE EN+DE+FR+ES 54.8 51.7 51.6 51.2 
 Classifier trained onENDEFRES
M ↔ M k = 50   65.0 59.0 55.9 58.0 
MUSE   55.9 47.8 42.5 42.8 
fastText EN 53.1 – – – 
X-CBOW   64.5 61.0 60.3 60.7 
  
M ↔ M k = 50   58.9 62.6 54.8 57.9 
MUSE DE 50.5 53.1 39.2 42.5 
fastText   – 52.9 – – 
  
M ↔ M k = 50   62.6 60.9 63.5 61.9 
MUSE FR 45.9 43.3 53.0 41.8 
fastText   – – 48.6 – 
  
M ↔ M k = 50   61.2 59.0 56.3 63.8 
MUSE ES 49.2 44.5 43.1 52.5 
fastText   – – – 50.6 
  
M ↔ M k = 50   65.3 62.8 58.6 60.8 
MUSE EN+DE 55.4 53.4 40.1 43.1 
  
M ↔ M k = 50   65.2 61.6 63.8 61.7 
MUSE EN+FR 55.0 46.5 52.8 44.5 
  
M ↔ M k = 50   64.9 60.9 58.5 64.6 
MUSE EN+ES 54.5 46.9 43.4 52.0 
  
M ↔ M k = 50   64.8 62.8 63.0 63.6 
MUSE EN+DE+FR+ES 54.8 51.7 51.6 51.2 
Close Modal

or Create an Account

Close Modal
Close Modal