Skip to Main Content
Table 2: 
Test accuracies on the XNLI cross-lingual natural language inference data set. All results from Conneau et al. (2018b) correspond to max-pooling, which outperforms the last-state variant in all cases. Results involving machine translation do not use a multilingual model and are not directly comparable with zero-shot transfer. Overall best results are in bold, the best ones in each group are underlined. * Results for BERT (Devlin et al., 2019) are extracted from its GitHub README.9 Monolingual BERT model for Thai from https://github.com/ThAIKeras/bert.
  EN EN→XX 
  fr es de el bg ru tr ar vi th zh hi sw ur 
Zero-Shot Transfer, one NLI system for all languages: 
Conneau et al. (2018b) X-BiLSTM 73.7 67.7 68.7 67.7 68.9 67.9 65.4 64.2 64.8 66.4 64.1 65.8 64.1 55.7 58.4 
 X-CBOW 64.5 60.3 60.7 61.0 60.5 60.4 57.8 58.7 57.5 58.8 56.9 58.8 56.3 50.4 52.2 
BERT uncased* Transformer 81.4 – 74.3 70.5 – – – – 62.1 – – 63.8 – – 58.3 
 
Proposed method BiLSTM 73.9 71.9 72.9 72.6 72.8 74.2 72.1 69.7 71.4 72.0 69.2 71.4 65.5 62.2 61.0 
 
Translate test, one English NLI system: 
Conneau et al. (2018b) BiLSTM 73.7 70.4 70.7 68.7 69.1 70.4 67.8 66.3 66.8 66.5 64.4 68.3 64.2 61.8 59.3 
BERT uncased* Transformer 81.4 – 74.9 74.4 – – – – 70.4 – – 70.1 – – 62.1 
 
Translate train, separate NLI systems for each language: 
Conneau et al. (2018b) BiLSTM 73.7 68.3 68.8 66.5 66.4 67.4 66.5 64.5 65.8 66.0 62.8 67.0 62.1 58.2 56.6 
BERT cased* Transformer 81.9 – 77.8 75.9 – – – – 70.7 – 68.9 76.6 – – 61.6 
  EN EN→XX 
  fr es de el bg ru tr ar vi th zh hi sw ur 
Zero-Shot Transfer, one NLI system for all languages: 
Conneau et al. (2018b) X-BiLSTM 73.7 67.7 68.7 67.7 68.9 67.9 65.4 64.2 64.8 66.4 64.1 65.8 64.1 55.7 58.4 
 X-CBOW 64.5 60.3 60.7 61.0 60.5 60.4 57.8 58.7 57.5 58.8 56.9 58.8 56.3 50.4 52.2 
BERT uncased* Transformer 81.4 – 74.3 70.5 – – – – 62.1 – – 63.8 – – 58.3 
 
Proposed method BiLSTM 73.9 71.9 72.9 72.6 72.8 74.2 72.1 69.7 71.4 72.0 69.2 71.4 65.5 62.2 61.0 
 
Translate test, one English NLI system: 
Conneau et al. (2018b) BiLSTM 73.7 70.4 70.7 68.7 69.1 70.4 67.8 66.3 66.8 66.5 64.4 68.3 64.2 61.8 59.3 
BERT uncased* Transformer 81.4 – 74.9 74.4 – – – – 70.4 – – 70.1 – – 62.1 
 
Translate train, separate NLI systems for each language: 
Conneau et al. (2018b) BiLSTM 73.7 68.3 68.8 66.5 66.4 67.4 66.5 64.5 65.8 66.0 62.8 67.0 62.1 58.2 56.6 
BERT cased* Transformer 81.9 – 77.8 75.9 – – – – 70.7 – 68.9 76.6 – – 61.6 
Close Modal

or Create an Account

Close Modal
Close Modal