Skip to Main Content
Table 9 
Type-Level Probing task results for all languages. Bold represents the best score, and italics represents the second best.
Finnish
TaskbaselineMUSEword2vecGloVe-BPEfastTextD-ELMo
Case 30.0 49.3 59.9 83.4 86.6 96.7 
Mood 50.0 62.3 67.9 84.7 89.0 93.8 
Number 45.6 60.4 69.4 83.4 90.3 97.4 
POS 67.9 75.3 70.3 85.7 90.0 97.1 
Person 30.1 54.0 66.8 84.6 88.8 94.6 
Tense 40.9 65.4 73.4 86.0 90.6 94.7 
Voice 50.8 63.4 70.8 86.8 89.6 95.1 
  
CharacterBin 44.2 45.0 44.8 52.0 58.4 63.8 
TagCount 86.0 88.6 87.0 91.0 95.0 98.4 
  
OddFeat 22.7 24.4 24.5 65.1 76.7 88.4 
SameFeat 29.1 94.1 92.0 96.9 96.5 98.4 
German
TaskbaselineMUSEword2vecGloVe-BPEfastTextD-ELMo
Case 34.2 62.0 68.7 90.9 95.1 94.0 
Mood 37.4 54.3 54.1 90.1 91.0 93.9 
Number 40.1 60.4 66.8 90.7 93.7 97.7 
POS 55.8 63.1 65.8 92.2 94.9 96.9 
Person 52.9 65.2 60.3 90.4 91.5 95.8 
Pseudo 50.0 96.7 80.1 83.2 90.0 91.0 
Tense 52.9 73.1 71.5 91.5 92.9 93.2 
  
CharacterBin 45.4 49.0 45.0 63.0 62.9 70.4 
TagCount 54.9 61.5 63.1 83.0 86.5 89.2 
  
OddFeat 22.6 37.9 34.8 65.1 71.2 75.4 
SameFeat 28.4 84.5 86.5 89.6 90.4 89.0 
Spanish
TaskbaselineMUSEword2vecGloVe-BPEfastTextD-ELMo
Gender 34.5 67.0 74.5 98.0 98.8 99.8 
Mood 52.0 67.0 66.1 89.2 90.9 95.0 
Number 34.0 69.2 69.9 95.0 95.0 99.8 
POS 70.9 85.6 84.1 97.6 98.5 99.6 
Person 27.4 60.9 52.8 92.6 87.8 98.6 
Pseudo 49.8 92.3 89.4 75.9 91.9 94.7 
Tense 39.9 59.1 60.8 87.1 85.9 95.0 
  
CharacterBin 50.9 55.2 55.3 72.3 69.6 76.2 
TagCount 40.0 61.0 59.0 90.8 87.8 95.8 
  
OddFeat 44.8 53.4 55.8 77.1 78.5 81.7 
SameFeat 27.2 89.6 89.1 91.1 93.3 91.1 
Russian
TaskbaselineMUSEword2vecGloVe-BPEfastTextD-ELMo
Case 31.0 57.3 78.0 80.8 62.0 96.7 
Gender 39.8 57.7 78.3 95.4 80.7 99.3 
Number 41.1 54.7 75.7 89.7 74.3 96.9 
POS 48.4 56.5 67.8 89.7 74.2 98.2 
Person 31.9 49.4 72.2 93.0 81.0 96.7 
Tense 43.8 56.3 73.6 90.1 73.6 94.3 
Voice 47.6 62.2 66.5 99.4 96.1 99.0 
  
CharacterBin 46.0 46.3 52.5 68.9 64.4 70.9 
TagCount 53.8 60.4 68.5 85.2 67.9 96.4 
  
OddFeat 21.8 36.9 48.2 74.4 55.4 90.0 
SameFeat 29.4 84.7 90.9 93.9 93.6 97.6 
Turkish
TaskbaselineMUSEword2vecGloVe-BPEfastTextD-ELMo
Case 31.1 63.5 57.4 87.1 85.4 96.1 
POS 75.5 85.9 83.5 95.9 94.8 98.4 
Person 30.3 52.5 52.0 93.5 90.5 96.1 
Polarity 44.6 62.0 61.0 97.3 93.6 96.1 
Possession 30.6 59.2 56.7 87.1 75.5 92.5 
Pseudo 51.5 90.3 90.2 71.4 79.6 91.7 
Tense 34.9 57.7 58.8 89.4 85.4 94.7 
  
CharacterBin 46.1 58.1 53.6 66.7 66.7 71.5 
TagCount 46.6 71.4 60.7 85.6 79.9 89.8 
  
OddFeat 38.7 38.5 40.6 76.7 79.8 79.0 
SameFeat 21.3 73.9 74.7 86.9 90.0 86.5 
Finnish
TaskbaselineMUSEword2vecGloVe-BPEfastTextD-ELMo
Case 30.0 49.3 59.9 83.4 86.6 96.7 
Mood 50.0 62.3 67.9 84.7 89.0 93.8 
Number 45.6 60.4 69.4 83.4 90.3 97.4 
POS 67.9 75.3 70.3 85.7 90.0 97.1 
Person 30.1 54.0 66.8 84.6 88.8 94.6 
Tense 40.9 65.4 73.4 86.0 90.6 94.7 
Voice 50.8 63.4 70.8 86.8 89.6 95.1 
  
CharacterBin 44.2 45.0 44.8 52.0 58.4 63.8 
TagCount 86.0 88.6 87.0 91.0 95.0 98.4 
  
OddFeat 22.7 24.4 24.5 65.1 76.7 88.4 
SameFeat 29.1 94.1 92.0 96.9 96.5 98.4 
German
TaskbaselineMUSEword2vecGloVe-BPEfastTextD-ELMo
Case 34.2 62.0 68.7 90.9 95.1 94.0 
Mood 37.4 54.3 54.1 90.1 91.0 93.9 
Number 40.1 60.4 66.8 90.7 93.7 97.7 
POS 55.8 63.1 65.8 92.2 94.9 96.9 
Person 52.9 65.2 60.3 90.4 91.5 95.8 
Pseudo 50.0 96.7 80.1 83.2 90.0 91.0 
Tense 52.9 73.1 71.5 91.5 92.9 93.2 
  
CharacterBin 45.4 49.0 45.0 63.0 62.9 70.4 
TagCount 54.9 61.5 63.1 83.0 86.5 89.2 
  
OddFeat 22.6 37.9 34.8 65.1 71.2 75.4 
SameFeat 28.4 84.5 86.5 89.6 90.4 89.0 
Spanish
TaskbaselineMUSEword2vecGloVe-BPEfastTextD-ELMo
Gender 34.5 67.0 74.5 98.0 98.8 99.8 
Mood 52.0 67.0 66.1 89.2 90.9 95.0 
Number 34.0 69.2 69.9 95.0 95.0 99.8 
POS 70.9 85.6 84.1 97.6 98.5 99.6 
Person 27.4 60.9 52.8 92.6 87.8 98.6 
Pseudo 49.8 92.3 89.4 75.9 91.9 94.7 
Tense 39.9 59.1 60.8 87.1 85.9 95.0 
  
CharacterBin 50.9 55.2 55.3 72.3 69.6 76.2 
TagCount 40.0 61.0 59.0 90.8 87.8 95.8 
  
OddFeat 44.8 53.4 55.8 77.1 78.5 81.7 
SameFeat 27.2 89.6 89.1 91.1 93.3 91.1 
Russian
TaskbaselineMUSEword2vecGloVe-BPEfastTextD-ELMo
Case 31.0 57.3 78.0 80.8 62.0 96.7 
Gender 39.8 57.7 78.3 95.4 80.7 99.3 
Number 41.1 54.7 75.7 89.7 74.3 96.9 
POS 48.4 56.5 67.8 89.7 74.2 98.2 
Person 31.9 49.4 72.2 93.0 81.0 96.7 
Tense 43.8 56.3 73.6 90.1 73.6 94.3 
Voice 47.6 62.2 66.5 99.4 96.1 99.0 
  
CharacterBin 46.0 46.3 52.5 68.9 64.4 70.9 
TagCount 53.8 60.4 68.5 85.2 67.9 96.4 
  
OddFeat 21.8 36.9 48.2 74.4 55.4 90.0 
SameFeat 29.4 84.7 90.9 93.9 93.6 97.6 
Turkish
TaskbaselineMUSEword2vecGloVe-BPEfastTextD-ELMo
Case 31.1 63.5 57.4 87.1 85.4 96.1 
POS 75.5 85.9 83.5 95.9 94.8 98.4 
Person 30.3 52.5 52.0 93.5 90.5 96.1 
Polarity 44.6 62.0 61.0 97.3 93.6 96.1 
Possession 30.6 59.2 56.7 87.1 75.5 92.5 
Pseudo 51.5 90.3 90.2 71.4 79.6 91.7 
Tense 34.9 57.7 58.8 89.4 85.4 94.7 
  
CharacterBin 46.1 58.1 53.6 66.7 66.7 71.5 
TagCount 46.6 71.4 60.7 85.6 79.9 89.8 
  
OddFeat 38.7 38.5 40.6 76.7 79.8 79.0 
SameFeat 21.3 73.9 74.7 86.9 90.0 86.5 
Close Modal

or Create an Account

Close Modal
Close Modal