Skip to Main Content
Table 15 
Results obtained by experimenting on the WiC data set. Figures report the accuracy obtained for the three portions of the data set and divided by POS.
SystemTestTrainingDevelopment
AllNounsVerbsAllNounsVerbs
Contextualized word embeddings 
BERT-large1 68.4 – – – – – – 
WSD2 67.7 – – – – – – 
Ensemble3 66.7 – – – – – 
BERT-large4 65.5 – – – – – – 
ELMo-weighted5 61.2 – – – – – – 
Context2vec4 59.3 – – – – – – 
Elmo4 57.7 – – – – – – 
 
Sense representations 
DeConf4 58.7 – – – – – – 
SW2V4 58.1 – – – – – – 
JBT4 53.6 – – – – – 
LessLex (c-rnk-sim) 58.9 59.4 58.8 60.1 60.5 58.0 64.6 
LessLex (RBO) 59.2 61.1 59.4 62.9 63.0 62.0 64.6 
N2V (c-rnk-sim) – – 54.1 – – 53.2 – 
N2V (RBO) – – 60.7 – – 63.4 – 
SystemTestTrainingDevelopment
AllNounsVerbsAllNounsVerbs
Contextualized word embeddings 
BERT-large1 68.4 – – – – – – 
WSD2 67.7 – – – – – – 
Ensemble3 66.7 – – – – – 
BERT-large4 65.5 – – – – – – 
ELMo-weighted5 61.2 – – – – – – 
Context2vec4 59.3 – – – – – – 
Elmo4 57.7 – – – – – – 
 
Sense representations 
DeConf4 58.7 – – – – – – 
SW2V4 58.1 – – – – – – 
JBT4 53.6 – – – – – 
LessLex (c-rnk-sim) 58.9 59.4 58.8 60.1 60.5 58.0 64.6 
LessLex (RBO) 59.2 61.1 59.4 62.9 63.0 62.0 64.6 
N2V (c-rnk-sim) – – 54.1 – – 53.2 – 
N2V (RBO) – – 60.7 – – 63.4 – 
1 

Wang et al. (2019).

2 

Loureiro and Jorge (2019).

3 

Soler, Apidianaki, and Allauzen (2019).

4 

Mancini et al. (2017).

5 

Ansell, Bravo-Marquez, and Pfahringer (2019).

Close Modal

or Create an Account

Close Modal
Close Modal