Skip to Main Content
Table 9: 
Results for the Taxonomy Conjunction probe. Accuracy over three answer candidates (random is 33%).
ModelZeroMLPMLMLinearLangSense
 shot WS Max WS Max pert nolang 
RoBERTa-L 45 50 56 45 46 
BERT-WWM 46 48 52 46 46 
BERT-L 53 54 57 53 54 15 
 
BERT-B 47 48 50 47 47 12 
RoBERTa-B 46 50 59 47 49 18 
 
Baseline 33 33 47 
ModelZeroMLPMLMLinearLangSense
 shot WS Max WS Max pert nolang 
RoBERTa-L 45 50 56 45 46 
BERT-WWM 46 48 52 46 46 
BERT-L 53 54 57 53 54 15 
 
BERT-B 47 48 50 47 47 12 
RoBERTa-B 46 50 59 47 49 18 
 
Baseline 33 33 47 
Close Modal

or Create an Account

Close Modal
Close Modal