Skip to Main Content
Table 4

Zero-shot results on subset of 30 low-resource languages for sequence labeling tasks. Udapter-proxy refers to an alternative of UDapter without typological features where a proxy language embedding is used when it is available. The asterisk indicates that average of all low-resource languages. (Results for all low-resource languages, together with chosen proxy, are given in Appendix C.)

bebrbhofohsbkkmrolosatatetlyolr-avg*
POS Tagging (Accuracy) 
multi-udify 94.6 70.6 61.8 80.0 76.8 85.0 67.5 74.5 41.4 68.6 81.6 73.3 65.1 58.0 
udapter-proxy 74 – 61.0 78.5 67.3 78.4 58.5 75.2 39.0 – – – – – 
udapter 96.9 72.2 63.1 79.6 77.8 83.4 66.5 76.6 42.2 70.3 84.2 78.4 63.7 58.4 
 
Morphological Tagging (F1) 
multi-udify 92.3 51.1 68.1 58.4 60.7 52.2 51.7 60.0 40.7 37.8 – 31.2 58.7 44.4 
udapter-proxy 67.5 – 66.7 55.4 56.3 51.0 50.1 59.9 38.3 – – – – – 
udapter 92.0 59.9 66.4 56.3 37.4 52.5 51.2 62.4 20.6 41.7 – 33.3 64.1 44.3 
 
NER (F1) 
multi-udify 80.1 77.6 – 78.2 79.0 72.7 75.9 – 54.0 69.8 62.2 81.4 – 67.4 
udapter-proxy 70.3 – – 65.7 32.9 60.7 71.6 – 41.0 – – – – – 
udapter 80.3 74.3 – 80.3 79.7 65.9 74.0 – 47.0 69.0 62.4 68.9 – 65.6 
bebrbhofohsbkkmrolosatatetlyolr-avg*
POS Tagging (Accuracy) 
multi-udify 94.6 70.6 61.8 80.0 76.8 85.0 67.5 74.5 41.4 68.6 81.6 73.3 65.1 58.0 
udapter-proxy 74 – 61.0 78.5 67.3 78.4 58.5 75.2 39.0 – – – – – 
udapter 96.9 72.2 63.1 79.6 77.8 83.4 66.5 76.6 42.2 70.3 84.2 78.4 63.7 58.4 
 
Morphological Tagging (F1) 
multi-udify 92.3 51.1 68.1 58.4 60.7 52.2 51.7 60.0 40.7 37.8 – 31.2 58.7 44.4 
udapter-proxy 67.5 – 66.7 55.4 56.3 51.0 50.1 59.9 38.3 – – – – – 
udapter 92.0 59.9 66.4 56.3 37.4 52.5 51.2 62.4 20.6 41.7 – 33.3 64.1 44.3 
 
NER (F1) 
multi-udify 80.1 77.6 – 78.2 79.0 72.7 75.9 – 54.0 69.8 62.2 81.4 – 67.4 
udapter-proxy 70.3 – – 65.7 32.9 60.7 71.6 – 41.0 – – – – – 
udapter 80.3 74.3 – 80.3 79.7 65.9 74.0 – 47.0 69.0 62.4 68.9 – 65.6 
Close Modal

or Create an Account

Close Modal
Close Modal