Skip to Main Content
Table 7: 

Prediction F1 breakdown for all models on the GROTOAP2 dataset.

AbstractAcknowledgmentAffiliationAuthorAuthor TitleBib InfoBody ContentConflict Statement
BERTBASE 97.42 95.83 96.12 96.91 96.09 95.00 98.80 88.66 
BERTBASE + I-VILA(Text Line) 97.65 95.89 96.61 97.17 96.48 95.78 98.93 88.28 
BERTBASE + I-VILA(Text Block) 97.67 96.46 96.80 97.23 97.73 96.29 98.99 91.88 
 
LayoutLMBASE 98.05 96.29 96.64 97.49 96.51 96.74 99.06 91.16 
LayoutLMBASE + Sentence Breaks 97.92 96.32 96.68 96.74 95.42 96.77 99.11 90.42 
LayoutLMBASE + I-VILA(Text Line) 97.99 96.41 96.72 97.29 95.98 96.66 99.11 90.75 
LayoutLMBASE + I-VILA(Text Block) 98.12 96.81 96.93 96.96 97.52 96.87 99.14 91.43 
 
Simple Group Classifier 96.10 95.53 97.10 97.48 97.94 96.68 98.94 93.25 
H-VILA(Text Line) 98.47 95.88 96.21 97.46 95.26 96.68 99.16 89.67 
H-VILA(Text Block) 98.01 96.45 96.14 97.38 96.31 96.33 99.08 91.67 
 
# Tokens in Class 395788 88531 90775 26742 7083 223739 7567934 22289 
 
contd. Copyright Correspondence Dates Editor Equation Figure Glossary Keywords 
BERTBASE 97.34 89.66 94.56 99.71 17.60 94.05 80.18 93.42 
BERTBASE + I-VILA(Text Line) 97.38 89.57 94.60 99.93 25.00 94.84 81.35 94.34 
BERTBASE + I-VILA(Text Block) 97.85 91.29 94.99 99.95 29.46 95.52 80.45 95.40 
 
LayoutLMBASE 97.63 89.99 94.80 99.90 30.78 95.52 83.83 94.95 
LayoutLMBASE + Sentence Breaks 97.62 90.07 94.73 99.95 20.73 95.83 84.99 93.88 
LayoutLMBASE + I-VILA(Text Line) 97.47 90.97 95.20 99.93 26.42 95.67 84.16 94.82 
LayoutLMBASE + I-VILA(Text Block) 97.66 91.04 95.13 100.00 39.28 95.74 87.00 96.23 
 
Simple Group Classifier 97.56 92.11 95.47 100.00 33.17 95.77 80.35 95.64 
H-VILA(Text Line) 97.78 89.96 94.98 99.91 15.60 95.63 84.01 93.69 
H-VILA(Text Block) 97.98 90.37 94.92 100.00 30.64 95.86 78.29 96.15 
 
# Tokens in Class 57419 26653 23702 2937 761 581554 2807 7012 
 
contd. Page Number References Table Title Type Unknown  Macro F1 
BERTBASE 98.32 99.60 94.11 97.60 87.62 88.60  90.78 
BERTBASE + I-VILA(Text Line) 98.82 99.60 94.53 97.77 93.70 88.14  91.65 
BERTBASE + I-VILA(Text Block) 98.92 99.64 94.31 98.19 93.09 88.81  92.31 
 
LayoutLMBASE 98.94 99.62 95.30 97.91 91.24 89.19  92.34 
LayoutLMBASE + Sentence Breaks 98.90 99.61 95.63 98.13 91.68 89.14  91.83 
LayoutLMBASE + I-VILA(Text Line) 99.05 99.63 95.61 97.80 94.59 89.86  92.37 
LayoutLMBASE + I-VILA(Text Block) 99.05 99.65 95.73 98.39 95.17 90.47  93.38 
 
Simple Group Classifier 99.02 99.61 93.94 98.18 94.91 89.60  92.65 
H-VILA(Text Line) 98.96 99.63 96.02 97.76 93.61 90.00  91.65 
H-VILA(Text Block) 99.16 99.68 95.00 98.36 95.07 89.23  92.37 
 
# Tokens in Class 46884 2340796 558103 22110 4543 54639  – 
AbstractAcknowledgmentAffiliationAuthorAuthor TitleBib InfoBody ContentConflict Statement
BERTBASE 97.42 95.83 96.12 96.91 96.09 95.00 98.80 88.66 
BERTBASE + I-VILA(Text Line) 97.65 95.89 96.61 97.17 96.48 95.78 98.93 88.28 
BERTBASE + I-VILA(Text Block) 97.67 96.46 96.80 97.23 97.73 96.29 98.99 91.88 
 
LayoutLMBASE 98.05 96.29 96.64 97.49 96.51 96.74 99.06 91.16 
LayoutLMBASE + Sentence Breaks 97.92 96.32 96.68 96.74 95.42 96.77 99.11 90.42 
LayoutLMBASE + I-VILA(Text Line) 97.99 96.41 96.72 97.29 95.98 96.66 99.11 90.75 
LayoutLMBASE + I-VILA(Text Block) 98.12 96.81 96.93 96.96 97.52 96.87 99.14 91.43 
 
Simple Group Classifier 96.10 95.53 97.10 97.48 97.94 96.68 98.94 93.25 
H-VILA(Text Line) 98.47 95.88 96.21 97.46 95.26 96.68 99.16 89.67 
H-VILA(Text Block) 98.01 96.45 96.14 97.38 96.31 96.33 99.08 91.67 
 
# Tokens in Class 395788 88531 90775 26742 7083 223739 7567934 22289 
 
contd. Copyright Correspondence Dates Editor Equation Figure Glossary Keywords 
BERTBASE 97.34 89.66 94.56 99.71 17.60 94.05 80.18 93.42 
BERTBASE + I-VILA(Text Line) 97.38 89.57 94.60 99.93 25.00 94.84 81.35 94.34 
BERTBASE + I-VILA(Text Block) 97.85 91.29 94.99 99.95 29.46 95.52 80.45 95.40 
 
LayoutLMBASE 97.63 89.99 94.80 99.90 30.78 95.52 83.83 94.95 
LayoutLMBASE + Sentence Breaks 97.62 90.07 94.73 99.95 20.73 95.83 84.99 93.88 
LayoutLMBASE + I-VILA(Text Line) 97.47 90.97 95.20 99.93 26.42 95.67 84.16 94.82 
LayoutLMBASE + I-VILA(Text Block) 97.66 91.04 95.13 100.00 39.28 95.74 87.00 96.23 
 
Simple Group Classifier 97.56 92.11 95.47 100.00 33.17 95.77 80.35 95.64 
H-VILA(Text Line) 97.78 89.96 94.98 99.91 15.60 95.63 84.01 93.69 
H-VILA(Text Block) 97.98 90.37 94.92 100.00 30.64 95.86 78.29 96.15 
 
# Tokens in Class 57419 26653 23702 2937 761 581554 2807 7012 
 
contd. Page Number References Table Title Type Unknown  Macro F1 
BERTBASE 98.32 99.60 94.11 97.60 87.62 88.60  90.78 
BERTBASE + I-VILA(Text Line) 98.82 99.60 94.53 97.77 93.70 88.14  91.65 
BERTBASE + I-VILA(Text Block) 98.92 99.64 94.31 98.19 93.09 88.81  92.31 
 
LayoutLMBASE 98.94 99.62 95.30 97.91 91.24 89.19  92.34 
LayoutLMBASE + Sentence Breaks 98.90 99.61 95.63 98.13 91.68 89.14  91.83 
LayoutLMBASE + I-VILA(Text Line) 99.05 99.63 95.61 97.80 94.59 89.86  92.37 
LayoutLMBASE + I-VILA(Text Block) 99.05 99.65 95.73 98.39 95.17 90.47  93.38 
 
Simple Group Classifier 99.02 99.61 93.94 98.18 94.91 89.60  92.65 
H-VILA(Text Line) 98.96 99.63 96.02 97.76 93.61 90.00  91.65 
H-VILA(Text Block) 99.16 99.68 95.00 98.36 95.07 89.23  92.37 
 
# Tokens in Class 46884 2340796 558103 22110 4543 54639  – 
Close Modal

or Create an Account

Close Modal
Close Modal