Skip to Main Content
Table 3 

Results on Geo: Logical form accuracy (LF) and answer accuracy (Answer) of the various systems. The first group of systems are evaluated using 10-fold cross-validation on all 880 examples; the second are evaluated on the 680 + 200 split of Zettlemoyer and Collins (2005). Our system (LJK11) with base triggers obtains comparable accuracy to past work, whereas with augmented triggers, our system obtains the highest overall accuracy.

System

LF (%)
Answer (%)
Cocktail (Tang and Mooney 2001) 79.4 – 
Precise (Popescu, Etzioni, and Kautz 2003) 77.5 77.5 
Scissor (Ge and Mooney 2005) 72.3 – 
Silt (Kate, Wong, and Mooney 2005) 54.1 – 
Krisp (Kate and Mooney 2006) 71.7 – 
Wasp (Wong and Mooney 2006) 74.8 – 
λ-Wasp (Wong and Mooney 2007) 86.6 – 
LNLZ08 (Lu et al. 2008) 81.8 – 
ZC05 (Zettlemoyer and Collins 2005) 79.3 – 
ZC07 (Zettlemoyer and Collins 2007) 86.1 – 
KZGS10 (Kwiatkowski et al. 2010) 88.2 88.9 
KZGS11 (Kwiatkowski et al. 2010) 88.6 – 
LJK11 w/base triggers (Liang, Jordan, and Klein 2011) – 87.9 
LJK11 w/augmented triggers (Liang, Jordan, and Klein 2011) – 91.4 
System

LF (%)
Answer (%)
Cocktail (Tang and Mooney 2001) 79.4 – 
Precise (Popescu, Etzioni, and Kautz 2003) 77.5 77.5 
Scissor (Ge and Mooney 2005) 72.3 – 
Silt (Kate, Wong, and Mooney 2005) 54.1 – 
Krisp (Kate and Mooney 2006) 71.7 – 
Wasp (Wong and Mooney 2006) 74.8 – 
λ-Wasp (Wong and Mooney 2007) 86.6 – 
LNLZ08 (Lu et al. 2008) 81.8 – 
ZC05 (Zettlemoyer and Collins 2005) 79.3 – 
ZC07 (Zettlemoyer and Collins 2007) 86.1 – 
KZGS10 (Kwiatkowski et al. 2010) 88.2 88.9 
KZGS11 (Kwiatkowski et al. 2010) 88.6 – 
LJK11 w/base triggers (Liang, Jordan, and Klein 2011) – 87.9 
LJK11 w/augmented triggers (Liang, Jordan, and Klein 2011) – 91.4 
Close Modal

or Create an Account

Close Modal
Close Modal