Orð og tunga - 01.06.2007, Síða 104

94 Orð og tunga
2. Nýr markari er þjálfaður á grundvelli niðurstaðna úr tveimur
eða fleiri mörkurum
3. Notaðar eru málfræðireglur
í þessu verkefni voru prófaðar tvær af þessum aðferðum, þ.e. að kjósa
á milli markara og að nota málfræðireglur.
í Halteren o.fl. (2001) er yfirlit yfir aðferðir við að sameina niður-
stöður tveggja eða fleiri markara. Markmiðið er að ná meiri nákvæmni
en fæst með þeim einstökum markara sem gefur bestar niðurstöður.
í greininni er gerð grein fyrir tveimur mismunandi aðferðum við að
sameina niðurstöður. í fyrsta lagi er greint frá nokkrum aðferðum við
að kjósa á milli markara. í öðru lagi er greint frá leiðum til þess að
þjálfa nýjan markara á grundvelli niðurstaðna markaranna og rétts
marks. í þessari rannsókn voru aðeins prófaðar aðferðir við að kjósa á
milli markara.
I því verki sem hér er lýst var gerð tilraun með fjögur afbrigði af
kosningaaðferðinni. Einfaldasta aðferðin byggist á því að velja það
mark sem flestir velja. Ef ekki er unnt að velja þannig er notuð slembi-
tala til þess að velja á milli marka. Annað afbrigðið byggist á því að
vega með fyrir fram þekktri heildarnákvæmni hvers markara. í þriðja
afbrigðinu er vegið með nákvæmni fyrir hvert mark. Einnig má vega
með nákvæmni og griphlutfalli hvers marks. Vegið er með nákvæmni
sem segir til um hvernig markarinn stendur sig og (1-griphlutfalli) sem
segir til um hve oft markaranum mistekst að finna rétta markið. Hvert
mark fær nákvæmni (precision) þess markara sem leggur markið til og
(1-griphlutfall) marksins hjá þeim mörkurum sem leggja það ekki til.
Hæsta nákvæmni fékkst með því að nota heildarnákvæmni sem
vog. Er það sama niðurstaða og fékkst í Halteren o.fl. (2001) fyrir hol-
lenskan texta. I töflu 10 eru sýndar niðurstöður kosningar. Þar sést að
með því að kjósa milli markara og vega með heildarnákvæmni mark-
aranna fæst 91,54% nákvæmni. Það er marktækt hærri niðurstaða en
fæst með því að nota TnT-markarann eingöngu (p<0,001). Notaðir eru
þrír markarar í íslensku tilrauninni. Allar aðferðir þar sem kosningu
er beitt felast því í eftirfarandi: Valið er það mark sem tveir eða fleiri
eru sammála um. Ef allir eru ósammála er beitt mismunandi aðferðum
við að velja markið. Þegar beitt er meirihlutakosningu er mark valið
af handahófi. Þegar vegið er með heildamákvæmni (accuracy) mark-
arans er valið mark þess markara sem hefur hæsta heildarnákvæmni,