Orð og tunga - 01.06.2002, Qupperneq 12

2
Orð og tunga
formation based learning. Hér er ekki ástæða til að lýsa þessum aðferðum sérstaklega;
sjá t.d. Eirík Rögnvaldsson (2001:85—89), Jurafsky og Martin (2000:300-312).
I tilraun okkar var notaður markari af síðastnefndu gerðinni, og í þessari grein
er fyrst gefin lýsing á verkan markara af þeirri tegund. Síðan er tilraun okkar lýst í
smáatriðum, og gerð grein fyrir helstu atriðum sem markarinn réð ekki við. í lokakafla
er bent á nokkur atriði sem gætu leitt til betri árangurs markarans við greiningu íslenskra
texta.
2 Markari Brills
Ein þekktasta útfærslan á málfræðimörkurum er kennd við Eric Brill sem nú er sérfræð-
ingur hjá Microsoft, og yfirleitt nefnd Brill's tagger, Brill type tagger eða eitthvað í þá
átt (sjá Brill 1995). Slíkur markari byggist á aðferð sem nefnist transformation based
learning, eins og nefnt var í inngangi. Forsenda fyrir notkun markara af þessari tegund
er sú að til sé sérstakt þjálfunarsafn (e. training corpus). Það er texti sem hefur verið
greindur handvirkt eftir sama kerfi og vélræna greiningin á að nota. Slíkt safn nýtist við
leit að þeim mynstrum í textanum sem hægt er að setja fram í regluformi, og eftir því
sem það er stærra má búast við betri niðurstöðum.
Markarinn er nú keyrður á þjálfunarsafn þar sem hvert orð hefur tvo (eða hugsan-
lega fleiri) greiningarstrengi. Hjá einræðum orðmyndum eru báðir (eða allir) strengimir
samhljóða; en ef orðmynd er fleirræð fær hún fleiri greiningarstrengi. Verkefni mark-
arans er svo að finna aðferðir til að velja rétta strenginn. Eftirfarandi dæmi er tekið úr
The Wall Street Joumal Corpus:
(1) wd(7 7 9 9, a) .
tagt'DT' , 'DT' ,7799) .
wd(7800,good).
tag('JJ','JJ',7800).
wd(7801,buy).
tag('VB','NN',7801).
Hér táknar wd orð og tag greininguna; 7799, 7800 og 7801 em svo bara hlaupandi
númer orðanna í textanum. Af þessu má ráða að a er einrætt orð og getur aðeins verið
greinir (D7); good er einnig einrætt og getur aðeins verið lýsingarorð (77); en buy getur
aftur á móti hvort heldur er verið sögn (VB) eða nafnorð (NN). Hér hefur greiningin
verið yfirfarin handvirkt og séð til þess að ranga greiningin kemur ævinlega á undan
þeirri réttu.
Markarinn les nú skrána og stansar við orð sem fá tvo mismunandi greiningarstrengi,
eins og buy hér að framan. Þar fær hann þær upplýsingar að rétt greining orðmyndarinnar
sé nafnorð, en í einangrun gæti hún eins verið sögn. Þá leitar hann að einhverju í
umhverfinu sem gefur honum vísbendingar um að hér sé um nafnorð að ræða, en
ekki sögn. I þeirri leit hefur hann hliðsjón af nokkrum sniðmátum (e. templates), sem
leiðbeina um það hvað í umhverfinu gæti skipt máli. Eitt slíkt sniðmát gæti verið:
(2) tag:A>B <- tag:C@[-l].