Orð og tunga - 01.06.2002, Qupperneq 13

Eiríkur Rögnvaldsson o.fl.: Vélræn málfræðigreining með námfúsum markara
3
Þetta lesist: Breytið greiningarstreng A í greiningarstreng B ef undanfarandi orð hefur
greiningarstreng C. Setjum nú svo að annars staðar í textanum komi fyrir orðarunan
a bad taste, og taste fái einnig tvöfalda greiningu, sem sögn og nafnorð. Þá getur
markarinn ályktað sem svo að hér sé fundin regla um val milli sagnar og nafnorðs í
ákveðnu umhverfi, og búið til eftirfarandi reglu út frá sniðmátinu hér að framan:
(3) tag:VB>NN < - tag:JJ@[-l].
Þessi regla segir: Breytið greiningunni sögn í greininguna nafnorð ef orðið á undan er
lýsingarorð.
Ef markarinn er keyrður á sæmilega stórt þjálfunarsafn kemur hann sér upp tals-
verðum fjölda reglna af þessu tagi. Það er háð ýmsum brey tum hversu margar reglurnar
verða. Það fer m.a. eftir því hversu oft tiltekið samband kemur fyrir. Dugir að það komi
fyrir tvisvar í textanum, eins og í dæminu af a good buy og a bad taste hér að framan,
eða þarf það að koma oftar fyrir til að vera talið regla fremur en tilviljun - og þá hversu
oft? Reglufjöldinn fer einnig eftir fjölda og gerð sniðmáta. Hér að framan var aðeins
sýnt eitt sniðmát, þar sem reglan miðast við greiningu undanfarandi orðs; en einnig má
hugsa sér sniðmát á við þessi:
(4) tag:A>B <- tag:C@[-l] & tag:D@[l].
tag:A>B <- wd:C@[l] .
Fyrra sniðmátið segir: Breytið greiningarstreng/4 í B ef undanfarandi greiningarstrengur
er C og eftirfarandi greiningarstrengur er D. Seinna sniðmátið segir: Breytið A í B ef
orðið á eftir er C.
Það reglusafn sem til verður við þetta er síðan keyrt á sérstakt prófunarsafn (e.
test corpus) sem er texti með réttri greiningu allra orða. Þá er hægt að meta hversu
fullkomið reglusafnið er, út frá því hversu oft það skilar sömu greiningu og orðin hafa í
prófunarsafninu. Nauðsynlegt er að skoða hvaða villur markarinn gerir og reyna síðan
að endurbæta hann með því t.d. að fjölga og breyta sniðmátum. Stærð þjálfunarsafnsins
skiptir einnig miklu máli; eftir því sem það er stærra má búast við betri niðurstöðum.
Þegar búið er að koma upp eins fullkomnu reglusafni og hægt er þarf að skrifa tvö
forrit, áður en farið er út í að marka áður ómarkaða texta. í fyrsta lagi er það svonefndur
giskari (e. unknown word guesser). Hann er nauðsynlegur vegna þess að ekki er hægt
að gera ráð fyrir því að öll orð í textanum sem verið er að marka finnist í orðasafninu sem
unnið er með. Þessi giskari reynir þá að greina óþekkt orð út frá endingum, viðskeytum
og öðrum atriðum sem geta verið til leiðbeiningar um greiningu. f öðru lagi þarf að
skrifa markarann sjálfan. Hann flettir upp í orðasafninu, skrifar mögulegar greiningar
hverrar orðmyndar inn í textann, og velur réttu greininguna úr þeim hópi í samræmi við
reglusafnið.
3 Tilraunin
3.1 Hráefni og undirbúningur
í tilraun okkar notuðum við sérstaka útfærslu af markara Brills sem Torbjörn Lager
hefur skrifað og kallar fi-tbl (sjá Lager 1999). Við höfum unnið nokkuð með þennan