Orð og tunga - 01.06.2007, Qupperneq 92

82
Orð og tunga
sérkennaþáttum sjaldgæfra orða. Litið er á sérkennaþætti, sem koma
fyrir sjaldnar en 10 sinnum í þjálfunarsafni, sem óáreiðanlega. Mark-
arinn notar geislaleit til þess að finna líklegustu runu marka og sú röð
sem hefur hæst líkindi er valin. MXPOST-forritið gefur ekki kost á því
að nota viðbótarorðasafn. Forritinu er beitt á nýtt mál eða svið á líkan
hátt og lýst var fyrir TnT-forritið.
4.3 Leiðréttingaaðferð
Brill (1994 og 1995) hefur lýst leiðréttingaaðferðinni og hvernig má
beita henni við mörkun texta. Með þessari aðferð er málfræðileg þekk-
ing skráð í nokkrum einföldum reglum. Fyrst er hverju orði í þjálfun-
arsafninu gefinn sá greiningarstrengur sem er líklegastur miðað við
þjálfunarsafnið sjálft. Þessi mörk eru síðan borin saman við rétt mörk.
Forritið lærir leiðréttingareglur sem er beitt til þess að komast nær
hinni réttu greiningu. Forritið lærir reglurnar út frá sniðmátum sem
lýsa aðgerð (breyta greiningarstreng A í greiningarstreng B) á grund-
velli tiltekins umhverfis (orð og mörk í samhengi), þ.e. hvaða orð og
mörk eru næst á undan og eftir því marki sem verið er að skoða. Upp-
haflega gerði Brill ráð fyrir því að aðeins væru skoðuð mörk í næsta
nágrenni við markið sem var skoðað. Síðar bætti hann við sniðmátum
þar sem gert var ráð fyrir að orð væru skoðuð líka. Forritið sem lærir
leiðréttingareglurnar beitir öllum leiðréttingum, telur hversu margar
villur hver leiðrétting lagar og velur þá leiðréttingu sem lagar flest-
ar villur. Ákveðið er fyrir fram hver er minnsti fjöldi leiðréttinga sem
regla þarf að hafa í för með sér til þess að vera valin. Þegar engar leið-
réttingar finnast sem fækka villum um þann fjölda hættir forritið að
læra reglur. Á þennan hátt verður til raðað mengi af leiðréttingaregl-
um, hver regla endurspeglar tiltekið sniðmát.
I fyrstu tilraunum sínum gerði Brill (1994) ráð fyrir því að engin
óþekkt orð væru í þeim texta sem átti að marka. Síðar þróaði Brill að-
ferð til þess að greina óþekkt orð. Aðferðin byggist líka á því að láta
forrit læra leiðréttingareglur. Óþekktum orðum eru gefin mörk. Brill
gefur óþekktum orðum sem hefjast á lágstaf mark sem venjuleg nafn-
orð og óþekktum orðum sem hefjast á upphafsstaf mark sem sérnöfn.
Síðan eru skilgreind sniðmát. Sniðmát Brills fela í sér að skoðaðir eru
fyrstu og síðustu fjórir stafir í orði. Athugað er hvort orðið hafi for-
skeyti eða viðskeyti sem er eins til fjögurra stafa langt, hvort unnt sé