Orð og tunga - 01.06.2007, Qupperneq 93

Sigrún Helgadóttir: Mörkun íslensks texta
83
að taka í burtu eða bæta við eins til fjögurra stafa forskeyti eða við-
skeyti og fá út nýtt orð, hvort orðið hafi tiltekinn staf eða hvort tiltekið
orð sé til vinstri eða hægri við orðið. Á grundvelli þessara sniðmáta
lærir forritið reglur til þess að beita. í Eiríkur Rögnvaldsson, Auður
Þórunn Rögnvaldsdóttir, Kristín Bjamadóttir og Sigrún Helgadóttir
(2002) er góð lýsing á aðferðinni.
Nokkur forrit bjóðast sem nota aðferðir Brills. Valið var að nota
forritið fnTBL (Fast Transformation-Based Learning Toolkit) eftir Florian
og Ngai (2002). Forritinu er beitt á nýtt mál eða svið á líkan hátt og
lýst var fyrir TnT-forritið.
4.4 Minnistækni
Námfús markari sem byggist á minnisaðferð lærir af mengi dæma
sem eru geymd í gagnasafni þar sem hvert dæmi hefur verið flokk-
að á tiltekinn hátt og markað í samræmi við það. Dæmin eru tekin
úr dæmasafni sem hefur verið handmarkað. Þegar flokka á ný dæmi
leitar kerfið í gagnasafninu að dæmi eða mengi dæma sem líkjast sem
mest nýja dæminu. Þetta má orða þannig að leitað sé að „næsta ná-
granna" nýja dæmisins. Aðferðin er dregin af tækni sem kennd er við
„k næstu nágranna" og aðeins k næstu nágrannar eru skoðaðir. Oft er
k látið vera 1 en í tilraunum með minnisaðferð er það eitt af markmið-
unum að finna besta gildi fyrir k.
Til þess að prófa þessa aðferð var valinn MBT-markarinn (Dael-
emans o.fl. 2003) sem notar Tilburg Memory-Based Learner (TiMBL,
Daelemans o.fl. 2004). MBT-markarinn býr til aðskilin gagnasöfn fyr-
ir þekkt orð og óþekkt orð. T/MBL-kerfið notar svokallað IGTREE-
algrím fyrir þekkt orð og IBl-algrím fyrir óþekkt orð. Forritinu er beitt
á nýtt mál eða svið á líkan hátt og lýst var fyrir TnT-forritið.
5 Mörkun íslensks texta
í þessum kafla verður gerð grein fyrir tilraunum við að marka texta
Orðtíðnibókarinnar. Skipulagi skráa við tilraunina verður einnig lýst
og jafnframt hvernig niðurstöður verða metnar.