Orð og tunga - 01.06.2007, Page 90

80
Orð og tunga
sem er til umráða og prófunarsafnið um 10%. Búið er til líkan með að-
stoð þjálfunarsafnsins og það síðan prófað á prófunarsafninu. Þar sem
prófunarsafnið er líka fullgreint má reikna út hversu nákvæm aðferð-
in er.
Prófaðar voru fjórar gagnaaðferðir og fimm forrit eða markarar
sem unnt er að þjálfa á íslenskum texta og eru fáanleg án greiðslu.
Prófaðir voru tveir tölfræðimarkarar, TnT sem byggist á Markovslík-
ani og MXPOST sem byggist á svo kölluðu hámarksóreiðulíkani (e.
Maximum Entropy Model). Prófaðir voru tveir markarar sem byggjast á
leiðréttingaaðferð, /i-TBL og fnTBL. Einnig var prófaður einn mark-
ari, MBT, sem byggist á minnistækni. Alla þessa markara má kalla á
íslensku gagnamarkara eða námfúsa markara. Markarinn //,-TBL hafði
áður verið prófaður á litlum úrdrætti úr textasafni Orðtíðnibókarinn-
ar og fékkst þá viðunandi niðurstaða (Sigrún Helgadóttir 2002). En
markarinn virtist ekki ráða við allt textasafn Orðtíðnibókarinnar. Hon-
um eru því ekki gerð frekari skil. Hér á eftir verður lauslega lýst þeim
fjórum aðferðum við mörkun sem voru notaðar í tilrauninni og þeim
mörkurum sem voru valdir til prófunar á íslenskum texta.
4.1 Falin Markovslíkön
í þessum flokki var valinn markarinn TRIGRAMS'N'TAGS (TnT) sem
Thorsten Brants samdi (Brants 2000a og 2000b). Aðferðinni verður lýst
með því að skýra í stórum dráttum hvernig TnT-kerfið starfar.
TnT notar annars stigs Markovslíkön fyrir mörkun. Ástönd (e.
states) standa fyrir mörk og færslulíkur eru háðar markapörum. Forrit-
ið metur færslulíkur og frálagslíkur út frá mörkuðu textasafni. Kerfið
notar sennileikalíkur (e. maximum likelihood probabilities) sem eru reikn-
aðar út frá hlutfallslegri tíðni. TnT notar Viterbi-algrím með geislaleit
(e. beam search) við mörkun til þess að flýta fyrir vinnslu.
TnT vinnur úr óþekktum orðum með því að greina endingar (við-
skeyti) eins og lagt er til í Samuelsson (1993) þar sem líkur á mörk-
um eru stilltar í samræmi við endingar orða. Lengsta ending sem TnT
notar er 10 stafa löng (10 er sjálfgildi í forritinu). Líkindadreifing fyrir
tiltekna endingu er búin til með því að skoða öll orð í þjálfunarsafni
sem hafa sameiginlega endingu af tiltekinni hámarkslengd. Forritið
vinnur aðeins úr endingum orða sem hafa tiltekna lágmarkstíðni og
var tíðnin 10 valin út frá reynslu. Forritið heldur einnig tvo lista yf-