Orð og tunga - 01.06.2007, Side 91

Orð og tunga - 01.06.2007, Side 91
Sigrún Helgadóttir: Mörkun íslensks texta 81 ir endingar, einn fyrir orð sem hefjast á lágstaf og einn fyrir orð sem hefjast á hástaf. TnT er beitt á nýtt mál eða nýtt svið í tveimur þrepum: 1. Líkan er búið til 2. Texti er markaður Líkanið er búið til út frá þjálfunarsafninu. Tvær skrár verða til í því skrefi: skrá með tíðni orða og marka sem þau geta fengið og skrá með tíðni tveggja eða þriggja marka sem standa saman. Þessar skrár eru síðan notaðar þegar forritið markar nýjan texta. Forritið gefur einnig kost á að nota viðbótarorðasafn. Finnist orð ekki í orðasafninu, sem var búið til þegar líkanið var gert, er leitað að því í viðbótarorðasafn- inu. 4.2 Hámarksóreiðuaðferð í þessum flokki var valinn markarinn MXPOST (Ratnaparkhi 1996). í Ratnaparkhi (1997) er inngangur að því hvernig hámarksóreiðulíkön (e. Maximum Entropy Models) eru notuð við málgreiningu. Ratnapark- hi segir þar að mörg málgreiningarverkefni megi endurskilgreina sem tölfræðileg flokkunarverkefni. Verkefnið felst í því að meta líkur á að flokkur a komi fyrir í „samhenginu" b, eða p(a,b). I málgreiningarverk- efnum eru orð venjulega hluti af „samhenginu". I sumum verkefnum er „samhengið" aðeins eitt orð en í öðrum getur b verið nokkur orð og greiningarstrengir þeirra. í stórum textasöfnum fæst nokkur vitneskja um hvenær a og b koma fyrir saman. En ekkert textasafn hefur nægi- legar upplýsingar til þess gefa upplýsingar um p(a,b) fyrir öll hugsan- leg pör (a,b) þar sem orðin í b eru sjaldgæf. Vandamálið snýst um að meta á öruggan hátt líkindalíkanið p(a,b) með því að nota ófullkomnar upplýsingar um a-in og b-in. Þjálfunarsafninu er lýst sem miklum fjölda af sérkennaþáttum (e. features). Þessir sérkennaþættir eru tvígild föll af „sögum" (e. histor- ies) (samhengi orða og greiningarstrengja) og greiningarstrengjum. í útgáfu Ratnaparkhis eru sérkennaþættir orðið sem verið er að fjalla um, næstu tvö orð á undan, næstu tvö orð á eftir og greiningarstreng- ur (mark) næstu tveggja orða á undan. Sérkennaþættir sjaldgæfra og óþekktra orða (koma ekki fyrir í þjálfunarsafni) hafa einnig fyrstu og síðustu fjóra stafi orðs og upplýsingar um hvort orðið hafi hástaf, bandstrik eða tölustaf. Sérkennaþættir óþekktra orða eru búnir til úr
Side 1
Side 2
Side 3
Side 4
Side 5
Side 6
Side 7
Side 8
Side 9
Side 10
Side 11
Side 12
Side 13
Side 14
Side 15
Side 16
Side 17
Side 18
Side 19
Side 20
Side 21
Side 22
Side 23
Side 24
Side 25
Side 26
Side 27
Side 28
Side 29
Side 30
Side 31
Side 32
Side 33
Side 34
Side 35
Side 36
Side 37
Side 38
Side 39
Side 40
Side 41
Side 42
Side 43
Side 44
Side 45
Side 46
Side 47
Side 48
Side 49
Side 50
Side 51
Side 52
Side 53
Side 54
Side 55
Side 56
Side 57
Side 58
Side 59
Side 60
Side 61
Side 62
Side 63
Side 64
Side 65
Side 66
Side 67
Side 68
Side 69
Side 70
Side 71
Side 72
Side 73
Side 74
Side 75
Side 76
Side 77
Side 78
Side 79
Side 80
Side 81
Side 82
Side 83
Side 84
Side 85
Side 86
Side 87
Side 88
Side 89
Side 90
Side 91
Side 92
Side 93
Side 94
Side 95
Side 96
Side 97
Side 98
Side 99
Side 100
Side 101
Side 102
Side 103
Side 104
Side 105
Side 106
Side 107
Side 108
Side 109
Side 110
Side 111
Side 112
Side 113
Side 114
Side 115
Side 116
Side 117
Side 118
Side 119
Side 120
Side 121
Side 122
Side 123
Side 124
Side 125
Side 126
Side 127
Side 128
Side 129
Side 130
Side 131
Side 132
Side 133
Side 134
Side 135
Side 136
Side 137
Side 138
Side 139
Side 140
Side 141
Side 142
Side 143
Side 144
Side 145
Side 146
Side 147
Side 148
Side 149
Side 150
Side 151
Side 152
Side 153
Side 154
Side 155
Side 156
Side 157
Side 158
Side 159
Side 160
Side 161
Side 162
Side 163
Side 164
Side 165
Side 166
Side 167
Side 168
Side 169
Side 170
Side 171
Side 172
Side 173
Side 174
Side 175
Side 176
Side 177
Side 178
Side 179
Side 180
Side 181
Side 182
Side 183
Side 184

x

Orð og tunga

Direkte link

Hvis du vil linke til denne avis/magasin, skal du bruge disse links:

Link til denne avis/magasin: Orð og tunga
https://timarit.is/publication/1210

Link til dette eksemplar:

Link til denne side:

Link til denne artikel:

Venligst ikke link direkte til billeder eller PDfs på Timarit.is, da sådanne webadresser kan ændres uden advarsel. Brug venligst de angivne webadresser for at linke til sitet.