Orð og tunga - 01.06.2007, Side 94

84
Orð og tunga
5.1 Skrár
Til þess að prófa mismunandi aðferðir við mörkun er oft notuð aðferð
sem byggist á því að hafa til umráða tíu pör af þjálfunar- og prófunar-
söfnum. I hverri tölvuskrá Orðtíðnibókarinnar er textabútur úr einni
heimild. Pörin voru búin til þannig að hverri skrá var skipt upp í tíu
nokkurn veginn jafna hluta. Hver þessara tíu hluta myndar eitt próf-
unarsafn og samstætt þjálfunarsafn hefur að geyma hina hlutana níu
í hvert sinn. Stærri skráin er notuð sem þjálfunarsafn og sú minni sem
prófunarsafn. Prófunarsöfnin skarast því ekki en þjálfunarsöfnin hafa
um 80% sameiginlega texta. Allir markarar voru prófaðir á öllum 10
pörum og fundin meðalnákvæmni (þessi aðferð er kölluð á ensku ten-
fold cross-validation).
5.2 Mælikvarðar fyrir nákvæmni
Til þess að finna hversu nákvæmlega markari úthlutar mörkum eru
mörk hans borin saman við „rétt mörk" sem hafa verið yfirfarin hand-
virkt. Þessi réttu mörk eru oft kölluð á ensku „gold standard". Mjög
erfitt er að ná 100% réttri mörkun þar sem ýmis álitamál koma upp.
Tveir einstaklingar mörkuðu textasafn Orðtíðnibókarinnar og hafa
þeir efalaust borið sig saman. Nákvæmnin hefur ekki verið rannsökuð
sérstaklega.
Til þess að geta metið árangur tiltekins markara þarf að hafa við-
miðun um lægstu nákvæmni, gninnmörknn (e. baseline tagging), sem
unnt er að ná án þess að nota markarann. Grunnmörkun er gerð með
tilteknu orðasafni sem hefur upplýsingar um orðmyndir og mörk
þeirra og með því að nota tiltekna aðferð við mörkun óþekktra orða.
Hér er notuð ein af fjórum skilgreiningum á grunnmörkun sem kemur
fram í Megyesi (2002:55). Búið er til orðasafn úr hverju þjálfunarsafni
og þeim orðmyndum í viðkomandi prófunarsafni sem koma líka fyrir
í þjálfunarsafninu gefið algengasta mark þeirrar orðmyndar. Óþekkt
orð rituð með litlum staf fá algengustu greiningu nafnorða (nken) og
óþekkt orð rituð með upphafsstaf fá algengustu greiningu sérnafna
(nken-m). Þessi mörk eru síðan borin saman við rétt mörk. Meðalná-
kvæmni slíkrar mörkunar fyrir öll prófunarsöfnin reyndist 76,63%.
Markari sem nær ekki þessari nákvæmni bætir því engu við það sem
fæst með grunnmörkun eingöngu.