Orð og tunga - 01.06.2007, Blaðsíða 121

Erla Hallsteinsdóttir: íslenskur orðasjóður
111
að veita frjálsan aðgang að stöðluðum, sambærilegum málgögnum og
tölfræðilegum upplýsingum um þessi gögn (sbr. Quasthoff, Richter og
Biemann 2006).
Hugmyndin að íslenskum textagrunni kom fram í framhaldi af
samstarfi mínu við Uwe Quasthoff um rannsókn á tíðni þýskra orð-
taka1 í textagrunninum Deutscher Wortschatz. Tæknilega hliðin á ís-
lenskum orðasjóði var prófuð með einum árgangi af Morgunblaðinu (1
milljón orða) og næsta skref er að skipta um textasafn og ná tökum á
að tengja beygingarform íslensku orðanna við uppflettiorðið. Stefnt er
að því að nota til þess beygingarlýsingu fyrir íslensku sem unnin var
sem tungutækniverkefni við Orðabók Háskólans.
2.2 Textagrunnur: Vefsíðusafn Landsbókasafns íslands
Gerður hefur verið samningur við Landsbókasafn íslands - Háskóla-
bókasafn um að nota safn íslenskra vefsíðna (vefsíður sem enda á.is)
sem grunn í íslenskan orðasjóð. Textagrunnurinn verður byggður upp
á sama hátt og Deutscher Wortschatz í Leipzig.
Töluvert magn erlendra texta var í vefsíðusafninu. Það olli þó eng-
um vandræðum við úrvinnslu þess þar sem þróuð hefur verið mjög
virk aðferð til að finna og fjarlægja önnur tungumál og „rusl" eins og
leifar af forritunarmálum úr textagrunnum (sbr. Quasthoff og Biem-
ann 2006). Eftir að hafa notað þessa aðferð stendur eftir íslenskur
textagrunnur með u.þ.b. 400 milljónum orðmynda. Ótvíræður kost-
ur við vefsíðusafnið er að það inniheldur íslenskt nútímamál í víðum
skilningi, bæði texta frá opinberum aðilum og einkaaðilum, texta sem
fylgja reglum ritmáls og texta sem telja má vera talmál á rituðu formi.
2.3 Notendahópur og notkunargildi „íslensks orðasjóðs"
íslenskur orðasjóður hefur tvenns konar notkunarmöguleika:
'Rannsóknin var unnin sem hluti af rannsóknastöðuverkefni RANNÍS við Hug-
vísindadeild HÍ 2001-2004, einnig styrkt af Launasjóði fræðiritahöfunda 2005, vinnan
við íslenska textagrunninn er styrkt af DAAD. Mig langar að koma á framfæri þakk-
læti til þessara aðila fyrir fjárhagslegan stuðning.