Tímarit um menntarannsóknir - 01.01.2005, Síða 76

76
Tímarit um menntarannsóknir, 2. árgangur 2005
í forprófunum þegar haldið er vel utan um
spurningar, athugasemdir og viðbrögð þeirra.
Styrkur þessa er að fleiri þátttakendur koma
að forprófunum en í öðrum aðferðum (Grisay,
2004; Hambleton, 2005). Þeir sem þekkja vel
til markhópsins geta einnig bent á hvernig best
er að haga orðalagi og málfari þannig að það
sé í samræmi við það sem gerist hjá markhópi
eða á fagsviðinu. Þeir bera einnig saman
frumútgáfu og staðfærða þýðingu. Mikilvægt
er að fá sérfræðinga sem ekki hafa áður komið
að þýðingu og staðfærslu mælitækisins því
hætt er við að þeim sem þegar hafa unnið að
því sjáist yfir veikleika hennar (Brachen og
Barona, 1992; Hambleton og Bollwark,1991;
Prieto, 1992).
Allajafna gefa sérfræðingar og fagfólk sem
starfar í tengslum við markhóp gagnlegastar
upplýsingar um hvort þýddar og staðfærðar
útgáfur atriða tengjast hugsmíð með sama
hætti og frumútgáfan gerir (Brachen og
Barona, 1992; Hambleton, 2005; Hambleton
og Bollwark,1991; Prieto, 1992). Þessir aðilar
fá það hlutverk að meta hvert atriði með
tilliti til þess hve vel það hentar, hvaða flöt
hugsmíðar það muni tengjast. Gagnlegt er fyrir
þessa aðila að hafa upplýsingar um hlutverk
atriðanna, t.d. hvaða undirkvarða atriðið
tengist. Mikilvægt er að fá ábendingar um
atriði sem sérfræðingum og fagfólki sýnist
að muni lítt tengjast hugsmíð. Þó fram komi
ábendingar af þessu tagi er ekki ljóst hvort
menningarbundinn munur er á tengslum atriðis
og hugsmíðar eða hvort óþekktar ástæður
liggja að baki slíkum tengslum (Hambleton
og Bollwark, 1991; Prieto, 1992). Því er
æskilegt að forprófa þýðingu atriðisins auk
annarrar hugsanlegrar staðfærslu á því og velja
á milli ólíkra leiða við að staðfæra atriðið eftir
niðurstöðum forprófana. Markhópur getur í
mörgum tilvikum einnig gefið mikilvægar
upplýsingar um tengsl atriða við hugsmíð.
Þegar rýnihópar eru notaðir má til að mynda
spyrja um hvaða merkingu ákveðið orðalag
hafi eða spyrja um skoðun, hegðun eða atburð
sem hugsanlegt væri að nota sem efnivið í
atriði.
Mikilvægt er að fá gagnrýni íslenskufræðinga
á málfar staðfærðrar þýðingar. Algengt er að
aðrir sérfræðingar bendi á málvillur en hlutverk
íslenskufræðings er að benda á málfarsatriði,
setningaskipan eða stílbrigði sem færa má til
betri vegar, þó ekki sé beinlínis rangt með
farið, til að textinn renni vel á lipurri íslensku.
Upplýsingar um próffræðilega eiginleika
atriða, t.d. þyngd, aðgreiningarhæfni, dreifi-
tölur og samdreifingarliði eða tengsl við
önnur atriði og ytri breytur, fást einungis með
forprófunum. Mikilvægt er að úrtak sem stuðst
er við í forprófunum komi úr væntanlegum
markhópi (Crocker og Algina, 1986). Stærð
úrtaks skiptir miklu um niðurstöður forprófana
og er ávallt betra að þátttakendur séu fleiri en
færri. Þyngd er einn stöðugasti eiginleiki atriða
og fáeinir tugir þátttakenda gefa upplýsingar
um þyngd atriða. Þegar úrtak nær u.þ.b. 100
þátttakendum er unnt að huga að niðurstöðum
um tengsl atriða við mælitækið, innbyrðis
þyngdarröð eða tengslum við aðrar breytur.
Nokkur hundruð þátttakendur þarf hins vegar
til að kanna þáttabyggingu eða skoða þyngd
eða fylgni eftir undirhópum, og um 500 til
800 þarf til að kanna einkenni svarferlalíkana.
Almennt yfirlit um algengustu aðferðir við
atriðagreiningu má m.a. finna hjá Crocker og
Algina (1986).
Þyngd prófatriða eða hlutfall svara á
svarmöguleika gefur mikilvægar upplýsingar
um próffræðilega eiginleika staðfærðrar
þýðingar í heild (Crocker og Algina, 1986).
Gagnlegt er að nota aðferðir tengdar atriða-
bundnum hópamun (differential item func-
tioning) til að bera þyngd þýddra atriða saman
við þyngd í frumútgáfu og einnig athuga
hvort meðaltöl skilgreindra hópa fylgi sama
mynstri og í frumútgáfu (t.d. eftir aldri eða
kyni, van de Vijver og Hambleton, 1996).
Atriðabundinn hópamunur felst í að atriði hafi
ólíka próffræðilega eiginleika í skilgreindum
hópum og að breytileikinn sé óháður getumun
(Thissen, Steinberg og Gerrard, 1986). Algeng-
ustu aðferðir á þessu sviði, Mantel-Haenszel kí-
kvaðrat og SIBTEST, henta illa í þýðingar-og
staðfærsluverkefnum því úrtök í forprófunum
Þýðing og staðfærsla á spurningalistum og prófum