Olen suur stat24.ee fänn. See on veebileht, mis huvitavate andmete visualiseerimisega püüab leida seoseid. Hiljutine analüüs: “Kuidas valikvastustega testides skoorida” hakkas huvitama mindki sedavõrd, et otsustasin üle proovida.
Võtsin aluseks testid, mida kasutan Lean Akadeemia läbiviimisel õpetatud teemade kontrollimiseks. Neid on kokku 8 testi, igaühes 10 küsimust ning igal küsimusel on 4 valikvastust. Seega kokku kursuse peale 80 küsimust 320 valikvastusega.
Stat24.ee tõi välja 5 strateegiat, kuidas juhuslikult valitud vastusevariant õigeks osutuks. Need on:
- Vali keskelt – ehk tavaliselt on esimene ja viimane valikvastus vale
- Ignoreeri suurimat ja vähimat väärtust – testi koostaja üritab numbrilist vastust sedasi peita
- Märgatavalt pikim vastus on tavaliselt vale
- “Alati” ja “kunagi” on valed – kui valikvastus sisaldab ühte neist sõnadest, siis suure tõenäosusega on vastus väär
- Valik “mitte ükski” on väär – kui valikvastus sisaldab antud väljendit, siis suure tõenäosusega on vastus väär
Kontrollin antud strateegiatest vaid esimest kolme, kuna 4. ja 5. puhul testides antud parameetrid puuduvad.
Strateegia “Vali keskelt”
Kuigi antud strateegia sobitus ideaalselt vaid kahe testi puhul kaheksast, joonistub statistiliselt kõikide õigete vastuste summeerimisel ikkagi välja see, et B- ning C-variandid on suurema tõenäosusega õiged. Üheskoos moodustavad nad 61% õigetest vastustest.
Valim ei ole küll suur, kuid tundub, et see strateegia tõesti toimib.
Strateegia “Ignoreeri suurimat ja vähimat väärtust”
Antud strateegia osutus minu testide puhul kõige efektiivsemaks: moodustades 93% tõenäosuse, et vastus on õige, kui mitte valida kõige suuremat või väiksemat väärtust.
Tundub, et olen samuti langenud siin testi koostaja “lõksu”, kus püüan vastusevarianti peita vastaja eest.
Strateegia “Märgatavalt pikim vastus on tavaliselt vale”
See strateegia ei osutunud kuigi veenvaks, kuna vastuste suhe oli vaid 45%/55%. Sama toodi välja ka stat24.ee lehel ning kitsendati analüüsi “selgelt teistest pikemate vastuste osas”, mida siinkohal ei tehtud.
Kokkuvõtteks
Lasin teemat mittetundval inimesel teste lahendada vastavalt eeltoodud strateegiatele. Õigete vastuste osakaal oli 52%. Tundub hea tulemus, sest täringuga veeretades vastusevariante valides (mis peaks siis iseloomustama täiesti huupi vastamist) sain tulemuseks hoopis 18% õigeid vastuseid.
Tuleb tunnistada, et need strateegiad toimivad üllatavalt hästi ning madala hindamislävega testide puhul on võimalik isegi edu saavutada (kui piiri peal või keskpärast tulemust saab üldse eduks nimetada).
Statistika on üks põnev asi, tasub katsetada ja analüüsida. Antud teema kontekstis soovitan siiski testide vastuste statistilis-tehnilise vastamise asemel teema endale selgeks teha.
Kõigile Lean Akadeemias hetkel ja tulevikus osalejatele: on statistiliselt üsna tõenäoline, et muudan testide vastuste asetust selliselt, et antud strateegiad seal ei toimi! 🙂
Ja lõpuks ka tänud stat24.ee´le, mida oli põnev refereerida.
