Sestavování testových variant CCE

Na každý zkušební termín připravujeme jedinečnou testovou variantu. Testové varianty sestavujeme z úloh, které prošly pretestací a splnily předem stanovené parametry kvality z hlediska obsahu i psychometrických vlastností. Každá z úloh prochází expertním posouzením a odhadem tzv. dílčí hranice úspěšnosti.


Z těchto úloh poté sestavujeme testové varianty tak, aby se „hrubá" hranice odhadované obtížnosti co nejvíce blížila stanovené hranici úspěšnosti každého subtestu, tedy 60 %. V případě, že se takto sestavený subtest, respektive jeho mezní hranice úspěšnosti, liší od stanovených 60 % o jeden bod a více, je výsledný skór všech testovaných kandidátů podroben tzv. lineární transformaci, tedy převedení na modelovou (referenční) škálu.


Naším cílem je připravovat takové testové varianty, o nichž můžeme říci, že jsou srovnatelnými (ekvivalentními) nástroji, které ověřují stejný obsah a konstrukt stejným způsobem, a dále také, že výsledky (dosažené skóry) z různých variant lze přímo porovnávat.


Vzhledem k některým omezujícím podmínkám (relativně nízký počet kandidátů, omezené možnosti pretestací, z toho plynoucí nemožnost standardního využívání postupů IRT a pevně daný hraniční skór odpovídající 60 % z bodového maxima) řešíme otázku ekvivalence testových variant následujícími kroky.


Před zkouškou

Vývoj úloh

  1. Každá varianta subtestu je připravována autorským týmem podle předem stanovených specifikací.

  2. Každá položka a každý text procházejí několika fázemi moderací a posouzením týmem vyškolených externích i interních spolupracovníků.

  3. Všechny úlohy se pretestují (ověřuje se jejich konstrukční kvalita a psychometrické vlastnosti) na dostupném vzorku, pretesty se statisticky vyhodnocují a úlohy se v případě potřeby upravují.

  4. Všechny úlohy procházejí tzv. standard settingem, tj. expertním posuzováním s cílem stanovit minimální hranici pro úspěšné složení zkoušky. Úkolem posuzovatelů je určit skór, který by v dané úloze získal tzv. minimálně kompetentní kandidát (MKK) dané úrovně. Koncept MKK byl definován pro všechny úrovně v rámci dílčího projektu monitoringu kvality.


  5. Každá úloha je poté vložena do banky úloh. Jsou u ní známy výsledky z pretestů, stanovený hraniční skór pro MKK a také další popisné charakteristiky (téma, žánr, ověřované specifické cíle apod.).


Sestavování variant testu

  1. Při sestavování variant si plně uvědomujeme, že při výše zmíněných omezeních není dosažení absolutně ekvivalentních variant možné bez dalších opatření. Sestavování testových variant se proto děje pomocí tzv. modelování. Modelování je interní termín, kterým zjednodušeně popisujeme proces, kdy se varianty sestavují (kombinují) tak, aby se součet dílčích hraničních skórů úloh (stanovený expertním posuzováním) co nejvíce blížil hodnotě 60 %.


  2. Pokud není možné modelováním sestavit variantu tak, aby se hraniční skór neodchyloval od 60 %, pak je předem stanoven interval na skórové škále, o kolik budou muset být výsledné hrubé skóry kandidátů transformovány, tj. („posunuty" nahoru nebo dolů) tak, aby byla tato odlišnost vyrovnána.



Poslední změna: 24. květen 2022 20:59 
Sdílet na:  
Zeptejte se nás
Kontakty

Obecný kontakt:
ujop@ujop.cuni.cz
+420 224 990 411

Dotazy ke studiu v kurzech:
studujop@ujop.cuni.cz
+420 224 990 420
+420 778 754 481

Dotazy ke zkouškám:
vtc@ujop.cuni.cz
+420 224 990 451


IČO: 00216208, DIČ: CZ00216208

Identifikátor datové schránky: piyj9b4


Sledujte nás


Jak k nám


Ústav jazykové a odborné přípravy

Univerzity Karlovy

Vratislavova 29/10

128 00 Praha 2

Česká republika