Sestavování testových variant CCE ****************************************************************************************** * ****************************************************************************************** Na každý zkušební termín připravujeme jedinečnou testovou variantu. Testové varianty sesta které prošly pretestací a splnily předem stanovené parametry kvality z hlediska obsahu i p vlastností. Každá z úloh prochází expertním posouzením a odhadem tzv. dílčí hranice úspěšn Z těchto úloh poté sestavujeme testové varianty tak, aby se „hrubá" hranice odhadované obt nejvíce blížila stanovené hranici úspěšnosti každého subtestu, tedy 60 %. V případě, že se subtest, respektive jeho mezní hranice úspěšnosti, liší od stanovených 60 % o jeden bod a výsledný skór všech testovaných kandidátů podroben tzv. lineární transformaci, tedy převed (referenční) škálu. Naším cílem je připravovat takové testové varianty, o nichž můžeme říci, že jsou srovnatel (ekvivalentními) nástroji, které ověřují stejný obsah a konstrukt stejným způsobem, a dále výsledky (dosažené skóry) z různých variant lze přímo porovnávat. Vzhledem k některým omezujícím podmínkám (relativně nízký počet kandidátů, omezené možnost toho plynoucí nemožnost standardního využívání postupů IRT a pevně daný hraniční skór odpo bodového maxima) řešíme otázku ekvivalence testových variant následujícími kroky. *========================================================================================= * *========================================================================================= ------------------------------------------------------------------------------------------ Před zkouškou ------------------------------------------------------------------------------------------ ------------------------------------------------------------------------------------------ Vývoj úloh ------------------------------------------------------------------------------------------ 1.Každá varianta subtestu je připravována autorským týmem podle předem stanovených specifi 2.Každá položka a každý text procházejí několika fázemi moderací a posouzením týmem vyškol i interních spolupracovníků. 3.Všechny úlohy se pretestují (ověřuje se jejich konstrukční kvalita a psychometrické vlas dostupném vzorku, pretesty se statisticky vyhodnocují a úlohy se v případě potřeby uprav 4.Všechny úlohy procházejí tzv. standard settingem, tj. expertním posuzováním s cílem stan hranici pro úspěšné složení zkoušky. Úkolem posuzovatelů je určit skór, který by v dané tzv. minimálně kompetentní kandidát (MKK) dané úrovně. Koncept MKK byl definován pro vše rámci dílčího projektu monitoringu kvality. 5.Každá úloha je poté vložena do banky úloh. Jsou u ní známy výsledky z pretestů, stanoven pro MKK a také další popisné charakteristiky (téma, žánr, ověřované specifické cíle apod ------------------------------------------------------------------------------------------ Sestavování variant testu ------------------------------------------------------------------------------------------ 1.Při sestavování variant si plně uvědomujeme, že při výše zmíněných omezeních není dosaže ekvivalentních variant možné bez dalších opatření. Sestavování testových variant se prot tzv. modelování. Modelování je interní termín, kterým zjednodušeně popisujeme proces, kd sestavují (kombinují) tak, aby se součet dílčích hraničních skórů úloh (stanovený expert co nejvíce blížil hodnotě 60 %. 2.Pokud není možné modelováním sestavit variantu tak, aby se hraniční skór neodchyloval od je předem stanoven interval na skórové škále, o kolik budou muset být výsledné hrubé skó transformovány, tj. („posunuty" nahoru nebo dolů) tak, aby byla tato odlišnost vyrovnána