Shrnutí (TL;DR)
- Automaticky vyhodnocované testy online vám ušetří čas i práci.
- Kvůli snadnějším možnostem podvádění se doporučuje sestavovat sady kombinující uzavřené a otevřené úlohy s otázkami vyšší kognitivní náročnosti.
- Testy můžete zabezpečit proti podvádění i jinak, např. používat náhodně generované sady úloh z banky úloh, časová omezení pro vyplnění testu apod.
- ELF vám oproti odpovědníkům v IS MU a MS Forms poskytne nejvíce možností nastavení a přizpůsobení testů i jednotlivých úloh.
Písemné zkoušení na dálku: výhody, nevýhody, doporučení
Běžné papírové testy lze do online podoby převést velmi snadno. Online testy bývají z velké části vyhodnocovány automaticky a při správném nastavení mohou studujícím poskytovat okamžitou zpětnou vazbu. Obojí vám tak ušetří čas i námahu, které byste jinak museli věnovat rutinnímu opravování.
Zjevnou nevýhodou je nižší zabezpečenost testů: studenti mohou při distančním testování snáze podvádět a šířit mezi sebou zadání testových úloh. Toto riziko lze ale vnímat i jako výzvu k vytváření takových testů, které neověřují pouze znalosti, ale také pochopení látky a schopnost nabyté vědomosti aplikovat.
Pokud se chystáte využívat testování online, doporučujeme si napřed projít základní doporučení pro tvorbu testových úloh zpracovaná dr. Liborem Juhaňákem z ÚPV. Jedná se o obecné zásady pro testy na libovolné platformě a do jisté míry i pro papírové testy.
Doporučení pro tvorbu testových úloh
-
Nejdřív ze všeho si jasně stanovte, jaké chcete v připravovaném testu ověřovat znalosti či dovednosti. Potom se pusťte do tvorby testových úloh.
-
Vytvořené testové úlohy by měly rovnoměrně pokrývat všechny znalosti či dovednosti, které chcete ověřovat. Zároveň byste se měli vyhnout tomu, aby řešení úloh vyžadovalo znalosti či dovednosti, jež v kurzu nebylo možné získat.
-
Zadání úloh musí být jasné, srozumitelné a zcela jednoznačné. Vyhýbejte se víceznačným formulacím a výrazům.
-
V zadání úloh velmi opatrně pracujte se záporem (typicky v podobě: „Která z nabízených možností není správná?“). Při jeho využívání doporučujeme zvýraznit negativní formulaci tučným písmem. Dvojitému záporu se raději zcela vyhněte.
-
V ideálním případě byste si své testové úlohy měli napřed ověřit, než je použijete v tzv. ostrém testování. Pokud to není možné, poproste třeba kolegu, aby úlohy prošel. Můžete tím aspoň částečně ověřit jasnost a srozumitelnost svých zadání.
Uzavřené versus otevřené úlohy
Testové úlohy můžeme v základu dělit na uzavřené a otevřené. Zatímco v uzavřených úlohách musejí studující z několika nabízených možností vybrat správnou odpověď, v otevřených úlohách musejí odpovědi sami vytvořit. Mezi uzavřené úlohy patří nejčastěji tzv. dichotomické úlohy (ano/ne, pravda/nepravda), úlohy s výběrem z možností či přiřazovací úlohy. Mezi otevřenými úlohami lze pak rozlišit úlohy s krátkou odpovědí (slovo či krátká fráze) a úlohy s dlouhou odpovědí (věty a odstavce).
Využití spíše uzavřených či naopak otevřených úloh závisí především na vašich cílech a možnostech. Proto je dobré uvědomovat si základní silné a slabé stránky obou typů úloh.
Uzavřené úlohy
⊕ Výhoda:
Možnost automatického vyhodnocení.
Nevýhoda:
Vyšší riziko, že student odpovědi opíše, dohledá nebo náhodně uhodne.
Doporučení k tvorbě uzavřených úloh
-
Vždy si dejte pozor na to, aby úloha měla jedinou správnou odpověď.
-
Pamatujte, že šance uhodnout správnou odpověď koresponduje s množstvím nabízených možností. V případě dichotomické úlohy tak mají studenti 50% šanci uhodnout správnou odpověď. U otázek typu výběr z možností proto doporučujeme vytvořit 4 až 5 možností, jelikož šance na uhodnutí se pak výrazně sníží (25 %, resp. 20 %). U otázek typu přiřazování pak doporučujeme vytvořit více možností k přiřazení, než je dílčích položek v rámci úlohy. V opačném případě mohou studenti použít vylučovací metodu, což opět zvyšuje šanci na uhodnutí správné odpovědi.
-
Zároveň je dobré dbát na to, aby všechny z nabízených možností byly pro studenty dostatečně „atraktivní“, tzn. aby danou možnost nebylo možné ihned vyloučit jako nesprávnou odpověď.
-
Všechny nabízené možnosti by také měly mít přibližně stejnou délku, styl a formu vyjádření. Zvlášť dbejte na to, abyste správnou odpověď neměli vždy o něco delší než ostatní možnosti (např. z důvodu přesnější formulace).
-
Zajistěte, aby gramatický tvar zadání úlohy nenapovídal správnou odpověď (u cizojazyčných úloh typicky rod či člen).
-
Spíš se vyhýbejte úlohám, které jako jednu z možností obsahují formulace typu „všechny výše uvedené“ či „žádná z výše uvedených“.
Otevřené úlohy
⊕ Výhoda:
Možnost ověřování komplexnějších znalostí či dovedností.
Nevýhoda:
Náročnější zajištění objektivního zhodnocení odpovědi.
Doporučení k tvorbě otevřených úloh
-
U úloh s krátkou odpovědí je třeba vždy promyslet všechny možné způsoby zápisu správné odpovědi a podle toho nastavit správné odpovědi (např. „filozofie“ vs. „filosofie“, velká a malá písmena, číselné vs. slovní vyjádření apod.). Nabízí-li se příliš mnoho způsobů, jak na úlohu zodpovědět resp. odpověď zapsat, je vhodné vymyslet jiné zadání.
-
Pokud využíváte úlohu s krátkou odpovědí ve formě doplňování do textu, dávejte pozor na to, aby smysl textu zůstal dostatečně jasný i s vynechanými slovy.
-
U úloh s dlouhou odpovědí dbejte na to, aby ze zadání úlohy bylo zcela jasné, jakou odpověď a v jaké podobě od studujících vyžadujete. Specifikujete, co má být odpovědí (např. popis, vysvětlení, zdůvodnění, srovnání apod.), v jaké formě, v jakém rozsahu atd.
-
Pro zajištění objektivního hodnocení úloh s dlouhou odpovědí si předem jasně specifikujete, jakým způsobem bude úloha hodnocena (jaká kritéria budou hodnocena, na jaké škále, jak budou hodnoceny částečně správné odpovědi apod.). Je vhodné si rovněž připravit modelovou správnou odpověď, s kterou pak můžete odpovědi studujících porovnávat.
Kognitivní náročnost otázek v úlohách
Rozlišení otázek pro vaše úlohy a další příklady naleznete zde.
Jak online písemnou zkoušku zabezpečit proti podvádění?
Elektronické testy můžete zabezpečit několika kroky.
1 – Během přípravy úloh
- Formulujte úlohy, které netestují pouze znalost faktů, ale spíš porozumění látce, schopnost uvažovat o ní a aplikovat poznatky.
- Vytvořte si dostatečnou zásobu testových úloh a nechte z nich systém náhodně vybírat – každý studující tak dostane lehce odlišnou verzi testu.
- Varianty testu sestaveného pouze z náhodných úloh mohou být nevyrovnané – pracujte s kategoriemi úloh tak, abyste zajistili sice náhodný, ale vyvážený výběr úloh pro každou variantu.
- Nezapomeňte, že v testech můžete kombinovat úlohy pevně dané s úlohami náhodně vybranými.
- Vytvářejte varianty úloh ověřující tutéž znalost.
2 – Při nastavování testu
- Omezte přístup k testu na konkrétní časové okno.
- Nastavte pro test časový limit – dostatečný na to, aby studující test bez zbytečného stresu stihli vyplnit, ale ne takový, aby odpovědi stihli dohledávat na internetu.
- Omezte přístup k testu heslem, případně přístup umožněte pouze studujícím přihlášeným na daný termín.
- Dále můžete povolit náhodné řazení úloh v rámci testu a nastavit stránkování tak, aby se studujícím úlohy zobrazovaly po jedné a nemohli se vracet k otázkám již zodpovězeným – každý studující tak v danou chvíli bude mít před sebou jinou úlohu.
3 – Během testu
Během písemné zkoušky na dálku můžete mít spuštěný videokonferenční hovor, díky kterému jednotlivé studenty přímo uvidíte.
Zobrazit či skrýt webinář
Podívejte se na záznam webináře s pracovníky Kanceláře e-learningu CIT FF MU, ze kterého se dozvíte, jaké možnosti zabezpečení online testování nabízí prohlížeč Safe Exam Browser.
Microsoft Forms
Testovací kvízy můžete jednoduše vytvořit v některých „formulářových“ aplikacích jako Microsoft Forms nebo Google Forms. Jejich možnosti jsou omezené, ale sestavení online testu v nich probíhá rychle a jednoduše. Pokud jste online testy zatím nepoužívali a nemáte čas či potřebu učit se pracovat s komplikovanějšími nástroji, mohou vám tyto aplikace přijít vhod.
Co MS Forms umožňují?
V MS Forms můžete:
- vytvářet úlohy s výběrem z možných odpovědí či doplňováním textu a otevřené rozepisovací otázky (bez automatického vyhodnocení správnosti),
- nechat studenty odevzdávat soubory (dokumenty, obrázky, audio- i videosoubory),
- nastavit počet bodů, jež lze získat za jednotlivé otázky,
- nastavit v testu náhodné řazení otázek,
- při hodnocení upravovat automaticky přidělené body a doplňovat slovní komentáře.
Co MS Forms neumí?
- V MS Forms nenajdete funckionality pro nastavení podmínek přístupu k textu, časování, počtu pokusů atd., které ztěžují podvádění.
- MS Forms se tedy hodí především pro cvičební testy.
Kvízy v MS Forms krok za krokem
Ve videonávodu se dovíte, jak vytvořit v MS Forms kvíz, rozeslat ho studentům a oznámkovat.
Odpovědníky v IS MU
Odpovědníky jsou jednou z e-learningových aplikací Informačního systému MU. Nabízí velký výběr typů testových otázek (srovnatelný s testy v ELFu) i základní nastavení chování testu či omezení přístupu k němu. Největší výhodou odpovědníků je jejich provázání s ostatními aplikacemi v IS MU.
Vybrané návody k odpovědníkům
Testy v ELFu
Testy jsou jednou z aktivit dostupných v elektronických kurzech v ELFu a představují komplexní řešení pro tvorbu a vyhodnocování online testů.
Co testy v ELFu umožňují?
V ELFu můžete:
- vytvářet otázky různých typů od výběru z možných odpovědí a doplňování textu po přetahování odpovědí do obrázku,
- naplnit test předem danými a/nebo náhodně vybranými otázkami,
- upravit chování testu pro různé scénáře: vedle běžných průběžných či závěrečných testů můžete využít i interaktivní a adaptivní režimy, které napomáhají upevňování znalostí,
- nastavit časový limit pro řešení testu,
- omezit přístup k testům pomocí řady kritérií (čas, členství ve skupině, konkrétní osoby, heslo),
- nastavit odlišné podmínky pro studenty se specifickými nároky,
- provázat test s dalšími činnostmi v kurzu (např. zobrazení dalších materiálů úspěšným složením testu),
- flexibilně pracovat s bodováním testu a vahou jednotlivých otázek.
Co testy v ELFu neumí?
- Známky z testů v ELFu se vám na rozdíl od odpovědníků v IS MU automaticky nepropíšou do Poznámkového bloku předmětu v IS MU.
Podívejte se na záznam praktičtěji zaměřeného webináře s Mgr. Jakubem Jarinou (Kancelář e-learningu CIT FF) určeného především uživatelům s malými či žádnými zkušenostmi s tvorbou testů ve fakultním e-learningovém prostředí ELF.
