Auswertungsverfahren für Prüfungen mit multiple response-Aufgaben auf der Grundlage der Signalentdeckungstheorie

Abstract

Seit einiger Zeit werden vermehrt Antwort-Wahl-Aufgaben in Prüfungen eingesetzt. Die vorliegende Arbeit widmet sich zwei Problemen dieses Formats. Die Eignung von multiple response-Aufgaben (MR) soll untersucht werden, da sie gegenüber single-choice-Aufgaben Vorteile bieten. Dem Problem des Ratens bei Aufgaben in diesem Format wird mit der Signalentdeckungstheorie (SDT) als Auswertungsverfahren entgegengetreten. Dieses bietet den Vorteil, Sicherheitsurteile der Prüflinge bzgl. ihrer Antworten in die Auswertung einzubeziehen. In drei Studien wurden je ca. 200 Studierende untersucht. Die Leistungen in zwei Klausuren wurden mit denen in MR-Zusatzaufgaben aus dem gleichen Stoffgebiet verglichen. Summenscores und SDT-Parameter wurden bestimmt und die Erfahrungen der Prüflinge mit den Zusatzaufgaben evaluiert. MR-Aufgaben sind aufgrund ihrer formalen Vorteile und der Einschätzung der Prüflinge als Prüfungsaufgaben geeignet. Ob die SDT zur Auswertung geeignet ist, konnte geklärt werden, da die Prüflinge zum Untersuchungszeitpunkt entgegen der Erwartung nicht ausreichend vorbereitet waren. Es konnte festgestellt werden, dass die frühzeitige Vertrautheit mit dem Aufgabenformat eine entscheidende Rolle bei der Beantwortung spielt.

Recently, the use of multiple choice questions in examinations has increased. The present work addresses two problems of this format. The suitability of multiple response questions (MR) is to be investigated as they offer advantages over single-choice questions. The problem of guessing in this format is countered with the signal detection theory (SDT) as an evaluation procedure. This offers the advantage of including confidence ratings of the examinees with regard to their answers in the evaluation. In three studies, approximately 200 students each were studied. The performances in two examinations were compared with those in additional MR questions from the same subject area. Sum scores and SDT parameters were calculated and the experiences of the examinees with the additional tasks were evaluated. MR questions are suitable for examinations because of their formal advantages and the assessment of the examinees. Whether the SDT is suitable for evaluation could be clarified, since the examinees were not sufficiently prepared at the time of examination contrary to the expectation. It was found that early familiarity with the question format plays a decisive role in answering the questions.