Aus analog wird digital: Meisterschüler am Desktop-PC, Tablet oder Laptop zu prüfen, ist zeitgemäß und verspricht einige Vorteile. Die Zentralstelle für die Weiterbildung (ZWH) begleitet das Handwerk bei der Umsetzung.
Millennials und die Gen Z sind von klein auf bestens mit Tablets und Apps vertraut. Nun halten die digitalen Medien auch Einzug ins Prüfungswesen des Handwerks. "Das digitale Prüfen bietet den Teilnehmenden einer Aus-, Weiter- und Fortbildung eine zeitgemäße Umgebung. Damit setzen die Handwerksorganisationen in punkto Digitalisierung ein Zeichen", ist Fabian Neuwahl, Bildungsreferent bei der Zentralstelle für die Weiterbildung im Handwerk (ZWH), überzeugt.
Adaptierte Prüfungssoftware
Für das digitale Prüfen nutzt die ZWH die Prüfungssoftware des Umbrella Consortium for Assessment Networks (UCAN). Es wird vom gemeinnützigen Institut für Kommunikations- und Prüfungsforschung (IKPF) getragen und ist nach eigenen Angaben der "weltweit größte Verbund von Prüfungsverantwortlichen". Die Entwicklung der Software haben Mediziner initiiert, die sie seit knapp 20 Jahren für die Aus- und Fortbildung nutzen.
Ich bin damit einverstanden, dass mir alle externen Inhalte angezeigt werden und meine Cookie-Einstellung auf 'Alle Cookies zulassen' geändert wird. Mehr dazu in unserer Datenschutzerklärung.
Die ZWH und das IKPF haben haben die Software im Rahmen eines Förderprojekts an die Anforderungen des Handwerks angepasst. "Die mündlich-fachpraktische Prüfung von Meisterschülern läuft natürlich anders ab als bei Medizinstudenten. Besonders wichtig für mündlich-fachpraktische Prüfungen im Handwerk ist, dass flüchtige Prüfungsleistungen mit mehreren Fotos dokumentiert werden können. Für die schriftlichen Prüfungen hat das IKPF weitere Aufgabentypen und die digitale Nachbewertung extra für uns hinzugefügt", nennt ZWH-Bildungsreferentin Stefanie Leu einige Beispiele.
Die UCAN-Software enthält ein Tool für die Erstellung von Prüfungsaufgaben (IMS), drei Durchführungs-Werkzeuge für schriftliche und mündlich-fachpraktische Prüfungen (tEXAM, tOSCE und ProgressTest) sowie ein Bewertungs-Tool (Examinator). Bei der Auswahl der Durchführungs-Werkzeuge ist zu berücksichtigen, ob die Handwerksorganisation über Desktop-PCs, Laptops oder iPads verfügt. "Bevor wir das digitale Prüfen implementieren, schauen wir uns natürlich die vorhandene IT-Infrastruktur an. Bei vielen ist die erforderliche Hardware bereits vorhanden, andere müssen die Geräte erst kaufen oder leasen", verdeutlicht Fabian Neuwahl.
Die ZWH begleitet ihre Partner während des kompletten Einführungsprozesses – und darüber hinaus. Der Bildungsdienstleister aus Düsseldorf schult das beteiligte Personal und führt es durch den ersten erfolgreichen Prüfungsdurchgang. Zu den Aufgaben gehört aber auch das Hosting der Server, an die die Prüfungsdaten übertragen werden, und die Weiterentwicklung der UCAN-Prüfungssoftware gemeinsam mit den Handwerksorganisationen.
Aufgaben erstellen
Die Prüfer erstellen die Aufgaben im Tool IMS. Darauf können sie über den Browser zugreifen. "Das spart Zeit und ist sehr effektiv, denn die Treffen in Präsenz entfallen und jeder arbeitet immer mit der aktuellen Version eines Dokuments", unterstreicht Stefanie Leu die Vorteile. Die Prüfer können zwischen verschiedenen Aufgabentypen wählen, darunter Single-Choice-, Multiple-Choice- oder Freitext-Aufgaben. Nachdem die Prüfer ihre Arbeiten erledigt haben, legt die Prüfungsverwaltung die Prüfung auf dem entsprechenden Server ab. Dort werden sie mit den Daten der Prüfungsteilnehmer verknüpft.
Bevor die Prüfung freigeschaltet wird, können die Mitarbeiter der Prüfungsabteilung noch einige Einstellungen vornehmen. "Man kann beispielsweise die Antwortmöglichkeiten bei einer Single-Choice- oder Multiple-Choice-Aufgabe so durchmischen, dass sie bei jedem Prüfling anders angezeigt werden, oder die Prüfungszeit so konfigurieren, dass nach 120 Minuten nichts mehr eingegeben werden kann", erklärt Stefanie Leu. Mit der UCAN-Software ließen sich sogar Synergien nutzen, indem mehrere Handwerksorganisationen einen gemeinsamen Aufgaben-Pool füllen oder auf den Fragenkatalog einer Kammer zugreifen können. "Das wäre technisch problemlos möglich."
Die Prüfungsabteilung legt die Zugangsdaten fest, mit denen sich die Prüflinge an den digitalen Endgeräten per Passwort oder QR-Code anmelden. "Über verschiedene Sicherheitsmechanismen können wir nun ganz genau nachvollziehen, wer was zu welchem Zeitpunkt gemacht hat", sagt Fabian Neuwahl. So werde bei jedem Wechsel der Aufgabe unbemerkt ein Screenshot der Seite angefertigt. "Auf diese Weise lässt sich der komplette Prozess einer schriftlichen Prüfung lückenlos dokumentieren", hebt Fabian Neuwahl hervor. Dies bietet Vorteile für alle Beteiligten, vor allem in punkto Rechtsbeständigkeit. "Der Prüfling weiß, dass seine Antworten festgehalten werden. Die Prüfungsverantwortlichen können bei Einsprüchen nachweisen, was der Prüfling notiert hat."
Bei mündlich-fachpraktischen Prüfungen kommen iPads und das Tool tOSCE zum Einsatz. Darin loggen sich die Prüfer wahlweise per QR-Code an der Station des Meisterschülers ein. Auf ihrem Tablet können sie Aufgaben bewerten, Kommentare hinterlegen, Fotos aufnehmen oder ein Gespräch aufzeichnen.
Auswertung der Prüfungsleistungen
Sobald die Prüfungsleistungen auf den Server übertragen worden sind, kann die Prüfungsabteilung sie in das Bewertungs-Tool einpflegen und zur Nachbewertung freigeben. "Antwort-Wahl-Aufgaben, darunter Single Choice und Multiple Choice, wertet das System selbst aus. Die Prüfenden müssen sich nur noch um die Freitext-Aufgaben kümmern", sagt ZWH-Bildungsreferentin Stefanie Leu.
Vorteile hier: Der Examinator ist unabhängig von Ort und Zeit erreichbar, die frei formulierten Antworten sind gut lesbar und müssen nicht ausgedruckt werden, was Papier spart. Die Prüfer können im Bewertungs-Tool Punkte vergeben und Abzüge begründen. Die UCAN-Software addiert die vergebenen Punkte. Das Resultat zieht sich die Prüfungsabteilung aus dem System, legt sie in ihrem Verwaltungssystem ab und kann daraufhin die Zeugnisse ausstellen.
Den Auftakt beim digitalen Prüfen hat die Handwerkskammer Heilbronn-Franken gemacht, bei der von Januar bis April 2023 rund 70 Meisterschüler des Elektrohandwerks geprüft wurden. Inzwischen setzen dort auch andere Gewerke auf das neue Verfahren. "Innerhalb der Organisationen gibt es einen regelrechten Sogeffekt – zuerst probiert es einer aus, dann ziehen andere nach", hat Stefanie Leu in Heilbronn, aber auch bei anderen Partnern beobachtet.
Zurzeit arbeitet die ZWH mit 23 Partnern aus dem Handwerk zusammen. Zwölf Organisationen prüfen bereits selbstständig (unter anderem die HWK Erfurt, Frankfurt Rhein-Main, Konstanz und Ostwestfalen-Lippe zu Bielefeld). Elf Kammern (darunter Cottbus, Düsseldorf, Koblenz, Niederbayern-Oberpfalz und Potsdam) bereiten sich auf das digitale Prüfen vor. "Viele andere haben den Mehrwert ebenfalls erkannt und stehen in den Startlöchern", freut sich Fabian Neuwahl.
Rund 3.000 Handwerker haben bereits eine digitale Prüfung mit der UCAN-Software absolviert. Dabei liegt der Schwerpunkt bislang auf Meister- und Fortbildungsprüfungen. Zwei Drittel der Prüfungsteilnahmen entfallen auf die kaufmännischen und rechtlichen sowie berufs- und arbeitspädagogischen Abschlüsse (Teil III und IV). Der Rest verteilt sich auf den fachpraktischen und fachtheoretischen Part (Teil I und II), Fortbildungen (Gebäudeenergieberater), Umschulungen, vereinzelt aber auch Gesellenprüfungen.
"Als ZWH haben wir mit der Digitalisierung von Meister- und Fortbildungsprüfungen begonnen. Mittlerweile haben wir jedoch auch positive Erfahrungswerte in Gesellenprüfungen. So kann die ZWH künftig bei der Digitalisierung aller Prüfungsformen unterstützen", beobachtet der ZWH-Bildungsreferent.
Ausblick
Im Sommer erfolgt der erste Schritt zu einer großen Weiterentwicklung der UCAN-Prüfungssoftware: "Wir testen eine vereinheitlichte und verbesserte Nutzungsoberfläche, die allen Beteiligten mehr Zeit sparen wird", kündigt Fabian Neuwahl an. Darüber hinaus steht das erste UCAN-Netzwerktreffen auf dem Programm. Es findet im Rahmen der ZWH-Bildungskonferenz am 27. und 28. November statt und wird Gelegenheit zum fachlichen und persönlichen Austausch bieten.
Kommentar schreiben