5.4 Bewertung von Studenten beim Lehren und Lernen
In den letzten drei Jahrzehnten hat das Thema Schülerbeurteilung, d.h. die systematische Sammlung von Nachweisen, die für die Beurteilung des Lernens von Schülern nützlich sind (EPPI, 2002), in der nationalen schulpolitischen Debatte immer mehr Aufmerksamkeit erregt (Donaldson, 2013). Hinter dieser Aufmerksamkeit stehen verschiedene Prozesse, wie zum Beispiel
- die gestiegenen Anforderungen an Effektivität, Qualität und Gerechtigkeit, die an Schulen gestellt werden, um den anhaltenden sozialen und wirtschaftlichen Veränderungen gerecht zu werden;
- eine schrittweise Bestätigung der Grundsätze der Dezentralisierung und der Schulautonomie, die gleichzeitig die Aktivierung von Mechanismen zur Überwachung der Bewertung in verschiedenen lokalen Kontexten erfordert;
- die Entwicklung von Informations- und Kommunikationstechnologien, die die Möglichkeit der Verwaltung und des Austauschs von Bewertungsdaten sowohl in großem Maßstab als auch auf individueller Basis bieten;
- ein stärkeres Vertrauen in die Bewertungsergebnisse für eine evidenzbasierte Entscheidungsfindung (Organisation für wirtschaftliche Zusammenarbeit und Entwicklung, OECD, 2013a).
Lassen Sie uns nun kurz einen Überblick über schulische Lernstrategien auf der Grundlage von Daten aus den jüngsten internationalen Vergleichsstudien geben und die Diskussion auf einige Leitfragen konzentrieren:
1. Wer bewertet? Mit welchen Zielen bewerten wir? Was bewerten wir? Wie bewerten wir?
2. Wer wertet aus?
Die Verantwortung für die Bewertung der Schüler in den verschiedenen nationalen Bewertungssystemen wird im Allgemeinen von mehreren Akteuren auf verschiedenen Ebenen getragen, je nachdem, zu welchem Zweck sie durchgeführt wird. Die übergeordneten Schulbehörden, ob auf regionaler oder nationaler Ebene, sind in der Regel für die Beurteilungsprozesse an wichtigen Übergängen zwischen den Bildungszyklen zuständig (z.B. am Ende der Sekundarstufe I), während die Lehrer im Allgemeinen die Aufgabe haben, ihre Schüler während ihres Lernprozesses sowohl formativ als auch summativ zu beurteilen.
Traditionell wird zwischen einer summativen Bewertung, deren Ziel es ist, eine zusammenfassende Beurteilung des vergangenen Lernens zu liefern (Beurteilung des Lernens) (EPPI, 2002), und einer formativen Bewertung (Beurteilung für das Lernen) unterschieden, deren Ziel es ist, eine nützliche Beurteilung zu liefern, um den zukünftigen Lehr-Lern-Prozess zu steuern (Bloom, 1969; Scriven, 1967).
Zentralisierte Bewertungsmodelle gelten in der Regel als sehr zuverlässig, auch wenn ihre Validität gering ist. Umgekehrt wird der lehrergeleiteten Bewertung eine hohe Validität zugeschrieben, allerdings angesichts der geringen Zuverlässigkeit, obwohl es insbesondere in Bezug auf diesen letzten Punkt keine einheitliche Literatur zu geben scheint (Bishop, 2006; Crooks, 2004). Aus den Daten der OECD-Umfrage TALIS 2013 (OECD, 2013b) geht im Allgemeinen hervor, dass der Grundsatz der Autonomie von Schulen und Lehrern bei der Festlegung und Anwendung von Strategien zur Bewertung von Schülern weit verbreitet ist (Abbildung 1).
Vor allem im Grundschulbereich sind fast ausschließlich die Lehrer für die Bewertung der Schüler zuständig, während auf den höheren Ebenen des Bildungssystems diese Verantwortung mit den übergeordneten Behörden geteilt und/oder integriert wird. Bei dieser Aufgabenverteilung werden in der Regel die Lehrer mit der Bewertung in den verschiedenen Disziplinen des Lehrplans beauftragt, während die zentrale Ebene häufiger die Aufgabe erhält, spezifische Kenntnisse/Kompetenzen in einer begrenzten Anzahl von Disziplinen und nur auf bestimmten Bildungsstufen zu bewerten. In Bezug auf die Rolle der Lehrkräfte betont die OECD (2013a) die Notwendigkeit, die Lehrkräfte (und ganz allgemein die schulischen Akteure) in die Definition des Bewertungssystems selbst einzubeziehen, um einen Konsens zu schaffen und die Entwicklung von Bewertungskompetenzen auf allen Ebenen zu fördern, auch durch gemeinsame Entscheidungen. In einigen Ländern (z. B. in Nordirland, Neuseeland, der Tschechischen Republik und den Niederlanden) spielen auch private Agenturen/Unternehmen, die Modelle und Instrumente für die Bewertung bereitstellen, eine wichtige Rolle. In den Niederlanden zum Beispiel bietet das Zentralinstitut für Testentwicklung (CITO) ein System namens Leerling Volg Systeem (LVS) zur Überwachung von Studenten an. Er ist sowohl für die Primar- als auch für die Sekundarstufe und in einer angepassten Version auch für Schüler mit sonderpädagogischem Förderbedarf erhältlich. Er besteht aus einer Reihe standardisierter (teilweise adaptiver) Tests, die in erster Linie für die formative Beurteilung gedacht sind und in Längsrichtung verwendet werden können, um die Fortschritte der Schüler in verschiedenen Disziplinen wie (für die Primarstufe) Sprache, Rechnen, Weltorientierung, sozioemotionale Entwicklung, Englisch, Naturwissenschaften und Technologie zu überwachen und zu verfolgen.
3. Warum bewerten wir?
In Bezug auf die Ziele lässt sich eine erste allgemeine Unterscheidung treffen zwischen Systemen, die Evaluierungsdaten zu Berichtszwecken (Rechenschaftspflicht), d.h. zur Zertifizierung/Bestätigung von Prozessen und Produkten des Schulsystems (z.B. gegenüber der Öffentlichkeit oder dem Ministerium) oder zu Entwicklungszwecken (Entwicklung), d.h. zur Verbesserung der Prozesse/Produkte des Schulsystems (z.B. Umverteilung wirtschaftlicher Ressourcen zur Lösung aufgetretener kritischer Probleme) verwenden.
In dieser Hinsicht gehört Italien nach den Daten der Studie „Education at a Glance 2011“ (OECD, 2011) zu den Ländern, die die Ergebnisse für das erste Ziel (Rechenschaftspflicht) wenig und für das zweite (Entwicklung) mäßig nutzen;
Mit anderen Worten: Die umfangreichen Investitionen in die Erhebung, Verwaltung und Analyse von Daten zur Schulbewertung wären im Hinblick auf diese beiden Ziele teilweise vergeudet, da sie nicht oder nur in begrenztem Umfang genutzt würden. In Bezug auf diese Ziele würden sich Länder, die mehr Wert auf die Rechenschaftspflicht legen, durch einen häufigeren Einsatz von standardisierten Tests, die Betonung summativer Ziele, den Einsatz externer Inspektoren zur Bewertung von Schulen und die öffentliche Berichterstattung über Leistungsergebnisse aus einer vergleichenden Perspektive auszeichnen. Auf der anderen Seite sind Systeme, die stärker auf Entwicklungszwecke ausgerichtet sind, tendenziell durch einen Low-Stake- (oder No-Stake-) Ansatz beim Testen, einen häufigeren Einsatz von formativen Bewertungsmodellen, die Nutzung der Ergebnisse der Lehrerevaluierung für den Vorschlag und die Neudefinition von Berufsausbildungs- und Weiterbildungswegen und die Nutzung der Selbstevaluierung durch die Schulen (mit der Entwicklung möglicher externer Strukturen als Unterstützung für diese) gekennzeichnet (OECD, 2013a).
In Europa werden laut einer Umfrage des Eurydice-Netzwerks (2009) landesweit standardisierte Beurteilungen in der Primar- und Sekundarstufe I vor allem verwendet, um Entscheidungen über die Bildungslaufbahn der Schüler zu treffen (z.B. Beförderungen, Ausstellung von Zeugnissen und/oder Unterteilung der Schüler nach Klassenstufen – dies ist der Fall in der französischsprachigen Gemeinschaft Belgiens, Dänemarks, Deutschlands, Italiens und Luxemburgs) und um Bildungseinrichtungen oder das Bildungssystem als Ganzes zu überwachen und zu bewerten (z.B., Vergleich von Ergebnissen zwischen Einrichtungen und/oder Bewertung der Leistung des Systems – dies ist der Fall in der flämischen Gemeinschaft Belgiens, in Spanien, Frankreich, Italien, Österreich, Portugal und Finnland); seltener zielen solche Bewertungen darauf ab, den Lernbedarf der Schüler zu ermitteln (wie in Dänemark, Irland, Frankreich, England und Schweden). Trotzdem werden die Grundsätze der formativen Bewertung in den Rahmenwerken der verschiedenen nationalen Schulsysteme immer häufiger verwendet (Abbildung 3). In Norwegen zum Beispiel, dessen System traditionell auf den Grundsätzen der Dezentralisierung und der Schulautonomie (insbesondere in der Primar- und Sekundarstufe I) beruht,6 ist die Erhebung der Kompetenzen jedes einzelnen Schülers auf dem Weg zu formativen Zwecken ein zentrales Ziel des Schulsystems, und es ist eine Verpflichtung für die Schulen, den Schülern ein präzises Feedback zu ihren Fortschritten in Bezug auf die nationalen Kompetenzziele zu geben (Norwegische Direktion für Bildung und Ausbildung, 2011).
In diesem Sinne scheint die Aufnahme der Grundsätze der formativen Beurteilung in die nationalen Regelungen ein Faktor von besonderem Interesse zu sein, wenn man die umfangreiche pädagogisch-didaktische Literatur bedenkt, die Beweise für die positiven Auswirkungen dieser Strategie auf die Verbesserung des Lernens liefert (Black & Wiliam, 1998; Hattie, 2009; 2011; Popham, 2011).8 In diesem Zusammenhang betont die OECD (2013a) selbst die Bedeutung des formativen Aspekts der Bewertung in den nationalen Vorschriften. In diesem Zusammenhang weist die OECD (2013a) jedoch selbst auf einen wichtigen Kritikpunkt hin: Trotz ausdrücklicher politischer Maßnahmen und Aussagen in Verordnungen, die die Notwendigkeit der Umsetzung und Verbesserung des formativen Aspekts der Bewertung betonen, gibt es eine weit verbreitete Allgemeinheit bei der Festlegung effektiver und systematischer Praktiken in Schulen und/oder Klassenzimmern. Letzteres ist ein kritisches Thema, das mit einem anderen grundlegenden Thema zusammenhängt: der Professionalisierung von Schulleitern und Lehrern in Bezug auf Bewertungsstrategien. In Bezug auf Ersteres zeigen die Daten der OECD (2013b), dass die Rolle der Schulleiter heute sehr unausgewogen ist und sie zunehmend mit administrativ-bürokratischen Managementaufgaben belastet werden, die zu Lasten der pädagogisch-didaktischen Führungsaufgaben gehen. Was die Lehrer betrifft, so zeigt dieselbe Umfrage, dass der Prozentsatz der italienischen Lehrer der Sekundarstufe I, die einen hohen Bedarf an beruflicher Weiterbildung im Bereich der Schülerbeurteilung äußern (22,9 Prozent), deutlich über dem OECD-Durchschnitt (11,6 Prozent) liegt.
4. Was bewerten wir?
In allen OECD-Ländern werden die Schüler von ihren Lehrern in allen Fächern des nationalen Lehrplans bewertet. Die zentralisierte standardisierte Bewertung hingegen ist zwar uneinheitlich, konzentriert sich aber im Allgemeinen auf einige wenige Themenbereiche, die als vorrangig gelten, wie Sprache und Mathematik (Abbildung 4) 9 . Bedenken Sie außerdem, dass die nationalen Lehrpläne in den letzten zehn Jahren radikale Reformen erfahren haben. In dieser Zeit wurde in verschiedenen Bildungssystemen der Schwerpunkt verstärkt auf die Entwicklung komplexer Fähigkeiten gelegt, die oft auf die Grundsätze des lebenslangen Lernens zurückzuführen sind, wie kritisches Denken, Problemlösung, Kreativität, Informationskompetenz und aktive Bürgerschaft, die offenbar Querverbindungen zu traditionelleren Disziplinen aufweisen (OECD, 2013a). In Europa beispielsweise werden seit 2006 schrittweise acht Schlüsselkompetenzen in die Lehrpläne der Schulsysteme aufgenommen: Kommunikation in der eigenen Sprache, Kommunikation in Fremdsprachen, Kompetenz in Mathematik, Naturwissenschaften und Technik, digitale Kompetenz, Lernen zu lernen, soziale und staatsbürgerliche Kompetenzen, Eigeninitiative und Unternehmergeist sowie Kulturbewusstsein und kulturelle Ausdrucksfähigkeit (Empfehlung 2006/962/EG). In den Vereinigten Staaten haben bereits 16 Länder eine Reihe von Kompetenzen in ihre Lehrpläne aufgenommen, die als entscheidend für die Herausforderungen des 21. Jahrhunderts gelten (Partnership for 21st Century Skills), darunter Lern- und Innovationsfähigkeiten, IKT-Fähigkeiten sowie Lebens- und Arbeitskompetenzen. Die UNESCO hat ihrerseits eine Reform der Schulsysteme gefördert, die zum Beispiel in Mexiko eingeführt wurde und auf die Entwicklung von „Lebenskompetenzen“ wie kritisches Denken, Kreativität, soziale und kommunikative Fähigkeiten abzielt (Singh, 2003).
Die Einführung solcher Kompetenzen in die nationalen Lehrpläne erfordert die Entwicklung von darauf abgestimmten Bewertungsmodellen, die oft als „leistungsbasiert“ (Linn, Baker & Dunbar, 1991) bezeichnet werden und deren charakteristisches Merkmal darin besteht, gleichzeitig ein integriertes Bündel von Kenntnissen und Fähigkeiten durch die Anforderung zu bewerten, Aufgaben wie mündliche Präsentationen, Forschung, Experimente, Projekte, Kooperationsaufgaben, Problemlösungsaufgaben, Portfolios usw. zu erfüllen. In diesem Zusammenhang stellt die OECD jedoch kritisch fest, dass angesichts der zunehmenden Betonung solch komplexer bereichsübergreifender Kompetenzen der Einsatz innovativer Bewertungsmodelle eher begrenzt ist und dass sie sich häufig auf die Feststellung grundlegender Kenntnisse und Fähigkeiten beschränken (OECD, 2013a). Die Hindernisse, die einer breiten Akzeptanz entgegenstehen, können auf verschiedene Faktoren zurückzuführen sein, wie z.B. die Schwierigkeit, gültige und zuverlässige Instrumente zu definieren, die Schwierigkeit, komplexe Kompetenzen in beobachtbare und messbare Prozesse zu übersetzen, und der erhöhte Entwicklungsaufwand. Abgesehen von diesen objektiven Schwierigkeiten besteht die Gefahr, dass es zu einer Fehlanpassung zwischen einem kompetenzorientierten Lehrplan und einer Bewertung kommt, die sich auf grundlegende Kenntnisse und Fertigkeiten konzentriert: Stattdessen muss ein konsistenter und logisch kohärenter Rahmen entwickelt werden, in dem eine rechtzeitige Abstimmung zwischen Zielen, Lehrplan und Bewertung erfolgt (ebd.).
5. Wie bewerten wir?
Die wichtigsten Instrumente, die bei der standardisierten Bewertung verwendet werden, lassen sich vier Makrokategorien zuordnen (Looney, 2011):
Multiple-Choice-Tests: erfordern die Auswahl einer Antwort aus mehreren Optionen. Sie sind im Allgemeinen nützlich für die Bewertung von Wissen, einschließlich hochrangigem Wissen, aber weniger geeignet für komplexe Fähigkeiten (sie haben außerdem den Vorteil, dass sie automatisch korrigiert werden können und zu vergleichbaren strukturierten Daten führen);
adaptive Tests: Sequenzen von Fragen, die von einem computergestützten System verwaltet werden, das den Schwierigkeitsgrad der Fragen in Abhängigkeit von den Antworten des Schülers anpassen kann (da nicht alle Schüler die gleichen Fragen beantworten, gibt es weniger Vergleichsmöglichkeiten);
Leistungstests: ermöglichen die Bewertung komplexer Fähigkeiten durch das Vorschlagen von Aufgaben (erfordern in der Regel eine Bewertung durch Experten und können aufgrund der Subjektivität der Bewertung Einschränkungen bei der Zuverlässigkeit aufweisen);
computergestützte Leistungstests: ermöglichen die Bewertung komplexer Fähigkeiten durch den Einsatz von IKT für die Verwaltung und Bewertung von Aufgaben. Geschlossene Fragen und schriftliche Aufgaben, die eine vorgegebene Abfolge von Schritten erfordern, gehören, wahrscheinlich aufgrund der Möglichkeit der automatischen Korrektur und der größeren Vergleichbarkeit und Zuverlässigkeit, zu den beliebtesten zentralen Beurteilungen (Abbildung 5) (OECD, 2013a).
In den letzten Jahren wurden jedoch in einigen Ländern aufgrund der häufigeren Bezugnahme auf komplexe überfachliche Kompetenzen anspruchsvollere Beurteilungsansätze eingeführt. In Österreich beispielsweise wurde die Strukturreform der Neuen Mittelschule von 2008 von einer pädagogischen Reform begleitet, die auf die Individualisierung des Unterrichts, soziales Lernen und die Integration von Kindern mit sonderpädagogischem Förderbedarf abzielt. Im Einklang mit diesen Absichten sind die Schulen verpflichtet, formative Bewertungsstrategien einzuführen, die sich auf die Bewertung komplexer Leistungen durch Selbstbeobachtung, Selbstevaluation und Portfolios konzentrieren (Specht & Sobanski, 2012)12. In Belgien (Flämische Gemeinschaft) wurden von Institutionen/Organisationen außerhalb der Schule Bewertungsinstrumente für die Bewertung nicht-kognitiver Leistungen entwickelt, die sich beispielsweise auf Einstellungen und persönliches Wohlbefinden beziehen (das am weitesten verbreitete unter ihnen ist die SAM-Skala – Scale for Attitude Measurement -, die auf die Erfassung von Einstellungen wie Fleiß, Flexibilität und Verantwortungsbewusstsein abzielt und zu Beratungszwecken eingesetzt wird) (Flämisches Ministerium für Bildung und Ausbildung, 2010). Zur Unterstützung der von Lehrern und Schulen geförderten formativen Beurteilung stehen in einigen Ländern inzwischen IKT-Tools und digitale Datenbanken auf Abruf zur Verfügung, auf die frei zugegriffen werden kann, wobei die Wahl der am besten geeigneten Tools, des Zeitpunkts und der Ziele der Beurteilung selbst in die Hand genommen wird. In diesem Zusammenhang schlägt die OECD (2013a) die Einführung von Systemen mit mehreren Ansätzen vor, die an die individuellen, lokalen und besonderen Bedürfnisse angepasst werden können und bei denen verschiedene Instrumente und Methoden zur Verfügung stehen, um Nachweise unterschiedlicher Art für die Bewertung der Schüler zu sammeln und zu integrieren. In Neuseeland13 hat das Bildungsministerium beispielsweise eine Webumgebung mit dem Namen Assessment Tool Selector eingerichtet, in der Lehrern etwa 80 verschiedene Bewertungsinstrumente zur Verfügung stehen, die sie kostenlos ausprobieren und nutzen können. Die Auswahl kann nach Fachgebiet, Fähigkeiten, Schulstufe, Übereinstimmung mit dem neuseeländischen Lehrplan usw. erfolgen. In ähnlicher Weise hat die australische Regierung Lehrern eine Umgebung namens Online Diagnostic Tools zur Verfügung gestellt, die Zugang zu nützlichen Ressourcen für die Überwachung des Lernfortschritts von Schülern bietet, die mit digitalen Lernressourcen verknüpft sind. In Norwegen hat das Direktorat für Bildung und Ausbildung eine spezielle Webumgebung entwickelt, in der Programme, Beispielmaterialien, Videos und Tools für die Ausbildung in formativen Beurteilungsmethoden zur Verfügung stehen.
6. Unterrichtsgestaltung und Bewertung
6a) Unterrichtssystem und Bewertungen
In diesem letzten Abschnitt des MOOCs werden wir uns dem Thema Instruktionsdesign von einem neuen Standpunkt aus nähern, nämlich dem der Evaluation. Angesichts der Unmöglichkeit einer eindeutigen und unbestrittenen Definition von Instruktionsdesign schlägt Molenda (2009) die Verwendung und Ergänzung des Adjektivs system zu instructional vor. Tatsächlich wird das Akronym ISD (Instructional Systems Design Model) verwendet, um eine allgemeinere und daher globalere Vorstellung von der Gestaltung und Entwicklung didaktischer und pädagogischer Systeme zu vermitteln. (Sannicandro S. 271). Die Konstruktion eines Systems rund um das Design ermöglicht es außerdem, mehrere Aspekte gleichzeitig zu beobachten und zu berücksichtigen.
Das Instruktionsdesign (ID) versucht, einen Rahmen zu schaffen, in dem Anweisungen ausgewählt werden können, um Änderungen und Verbesserungen je nach Wissen, Erfahrung und Fähigkeiten zu erreichen. Es gibt viele Perspektiven und unterschiedliche Standpunkte darüber, wie der Prozess der Unterrichtsgestaltung aussehen sollte. Einige Designer konzentrieren sich auf den Prozess als Haupttriebfeder, einige Autoren verfolgen einen präskriptiven Ansatz für ID, bei dem der Prozess durch Regeln geleitet wird, um die Kombination für eine optimale Ausbildung zu erhalten; andere haben eher explorative Modelle, bei denen ID kreative und alternative Lösungen für verschiedene Probleme finden kann. (Weston, McAlpine, Bordonaro, 1995).
Die verschiedenen Modelle des Instruktionsdesigns sind durch eine Reihe von wiederkehrenden Elementen vereint, wie z.B. die Definition von Lernzielen, die Struktur des Inhalts, die Lehrstrategien, die Art der Präsentation des Lernmaterials und die Bewertung. Was sie unterscheidet, ist die Art des Ansatzes, der bei der Dosierung und Zusammenstellung dieser Elemente verwendet wird (Trentin, 2014).
Wie die ISD umfasst auch die Evaluierung mehrere Aspekte. Daher wäre es richtiger, von Evaluierungen statt von „Bewertung“ zu sprechen; die betrachteten Objekte sind unterschiedlich, ebenso wie die Modalitäten und Perspektiven. Das erste, was Sie tun müssen, ist, die Bewertung mit einer bestimmten pädagogischen Perspektive und einem bestimmten Rahmen zu verknüpfen. Deshalb werden wir uns auf die Bedeutung der Evaluierungspraxis im Zusammenhang mit dem Kontext und der Perspektive des Instruktionsdesigns konzentrieren .
Innerhalb dieses Systems können wir nämlich eine Reihe von Praktiken betrachten, die den Projektprozessen in Bezug auf Design, Entwicklung, Implementierung, Management, Analyse und schließlich Bewertung folgen. (Reiser, 2011b). Die Kombination dieser Elemente und die Bedeutung, die jedem von ihnen zugeschrieben wird, kann unterschiedliche Verfahren und Effekte für das vorgestellte und vorgeschlagene Design erzeugen (Sannicandro, De Santinis, Bellini, Minerva, 2021).
Für Raiser (2011b) umfasst der Bereich des Instruktionsdesigns nämlich „die Analyse von Lern- und Leistungsproblemen und die Konzeption, Entwicklung, Umsetzung, Bewertung und Verwaltung von unterrichtlichen und nicht unterrichtlichen Prozessen und Ressourcen, die darauf abzielen, das Lernen und die Leistung in einer Vielzahl von Kontexten zu verbessern, insbesondere in Bildungseinrichtungen und am Arbeitsplatz“ (Reiser, 2011b, S. 57).
6b) Der Evaluierungsprozess in seinen Phasen
Dieser Gedanke ist jedoch falsch, denn die Evaluierungsphase ist in Wirklichkeit ein Querschnitt durch alle anderen Phasen und betrifft sowohl den gesamten Planungs- als auch den Durchführungsprozess. Im ersten Fall beziehen wir uns auf die fortlaufende Evaluierung dessen, was während der Präsentation des Kurses umgesetzt und entwickelt wird; im zweiten Fall auf den Grad der Effektivität und Zufriedenheit mit dem abgeschlossenen Kurs in seinen verschiedenen Teilen, wobei wir den Ergebnissen und dem erzielten Lernerfolg besondere Aufmerksamkeit schenken (Trentin, 2014).
„Die formative Evaluation kann auf verschiedene Weise konzipiert werden: als ein kontinuierlicher, iterativer Prozess, der während der gesamten Unterrichtsentwicklung stattfindet (z.B. McAlpine, 1992); als ein Prozess, der zu einem bestimmten Zeitpunkt später in der Entwicklung des Unterrichts stattfindet, z.B. bei der Erprobung eines Unterrichts, der das Entwurfsstadium erreicht hat (z.B. Dick & Carey, 1990); oder als ein Prozess, der über die Gestaltung und Entwicklung des Unterrichts hinausgeht und die Überprüfung und Überarbeitung während der gesamten Lebensdauer des Unterrichts umfasst (z.B. Komoski & Woodward, 1985)“ (Weston, McAlpine, Bordonaro, S. 31, 1995).
In diesem Prozess wird der Analyse und der Erforschung der Aspekte, die eine Bildungserfahrung schaffen, große Bedeutung beigemessen. Die Analyse der Probleme, der Aufbau, das Design Thinking, die Entwicklung und die Umsetzung führen zu einem evaluativen Fokus innerhalb des Instruktionsdesignmodells. Diese Investition in Evaluierungsprozesse ist notwendig und funktional für die Verbesserung, das Wachstum und die Anpassungsfähigkeit einer Bildungserfahrung an den Kontext und das Zielpublikum.
Bei der Evaluierung von Lehrveranstaltungen geht es um das Verständnis und die Überwachung der Auswirkungen und der Effektivität eines Prozesses und der von ihm konzipierten Aktivitäten. Es gibt Methoden, mit denen sich bewerten lässt, wie gut ein Lernprogramm konzipiert, entwickelt, umgesetzt und verwaltet wurde. Es ist der Prozess, in dem es möglich ist, Schwächen, Konsequenzen und Empfehlungen für Verbesserungen dank spezifischer und optimaler Techniken zu erkennen und zu beschreiben, die das Hauptthema dieses Abschnitts sind. Die Disziplin der Lehrevaluation produziert Wissen über Techniken, Modelle und Perspektiven und versucht, die beste Kombination für verschiedene Situationen zu finden, in denen jedes dieser Evaluationsmodelle optional ist. (Reigeluth, 1983)
„Die Idee der formativen Evaluation ist nicht nur bei ID zu finden, sondern wird schon seit Jahren in vielen Bildungsbereichen als zentral angesehen (…). Der Begriff formative Evaluation wurde jedoch erstmals von Scriven (1967) geprägt und bezieht sich auf die Bewertung von Bildungsprogrammen während ihrer Entwicklungsphase zum Zwecke der Verbesserung. (Weston, McAlpine, Bordonaro, S. 30, 1995). Diese Art des Verständnisses von Evaluation ähnelt heutzutage der Art und Weise, wie die Bildungsgemeinschaft Lehrpläne, Materialien, Programme und Unterricht bewertet.
Übrigens wird in allen Modellen und Überlegungen, die in den letzten Jahren vorgeschlagen wurden, die formative Evaluation als notwendiger Bestandteil des Prozesses der Unterrichtsgestaltung angesehen, so dass die formative Evaluation auf all diese Arten gemeint sein kann (Weston, McAlpine, Bordonaro, 1995).
6c) Ziel der Bewertung in ID
Das Hauptziel einer formativen und didaktischen Evaluation ist es, das Erreichen der festgelegten Ziele zu validieren und zu analysieren, den Prozess zu beobachten und zu überwachen, die Auswirkungen und die Effizienz des entworfenen, geplanten und vorgeschlagenen Kurses mit seinen Instrumenten und Materialien zu bewerten. Das Endergebnis dieses Prozesses ist die Erfassung verschiedener Rückmeldungen, die für Verbesserungen, Änderungen und neue Perspektiven des Designs wichtig sind.
Der Schwerpunkt der Evaluierung im Rahmen des Instruktionsdesigns liegt daher auf dem Prozess, der in die Gestaltung des Kurses einfließt, auf den erzielten Produkten und auf dem Lernen, das bei den Nutzern des Kurses entsteht. Die Auswahl und Definition von Bewertungskriterien in einer Ex-ante-Phase ist daher notwendig, um zu wissen, was und wie zu bewerten ist und um dem Bewertungsprozess eine Linearität zu verleihen, die zur Analyse der Ergebnisse in einer Ex-post-Phase führen wird.
Folglich müssen dieselben Strategien für die Gestaltung, Durchführung und Bewertung von Kursen in größerem Umfang gezielte Maßnahmen zur Erfassung und Analyse der Bedürfnisse, Präferenzen und Lernstile der Lernenden einbeziehen, auch im Hinblick auf den Erfolg, der sowohl in Bezug auf das Erreichen der von den Lehrkräften gesetzten Lernziele als auch in Bezug auf die entwickelten Fähigkeiten verzeichnet wurde. (Sanniccardo, De Santis, Bellini, Minerva, 2021).
Das Unterrichtsdesign beabsichtigt, die Prozesse der Inklusion, Differenzierung, Zugänglichkeit, Partizipation und Personalisierung auch in der Evaluierungsphase zu berücksichtigen (Sannicandro, De Santis, Bellini, Minerva, 2021). In der Tat „geht es nicht nur darum, Daten über Lern- und Lehrprozesse in Online-Umgebungen und -Kursen zu sammeln, sondern auch darum, über die Möglichkeiten nachzudenken, die digitale Tools und Ressourcen bieten, um eine stärkere Nutzung von Aktivitäten im Zusammenhang mit Interaktionsprozessen, Evaluierungsmethoden mit unterschiedlichem Feedback (Vegliante & Sannicandro, 2020), die Auswahl digitaler Ressourcen und Tools, das Vorhandensein von Fallstudien, Simulationen oder Kleingruppenarbeit usw. zu fördern“. (Sannicandro, De Santis, Bellini, Minerva, S. 272, 2021). Auf diese Weise spielen auch die Benutzer eine zentrale und aktive Rolle in der Evaluierungsphase und bei den Überwachungsmaßnahmen des Trainingskurses. Sie geben einer Analyse ihre Stimme, die sich nicht nur in der Anwesenheit, der Teilnahme und der Sammlung quantitativer Daten ausdrückt, sondern auch ein Urteil über die Auswirkungen, das Lernen und die Qualität der Inhalte und Ressourcen, die vom Instruktionsdesigner vorgeschlagen wurden, zum Ausdruck bringt.
Die Beobachtung und Überwachung in der Evaluierungsphase hat nämlich noch einen weiteren Effekt: die Identifizierung von Aspekten des Funktionierens und möglicher Spielräume für Verbesserungen. Die Analyse des Kurses im Rahmen der festgelegten Kriterien und Ziele ermöglicht es, Stärken und Schwächen zu identifizieren und so eine mögliche Richtung für Wachstum und Verbesserung der Praktiken aufzuzeigen. Deshalb ist die Bewertung so wichtig und mit beruflichem Wachstum verbunden. Die Wirkungen und Auswirkungen des Evaluierungsprozesses sind dank der Forschung und der Studien besser sichtbar, aber er muss immer noch praktiziert werden und sollte obligatorisch und nicht erwünscht sein.
6d) Ein Modell für eine formative Evaluation bei der Unterrichtsgestaltung
In diesem Abschnitt stellen wir ein Modell vor, das für den Aufbau eines formativen Evaluierungsprozesses im Bereich des Instruktionsdesigns relevant ist.
Dieses Modell wurde von Cynthia Weston, Lynn McAlpine und Tino Bordonaro entwickelt und in der wissenschaftlichen Arbeit „A Model for Understanding Formative Evaluation in Instructional Design“, in Educational Technology Research and Development, 1995, Vol. 43, Nr. 3, S. 29-48, 1995.
Das Modell wurde durch die Analyse von 11 Texten zur Unterrichtsgestaltung validiert und bietet ein Entscheidungsmodell für die Gestaltung einer effektiven formativen Beurteilung.
Das hier ausgearbeitete Modell bietet eine gemeinsame Sprache für die Analyse und das Verständnis der Literatur über formative Bewertung. Es identifiziert vier Kategorien innerhalb von zwei Richtungen und Perspektiven der Bewertung.
Weston, McAlpine und Bordonaro fragen: „Welche Art der formativen Bewertung des Unterrichts ist am effektivsten?“ Viele Forscher haben versucht, diese Frage zu beantworten, indem sie Überlegungen und Modelle zu effektiven und wirkungsvollen Evaluierungsstrategien ausgearbeitet haben. Tatsächlich können wir jedoch feststellen, dass es kein absolut richtiges und effektives Evaluierungsmodell gibt; es gibt dasjenige, das für bestimmte kontextuelle und zeitliche Bedingungen und Kriterien am besten geeignet ist. Die drei Autoren schlagen nach einem Exkurs und einer theoretischen Rekonstruktion der Evaluation im Bereich des Instruktionsdesigns ihr Modell vor, das auf der Grundlage von Studien, Feldanalysen und durchgeführten Untersuchungen aufgebaut ist. Das erarbeitete Modell bietet einen Leitfaden für die Gestaltung der Bewertung und die Auswahl der Bewertungskriterien entsprechend den Zielen, die sich jeder Designer setzt, um effizient zu sein. „Das hier ausgearbeitete Modell bietet eine gemeinsame Sprache für die Analyse und das Verständnis der Literatur über formative Evaluation, indem es vier Komponenten identifiziert: Wer nimmt teil, welche Rollen können eingenommen werden, welche Techniken können verwendet werden und in welchen Situationen können diese eingesetzt werden“ (Weston, McAlpine, Bordonaro, S. 29, 1995).
In diesem Modell ist die formative Evaluation ein Prozess, der sich an den Zielen des Unterrichtsprojekts orientiert. „Um eine wirksame Strategie zu entwickeln, muss man unserer Meinung nach die formative Evaluation als einen Gestaltungsprozess betrachten. Der erste wichtige Schritt ist daher die Klärung der Ziele des Unterrichts. Die Auswahl von Maßnahmen oder Strategien zur formativen Evaluation erfolgt auf der Grundlage der Ziele und wird durch bestimmte Zwänge eingeschränkt. Da es sich bei jeder formativen Evaluation um ein nicht genau definiertes Problem handelt, kann der Bewerter die Problemlösungen nicht aus Komponenten zusammenstellen, sondern muss nach den geeigneten Zusammensetzungen suchen“ (Weston, McAlpine, Bordonaro, S. 47, 1995). Deshalb ist es für den Erfolg des Projekts wichtig, allgemeine und spezifische Ziele zu setzen.
Die Festlegung und Klärung von Zielen ist ein grundlegender und vorrangiger Schritt bei der Unterrichtsgestaltung und im Evaluierungsprozess. Die Ziele können in Bezug auf Zufriedenheit, Lernen, Transfer und organisatorische Auswirkungen gemessen werden (Weston, McAlpine, Bordonaro, 1995).
„Das Modell sieht eine formative Bewertung in zwei Phasen vor: Datenerfassung und Überarbeitung. In der Phase der Datenerhebung wird der Unterrichtsentwurf erprobt und auf verschiedene Weise Feedback eingeholt. In der Überarbeitungsphase wird der Unterricht geändert, um ihn zu verbessern“ (Weston, McAlpine, Bordonaro, S. 32, 1995).
Darüber hinaus gibt es vier Komponenten, die zum Verständnis der Analyse der Daten und der Revision herangezogen werden können: Teilnehmer, Rollen, Methoden und Situationen.
- Teilnehmer: Diese Komponente konzentriert sich auf das intrinsische Wissen, das die Teilnehmer in die Aufgabe einbringen. Die Kategorien des Wissens sind Anfänger und Experten in einem bestimmten Wissensbereich, wie z.B. Fachgebiet oder Unterrichtsgestaltung. Neulinge sind diejenigen, die noch keine Erfahrung in einem bestimmten Bereich haben, während Experten diejenigen sind, die ihr Wissen auf einem bestimmten Gebiet sowohl durch Ausbildung als auch durch Erfahrung erweitert haben. Der Unterschied zwischen den Teilnehmern ist also das Niveau und das Fachwissen, über das sie verfügen.
- Rollen: Diese Komponente konzentriert sich auf die Aufgaben, die den Teilnehmern während der formativen Bewertung gestellt werden. Es gibt vier Arten von Rollen: Bewerter, Lerner, Kritiker und Überprüfer. „Der Evaluator entwickelt und führt die formative Evaluationsstrategie durch (…). Am häufigsten wird der Begriff Evaluator verwendet, wahrscheinlich weil dies die Person ist, die für die formative Evaluation verantwortlich ist. Der Lernende ist derjenige, der sich einen Reim auf den Unterricht macht und ihn versteht, der Kritiker prüft und beurteilt den Unterricht. Der Überprüfer schließlich entscheidet, welche Änderungen vorzunehmen sind, und modifiziert die Aspekte des Unterrichts, die als problematisch erkannt wurden“ (Weston, McAlpine, Bordonaro, S. 32, 1995).
- Methoden: „sind definiert als die Verfahren, Techniken und Instrumente, die bei der formativen Evaluation eingesetzt werden. Die erste Kategorie, Verfahren, umfasst die Schritte, die der Evaluator bei der Entwicklung und Durchführung der formativen Evaluationsstrategie unternimmt, wie z.B. die Auswahl von Teilnehmern und Rollen und die Entscheidung über die zu verwendenden Techniken und Instrumente. Techniken sind locker strukturierte heuristische Instrumente, wie z.B. Interviews, die bei einer Reihe von Teilnehmern unterschiedlich eingesetzt werden können, da sie von der Interaktion zwischen dem Bewerter und dem Teilnehmer abhängen. Instrumente sind stark strukturierte algorithmische Hilfsmittel, wie z.B. Posttests, die im Voraus vorbereitet werden und konsistent mit einer beliebigen Anzahl von Teilnehmern verwendet werden können. Techniken und Instrumente liefern Informationen in Bezug auf die Ziele der formativen Evaluation und führen zu Veränderungen, die die Effektivität, Effizienz und Attraktivität des Unterrichts beeinflussen“ (Weston, McAlpine, Bordonaro, S. 32, 1995).
- Situationen: “ bezieht sich auf den Kontext, in dem die formative Evaluierungsaktivität stattfindet. Es gibt fünf Kategorien von Situationen: Einzelperson, Eins-zu-Eins, Zweiergruppe, kleine Gruppe und große Gruppe. In der Einzelsituation handelt ein einzelner Teilnehmer isoliert. In den anderen vier Situationen arbeitet ein Evaluator mit einer unterschiedlichen Anzahl von Anfängern und Experten zusammen“ (Weston, McAlpine, Bordonaro, S. 33, 1995).
„Die Komponenten bilden die Grundlage für mögliche Maßnahmen bei der Gestaltung jeder formativen Evaluation, wobei eine bestimmte Auswahl aus jeder der Komponenten sowohl für die Datenerhebungs- als auch für die Überarbeitungsphase eine formative Evaluationsstrategie darstellt“ (Weston, McAlpine, Bordonaro, S. 46, 1995).
Gemäß der Studie und dem vorgeschlagenen Ansatz gibt es keine Antwort auf die ursprüngliche Frage „Welche Art von formativer Evaluation ist am effektivsten?“, denn formative Evaluation ist ein Gestaltungsprozess und jede Situation unterscheidet sich von den Teilnehmern, den Rollen, den Methoden und den Situationen. Das bedeutet, dass es nicht den einen Ansatz gibt, der für jedes Evaluierungsprojekt das Richtige ist, sondern dass es den Ansatz gibt, der in dem Moment und für die analysierten Kategorien am besten geeignet ist.
In der Tat „hilft das erarbeitete Modell bei der Entwicklung geeigneter formativer Evaluationsstrategien für bestimmte Ziele und Kontexte, weil es dazu zwingt, alle Aspekte der formativen Evaluation zu berücksichtigen und sich explizit mit Annahmen auseinanderzusetzen, die zuvor möglicherweise nicht überprüft wurden. (…) Die Absicht dieses Modells ist, dass jede formative Evaluierungsstrategie als einzigartiger Gestaltungsprozess zu sehen ist, der aus spezifischen Zielen besteht, die die Auswahl vorantreiben, und aus Einschränkungen, die die letztendliche Wahl der Maßnahmen begrenzen. (…) Die Verwendung des Modells als Vorlage, um die vier Komponenten in jeder Phase durchzuarbeiten, stellt sicher, dass die formative Evaluierungsstrategie vollständig ist und hilft dabei, alle stillschweigenden Annahmen aufzudecken. Ein wünschenswerter Evaluierungsansatz würde dann ein explizites Ziel und eine klare Definition der Teilnehmer, der Rollen, der Methoden und der Situationen für die Datenerfassung und -überarbeitung beinhalten, die alle im Voraus und in Bezug auf dieses Ziel festgelegt werden“ (Weston, McAlpine, Bordonaro, S. 46, 1995).
Nach diesen Schritten zeigt das vorgeschlagene Modell, dass es möglich ist, eine Sprache und einen Rahmen zu schaffen, die den Evaluierungsprozess leiten und gestalten helfen; ein Prozess, der zu einer formativen Evaluierung im Bereich des Instruktionsdesigns führt.
