5.2 Bildungsevaluation

Schauen wir uns nun einige der wichtigsten Ansätze an, die die Entwicklung im Bereich der Evaluierung geprägt haben

Der positivistisch-experimentelle Ansatz

Sie wurde laut der führenden italienischen Forscherin Nicoletta Stame mit dem Ziel geboren, eine fruchtbare Lösung für ernste und häufige soziale Probleme wie Arbeitslosigkeit oder den Verfall der städtischen Zentren zu finden.

In diesem Sinne wird davon ausgegangen, dass Programme nach einer rein rationalen Logik in zu erreichende Ziele, Mittel zur Erreichung dieser Ziele und erwartete Ergebnisse gegliedert sind und sich in einem politischen Zyklus befinden, der von der Entscheidung über die Umsetzung bis zur Bewertung und neuen Entscheidung reicht (Stame, 2001, S. 26).

Welche Bedeutung hat also die Bewertung aus dieser Perspektive?

Die Evaluierung verfolgt also die Aufgabe, durch den Vergleich mit den erzielten Ergebnissen zu überprüfen, ob die Projektziele erreicht wurden.

In diesem Sinne stellt die Definition von Zielen eine grundlegende Phase bei der Umsetzung von Maßnahmen dar, die auf die gewünschte Veränderung abzielen: Sie sind in der Tat ein integraler Bestandteil des Programms und umfassen die eigentliche Lösung des Problems.

Die Bewertung nach dem positivistisch-experimentellen Ansatz ermöglicht auch die Verallgemeinerbarkeit einer Intervention oder einer Reihe von Interventionen auf ähnliche Situationen. Dadurch wird auch die Kohärenz zwischen den für die Bewertung gewählten Instrumenten und der zu bewertenden Aktion bestimmt. Die Funktion eines solchen Evaluierungsansatzes „entspricht der Vorstellung einer ‚instrumentellen‘ Nutzung der Evaluierung: Die Evaluierung sollte Informationen liefern, die die politischen Entscheidungsträger in Entscheidungen umsetzen sollten“ (Stame, 2001, S. 28).

Der pragmatisch-qualitative Ansatz wurde als Antwort auf den Positivismus geboren.

Nach diesem Ansatz hat die Evaluation die Aufgabe, die organisatorischen Abläufe zu steuern und zu kontrollieren, um zu sehen, ob die festgelegten Ausbildungsstandards eingehalten werden, d.h. wie weit die erzielten Ergebnisse dem Modell oder dem Referenzstandard entsprechen.

Einer der Begründer dieses Evaluierungsmodells ist Scriven, der es als prospektivistischen oder transdisziplinären Ansatz bezeichnet, bei dem der Evaluator eine möglichst objektive Rolle in Bezug auf die eigentlichen Programmziele einnimmt.

Die Bewertung muss sich daher als zielfreie Bewertung ausdrücken, die den Grad der Annäherung ähnlicher Aktionsprogramme an den Standard erkennt. Eine solche Bewertung verweist auf das Konzept der Qualität, nämlich das Erreichen vorher festgelegter Standards (Stame, 2001).

Auch bei diesem Ansatz hat die Evaluierung eine instrumentelle Funktion, aber im engeren Sinne ist sie eine Funktion der administrativen Entscheidungsfindung.

Der konstruktivistische Ansatz – sozialer Prozess

Dieses dritte Modell wird als Kompendium einer Reihe von Modellen beschrieben, einschließlich Verweisen auf die Forschung von Guba und Lincoln (1992) rund um die „vierte Generation der Evaluation“ und die Analyse von Cronbach (1980), die Evaluation als einen Prozess sozialer Natur betrachtet, der in einem sich verändernden sozio-politischen Kontext stattfindet.

Bei dieser besonderen Art von Ansatz führen die Bewerter eine ständige Diskussion mit den Beteiligten, und die Kriterien werden von Zeit zu Zeit je nach der spezifischen Situation festgelegt. In Anlehnung an die von Barbier (1989) und Hadji (1989) im Bereich der Bildungsevaluation eingeführte Terminologie wird der Referenzwert, d.h. das angestrebte Ziel, das Modell, auf das sich der Bewerter beziehen muss, nicht apriorisch festgelegt, sondern im Dialog und in der Konfrontation mit den Beteiligten konstruiert, wobei in jedem Fall auf ähnliche Situationen Bezug genommen wird, die wir als Best Practices definieren könnten. Zusammenfassend lässt sich sagen, dass „die Evaluierung die Tatsache berücksichtigen muss, dass sich ein Programm jedes Mal, wenn es umgesetzt wird, im Kontakt mit dem Kontext verändert: Die Probleme, die von den verschiedenen Interessengruppen empfunden werden, werden unterschiedlich sein und die Schlussfolgerungen, die für ein Programm gezogen werden, können nicht auf andere Situationen verallgemeinert werden, in denen ähnliche Programme umgesetzt werden. Dies bedeutet jedoch nicht, dass keine Lehren gezogen werden können, die anderswo angewendet werden können“ (Stame, 2001, S. 32).

Nach dem konstruktivistisch-sozialen Prozessansatz hätte die Bewertung einen kognitiven Nutzen sowohl für die individuelle Situation, auf die sie sich bezieht, als auch für den Zweck, Strategien zur Verbesserung der Begünstigten des Prozesses selbst zu identifizieren. Galliani nennt das dritte Paradigma konstruktivistisch (oder auch konstruktivistisch-sozial), da er glaubt, „dass Wissen aus der Erfahrung des Lernenden, aus den kulturellen Werkzeugen (symbolisch und technologisch), die er zu benutzen weiß, aus den Kontexten, die er besucht, und aus den Formen der sozialen Verhandlung, die erlaubt sind, konstruiert wird. Er begreift Bildungsevaluation als eine Interpretation von Bildungshandlungen als Prozess, mit der Aufgabe, seine Entwicklung zu regulieren und durch die soziale Konstruktion von Referenzwerten durch alle Beteiligten Sinn zu produzieren“ (Notti und Galliani, 2014, S. 58). Nach dieser Sichtweise wäre der Bewertungsprozess ein ausgehandelter Akt zwischen den Beteiligten, und der Austausch von Bedeutungen würde die Grundlage für die Initiierung und Umsetzung des Prozesses selbst bilden. Der Evaluator muss daher ein „Initiator von Bedeutung für den anderen“ sein (Notti, 2014, S. 15).

Auf dem Weg zu einer gemischten Methode: das kombinatorisch-kreative Modell

Ein wichtiger Beitrag zur Forschung über den Evaluierungsprozess im Bildungsbereich stammt von Notti (2010; 2014), der die verschiedenen Ansätze in zwei Methoden zusammenfasst: die subjektivistische Methode, die auf einer Fallstudie basiert, und die objektive Methode, die auf Zielsetzungen beruht. Die erste wird als qualitativ-hermeneutisch bezeichnet, weil sie das Studium der Bildungssituation zum Gegenstand hat, auf dem Beitrag der Erfahrung beruht, die Rolle der Intuition schätzt und einen ganzheitlichen Ansatz verfolgt. Die zweite Methode geht davon aus, dass die Bewertung auf der Überprüfung der Erreichung geplanter Ziele beruht und betont vor allem den Aspekt der Messung.

Jedes der beiden Modelle hat Vor- und Nachteile, und es besteht inzwischen ein Konsens darüber, dass sie nicht als Gegensätze zu verstehen sind, sondern sich gegenseitig ergänzen und in Kombination verwendet werden sollten, wobei das eine oder das andere je nach den unterschiedlichen Bewertungsanforderungen bevorzugt werden sollte. Um Notti zu zitieren: „Eine mögliche Gemeinsamkeit zwischen den beiden Modellen kann in einem Ansatz gefunden werden, der die Messung von der Bewertung unterscheidet, indem er ersteren die quantitativen Daten überlässt, d.h. die Daten, die das Kriterium der Gewissheit erfüllen, und letzteren die qualitative Interpretation und Beschreibung der ermittelten Daten nach Kriterien […]. Das Gesagte unterstützt die Notwendigkeit eines Modells, in dem die quantitativen experimentellen und die qualitativen hermeneutischen Untersuchungsmethoden in einer Logik, die ihre möglichen Überschneidungen nutzt, faktisch miteinander verbunden sind“ (Notti, 2014, S. 18-19).

Zusammenfassend lässt sich sagen, dass das kreative kombinatorische Modell der beste Weg ist, um die berufliche Praxis im Bildungswesen zu verbessern und zu erneuern. Diese Grundsätze können, wenn sie auf die Bildungsbewertung angewandt werden, die regulierende Funktion der Bewertung fördern, die darauf abzielt, Lernergebnisse, Lehrleistungen und die Qualität der Bildung zu verbessern.

Verwendung von Indikatoren bei der Bewertung

Bei der Auswertung müssen Sie entscheiden, welches Objekt Sie beobachten wollen und wie Sie dies tun. Das heißt, dass Sie entscheiden müssen, welche Indikatoren Sie verwenden und welche Methode Sie anwenden wollen. Ein Indikator ist ein „Merkmal oder eine beobachtbare oder berechenbare Variable (oder eine Beziehung zwischen Variablen), die Hinweise auf ein bestimmtes Phänomen liefert“ (Leone, Prezza, 2003, S. 141). Der Indikator wird verwendet, um Informationen zu geben. Daher muss er verständlich sein und das Phänomen, für das er erstellt wurde, klar zum Ausdruck bringen. Der Indikator muss methodische, konzeptionelle und machbare Merkmale berücksichtigen.

Die Merkmale einer konzeptionellen Natur sind:

1. Pertinenz: Ein Indikator ist relevant, wenn er die wesentlichen Merkmale des zu messenden Objekts beobachtet.
2. Relevanz: Ein relevanter Indikator wird anhand der Bedeutung des Merkmals des zu beobachtenden Phänomens ermittelt.
3. Spezifität: Ein spezifischer Indikator minimiert das Risiko eines falsch-positiven Ergebnisses, d.h. er führt nicht zu der Annahme, dass ein Zustand vorhanden ist, wenn er nicht vorhanden ist.
4. Empfindlichkeit: Ein empfindlicher Indikator hebt die Unterschiede in der Intensität des sichtbaren Phänomens hervor.

Die methodischen Merkmale, die die Indikatoren erfüllen müssen, beziehen sich auf die Messungen:

• Gültigkeit: Eine Messung ist gültig, wenn sie das Phänomen (oder seine Aspekte) misst, das man zu analysieren beabsichtigt;
• Zuverlässigkeit: Eine Messung ist zuverlässig, wenn sie präzise und wiederholbar ist.

Die Durchführbarkeitsmerkmale beziehen sich auf die endgültige Auswahl der zu verwendenden Indikatoren, die unter Berücksichtigung der Eigenschaften der Indikatoren, des Zwecks, der Bedeutung und der verfügbaren Ressourcen erfolgt (Leone, Prezza, 2003, S. 142-143).

Darüber hinaus können die Indikatoren auf der Grundlage mehrerer Kriterien unterteilt werden: (a) Kriterium der Nähe des Indikators zu dem Phänomen, das er anzeigen soll. Die Indikatoren sind direkt und indirekt: die direkten zeigen das Phänomen direkt an, während die indirekten Elemente zeigen, die in einer Beziehung zum Gegenstand der Analyse stehen. Die Indikatoren können je nach den Zielen, für die sie verwendet werden, definiert werden. Die Bewertungsindikatoren ermöglichen es beispielsweise, die Erreichung der Ziele eines Projekts zu bewerten, während die Prozessindikatoren die Modalitäten der Durchführung der Aktivität bewerten (ebd., S. 143-144).

Die Bewertung der vierten Generation

Nach Guba und Lincoln (Guba & Lincoln, 1989) ist Evaluation eine grundsätzlich soziale und politische Aktivität, die sich an institutionellen Kulturen und deren Werten orientiert. Mit den Worten dieser Autoren: Die Ergebnisse der Bewertung sind keine Beschreibungen darüber, „wie die Dinge wirklich sind“ oder „wie die Dinge funktionieren“, oder über den „Wahrheitsgehalt“ eines Sachverhalts, sondern sie sind tatsächlich sinnvolle Konstruktionen, die einzelne Akteure oder Gruppen erzeugen, um den Situationen, in denen sie handeln, einen „Sinn“ zu geben. Bei den festgestellten Aspekten handelt es sich nicht um „Fakten“ in dem Sinne, wie dieser Begriff im Allgemeinen verwendet wird, sondern sie werden buchstäblich durch Interaktionsprozesse geschaffen, an denen sowohl der Evaluator (so viel zur Objektivität!) als auch die vielen Interessengruppen beteiligt sind, die an der Evaluierung beteiligt sind (und Risiken eingehen). Was aus diesem Prozess hervorgeht, ist eine von vielen möglichen Konstruktionen, die die verschiedenen Realitäten des vorliegenden Falles darstellen (Guba & Lincoln, 1989, S. 8),

Die Evaluation der vierten Generation oder Bewertung der vierten Generation, wie die Autoren sie nennen, geht auf die Perspektive der responsiven Evaluation von Robert Stake (Stake, 1975) zurück. Es handelt sich um eine Art der Evaluation, die epistemologische und ontologische Prinzipien der Realität berücksichtigt, wie sie aus gelebter Erfahrung konstruiert wird, wobei die Subjektivität eine zentrale Rolle spielt.

Dieser Ansatz stützt sich auf zwei wichtige Elemente:

• (a) reaktionsfähige Fokussierung, d.h. ein Bewertungsschwerpunkt, der durch die von den an der Bewertung Beteiligten selbst gestellten Fragen bestimmt wird, und
• (b) eine konstruktivistische Methodologie, die auf einem hermeneutischen Ansatz beruht, der die Interpretation von sinnstiftenden Prozessen als grundlegende Art des Verstehens (und damit der Bewertung) annimmt.

Die Evaluation der vierten Generation ist also ein Vorschlag, bei dem Evaluation ein rechenschaftspflichtiger relationaler Prozess ist (Abma & Widdershoven, 2011). in der das bewertende Subjekt die Welt nicht mehr von außen betrachtet, sondern interagiert und selbst die Verantwortung für den Entwicklungsprozess übernimmt, den die eigene Teilnahme an einem Bewertungskontext auslösen kann. Dies ist in der Tat eine Perspektive, in der Autonomie, Reflexivität und Intersubjektivität die Grundlage für interaktive und dialogische Bewertungsprozesse bilden.

In solchen Prozessen lernen der Evaluator und die Teilnehmer voneinander und verstehen, dass sie gemeinsam für die Ergebnisse der Evaluierung verantwortlich sind, die selbst zu einem formativen Prozess wird (Abma & Widdershoven, 2011, S. 672).

Diese Perspektive geht weit über den traditionellen qualitativen Ansatz hinaus, bei dem der Bewerter nach einem reaktiven Paradigma arbeitet, indem er beobachtet und interpretierend, aber isoliert vorgeht. Durch diese neue Perspektive wird ein Prozess des gegenseitigen Lernens in Gang gesetzt, der transformative Formen der eigenen Praxisrealität definieren kann.

Ziel ist es, ein dichtes und ganzheitliches Verständnis für die Komplexität sozialer Praktiken zu entwickeln, und zwar aus der Sicht eines Insiders. -d.h. intern bei der Bewertung, und nicht als Außenstehender. Unsere Hauptannahme ist, dass dieser Ansatz Teil der Bewertungsmethode sein kann, die wir in einer tiefgreifenden, komplexen Sichtweise von Qualität anwenden, in der wir die Bewertung von Standards (die in einem Kontext interinstitutioneller und transnationaler Kommunikation notwendig ist) mit einer komplexen, konstruierten Sichtweise dessen, was Qualität für die beteiligten Akteure bedeutet, verbinden.