Überlegungen zu PISA 2015

1. Gute Leistungen in den Naturwissenschaften

In den Naturwissenschaften war in der deutschen Schule in Südtirol immer schon ein ausgeprägteres Verständnis für die Umwelt vorhanden. In diesem Bereich waren unsere Schülerinnen und Schüler schon bei der TIMSS 1996 besser als unsere italienischen Nachbarn in Südtirol und im Trentino. Das wirkt sich anscheinend auch auf die Gesamtleistung in den Naturwissenschaften aus. Betrachtet man die Subskalen, die in dieser PISA - Ausgabe eine differenzierte Betrachtung der Naturwissenschaften erlauben, erfährt man, dass die Jugendlichen in den deutschen Schulen sich besonders im Erklären von Vorgängen in der Natur (529) von den Altersgenossen in anderen Schulbereichen abheben, während die Leistung im Interpretieren (517) nicht so stark ist. Inhaltlich bildet erwartungsgemäß die Physik (517) die Nachhut, während die Leistung in den Erdwissenschaften mit 530 im Vordergrund steht.
Auf allen Subskalen übertrifft die deutsche Schule in Südtirol ihre Nachbarn im Trentino, in Deutschland und in Österreich, von der italienischen Schule in Südtirol oder Gesamtitalien gar nicht zu sprechen.

2. Mädchen - Buben

sind die Unterschiede bei uns wirklich nicht so groß wie in anderen Ländern? Wie ist der Vergleich mit Italien und Österreich? Sind wir beim Lesen etwas schwächer,

weil a) beide Geschlechter parallel schwächer geworden sind oder b) weil die Mädchen das Defizit der Buben nicht mehr ausgleichen können?

Im Leseverständnis (also dort wo die Mädchen normalerweise stärker sind) ist der Unterschied zwischen den Mädchen und den Jungen bei uns (deutsch und ladinisch mit deutschen Testaufgaben) tatsächlich geringer als z. B. in Österreich oder Deutschland oder in der OECD(35) (Südtirol deutsch und ladinisch mit deutschen Testaufgaben: Mädchen – Jungen: + 8 (8,12) (Punkteunterschied - in Klammern Standardfehler), Südtirol gesamt + 9 (4,3), Italien +16(4,7), Deutschland +21(3,3), Österreich +20(5,6), OECD +27(0,6)). Die geringere Differenz zwischen Buben und Mädchen gegenüber bspw. PISA 2009 (+47) geht aber darauf zurück, dass bei uns eher die Mädchen schwächer geworden sind, als dass sich das Ergebnis der Buben von unten jenem der Mädchen genähert hätte).

In Mathematik und Naturwissenschaften ist der Vorsprung der Buben immer noch sehr groß:

Mathematik: Südtirol dt. Buben – Mädchen +27 (5,13), Südtirol gesamt +24 (4,4), Italien +20 (4,3), Deutschland +17 (2,9), Österreich +27 (5,0), OECD +8 (0,6)

Naturwissenschaften: Südtirol dt. Buben – Mädchen +20 (4,54), Südtirol gesamt +17 (3,9), Italien +17 (4,6), Deutschland +10 (2,6), Österreich +19 (4,8), OECD +4 (0,6).

Österreich, und die deutsche Schule bei uns mit, sind also ‚Weltmeister‘ in den Gender-Differenzen in Mathematik und Naturwissenschaften. In Österreich gleichen die Mädchen den Unterschied zu den Buben mit einer etwas besseren Leistung im Leseverständnis aus, bei uns in der deutschen Schule nicht.

3. Achtung auf die Rankings

wenige Punkte Unterschied erlauben keine Aussage darüber, wer besser ist. Man muss den Standardfehler mit berücksichtigen. Man kann nur sagen, man befinde sich mit 95% - Wahrscheinlichkeit in einer Bandbreite zwischen Mittelwert ± 2xStandardfehler. Beispiel: Südtirol („Beste in Europa in Mathematik“ liegt mit einem Mittelwert von 524 und einem Standardfehler von 8,9 in einem Bereich von 515 bis 533, also zwischen dem 4. und dem 11. Platz in der Welt. In Europa könnte die Schweiz durchaus besser sein, Südtirol deutsch und Schweiz liegen in einem sich überdeckenden Konfidenzintervall, genauer: das 95-% -Konfidenzintervall der Schweiz liegt gänzlich innerhalb jenem von Südtirol. Zusätzlich ist der Vergleich zwischen Schulsystemen, deren Performance auf unterschiedliche Weise erhoben worden sind (Zensus auf Schulebene bei uns und Zufallsstichprobe auf Schulebene anderswo) problematisch.

4. Sozial gerechte Schule

Auf Schülerebene mag die deutsche Schule in Südtirol relativ gerecht sein, d. h. dass Schüler aus verschiedenen sozialen Schichten vergleichbare Leistungen erbringen und der Gradient zwischen dem sozialen und kulturellen Hintergrund (gemessen mit der Variablen ESCS – Economic, Social and Cultural Status) und der kognitiven Leistung nur schwach ansteigend ist. Betrachten wir aber diesen Zusammenhang auf der Ebene der Schulen (das ist bei uns machbar, weil alle Schulen untersucht worden sind; die Ergebnisse der einzelnen Schulen sind aber nur sehr begrenzt vergleichbar, weil die PISA-Studie nicht darauf hin angelegt ist. Man könnte zu ökologischen Fehlschlüssen kommen), so treten bereits deutlichere Unterschiede auf: Schulen, deren Schülerinnen und Schüler im Schnitt einen sozial stärkeren familiären Hintergrund haben, haben die besseren Ergebnisse.[1]

5. Reform der Bildungslandschaft 2011

Welchen Einfluss hat die Reform der Bildungslandschaft von 2011? Das könnte man nach 4 Jahren bereits feststellen. Die Sinnhaftigkeit dieser Reform ist offiziell nie in Zweifel gezogen worden. Nun sind Schulkonglomerate mit Mischprofilen entstanden, so dass die Aufschlüsselung der PISA-Daten nach Schultyp bei uns eher problematisch ist. Überhaupt ist die Kategorie „Fachoberschule“ vor allem in Bezug auf Mathematik sehr problematisch. Sie enthält einerseits die exzellent performierenden Gewerbeoberschulen und andererseits Schulen mit mäßigen Ergebnissen, wie WFO‘s, FOS, Sportoberschulen. Auch innerhalb der Kategorie Gymnasien gibt es riesige Unterschiede zwischen den Realgymnasien einerseits und den pädagogischen bzw. sozialwissenschaftlichen Gymnasien andererseits.

6. Lehranstalten

Was ist mit den Lehranstalten? Bei der Vorstellung am 7. Dezember sind sie in der deutschen Schule nicht mehr aufgetaucht, obwohl noch einige übriggeblieben sind (hat man sie einfach zu Gymnasien erklärt?) Man hat den Eindruck, dass die Lehranstalten,
nachdem man sie mit der sog. Reform der Bildungslandschaft 2011 teilweise abgeschafft hat, im Nachhinein keine Daseinsberechtigung mehr haben. Dabei haben diese Schulen oder das was von ihnen übriggeblieben ist, bei PISA 2012 noch recht gute Ergebnisse erzielt.

7. Rahmenrichtlinien

Tragen die neuen Rahmenrichtlinien zu einer Verbesserung der Schulleistung bei? Das würde ich besonders in Bezug auf Mathematik bejahen. Kompetenzorientierter Unterricht hat vor allem in Mathematik zu neuen Überlegungen oder eine Verstärkung von Initiativen in diese Richtung geführt, ebenso die Fortbildungen und die Diskussionen im Rahmen der Einführung von neuen Unterrichtsmaterialien. Aufbau von der Grund- und Mittelschule her, wo im Bereich der Mathematik in den letzten Jahren in der Fortbildung gute Arbeit geleistet worden ist. Auch Maßnahmen in der Oberschule wie die Überlegungen zur Einführung von Lernplattformen (Moodle usw.), Begabtenförderung mit den Modellierungswochen, Mathematikolympiaden und andere Wettbewerbe nicht nur für die guten Schüler haben zur Verbesserung der Mathematik in der deutschen Schule in Südtirol beigetragen. Das sind wahrscheinlich mit die besten Wirkungsbereiche des Schulamtes und des BIB und vor allem der einzelnen Fachgruppen an den Schulen in den letzten Jahren.

8. Gutes Datenmaterial

Ihr habt exzellentes Datenmaterial, besser als das anderer Länder und Regionen“[2]. Das hat damit zu tun, dass es bei uns weniger missing values gibt, dass bei uns gewissenhafter ausgefüllt und die Durchführung ernsthaft beaufsichtigt wird. (Dafür bekommen unsere PISA-Referenten auf Schulebene wesentlich weniger Geld als ihre Kollegen in Italien, weil sich das Land das vom INValSI bereitgestellte Geld einheimst.) Aus diesem guten Datenmaterial könnte man noch viel mehr herausholen.

Die PISA – Studien, die INValSI – Tests sowie die VERA – Überprüfungen könnten die Grundlage für brauchbare Längsschnittstudien sowohl als Trend- wie auch als Paneluntersuchungen darstellen. PISA selbst ist so angelegt, dass die Verlinkung der einzelnen PISA-Turnusse von 2003 (2000 hat Südtirol noch nicht mit einer eigenen Stichprobe teilgenommen, die gezogenen Schulen waren auf nationaler Ebene ausgewählt worden) bis 2015 Trendanalysen ermöglicht. Panelstudien sind mit PISA allein nicht möglich, da jeder Schüler höchstens einmal in eine PISA-Stichprobe kommt. Im Zusammenspiel mit den Kompetenztests VERA und den INVALSI-Tests (beides regelmäßig stattfindende Vollerhebungen nicht nur auf Schul- sondern auch auf Jahrgangsstufenebene – jede/r Schüler/in unterzieht sich in seiner Schullaufbahn mindestens drei solchen Untersuchungen) sind jedoch Panel-Untersuchungen möglich und man könnte Bildungsverläufe bis zur Matura nachvollziehen. Dies ließe auch den Rückschluss auf die Validität der verschiedenen Tests zu. Allerdings muss das Ganze unter größter Verschwiegenheit und mit sehr starkem Augenmerk auf die Datensicherheit und die Garantie der Anonymität vonstatten gehen. Da müssen absolute Experten daran gehen, mit entsprechender Ausbildung und Erfahrung. Bei dem lockeren Umgang mit der Vertraulichkeit der Daten, die wir in letzter Zeit in Südtirol feststellen müssen[3], und dem Mangel an technischer Kompetenz, ist absolut davon abzuraten, solche Studien in der Hand von Einrichtungen in Südtirol zu lassen.

Abgänger? Ein Bildungssystem, das seine Wirksamkeit überprüfen will, sollte neben den Leistungen innerhalb des Systems auch die Fortsetzung nach dem Abgang aus dem Bildungssystem immer wieder untersuchen. Was machen unsere Schülerinnen und Schüler nach der Matura? Wie schneiden sie bei Aufnahmeprüfungen ab? Wie hängen ihre Ergebnisse bei Leistungstests und PISA mit den Maturanoten und der weiteren Studienkarriere zusammen. Damit könnten die verschiedenen Tests im Laufe einer Schulkarriere auch besser validiert werden. Vielleicht käme man auch zum Schluss, dass der eine oder andere Test überflüssig ist. Hierzu gibt es Daten vom ASTAT, die im Zusammenhang mit den Systemevaluationen zu sehen wären.

9. Teure Studie - Schwache Berichte

Die PISA-Studien sind für das Land sehr teuer (von 2003 bis 2012 kostete jeder PISA-Turnus jeweils einen sechsstelligen Eurobetrag). Deshalb wäre zu erwarten, dass der Bericht zur jeweiligen PISA-Studie ein Minimum an Qualitätskriterien erfüllt (wissenschaftliche Seriosität, Richtigkeit der Daten, Nachvollziehbarkeit bei der Beschreibung der Vorgänge, usw. ). Dies ist beim gesamtitalienischen Bericht, der wie andere Länderberichte unter der Ägide der OECD geschrieben wird, auch tatsächlich der Fall. Der dürftige Südtiroler Bericht zur PISA – Studie 2012, mit dem sich immerhin 12 Leute als Herausgeber befasst haben, strotzt nur so von Fehlern materieller und inhaltlicher Natur und ist vor allem in den ersten beschreibenden Kapiteln sehr schlampig aufgezogen worden. Das hat auch damit zu tun, dass neben den wenigen INValSI-Experten eine ganze Reihe von Nichtsachverständigen am Bericht geschrieben hatten, die mit der PISA – Studie teilweise nicht einmal am Rande zu tun hatten. Ebenso war die Redaktion des Berichts mangelhaft. Es wäre wünschenswert, dass der nächste PISA-Bericht von Experten geschrieben wird, die mit der Durchführung und Auswertung befasst sind, und dass das Ganze unter der Aufsicht des INValSI abläuft. Auch Wissenschaftler, die aus Ergebnissen der Studie brauchbare Schlüsse für die Schule ziehen können, sollten miteinbezogen werden.
Allerdings haben auch die redaktionell besseren und zumindest fehlerfreien Berichte der vorigen PISA-Ausgaben (2003 – 2006 – 2009) nicht das geleistet, was die Kosten der PISA –Studie rechtfertigen würde: ein brauchbares Instrument für die Schulentwicklung zu sein, mit tiefergehenden Hinweisen darauf, in welchen Bereichen der Unterricht und das Schulsystem sich verbessern können, wo wir spezifisch in Fortbildung (und Ausbildung!) investieren müssen bzw. zu bestätigen, wo wir schon gut sind, und das uns als Beispiel für eine verstärkende Vorgangsweise dienen kann. Das Material zu diesen Hinweisen steckt in der PISA-Studie drin. In PISA 2009 sind Ansätze dazu in einzelnen Kapiteln, aber auch dort ist nicht ausreichend genutzt worden, was eigentlich in PISA steckt.

10. Rezeption

Spitz gesagt: die PISA-Studie ist besser als das, was man aus ihr macht. Die Medien und die Politik sind trotz anderslautender Beteuerungen vor allem am Ranking interessiert; wenn es gut ausfällt, haben die Politiker Grund, sich berechtigterweise zu freuen und eventuell die Glorie mit den Akteuren in den Schulen zu teilen; wenn die Studie schlecht ausfällt, haben die Medien Material für ihre Kritik. Dies vor allem in deutschen Landen, in denen PISA auf gehöriges Medieninteresse stößt, in Italien nimmt man nach wie vor kaum Notiz davon. Es ist schon gesagt worden, das PISA-Ranking ist nicht das eines Skirennens, das Bewusstsein für einen korrekten Umgang wäre also vorhanden. Aber dann klingt wieder durch: wir sind die Besten in Europa, die deutsche Schule in Südtirol ist deutlich besser als die italienische und Österreich haben wir abgehängt. Dabei genügen von Mal zu Mal oft wenige Punkte um die Platzierungen merklich zu verändern: mit den 530 Punkten in Naturwissenschaften vom letzten Mal wäre die deutsche Schule in Südtirol dieses Mal auf dem 6. Platz in der Welt, nun ist sie mit 522 an 10. Stelle. Auch die Vergleichbarkeit unserer Ergebnisse mit denen anderer Länder wäre in Frage zu stellen. Nicht, weil wir klein sind und ein Staat wie z. B. Deutschland groß ist oder weil wir nur Teil eines Ganzen sind. Es sind die unterschiedlichen Erhebungsmethoden, Vollerhebung auf Schulebene vs. Stichprobe oder der unterschiedliche Zeitpunkt in der Schullaufbahn, mitten in der Oberschule oder Abschluss der Pflichtschule, die Vergleiche hinken lassen. Bedeutet das etwas für den Unterricht? Soviel vielleicht, dass wir nicht ganz falsch liegen und bei uns die Naturwissenschaften einen erfreulichen Stellenwert haben, die Mathematik sich sehen lassen kann und das Leseverständnis auch nicht schlechter ist als bei den Nachbarn. Es wird m.E. aber viel zu viel Tamtam geschlagen um PISA, nicht nur bei uns sondern auch in anderen Ländern. Das hängt vielleicht damit zusammen, dass die PISA- Studie eine Studie der OECD ist und sich damit in einer hohen politischen und gesellschaftlichen Relevanz befindet, wozu natürlich auch das sportliche Ranking beiträgt, das international anerkannt wird (wie beim Ski-Weltcup – allerdings laufen bei einem Skirennen alle den gleichen Wettbewerb und haben höchstens mit unterschiedlichen Schneeverhältnissen zu kämpfen. Bei Pisa haben zwar alle die gleichgestalteten Rennstrecken aber verschiedene Rennen). Und da sehr viele Beteiligte, Schulpolitiker und Wissenschaftler in aller Welt, sich eingehend mit den Ergebnissen befassen, erhält die Studie damit eine sich selbst verstärkende Wichtigkeit. In manchen Ländern führen die PISA-Ergebnisse zu schulpolitischen Maßnahmen. In Deutschland gab es nach der ersten Runde einen PISA-Schock, in Österreich sprach die Bildungsministerin bei der Vorstellung von PISA 2015 von einem „inakzeptablen Ergebnis“.
Was ein wenig untergeht sind hunderte von Backgroundvariablen, aus denen man sehr viel herausholen könnte, was interessanter ist als die Punktränge.
Sehr wertvoll wäre es, tiefer in die Kompetenztests (VERA) und in die INVALSI-Untersuchungen hinein zu schauen. Die Ergebnisse dieser Tests auf Landesebene finden kaum den Weg in die Medienöffentlichkeit, obwohl sie sehr curriculumnahe wären.

11. Kulturelle Einbettung der PISA - Aufgaben

Die Auseinandersetzung um die kulturelle Einbettung der PISA-Aufgaben ist noch nicht abgeschlossen. Frankreich z. B. bezichtigt das Komitee, das die Aufgaben erstellt, zu sehr die angelsächsische Sichtweise zu favorisieren. Es wird immer wieder von deutschen PISA-Kritikern hervorgehoben, PISA sei zu sehr outcome-orientiert, teils wird (ungerechterweise) behauptet, PISA sei als Ausfluss der OECD neoliberalistisch, bei den Sprachkompetenzen werde „die Poesie zerstört“, die Sprache, das Leseverständnis werde auf den Umgang mit Sachtexten banalisiert, es gehe um arbeitsplatznahe und um arbeitsprozessbezogene Fähigkeiten, um skills und competencies, weniger um competence. Sicherlich ist es so, dass eine ganzheitliche Bildungsvorstellung schwer abprüfbar ist, auch wenn die Aufgaben zum Teil gestuft sind. Es geht letztlich um richtig-falsch auch wenn sich PISA bemüht, die ganze Studie nicht allein auf das Beantworten von multiple-choice Fragen zu reduzieren. Bei allen Schwächen ist ein externer Vergleich nützlich und notwendig, damit man nicht in die Gefahr der Selbstbezogenheit gerät. Aber man sollte davon Abstand nehmen, diesen externen Vergleich direkt für Verbesserungsmaßnahmen zu übernehmen. Als Anlass dafür ist er aber ganz gut zu gebrauchen.

[1] Untersuchung einer Klasse der WFO Meran über die Berufe der Eltern in der deutschen Schule in Südtirol und die gewählte Oberschule. Im Rahmen eines Projekts, das am Tag der Mathematik vorgestellt worden ist. Ergebnis: es gibt einen statistisch signifikanten Zusammenhang zwischen dem Beruf der Eltern und der gewählten Oberschule. Salopp gesagt, der Arztsohn wird wahrscheinlich nicht die Berufsschule besuchen, das Lehrertöchterlein wohl kaum eine Lehranstalt, genauso wenig wie ein Kind eines Hilfsarbeiters gute ökonomische Voraussetzungen hat eine Schule zu besuchen, die auf ein längeres Universitätsstudium ausgelegt ist.)

[2] Das sagte unter anderen der bekannte Oxforder Bildungsforscher Gordon Stanley(http://oucea.education.ox.ac.uk/directory/professor-gordon-stanley/) in einem Gespräch 2011 anlässlich der 7. Internationalen Konferenz für Bildungswissenschaften in Samos (GR).

[3] Bei PISA 2012 ist es der Evaluationsstelle der deutschen Schule gelungen, an die Daten der einzelnen Schulen zu gelangen, was eigentlich dem INValSI vorbehalten wäre und aus Gründen des Datenschutzes den Nationalagenturen vorbehalten bleibt. Das hat zu einiger Aufregung in der PISA-Zentrale geführt, nachdem ich das gemeldet hatte. So sind dann Ranking-Listen der Schulen entstanden, was eigentlich verboten wäre.