Il n. 3 della collana Research in comparative and International Education della Oxford University Press del 2013 è dedicato alla Globalizzazione della valutazione (Globalization of Assessment). Una rassegna che, per quanto datata, presenta tuttora il pregio di offrire informazioni sulla situazione internazionale delle valutazioni standardizzate in un panorama editoriale che, soprattutto in Italia, non offre molto di più aggiornato.
Si esamineranno in sintesi i diversi saggi che costituiscono questo numero della collana della rivista citata.
1° SAGGIO:
I TEST PER CLASSIFICARE, IMPARARE E MIGLIORARE
La pubblicazione si apre con un ampio contributo di studiosi della George Washington University che affrontano l’argomento in relazione a quelli che vengono definiti i tre fini delle valutazioni standardizzate: classificare, imparare e migliorare.
La varietà delle valutazioni internazionali su vasta scala, ILSA
Le valutazioni internazionali su vasta scala, ILSA (International Large Scale Assessments), non sono solo quelle più note di IEA (TIMSS, PIRLS, CIVED) ed OCSE (PISA), si sono sviluppate anche altri tipi di valutazione, con specifiche localizzazioni. In America Latina si è realizzata la LLECE (Latin American Laboratory for the Assessment of the Quality of Education), in Africa Sud Orientale la SEACMEQ (Southern and Eastern African Consortium for Monitorin Educational Quality); sullo stesso tema sono state sviluppate EGRA (Early Grade Reading Assessment) e EGMA (Early Grade Math Assessment) a cura del Research Triangle Institute negli USA, ASER (Annual Status of Education Report) in India a cura di Pratahm, organizzazione non-governativa indiana; infine Literary Boost a cura di Save the Children.
L’obiettivo che gli autori si pongono è anche quello di rinforzare il dialogo fra le ILSA tradizionali e quelle dedicate ai Paesi emergenti.
L’origine delle valutazioni su vasta scala
Il fenomeno viene considerato come una conseguenza dell’idea dell’educazione quale strumento di sviluppo economico e sociale sulla base della teoria del New Public Management: riduzione della spesa pubblica attraverso la decentralizzazione e la privatizzazione, aumento dell’efficienza mediante concorrenza e accountability, attribuzione dell’autonomia delle unità di base con puntuale controllo degli esiti.
La comparazione fra sistemi e scuole avviene in questo modello quasi solo attraverso la misurazione dei risultati: misurare e poi imitare gli esempi positivi; anche nelle pubblicazioni Unesco si passa dalle ispezioni all’utilizzo dei risultati. Questa impostazione insieme alla popolarizzazione del tema dell’educazione sarebbe un fatto positivo, se non ci si scontrasse poi con la difficoltà di introdurre nelle scuole a livello di massa effettivi cambiamenti che incrementino le performance. In ogni caso le ILSA avrebbero generato uno choc positivo, perché, fino alla loro introduzione, un’idea effettiva dei livelli di apprendimento veniva data solo dagli esami esterni, nei quali il peso del miglioramento era unicamente sulle spalle degli studenti.
La tipologia dei Paesi partecipanti
La maggioranza dei partecipanti è costituita dai Paesi avanzati ma vi sono anche alcuni Paesi di medio e basso livello economico. Dei 144 Paesi con queste ultime caratteristiche non sono però in molti a partecipare alle ILSA e ci si può domandare quanto ciò sia loro utile, visto che si collocano sempre ai livelli più bassi. La loro presenza però induce nelle ILSA la tendenza ad adattarsi ai loro bisogni, cioè a misurare anche i livelli bassi, come è avvenuto in PISA per i livelli sotto il livello 1.
Il saggio vede con favore la possibilità di sviluppo di reti decentralizzate che possano riflettere più adeguatamente le condizioni locali e nazionali, anche in chiave di miglioramento ed anche a livello delle scuole e delle classi. Le ILSA originarie infatti continuano ad essere poco utili ai fini del miglioramento, perché vengono tenute su un arco troppo ampio e differenziato. Diversificare per obiettivi e per area può essere la strada da seguire.
Le informazioni e le conoscenze che ci sono venute dallo sviluppo delle ILSA sono, in ogni caso, numerose e questo è importante in un campo in cui prevalgono gli assunti aprioristici. Il loro risultato, forse meno atteso, è stato apprendere che un gran numero di ragazzi non raggiunge i livelli minimi di competenza (si va dal 4% al 90% in alcuni Paesi), tanto che si sono dovuti definire ed articolare anche i livelli al di sotto di quello che era stato ipotizzato come il più basso.
E’ poi abbastanza appurato che i sistemi scolastici differiscono non solo nelle medie dei risultati, ma anche nella loro distribuzione, cioè nella percentuale degli studenti collocati ai diversi livelli. Le variazioni nei risultati dei singoli studenti sono più forti all’interno dei Paesi che fra i Paesi; questo aspetto è peraltro meno osservato di quello a livello di classe, scuola o territorio.
Lo status economico sociale della famiglia (misurato in termini di titolo di studio e professione dei genitori, oltre che di presenza di libri a casa) ha dappertutto relazione con gli esiti, ma lo status medio del contesto scolastico è altrettanto potente. Tuttavia il peso del contesto scolastico sugli apprendimenti dei singoli varia fra i Paesi, anche a seconda dell’età in cui viene effettuata la canalizzazione scolastica. Infatti anche la struttura del sistema scolastico influisce. Gli studenti dei sistemi precocemente differenziati non presentano livelli più alti, mentre ci sono fra di loro più ampie variazioni nei risultati, anche in relazione allo status delle famiglie.
Qualità ed equità non sembrerebbero antagoniste, anzi molti Paesi hanno migliorato la qualità proprio migliorando i livelli più bassi.
La performance degli immigrati varia a seconda dei Paesi di partenza e di arrivo; i quindicenni immigrati dello stesso Paese tendono ad avere gli stessi risultati, indipendentemente dai Paesi di destinazione e tuttavia in certi Paesi i risultati sono migliori che in altri.
Gli effetti delle ILSA possono essere differenti in dipendenza dal fatto che le si usino come “fruste” o come “termometri” e possono andare dalla indifferenza al buttare per aria il sistema. Ad esempio la Svizzera ha usato i risultati per rinforzare le riforme che aveva intenzione di fare, mentre negli USA sono stati intesi per lo più come una misurazione dei livelli degli studenti. Queste differenze dipendono più dal dibattito politico interno che da quello internazionale e dalle ricerche degli studiosi. In generale però l’interesse è più sulle classificazioni che sui consigli relativi alle politiche scolastiche, che nessuno legge o che vengono piegati alle tendenze interne in corso. Molti accademici e gli stessi staff delle ILSA considerano la classificazione come il meno interessante degli esiti, ma il suo merito è comunque quello di sprone al miglioramento. Le ILSA influenzano il curriculo, facendo convergere l’attenzione sulle competenze testate ed emarginando le altre. Inoltre legittimano la valutazione e la misurazione dell’educazione, assolutizzando il valore dell’impostazione delle prove.
Nei Paesi con bassi livelli economico-sociali, le ILSA rinforzano il ruolo delle organizzazioni internazionali che usano gli indicatori per promuovere una visione dell’educazione di tipo razionalistico ed economico e tendono a togliere potere agli attori locali. Viene legittimato un certo tipo di comparazione internazionale secondo il quale i sistemi non sono unici ed olistici, determinati dal contesto e dai fattori storici e filosofici, ma del tutto comparabili, in quanto scomponibili nei loro diversi elementi.
Il contributo si chiude con l’individuazione delle possibili ed auspicabili prospettive di sviluppo.
Dal punto di vista della raccolta dati bisognerebbe:
- tenere presenti i punti di vista degli insegnanti, anche per analizzare il livello della classe, che si considera decisivo;
- ampliare il campione per rendere i risultati attendibili a livello della scuola;
- aumentare i livelli di somministrazione al fine di verificare l’evoluzione nel tempo.
Quanto agli oggetti dell’indagine, bisognerebbe ampliare le analisi sulle competenze trasversali.
Già così però la base dei dati a disposizione è molto ampia e si presterebbe ad incrementare le analisi secondarie, ancora non sufficientemente diffuse.
Al fine di assumere decisioni politiche fondate sarebbe altresì utile rinforzare la presenza di dati sui predittori ed integrare il tutto anche con analisi qualitative.
Come fare i miglioramenti? Ad evitare i limiti di un’importazione di esempi che faccia entrare idee fresche da fuori, ma che rischia di restringere la visione ad un solo focus, bisognerebbe analizzare i differenti effetti di una stessa innovazione nei diversi contesti.
2° SAGGIO:
DENTRO ALLA SCATOLA NERA
Prospettive dell’uso delle valutazioni internazionali su vasta scala per indagare gli effetti sulle classi
Questo saggio individua, fra i possibili sviluppi positivi delle valutazioni internazionali su vasta scala, l’esplorazione dell’effetto classe con l’apertura della “scatola nera”, come viene chiamato tutto ciò che di non conosciuto avviene all’interno della classe. Secondo gli autori, anzichè cercare semplicemente di imitare i Paesi in testa alle classifiche, sarebbe meglio utilizzare i dati PISA per le analisi secondarie, quali le valutazioni nazionali derivate da PISA, per esaminare le differenze all’interno dei sistemi e per mettere a fuoco ciò che succede all’interno della classe.
Da un primo bilancio dei risultati delle ILSA si riscontra che è aumentata l’accountability, mentre minore è stata l’influenza sull’impostazione dei curriculi.
Alcune cose sembrano appurate: la scuola mitiga le differenze sociali nei Paesi poveri, mentre non ha molta influenza ove si sia raggiunto un certo livello di PIL.
Le strategie che sembrano avere una maggiore ricaduta sono la scolarizzazione precoce ed il maggiore tempo scuola. Il miglioramento degli insegnanti innalza il livello medio, ma non riduce le differenze, anche se queste sono minori dove il livello complessivo di status dei docenti è più alto.
Quanto al tema molto discusso dell’influsso della canalizzazione (tracking) sulle ineguaglianze, il parere degli autori è che nella canalizzazione è anche importante l’effetto della diversa offerta formativa – fin qui poco studiato- oltre che quello di composizione delle classi e delle scuole (peer effect). Contrariamente a quanto in alcuni Paesi si pensa a proposito del rapporto fra canalizzazione e livello medio degli apprendimenti, gli autori del saggio ritengono che una politica di istruzione unitaria non ridurrebbe il livello medio né svantaggerebbe i migliori. Vale la pena ricordare che oggi la battaglia per il prolungamento dell’unitarietà ai 15- 16 anni sembra meno importante di dieci anni fa e che comunque il principale obiettivo di tante polemiche in proposito è la canalizzazione nei Paesi di lingua tedesca dove è effettuata intorno agli 11-12 anni.
Non mancano critiche alle ILSA che dovrebbero accentuare maggiormente l’aspetto longitudinale, cioè quello della misurazione dei progressi e tenere in maggior conto le diverse caratteristiche e motivazioni degli studenti, evitando indicatori unidimensionali di competenze.
La critica principale, però, è quella che, nella impostazione delle indagini sui fattori che concorrono a determinare il livello degli apprendimenti, si sottovaluta l’importanza sia della offerta delle OTL (Opportunity To Learn) cioè della offerta curriculare formale e informale, sia delle differenze fra le classi annidate nelle scuole, differenze che sarebbero un fattore determinante dell’apprendimento, soprattutto dove la partecipazioni a classi con curriculi differenti è una forma di canalizzazione/seregazione. Per quanto riguarda gli USA, per esempio, si rischia di sopravvalutare l’effetto dello status economico sociale in quanto tale, se non si tiene conto della segregazione effettiva esistente e che perciò i risultati derivano anche da ciò che si studia (OTL) e dai compagni che si hanno (peer effect).
Diverso ancora sarebbe il caso dei risultati dei Paesi con più basso livello socio-economico, nei quali può essere messa in discussione l’attendibilità dei risultati a causa della incerta rappresentatività dei campioni.
3° SAGGIO
SFIDE POLITICHE E POTENZIALITA’ DELLE ANALISI SECONDARIE
Un terzo saggio si sofferma sui contorni politici della questione e sulla necessità di attivare analisi secondarie.
Tre motivi politici stanno nei diversi Paesi dietro la decisione di partecipare alle ILSA:
- tenere alta la reputazione del Paese e individuare le decisioni politiche da prendere;
- scoprire i meccanismi effettivi di funzionamento del sistema e promuovere il trasferimento di pratiche specifiche;
- attirare l’attenzione dell’opinione pubblica in presenza di una situazione di insoddisfazione verso il funzionamento delle scuole.
Tuttavia la tendenza a trattare i risultati acriticamente e a considerare scontati i loro rapporti con il futuro economico della nazione porta a conseguenze talvolta negative. Non bisognerebbe enfatizzare le graduatorie, spesso basate su piccolissime differenze statisticamente non significative, anche perché non vi si tiene in conto la distribuzione ampia o ristretta dei risultati in relazione alle classi sociali di appartenenza degli allievi. Allo stesso modo le graduatorie possono cambiare nel tempo, in relazione al numero ed alla tipologia dei partecipanti. Sarebbe insomma meglio operare analisi secondarie su singoli Paesi o su gruppi di Paesi comparabili.
Perché ciò non avviene o avviene troppo poco?
Perché i ricercatori pubblicano alla spicciolata e non riescono a darsi un obiettivo politico; molti non si interessano alle ILSA o non ne valutano le potenzialità, anche perché non hanno famigliarità con metodologie complesse. In tal modo spesso utilizzano dati meno validi ed anche limitati quantitativamente, operando improprie generalizzazione. I metodi misti quanti-qualitativi non sono ancora in uso, ma sarebbero molto appropriati allo sviluppo delle scienze sociali in questo campo. A livello macro le ILSA possono contribuire alla studio della antropologia psicologica e a livello micro allo studio dei processi di classe. Operando a livello nazionale, le indagini potrebbero esaminare più a fondo i fattori individuali, il contesto ed il processo che le scuole mettono in atto.
Il saggio punta l’attenzione sugli aspetti di sistema, ma contiene anche una rilevazione interessante a proposito delle ricadute sui curriculi: le scienze sociali sono state molto ridotte dalla centralità degli apprendimenti strumentali di base ed in tale modo potrebbero essere danneggiati gli studenti che sono portati a campi diversi da quelli indagati dalle ILSA. Secondo gli autori, in questo modo, si rischia di fare riforme improduttive
4° SAGGIO
MISURAZIONE DEL BACKGROUND SOCIOECONOMICO IN PISA
Più specialistico il quarto saggio relativo alla misurazione del background socioeconomico in PISA. L’indicatore “ cose possedute a casa” (es. scrivania, propria camera, computer, cellulari, macchina, tv, ecc..), che è stato peraltro spesso indicato come quello con maggiore correlazione con il livello degli apprendimenti, soffrirebbe in alcune nazioni di poche proprietà psicometriche e perciò il rapporto vantato fra apprendimenti ed ESCS indicato potrebbe essere più tenue di quanto affermato. Può essere che questa sia la misura migliore soprattutto in alcuni Paesi – probabilmente quelli OCSE dell’occidente, anche perché è formata da più elementi, ma altrove può non essere del tutto convincente. Secondo gli autori OCSE non menzionerebbe i limiti di questa misura e molti ricercatori non avrebbero la competenza per metterli in rilievo. La soluzione potrebbe essere quella di aggiungere qualche domanda valida per specifici contesti.
5° SAGGIO
POSSONO GLI ILSA DETERMINARE OBIETTIVI GLOBALI DI APPRENDIMENTO ?
Come si è fin qui visto, un aspetto importante di questa pubblicazione è la finestra aperta sulle problematiche internazionali anche oltre il mondo anglosassone ed europeo, che generalmente costituisce l’orizzonte più ampio del materiale reperibile in Italia. E’ quanto tratta il contributo della Brookings Institution di Washington dal titolo “Possono gli ILSA determinare obiettivi globali di apprendimento?
Fino al 2015 i Millennium Development Goal dell’ONU hanno posto il focus sull’ accesso all’ educazione primaria per tutti e sulla differenza di genere: i più facile da misurare. Oggi si può dire che l’iscrizione alla primaria è aumentata moltissimo, fino ad arrivare al 90%, ma che molti terminano l’istruzione formale senza essere realmente alfabetizzati. Successivamente la Global Education First Initiative -sempre delle Nazioni Unite- ha definito ulteriori obiettivi: tutti i bambini a scuola, ma per migliorare la qualità dell’apprendimento e per rinforzare la cittadinanza globale.
Con il 2015 è perciò iniziata una seconda fase, i cui obiettivi sono stati decisi sempre dalla Assemblea Generale delle Nazioni Unite: oltre che sull’accesso si tende a mettere l’accento anche sui risultati, che prevedono la necessità di obiettivi più ampi di quelli di Literacy e Numeracy muovendosi verso un Human Rights Framework, Quadro di riferimento dei Diritti Umani, che comprenda un ampio arco di competenze non solo cognitive: salute, nutrizione, igiene e sviluppo cognitivo e sociale definite come life skill essenziali.
Per i Paesi più arretrati sono meglio le ILSA internazionali o quelle realizzate a livello nazionale? Nonostante il loro grande sviluppo, le ILSA più note non comprendono i Paesi più economicamente arretrati, anche perché hanno scale di valori poco articolate verso il basso; partecipare a PISA per finire in fondo alla graduatoria può scoraggiare e non dare strumenti utili per migliorare. Perciò, per innalzare i livelli inaccettabilmente bassi di Literacy e Numeracy in quei paesi, ci si sta orientando verso focus limitati e precisi che diano maggiormente idea delle reali complessive competenze dei bambini. Di qui lo sviluppo di ILSA locali che non si basano solo sulle scuole ed hanno modalità di rilevazione più adatte a quei Paesi. Si va perciò verso un modello ibrido di misurazione con alcuni elementi valutati a livello globale ed altri a livello locale. In definitiva, gli obiettivi devono potere essere realizzati, non essere solo wishful thinkings e perciò usare un solo riferimento internazionale non va bene. I rischi delle attuali misurazioni internazionali, in particolare in questi Paesi, sono infatti il restringimento del curriculo, la perdita dei valori nazionali e la possibilità di prove con forti ricadute.
6° SAGGIO
LE ILSA SONO UN TERMOMETRO, UNA FRUSTA O UN UTILE STRUMENTO DI POLICY?
Negli ultimi 30 anni, è cresciuto incredibilmente il numero dei Paesi invia di sviluppo che partecipano alle Valutazioni Internazionali su Larga Scala (ILSA), ma l’uso che fanno dei dati forniti dalle ILSA è tuttora incompiuto.
Il saggio si domanda se per questi Paesi le ILSA siano un termometro, una frusta oppure un utile strumento di policy; in realtà queste funzioni devono allinearsi per essere efficaci. Molti Paesi che si collocano in fondo alle graduatorie non accettano di far pubblicare i loro risultati, mentre i Paesi arabi hanno usato i brutti risultati come frusta.
Non si parla solo di PISA ma anche delle ILSA internazionali dell’America Latina, dell’Africa Australe ecc…
Va detto che queste indagini hanno vari limiti: mancano di una dimensione longitudinale, non catturano bene i livelli bassi visto che i Paesi a livello economico basso o medio sono in fondo alla classifica ed hanno dati di contesto limitati. Inoltre gli studenti a 15 anni hanno alle spalle un numero diverso di anni di scuola, le età di somministrazione sono diverse e difficilmente raffrontabili. Un problema è poi quello di costruire in tutti i Paesi buone capacità tecniche: il Cile ne è già stato un esempio positivo. La World Bank ed altre organizzazioni internazionali fanno seminari per formare il personale dei ministeri; in alcune ILSA i ministeri partecipano anche alla definizione delle domande.
E’ necessario sviluppare la capacità di usare i dati, di costruire le somministrazioni in modo scientifico e di fare le analisi per orientare le politiche. Il rischio delle analisi decentrate, che possono analizzare meglio i livelli bassi, è però quello di “accontentare” i Paesi ma di emarginarli dalle competizioni internazionali.
Questo saggio individua anche i possibili miglioramenti in questa direzione:
- espandere l’arco delle domande per catturare gli estremi delle prestazioni,
- introdurre link fra i diversi ILSA,
- migliorare i misuratori del background di famiglie e studenti anche utilizzando codici comuni come il Codice Fiscale in Italia,
- usare metodi adattivi come quelli del CAT danese (vedi sotto),
- introdurre domande concernenti le policy locali o di cluster,
- aumentare il numero di domande rilevanti per le politiche,
- aumentare il campione per potere bene analizzare i sottogruppi,
- creare studi longitudinali nazionali sui risultati
- ed infine analizzare l’evoluzione nel tempo dei fattori correlati.
7° SAGGIO
DUE RUOTE SONO MEGLIO DI UNA:
L’IMPORTANZA DI COMBIMARE LA LETTURA A SCUOLA CON QUELLA A CASA
Un esempio di possibile adattamento degli strumenti delle ILSA alle caratteristiche dei Paesi in via di sviluppo lo ha offerto la ricerca Literacy Boost di Save the Children, che cerca di studiare, oltre alle risorse per la Lettura a scuola, anche la seconda “ruota” che è decisiva: le risorse e le pratiche di Lettura a casa o comunque nella comunità..
Literacy Boost nasce nel 2007, quando Save the Children diede avvio ad una serie di valutazioni e di interventi sulla lettura. Si tratta di un sistema che prevede due filoni di intervento: uno con gli insegnanti e l’altro con le comunità.
Per gli insegnanti, Literacy Boost offre formazione e supporto in attività didattiche volte ad insegnare le cinque abilità chiave di lettura (Snow et al, 2005) all’interno del curriculum governativo.
Nella comunità, i gruppi di lettura guidati da un membro del luogo appositamente preparato, diffondono le possibilità di lettura. Sono state create le banche dei libri nelle comunità e alle scuole viene offerta una varietà di materiali di lettura per bambini da leggere in gruppo, con gli amici e da prendere in prestito e da portare a casa.
Le valutazioni del programma Boost hanno rilevato che chi ha usufruito delle opportunità di lettura al di fuori delle scuole ha imparato più dei pari che non vi hanno preso parte. I bambini provenienti da case senza libri, senza opportunità di lettura, sono quelli che hanno tratto maggiori benefici da questi interventi rispetto ai compagni più avvantaggiati.
L’interesse di queste esperienze può risiedere, secondo il saggio, anche negli USA, viste le caratteristiche della sua popolazione.
8° SAGGIO
VALUTAZIONE DELLA LETTURA E DELLA MATEMATICA NELLE CLASSI INIZIALI DEI PAESI IN VIA DI SVILUPPO- EGRA, EGMA
Gli obiettivi di Education For All (EFA) e Millennium Development Goals (MDG) sono stati in buona misura raggiunti nei Paesi emergenti per quanto riguarda l’accesso alla scuola primaria e il suo completamento, ma hanno lasciato molto a desiderare sulla misurazione e il miglioramento dell’apprendimento. Di qui l’esigenza di nuove specifiche valutazioni.
Questo saggio analizza, per l’appunto, due ILSA nei Paesi emergenti entrambe patrocinate dalla Banca Mondiale, focalizzate sulla lettura e la matematica dei primi anni scolastici:
- EGRA (Early Grade Reading Assessment), la valutazione della lettura nelle classi iniziali nei Paesi a basso reddito,
- EGMA (Early Grade Mathematics Assessment) la valutazione della matematica nelle classi iniziali nei Paesi a basso reddito.
Queste valutazioni nascono da tre lacune delle ILSA:
- mancanza di valutazione nei primi anni,
- carenza di proposte di miglioramento,
- tempi troppo diluiti.
Le differenze di queste due valutazioni rispetto a valutazioni come pre-PISA (le indagini PISA ultimamente sviluppatesi che indagano le età precedenti ai 15 anni)- e pre-PIRLS riguardano:
- l’età più bassa,
- il livello più basso di apprendimento atteso,
- e la focalizzazione sul miglioramento.
EGRA si è sviluppata dal 2006 fino al 2009 utilizzando per i Paesi aderenti un Framework comune con possibilità di sub-articolazione. Un punto debole è la sua collocazione in open source e perciò la possibilità di un suo uso non appropriato; un’altra critica riguarda la “reading mania” e la restrizione del curriculo.
In particolare in Egitto si è registrato generalmente un buon accesso all’istruzione con l’eccezione delle donne e delle zone Sud, nonostante le difficoltà per le caratteristiche della lingua araba. Il protocollo del progetto prevede l’analisi dei testi e delle pratiche didattiche, la generalizzazione obbligatoria delle indicazioni previste ed il controllo tempestivo di eventuali miglioramenti.
EGMA si è sviluppato dal 2008 in 13 Paesi e prevede un’analisi orale individuale di 15 minuti, per evitare sovrapposizioni con l’indagine di Reading. Gli esiti sono risultati in generale migliori di quelli di Lettura, ma peggiori delle aspettative. In Kenia in particolare dal 2003 la scolarizzazione è totale, salvo piccole sacche regionali o delle donne, ma gli esiti evidenziano ritardi negli apprendimenti del calcolo e carenze nelle performance più impegnative. Un piano governativo a lungo termine sottolinea l’importanza della scienza e della tecnica per lo sviluppo del Paese e perciò ha varato azioni di formazione e disseminazione, almeno sulla carta molto stringenti, con analisi qualitative per controllare l’impegno dei docenti nel miglioramento e l’impatto relativo.
9° SAGGIO
NAMIBIA: UNO STUDIO DI CASO ATTRAVERSO SACMEQ
SACMEQ (Southern and Eastern Africa Consortium for Monitoring Educational Quality), è un consorzio di ministri dell’istruzione, politici e ricercatori che opera in collegamneto con l’UNESCO in 15 paesi dell’Africa sudorientale. Le valutazioni svolte da SACMEQ sono un esempio di ILSA definito, somministrato ed analizzato autonomamente a livello decentrato. Sono state realizzate tre somministrazioni (1995-2000-2007) in Lettura, Matematica ed AIDS nella 6° classe. Nell’ultima del 2007 si sono registrati miglioramenti. Prima di ciò non si aveva idea dei livelli effettivi di apprendimento in termini comparativi, soprattutto a causa delle differenze razziali e dell’apartheid.
Non sono mancate le ricadute: la creazione di una commissione centrale ministeriale, l’organizzazione di seminari di disseminazione e piani di azione regionali, una adeguata mobilizzazione di operatori, la decentralizzazione. In Namibia poi si registrano ulteriori ricadute grazie agli aiuti della Germania (essendone stata in parte una colonia), compresa l’analisi dei dati.
10° SAGGIO
INDIA: IL RAPPORTO ANNUALE SULLO STATO DELL’EDUCAZIONE (ASER)
ASER (Annual Status of Educational Report) è una analisi semplice e veloce effettuata in India sulle conoscenze di base di Lettura e Matematica. Due regioni indiane parteciparono a PISA 2009 con risultati disastrosi e perciò il governo indiano non rinnovò la partecipazione a PISA, motivando la decisione con il fatto che si trattava di una indagine non adatta al Paese a causa delle differenze culturali. L’India è un Paese in cui le ILSA non esistono e sono poco studiate ed in cui l’accesso all’istruzione, su cui ci si è focalizzati, ha avuto risultati positivi: di qui la convinzione che ciò generi automaticamente apprendimenti e quindi una sottovalutazione dell’esigenza dei controlli, che sono stati molto leggeri.
ASER è stata organizzata dalla ONG PRATHAM per 7 anni in villaggi rurali con 600.000 allievi, utilizzando volontari. Un esempio di indagine semplice, a basso costo ed a largo impatto che dal 2012 è imitata in alcune nazioni asiatiche e africane realizzata attraverso il Reading Assessment Tool, strumento semplice di lettura a 4 livelli usato per incrementare l’alfabetismo.
Con strumenti semplici, sia come testi che come modalità di campionamento, PRATAHM ha sviluppato una modalità di valutazione che ha dimostrato che, nonostante i forti investimenti, il livello di alfabetizzazione non è migliorato negli otto anni di indagine e che esso si assesta in media di molto sotto quello atteso in base ai programmi ufficiali. I governi centrale e regionale sono perciò ostili a questi controlli.
11° SAGGIO
LA FINLANDIA HA TUTTO? ANALISI DELL’EFFETTO FINLANDIA SUI MEDIA IN AUSTRALIA, GERMANIA E COREA DEL SUD
Tornando ai Paesi occidentali, questo saggio analizza la ricaduta in alcuni Paesi degli ottimi risultati della Finlandia in PISA, soprattutto nel primo decennio, prima della discesa in campo delle tigri asiatiche. L’impostazione dell’autore è peraltro critica nei confronti del concetto di educazione mondiale, che risentirebbe di un approccio legato al neoliberalismo e al nuovo managerialismo che esternalizzano il baricentro della formazione svalorizzando la tradizione e le realtà nazionali.
Il modello della educazione finlandese è diventato molto popolare perché viene pensato come un modello che può aiutare le nazioni avanzate a mantenere il proprio livello basandosi intensivamente sul sapere. La Finlandia è uno schermo su cui si proiettano i problemi dei diversi Paesi.
In Germania, l’attenzione alla Finlandia si innesta sulla abitudine a guardare verso Nord, per quanto riguarda la scuola: negli anni precedenti era stato il caso della Svezia. Nel dibattito tedesco le ragioni addotte per l’eccellenza della Finlandia sono la minore percentuale di immigrati, la maggiore abitudine alla lettura, l’alto livello degli insegnanti, un clima di non pressione e la presenza di aiuti individualizzati. Soprattutto forte il dibattito sulla comprensività che vede il Paese su posizioni differenti: mentre il Sud mantiene e sostiene la canalizzazione a 11-12 anni, il Nord ha nei decenni precedenti sostenuto con incerte fortune la Gesamtschule, ma alla prova di PISA presenta risultati meno brillanti.
In Australia i riferimenti alla Finlandia sono minori, perché gli australiani hanno avuto buoni risultati in PISA 2000 e 2003, anche se nel 2006 e nel 2009 si è registrato un crollo. I buoni risultati finlandesi vengono collegati al forte legame con Nokia nel quadro della situazione positiva dello sviluppo economico. Dopo il 2005 in particolare l’attenzione si è centrata su qualità ed equità, anche perché i punti critici del sistema australiano sembrano essere una forte disparità fra scuole ed il finanziamento alle private. Mentre era in corso una riforma di quasi- mercato, nel dibattito veniva opposta la egualitaria Finlandia alle competitive UK e USA che presentano risultati inferiori; dal 2009 poi emergono le tigri asiatiche particolarmente vicine anche geograficamente, che vengono contrapposte alla Finlandia come modello scolastico.
Per quanto riguarda il Sud Corea che ha registrato ottimi risultati, ci si è domandati come mai in testa alle graduatorie si collocassero due nazioni con modelli così diversi: a fronte di una Finlandia caratterizzata da un sistema egualitario e rilassato (ma si dimentica di analizzare le ricadute meno visibili di un passato protestante in termini di introiezione delle regole), il sistema coreano è in Occidente criticato per l’eccessiva pressione esercitata sugli studenti. Anche qui nello stesso periodo veniva introdotto un sistema di quasi- mercato: eliminati i bacini di utenza, pubblicati i risultati delle prove, differenziati i salari degli insegnanti.
12° SAGGIO
IL RUOLO EGEMONICO DI PISA NELLA REALTA’ SPAGNOLA
Questo saggio attribuisce a PISA un ruolo egemonico nella realtà spagnola.
In effetti in Spagna i politici motivano le loro scelte con i risultati e le analisi di PISA. I risultati mediocri spagnoli in PISA hanno messo sotto processo la riforma del LOGSE del 2000 ed in particolare l’abolizione delle bocciature e la spinta verso la comprensività.
Usando lo specchio PISA, i cambiamenti nella direzione opposta alla LOGSE sono presentati come tecnici, oggettivi e non ideologici, essi sono:
- la tendenza alla standardizzazione della valutazione,
- un ripensamento sulla canalizzazione precoce,
- la possibilità di tagliare le spese per la loro mancanza di nesso con i risultati negli apprendimenti.
Importante come in Italia ed in Germania anche la comparazione fra le regioni soprattutto fra la Catalogna e Paesi Baschi, quelle con i migliori risultati e soprattutto le più alte aspettative. La regione che ha registrato i maggiori cambiamenti è stata la Catalogna, anche se i risultati non sono stati negativi tanto in assoluto quanto rispetto alle aspettative.
I risultati più significativi dal punto di vista della struttura del curriculo sono stati:
- l’attenzione alla Lettura e la sua promozione,
- la estensione delle competenze informatiche
Dal punto di vista della struttura del sistema, si è avuto una valorizzazione dell’autonomia.
13° SAGGIO
L’IMPATTO DELLE VALUTAZIONI INTERNAZIONALI SU VASTA SCALA IN GERMANIA
Rispetto alla Spagna, la Germania, secondo gli autori di questo saggio, ha avuto comportamenti diversi. Vi è ampia consapevolezza della propria mancanza di materie prime e della necessità di formazione di alto livello per mantenere il proprio elevato standard economico. Tuttavia gli anni ‘70 avevano visto un completo blocco dei cambiamenti, nonostante il consenso di importanti stakeholder economici, anche a causa della autonomia dei Lander. Il dibattito pro e contro la scuola comprensiva, rispetto all’esistente canalizzazione precoce, era stato molto approfondito e coinvolgente ed aveva determinato uno stallo. Stallo dovuto anche al fatto che nel 90-91 Germania dell’Est e dell’Ovest appena unificate parteciparono con due differenti campioni all’indagine IEA sulla Lettura ma i risultati furono uguali, nonostante i due diversi sistemi scolastici.
Alla fine degli anni ‘90 i risultati molto meno brillanti delle attese determinarono infine cambiamenti. Il primo shock la Germania lo aveva avuto ancor prima di PISA 2000: si parla infatti del TIMSS Shock del 1996. Le decisioni politiche seguenti non si fecero attendere: nel 1997 i 17 Lander decisero:
- la partecipazione coordinata alle valutazioni standardizzate,
- la definizione di standard nazionali per gli esami finali,
- l’incremento di studi informatici,
- la fondazione e lo sviluppo delle agenzie di controllo qualità.
In questo periodo, secondo gli autori, si registra un passaggio di valori: dalla centralità della coesione sociale e della equità a quella dello sviluppo economico e dell’occupazione. Da qui deriva anche la centralità di quella parte del curriculo che viene definita MINT (Mathematics, Informatics, Natural Sciences, Technology) che viene considerata una chiave formativa per lo sviluppo del Paese.
L’orientamento al risultato (output orientation) cerca di mettere insieme l’approccio produttivo con la finalità politica di rinforzare l’equità, scelta quest’ultima peraltro necessaria per diminuire le grandi differenze registratesi nelle indagini nelle performance degli allievi, che erano anche state la causa dei bassi livelli medi. Da questo passaggio deriva la nuova fondamentale importanza sociale di acquisire a scuola una gamma ampia di abilità per la vita e la definizione di standard precisi anche per la formazione professionale, già peraltro naturalmente orientati in un Paese come la Germania che dedica molta attenzione ed impegno formativo alla acquisizione di competenze concretamente misurabili.
14° SAGGIO
IL PUNTO DI VISTA USA SULLA PARTECIPAZIONE ALLE ILSA
In questo saggio viene preso in considerazione il punto di vista USA sulla partecipazione alle ILSA. Gli USA hanno avuto un ruolo guida nello sviluppo delle ILSA anche dal punto di vista del sostegno finanziario, pure se i sub- campionamenti sono lasciati alla iniziativa dei singoli stati. In questo Paese le valutazioni esterne mostrano all’esterno i punti di forza e di debolezza e insieme generano problemi di ricerca e prospettive sui problemi interni. Mostrano infine cosa è educativamente possibile e a quali livelli di performance si potrebbe arrivare.
Il rapporto fra test nazionali e indagini internazionali sembra però complesso: i test sono federali e pertanto gli standard variano; ma esiste anche il NAEP, la misurazione nazionale in lingua e matematica nelle classi 4^ e 8^, che mette a fuoco i risultati di sistema e non quelli del singolo studente.
Negli USA i risultati mediocri dei test internazionali non stupiscono, al contrario che in Germania, per la continua consapevolezza di dover migliorare anche in relazione alla disomogeneità della propria popolazione scolastica. Ci si rifà spesso agli esempi positivi in questo senso ed in particolare a quelli dell’East Asia, dove molti Paesi partiti da bassi livelli sono molto migliorati.
Ma è diffusa la convinzione che i dati PISA siano costosi e peraltro poco precisi a livello territoriale, perché i campioni sono troppo piccoli. Il saggio si conclude perciò con l’ipotesi di utilizzare il potente apparato del NAEP anche per PISA e di mettere in relazione i dati delle due indagini per poterne meglio utilizzare il potenziale informativo.