INTRODUZIONE
Dal 29 novembre all’ 1 dicembre si è svolta a Roma la 4° quarta edizione del Seminario Invalsi sui risultati delle prove, dopo le precedenti che si sono svolte a Firenze e Bari. Nelle 8 relazioni in plenaria e nelle 85 comunicazioni, anche di carattere internazionale, presentate in 3 sessioni parallele, le piste di approfondimento sono state due:
- l’utilizzo delle prove per il miglioramento della didattica
- l’analisi della scuola italiana nei suoi vari aspetti.
I relatori sono stati sia scuole e reti di scuola che ricercatori e studiosi non solo del campo pedagogico, ma anche economico, statistico e sociologico.
Offriamo qui una breve rassegna di alcuni dei materiali presentati, senza alcuna pretesa di esaustività, ma allo scopo di informare ed incuriosire anche il lettore non specialista e diffondere interessanti e utili informazioni ed analisi. Come nelle altre occasioni Invalsi presenterà sul suo sito la rassegna completa dei materiali.
RELAZIONI IN PLENARIA
Roberto Ricci
L’intervento di Roberto Ricci – responsabile nazionale Prove Invalsi – ha inteso indicare le strade che l’Istituto seguirà nel prossimo futuro. Il lavoro di predisposizione della “macchina” è oramai a buon punto, salvo i cambiamenti che necessariamente debbono continuamente essere apportati, sia per i feedback dalle scuole che per gli sviluppi della ricerca a livello internazionale. Ora il problema sta nell’uso della mole dei dati accumulati che, contrariamente a quanto si pensa generalmente, ha pochi riscontri in altri Paesi.
Da tempo i dati sono a disposizione dei ricercatori di università e centri di ricerca, ma questo non sembra aver generato una corsa sfrenata al loro utilizzo. Dopo più di 10 anni, scontiamo ancora l’orientamento storico della accademia italiana, poco interessata allo studio dei dati e forse neanche capace di farlo, massimamente nel campo della pedagogia e della didattica, ma anche in quello della sociologia. Come a livello internazionale, economisti e statistici sono stati i più interessati. E’ come se Invalsi ne avesse preso atto e perciò si fosse assunta il compito indispensabile di fare parlare i dati. Indispensabile perché è la sola reale giustificazione di impegni economici ed organizzativi evidenti e perchè le nostre società hanno bisogno di discutere, e forse di decidere, sulla base di fatti e non solo di ricordi liceali o di pressioni demagogiche.
Ricci ha parlato quindi dell’intenzione di interpretare i dati, senza farsi spaventare dai caveat metodologici, per evitare le interpretazioni semplicistiche e scorrette e per raggiungere tutti. Offrire insomma analisi, ma anche spiegazioni, dimostrarne il possibile utilizzo, incrementando la fiducia dei cittadini. La valutazione insomma – come ha detto Giorgio Vittadini nella introduzione al Seminario – diventa un’infrastruttura indispensabile della società ed anche uno strumento per l’equità. Senza dati si rischia di essere in preda di visioni “naives” degli obiettivi pedagogici, ignorando che si fa il contrario di quanto si dichiara. La vera inclusione infatti si fa solo se c’è la qualità.
Andrea Gavosto
Un esempio, invece, di centro di ricerca che ha avuto e ha un buon rapporto con i dati è la Fondazione Agnelli il cui Direttore Andrea Gavosto ha illustrato i numerosi progetti nei quali la Fondazione è stata impegnata nell’ultimo periodo. Fra questi ha oramai una fama consolidata ed un notevole successo Eduscopio, la graduatoria degli istituti superiori stilata sulla base delle percentuali di successo dei diplomati nell’entrata nel mondo del lavoro e degli esiti nel primo anno universitario in termini di esami sostenuti e voti ottenuti, pesati in relazione alla difficoltà media dei corsi. Gavosto ritiene che il problema fondamentale sia come usare i dati per modellare le policies, avendo come obiettivo decisori politici, insegnanti, famiglie ed opinione pubblica; a suo avviso Eduscopio ha avuto successo perché offre informazioni chiare e mirate alle famiglie.
Thierry Roger
Dalla Francia Thierry Roger – capo dell’ufficio per la Valutazione degli studenti al Ministero dell’Educazione francese – ha illustrato le caratteristiche del sistema francese, strutturato in modo paragonabile a quello italiano. Tuttavia esso mira, più che ad una funzione di misurazione e valutazione, ad una funzione diagnostica. L’obiettivo è quello di combattere le differenze e le discriminazioni sociali presenti in un sistema meritocratico come quello francese, che vede la scuola mantenere il suo prestigio, tanto è vero che la riforma del Bac non sembra alle porte. Ramificato ed organizzato come nella solida tradizione amministrativa francese, il sistema intende garantire supporti e strumentazioni didattiche di sostegno, qualora le analisi dei dati ne ravvisino la necessità.
Ernesto Treviňo
Ernesto Treviňo della Pontificia Università Cattolica del Cile si è soffermato su una caratteristica del sistema cileno, cioè il raggruppamento degli studenti in classi di livello. Le indagini che hanno analizzato l’effetto di questo raggruppamento sui livelli di apprendimento degli studenti tendono a dimostrare che, mentre il livello intermedio ci perde, ne guadagnano i livelli alti e quelli bassi. La conclusione è che questo tipo di raggruppamento può avere un effetto positivo se non viene applicato in tutto il percorso formativo, ma viene utilizzato solo temporaneamente e può godere di servizi di supporto. In ogni caso, seguendo sistematicamente il percorso degli studenti, se ne deduce che in Cile ben l’86% segue un percorso irregolare (ripetenze, trasferimenti etc) e che la scuola non costruisce un livello omogeneo di cittadinanza, perché la varianza degli atteggiamenti nei confronti delle domande di un questionario somministrato agli studenti in proposito raggiunge ben il 95%.
Gianluca Argentin
Fra gli ultimi interventi in plenaria quello di Gianluca Argentin della Università Bicocca di Milano che ha posto un interrogativo interessante: come mai, dopo tanti anni di discussioni ed interventi, le valutazioni standardizzate internazionali dimostrano che il problema dell’equità non è risolto. cioè che lo status economico sociale condiziona pesantemente il livello degli apprendimenti? La risposta parla del ruolo degli insegnanti: sono state presentati i risultati delle ricerche che dimostrerebbero che, a parità di livello nelle prove Invalsi, gli insegnanti attribuiscono voti di livello inferiore agli studenti di status economico-sociale inferiore, che, sempre a parità di livello nelle prove Invalsi, gli insegnanti non orientano gli studenti di status socio economico inferiore verso gli studi generalisti in ugual proporzione rispetto ai loro compagni di livello più alto e che infine gli insegnanti di qualità si concentrerebbero – su loro scelta- nelle scuole con studenti dall’ESCS più alto.
APPROFONDIMENTI IN SESSIONI PARALLELE
Diamo qui di seguito gli spunti di alcuni degli approfondimenti presentati nelle sessioni parallele.
Valutazione e miglioramento in Italiano
Lo Duca e Toth hanno effettuato una completa revisione critica dei quesiti di grammatica a partire dal 2008, nel merito sia della evoluzione in formato e contenuto delle prove, sia dei rapporti fra le prove stesse, il Quadro di Riferimento Invalsi e le Indicazioni Nazionali ed infine in relazione ad una possibile analisi circa le pratiche grammaticali scolastiche.
Moiso e Vannini, insegnanti, hanno realizzato una esperienza particolare in un istituto superiore di Pinerolo -Torino: seguendo gli orientamenti della formazione seguita dai docenti sul tema della grammatica testuale, gli allievi di una prima classe superiore hanno costruito una prova completa da sottoporre alle altre classi di livello inferiore, uguale o superiore e ne hanno analizzato i risultati.
Valutazione e miglioramento in Matematica
Babini e Graziani “alla ricerca dell’errore perduto” hanno scelto 7 item di matematica di terza media e seconda superiore e li hanno somministrati a studenti dell’Emilia-Romagna fino alla quinta superiore. Al variare della classe in generale non si riscontrano differenze nelle tipologie di errore e nelle percentuali di risposte errate. Si tratta perciò di studiare in maniera più approfondita i motivi della “persistenza dell’errore”: prassi didattica e/o misconcezioni?
Banchelli, Garuti e Nolli si sono domandati se i quesiti INVALSI possano essere un utile strumento per la costruzione di un curricolo a spirale in continuità fra la scuola primaria e la secondaria di II grado. Si sono presi in esame alcuni quesiti delle classi terminali (3 media e seconda e quinta superiore) definiti di “ricontestualizzazione” cioè che presentano situazioni simili già presentate nelle classi precedenti, ma che richiedono l’acquisizione di nuovi strumenti matematici (grafici, simbolici, ecc.) per essere risolti. E’ emersa la necessità per i docenti di individuare contenuti della matematica (ragionamento proporzionale, ordinamento dei numeri, ecc.) che fondino le loro radici già nei primi anni di scuola e di arricchirli di elementi ulteriori negli anni successivi.
Ferretti, Arzarello e Vannini hanno cercato di mettere a punto uno strumento (questionario e interviste per i docenti di scuola primaria) per mettere in relazione le pratiche didattiche e i quesiti INVALSI di Matematica. Uno degli aspetti più interessanti emersi in questa prima fase dello studio è il fatto che spesso i docenti non riconoscono come corrette strategie di soluzioni degli alunni che in apparenza si dimostrano poco efficaci, come se una strategia di soluzione corretta dovesse essere solo la “cristallizzazione” della soluzione più efficace. In questo modo tarpando le ali a tutte quelle soluzioni intermedie, magari meno efficaci (“fluide”), che invece sono fondamentali nell’acquisizione delle competenze matematiche.
Garuti e Pozio partono dal fatto che dal 2018 le prove INVALSI vengono svolte al computer (CBT) e che questo comporta che vengano corrette non più dai docenti, ma da INVALSI. Per le domande aperte (a risposta univoca o articolata) le risposte vengono analizzate da un gruppo di esperti della disciplina, per decidere se sono corrette oppure no. Dall’analisi delle risposte degli studenti emergono a volte elementi non previsti a priori, che consentono agli esperti di capire se la griglia di correzione debba essere allargata oppure di individuare eventuali elementi di ambiguità in domande che pertanto vengono eliminata dalla banca di item.
I dati Invalsi come strumento per sostenere l’innovazione ed il miglioramento scolastico
Rossetti e Di Clemente hanno riferito di una esperienza effettuata in scuole del Sannio con la realizzazione, somministrazione ed analisi di prove parallele per le classi prime in Italiano Matematica ed Inglese in modalità CBT uguale a quella delle prove Invalsi. Questo grazie all’uso gratuito della piattaforma Socrative che genera anche immediatamente le risposte con un file Excel, il che consente di analizzarne le caratteristiche e di individuare le criticità su cui intervenire.
Pastore,Scarnera e Pallucca partono dal fatto che il decision-making basato sui dati desta, oggi, particolare attenzione, specie quando i dati sono ricavati dalle rilevazioni su vasta scala dell’apprendimento degli studenti. È anche vero però che il modo in cui i dati sono utilizzati dipende dai livelli di competenza dei docenti e dei dirigenti nell’analizzare e interpretare i dati, nell’individuare criticità e problemi nella performance della scuola e nel definire le azioni da intraprendere (assessment literacy).Viene quindi riportato un esercizio di interim assessment realizzato in una scuola della provincia barese: dall’analisi micro delle prove Invalsi si è definito un modello di prove strutturate parallele che ha richiesto un percorso di sviluppo professionale dei docenti incentrato su disegno delle prove, rilevazione, produzione, uso e restituzione dei risultati.
Valutazione e miglioramento delle competenze trasversali
Nel corso del Seminario sono state presentate numerose ricerche realizzate all’interno del Progetto “Apprendere ad apprendere in Italia, Europa ed America Latina” coordinato da Stringher per Invalsi-Italia e che ha coinvolto come partner Spagna, Messico, Uruguay, Ecuador e Brasile. Si tratta di una ricerca qualitativa basata su interviste a docenti a partire dalla scuola dell’infanzia, il cui obiettivo è definire alcune prime ipotesi su come queste competenze si connotano all’interno delle diverse culture, con lo scopo di conoscere quello che accade nella quotidianità scolastica. Si tratta di paesi non all’avanguardia in questo campo, per il peso ancora predominante della trasmissione delle mere conoscenze, anche in relazione al livello complessivo di alfabetizzazione e culturale complessivo.
Analisi di metodi e modelli applicati ai dati
Rosati e Pasquini hanno presentato un indice del capitale umano italiano disaggregato per la prima volta a livello provinciale, definito secondo la metodologia della Banca Mondiale. Tale indice aiuta a quantificare la produttività futura dei bambini, sulla base delle attuali condizioni di salute e di istruzione. Il confronto mostra che, mentre alcune province sono vicine ai paesi con le migliori prestazioni, altre hanno prestazioni peggiori rispetto ai paesi di medio reddito.
La somministrazione per via informatica delle prove Invalsi non ha solo permesso la soluzione del problema del cheating ed una maggiore efficienza ed affidabilità ma offre anche spunti di valutazione sul livello di motivazione durante la prova e sul suo impatto sui risultati. Sacco ha analizzato i dati utilizzando i concetti di comportamento effortful, che rifletterebbe l’effettivo livello di competenza dello studente, essendo finalizzato alla soluzione dei quesiti posti e per converso di comportamento non effortful, caratterizzato da risposte troppo rapide e da rapide omissioni
Dall’a.s. 2018-19 è stata introdotta la correzione automatizzata delle risposte aperte sulla base dei criteri di correzione stabiliti dai gruppi di esperti e tradotti in pattern logico informatici, volti a definire l’insieme di modi ammissibili per fornire una risposta corretta. Tale correzione viene confrontata con la codifica prodotta manualmente mediante correzione a video e solo successivamente validata. Marsilio, Bagnarol, Donno e Campodifiori del Servizio Statistico dell’Invalsi sono gli autori del contributo
Diseguaglianze, mobilità sociale e reti territoriali
Martini e Bendinelli hanno affrontato l’importante tema del Valore Aggiunto. La varianza tra le classi e le scuole dei risultati nelle prove INVALSI del grado 8 sono complessivamente non elevate ma di dimensione maggiore nel Sud rispetto al Centro e al Nord dell’Italia. La varianza fra le classi che non è spiegata dalle caratteristiche socio-demografiche degli alunni e dal loro grado di competenza all’ingresso nella scuola secondaria di primo grado è maggiore della varianza tra le scuole; questo dato può essere interpretato come prova di una superiorità dell’effetto-classe sull’effetto-scuola Da ultimo emerge che le scuole secondarie di primo grado che ripartiscono, più o meno intenzionalmente, gli alunni fra le classi in funzione delle loro caratteristiche sono complessivamente una minoranza e si concentrano soprattutto nel Sud del Paese.
Fiore ha analizzato gli effetti dell’apertura della scuola al territorio ed alla partecipazione delle famiglie, come testimoniato dalle dichiarazioni dei dirigenti scolastici. Questo atteggiamento darebbe via libera a maggiori pressioni dalla parte delle famiglie stesse, ma anche ad esiti più elevati negli apprendimenti, mentre lo stesso risultato non sarebbe garantito da un clima comportamentale corretto.
Abbiati, Argentin e Gerosa si sono domandati se sia fondato l’attribuire alla “supplentite”, ossia all’avvicendarsi di insegnanti supplenti nelle classi, un abbassamento del livello degli apprendimenti registrato nelle prove. I risultati dell’analisi dei dati dei ragazzi di terza media dell’a.s. 2017-18 dimostrerebbero che esiste in proposito un effetto statisticamente significativo e non trascurabile.
La Provincia di Trento ha puntato l’attenzione con Covi, Tamanini e Oliviero sui risultati degli allievi della Istruzione e Formazione Professionale che nella Provincia di Trento ha gradualmente riassorbito la Istruzione Professionale ottenendo nelle prove esiti che possono essere paragonati a quelli della Istruzione Professionale nazionale. Il cambiamento ha inoltre contribuito a ridurre la dispersione dal11,7% del 2012 al 6,7 del 2018.La ricerca indaga in che misura le differenze osservate fra gli indirizzi siano il frutto di una autoselezione avvenuta al momento della scelta della scuola.
Caratteristiche degli operatori scolastici e delle scuole
Freddano e Barabanti, partendo da una panoramica sui fattori che influenzano l’atteggiamento dei docenti e dei dirigenti verso le prove Invalsi, ne mettono a confronto l’opinione sul loro valore e le pratiche relative al loro utilizzo, attraverso un questionario proposto ai docenti delle classi campione. Fra i molti dati interessanti in proposito si registra un sensibile maggiore apprezzamento da parte dei dirigenti scolastici. Inoltre l’accordo dei docenti all’uso dei dati INVALSI è superiore nelle scuole in cui i loro risultati vengono discussi all’interno dei dipartimenti di Italiano e di Matematica oppure sono presentati ai genitori durante le assemblee d’istituto o ad altri soggetti esterni alla scuola.
I mali della scuola italiana derivano da problemi economici, si sostiene da più parti. Orlando e Davoli si sono domandati se, esaminando i bilanci di un gruppo significativo di cento scuole relativamente omogenee di Emilia Romagna – attività molto rara nelle sia pur variegata realtà della valutazione delle scuole – si potesse ricavare qualche indizio in proposito. Le correlazioni dirette fra la disponibilità delle scuole nei Programmi Annuali ed esiti degli studenti risulterebbero modeste e comunque molto meno rilevanti rispetto allo status economico-sociale degli studenti
Analisi degli studenti dal punto di vista dei risultati in relazione alle loro caratteristiche individuali quali origine, genere e status economico-sociale
Sugli studenti immigrati ci offre uno spunto interessante Maraviglia che rileva che, a parità di risultati nei test somministrati, gli studenti non nativi tendono a ricevere una valutazione mediamente più bassa nei voti in Italiano e Matematica del primo quadrimestre. Il rischio di discriminazione è più alto nei licei e in generale nelle scuole in cui gli studenti tendono ad essere fortemente selezionati in base a caratteristiche di status.
Differentemente da quanto ci si potrebbe aspettare in Sud Tirolo – Alto Adige le differenze di genere in Matematica sono molto accentuate, ci dicono Bolondi e Giberti. Nonostante che nelle prove di matematica nel loro complesso la provincia di Bolzano ottenga risultati superiori alla media OCSE e nazionale, il gap di genere risulta maggiore che nella media OCSE e nella media italiana, come anche evidenziato dai dati PISA. La ricerca mira ad analizzare a fondo le caratteristiche ed i fattori metacognitivi che incidono sulle cause di questa evidenza.