NOVITA’ DAL SEMINARIO ANNUALE INVALSI
“I DATI, UNO STRUMENTO PER LA RICERCA E LA DIDATTICA”
Nei giorni 25-28 febbraio 2021 si è tenuto da remoto il V Seminario annuale Invalsi “I dati, uno strumento per la ricerca e la didattica”
che con scadenza annuale presenta approfondimenti di ricercatori ed esperienze di scuole, al fine di indagare le caratteristiche del sistema scolastico e dei suoi protagonisti e riferire su alcuni esempi positivi di utilizzo dei dati nelle scuole e nei territori.
Molte le relazioni in plenaria di esperti italiani, ma soprattutto stranieri, che portano informazioni preziose sui trend in corso e sulle ultime “scoperte” e novità del campo.
PISA for Development. PISA-D
Di particolare interesse la presentazione di Leslie Rutkowski, Professore Associato alla Indiana University di Bloomington, sulle innovazioni più significative in corso nel campo delle valutazioni internazionali, tra cui PISA for Development, PISA per lo Sviluppo
Fin dall’avvio delle valutazioni internazionali, in particolare di PISA, è risultato evidente che, contrariamente alle aspettative, anche nei paesi OCSE caratterizzati da un maggiore sviluppo economico era ed è presente un ampio strato di quindicenni che non raggiunge i livelli minimi di competenza che erano stati ipotizzati. Nel tempo, i Paesi partecipanti alle indagini, soprattutto nell’area a più basso livello economico-sociale e di istruzione, sono aumentati. Perciò quello strato si è ampliato significativamente. Con il passare del tempo, si è dovuto registrare il fatto che questo “zoccolo duro” non si sgretolava, donde le riflessioni sconsolate sulla impasse della lotta per l’equità. Allo stesso tempo la decisione dei costruttori degli strumenti di indagine di analizzare più a fondo questa terra di nessuno, creando un Framework integrativo di quello originario di PISA, tuttora in funzione. Decisione anche ben fondata sulla necessità per le agenzie internazionali (Banca Mondiale, Unesco, donors internazionali) di controllare l’utilità dei fondi profusi, soprattutto nei Paesi africani, visto che, se l’obiettivo dell’accesso formale sembra raggiunto, non lo è assolutamente quello di una effettiva alfabetizzazione minima di massa.
Così è nata PISA for Development (PISA-D) ovvero PISA per lo sviluppo. I Paesi coinvolti con basso livello di risultati che si stanno sviluppando economicamente sono al momento: Paraguay, Senegal, Cambogia, Ecuador, Honduras, Guatemala, Zambia. Gli item sono stati scelti fra quelli validati come più facili, utilizzati in altre Valutazioni Internazionali come PISA Schools (che raccoglie test da utilizzare liberamente da parte delle scuole ai fini della loro valutazione interna), o come PIAAC (l’indagine che esamina i livelli di alfabetizzazione degli adulti) ed altri ancora.
Perchè questo ci può interessare?
Da una parte, è importante sapere che questa metodologia di controllo dei risultati si sta raffinando, coinvolge tutti i livelli anche a fini formativi (non tutti i livelli bassi sono uguali, bisogna conoscerli per farli migliorare) ed è divenuto uno strumento standard anche delle politiche di investimento delle grandi organizzazioni internazionali. Dall’altra anche per i Paesi OCSE, che hanno significative percentuali di quindicenni che persistono in bassi livelli di alfabetizzazione, può essere utile un tale strumento.
I test adattivi
Accanto a questa novità di natura principalmente “politica”, ce ne sono altre due di carattere per così dire “tecnologico”.
Negli ultimi anni si è diffuso il CBT (Computer-Based Testing) cioè la somministrazione delle prove attraverso computer: PISA, TIMSS, PIRLS lo stanno usando o vi stanno passando. Nel nostro Paese INVALSI ormai lo utilizza nella Secondaria di primo e secondo grado con buoni risultati.
Il che è senza dubbio incoraggiante, a dimostrazione della sostanziale efficienza, oltre che dell’Invalsi, anche delle nostre scuole. Un primo vantaggio di questa metodologia è strettamente legato alla qualità dei dati raccolti, grazie alla più ampia finestra di somministrazione ed al sostanziale azzeramento del fenomeno del cheating.
Ma l’aspetto più innovativo consiste nel fatto che, in prospettiva, sarà in tal modo possibile utilizzare i cosiddetti test adattivi, inaugurati più di un decennio fa’ in Danimarca. Si tratta di una forma di test amministrato dal computer in cui il test (secondo il metodo CAT Computerized Adaptive Testing) o il pacchetto di test (secondo il metodo MST, Multistage Testing) selezionato in sequenza per essere somministrato dipende dal livello delle risposte del candidato al test o ai test somministrati precedentemente.
Attualmente, in questa fase iniziale, prevale il metodo MST (Multistage Testing), in cui gli item sono compattati in moduli di diverso livello: difficile, medio o facile. Si comincia con un modulo di livello medio. Successivamente, a secondo che le risposte si collochino sopra o sotto un livello-soglia (definito dal numero di risposte corrette) si viene orientati verso un altro modulo, di livello diversificato (mediamente difficile o mediamente facile), per concludere con l’affrontare l’ultimo grado che può essere di livello difficile o medio o facile. È possibile un link fra i diversi livelli, in modo da consentire dirottamenti in corso d’opera oppure integrazioni. Se questo è il modello base. è chiaro che sono possibili numerose variazioni che possono portare a molti differenti modelli. Secondo Leslie Rutkowski i vantaggi di questo impianto sarebbero una maggiore efficienza – perchè la prova può essere più corta di un normale test “lineare” – e una maggiore precisione - perchè i test possono essere creati per meglio cogliere un continuum di risultati e possono essere tagliati sui bisogni della popolazione analizzata. Poichè il tempo di un test non è dilatabile all’infinito, concentrarsi sul livello di competenza effettivo dell’allievo permette di analizzarne più a fondo le caratteristiche e perciò di dare risultati più attendibili, utili anche per una prognosi più efficace.
CBT nel Complex Problem Solving
In prospettiva, la novità più interessante del CBT, Computer Based Testing, sembra essere quella della tracciabilità dei percorsi degli allievi per arrivare alla soluzione di un problema. Tema questo di stretta attualità, in un momento in cui è venuta in emergenza la necessità di sviluppare capacità non solo cognitive, ma anche “di comportamento”, le cosiddette soft skills. E perciò anche la necessità di misurarle e valutarle, perchè una sottolineatura in questo senso senza un forte ancoraggio agli effettivi risultati formativi può riportarci nell’alto mare dell’inconoscibile, la notte hegeliana in cui tutte le vacche sono nere.
Il tema è già stato affrontato in un Webinar Invalsi del 21 ottobre, in cui sono stati presentati i risultati dell’analisi delle risposte di un campione di studenti finlandesi a 9 quesiti CBT classificati come “complex problem solving”. Scegliendo fra i diversi possibili input, gli studenti debbono raggiungere i valori-obiettivo (risultati) definiti, agendo su tre aree di competenza: la esplorazione del caso, l’assunzione delle conoscenze necessarie ed infine la determinazione delle scelte. L’ analisi è possibile, perché vengono registrati tutti i clic degli studenti, che tracciano quindi il loro percorso mentale.
In questo modo si raggruppano i dati che portano a definire 9 profili di studenti che sono arrivati agli stessi risultati, pur avendo dimostrato comportamenti diversi nelle tre aree. È qui che si scoprono cose interessanti, perchè gli studenti evidenziano livelli di prestazioni diverse nei tre campi: c’è chi, scarso nell’analisi dell’ambiente e nella acquisizione delle conoscenze, fa però un balzo in avanti, quando si tratta di scegliere la strategia risolutiva e chi invece sa ben orientarsi nei primi due campi, ma fallisce nel terzo. Chi ha insegnato riconosce questi profili che nel passato (passato?) sembravano corrispondere a profili di genere, ma altra cosa sono le sporadiche intuizioni, altra una lettura sistematica ed orientata non solo alla registrazione, ma anche eventualmente al cambiamento o al rinforzo.
Learning Analytics
Lo stesso tema nel seminario è stato affrontato in modo ampio anche da una relazione di Tommaso Agasisti sui Learning Analytics, che vengono definiti come la misura, la raccolta e l’analisi dei dati sugli allievi e il loro contesto, al fine di comprendere e ottimizzare l’apprendimento ed il contesto in cui avviene. A partire dal primo convegno fondativo tenutosi nel 2011, sostanzialmente si tratta della sistematizzazione teorica, in un’area del sapere autonoma, di quanto fin qui attivato dalle valutazioni standardizzate esterne, definite LSA, Large Scale Assessment, a livello internazionale.
Utilizzando lo sviluppo esponenziale della raccolta dei Big data, si mira ad aprire la “scatola nera” della scuola investigando più a fondo la relazione fra i fattori influenzanti (variabili indipendenti) ed i risultati degli studenti (variabili dipendenti).
Fra le possibilità di conoscenza offerte dalla gestione dell’apprendimento e del suo contesto attraverso strumenti digitali vi è quella di studiare le tracce lasciate dagli studenti nella loro interazione con le analisi internazionali standardizzate. Ciò comporta l’utilizzo dei Log-files (i File che tengono traccia di tutti i movimenti sul PC) per capire i comportamenti degli studenti ed il loro impatto sui loro risultati.
Il tentativo è quello di identificare i profili differenti degli studenti (classi latenti) attraverso il modo in cui risolvono problemi complessi ed il loro impatto sui risultati.
L’identificazione dei differenti cluster di studenti è resa possibile dalla distribuzione dei loro punteggi nelle diverse aree di competenza.
L’esempio in proposito avanzato dalla relatrice americana riguarda invece i diversi tempi di abbandono della prova CBT nei diversi Paesi, dato registrato durante la interazione fra allievo e PC. L’esempio fatto mostra che in tre diversi Paesi gli allievi hanno tempi di abbandono diversi: la Repubblica Dominicana abbandona prima degli USA e soprattutto prima di Singapore che abbandona molto più tardi e che è in cima alle classifiche internazionali dei risultati.