Brevi News

INVALSI-WEBINAR 21/10/20 Valutare le strategie di complex problem solving con modelli IRT estesi applicati a log-data: aspetti tecnici e implicazioni di policy

di

A cura di Tiziana Pedrizzi

Premessa: il nuovo ruolo dell’INVALSI nella ricerca sulla valutazione

gghcgfQuesto webinar sembra avere un oggetto molto tecnico ed essere destinato ai soli specialisti. Cosa del tutto legittima, anzi lodevole, per come è a tutt’oggi sistemata l’Italia da questo punto di vista. L’Università sembra ancora scarsamente interessata, se non ostile, ai processi relativi alle valutazioni standardizzate esterne, massimamente nel settore dei pedagogisti, ma anche in quello dei sociologi. Ed i settori dell’economia e della statistica, che pure sono stati decisivi per il decollo di queste ricerche, tutto sommato non possono che considerare il settore dell’education come parziale se non marginale.

Perciò mancano a tutt’oggi centri accademici che facciano da punto di riferimento scientifico a livello non solo locale per i giovani studiosi che si incamminino su questo sentiero. E’ già tanto se qualcuno di questi riesce ad arrivare a qualche cattedra, nonostante l’ostilità ed il disinteresse; molti si rifugiano all’estero.

Quando sono stati presidenti Invalsi due uomini di Banca d’Italia – Cipollone e Sestito – questo ruolo l’avevano assunto loro.
Dopo un periodo necessariamente dedicato anche all’acquisizione del consenso o almeno della non belligeranza da parte delle scuole, sembra che questa tradizione voglia continuare in Invalsi, sia attraverso gli annuali convegni di presentazione delle ricerche di cui è annunciata la quinta edizione nel febbraio 2021, I dati INVALSI: uno strumento per la ricerca,  che attraverso questi webinar di cui è annunciato per novembre uno altrettanto tecnico, Le metodologie di campionamento e scomposizione della devianza nelle valutazioni nazionali INVALSI.

Il contenuto del webinar

2222Proviamo a vedere se anche i profani possono capirci qualcosa e cavarne qualche frutto, cercando di superare gli ostacoli posti dal peraltro necessario latinorum degli addetti ai lavori.
Nel webinar (qui le slide) sono stati presentati i risultati dell’analisi delle risposte da parte di un campione di studenti finlandesi a 9 quesiti somministrati attraverso il PC classificati come complex problem solving concernenti le migliori modalita di allenamento di una squadra di pallamano per massimizzarne la determinazione, la potenza di lancio e la resistenza alla fatica.

3 Aree di competenza e 9 profili degli studenti

Scegliendo fra i diversi possibili input gli studenti debbono raggiungere i valori obiettivo (risultati) definiti, agendo su tre aree di competenza:

  1. la esplorazione del caso,
  2. l’assunzione delle conoscenze necessarie
  3. la determinazione delle scelte.

L’ analisi è possibile perché vengono registrati tutti i clic degli studenti, che tracciano quindi il loro percorso mentale. Questa enorme quantità di dati viene classificata secondo certi parametri, il passaggio più opinabile e complesso che però qui trascureremo per semplicità, ma soprattutto perché i parametri ovviamente possono cambiare.

In questo modo si raggruppano i dati che in questo caso (ma anche qui è tutto variabile) portano a definire 9 profili di studenti che sono arrivati agli stessi risultati pur avendo dimostrato però comportamenti diversi nelle tre aree.

La cosa più interessante

E’ qui che si scoprono cose interessanti: la linea che congiunge le tre prestazioni per ogni gruppo non è orizzontale ma evidenzia livelli di prestazioni diverse nei tre campi: c’è chi basso nell’analisi dell’ambiente e nella acquisizione delle conoscenze fa però un balzo quando si tratta di scegliere la strategia risolutiva e chi invece sa ben orientarsi nei primi due campi, ma fallisce nel terzo.

Chi si comporta come?

Le ragazze tendono ad appartenere a livelli bassi o medi anche se dimostrano una costante tendenza a migliorare (domanda: non è che il tema del quesito non sia proprio il loro campo?), l’età non conta (siamo fra i 14 ed i 16 anni) ed infine i migliori sono quelli che, sulla base di indagini parallele, erano stati classificati come pronti alla sfida e a loro agio in ambiti numerici.

Quali spunti per noi profani?

3333Cosa ne possiamo cavare noi profani? Che, come ha osservato Roberto Ricci, si sta cominciando a lavorare per dare alla misurazione delle soft skills una prospettiva che vada al di là della esortazione benintenzionata e che noi umani siamo fatti di qualità e capacità diverse che convivono anche nella stessa persona ai diversi livelli.

Non è difficile riflettere sul fatto che nella scuola spesso tendiamo troppo a valorizzare chi se la cava con le prime due abilità e trascuriamo la terza, che invece nella vita è decisiva.