Qualcuno crede alle statistiche?

Frequentavo un corso di formazione online per insegnanti, era l’inizio del 2023, e cercavo di ascoltare il pedagogista che parlava. Non era facile seguirlo perché parlava a lungo e lentamente. Andò avanti per dure ore circa. Purtroppo non riesco a ricordare nulla di quello che disse. Capita. Ad un tratto il pedagogista passò agli aspetti pratici e allora riuscii a stare attento senza fatica. Proponeva un metodo semplicissimo, con tanto di esempio, col quale tutti i ragazzi avrebbero fatto i compiti a casa (già questo sarebbe un mezzo miracolo) ed i loro esercizi sarebbero stati corretti. Il caso volle che i compiti in classe che avevo iniziato a correggere quel pomeriggio vertevano sul medesimo argomento che lui utilizzò come esempio. Alzai la mano ed ebbi il permesso di intervenire. Feci riferimento ai miei compiti in classe, che mostrai attraverso la telecamera, per confutare la sua proposta e gli consigliai di sperimentare di persona le proprie idee prima di venirle a proporre a noi.

Non faccio il nome del pedagogista per il semplice motivo che me lo sono scordato e non ho più avuto occasione di rivederlo. Si alterò (io al posto suo mi sarei arrabbiato ancora di più) e mi disse che aveva già pubblicato due paper al riguardo. Si ricordava a memoria i valori degli indici statistici che dimostravano l’efficacia del suo metodo e me li sparò addosso. Io non potevo seguirlo nel dettaglio perché usò termini che non conosco. Mi limitai all’uso del buon senso, pertanto gli chiesi se veramente tutti i ragazzi avessero fatto i compiti e se li avessero fatti sul quaderno. Non ottenni risposta.

La scorciatoia del buon senso non ci può esimere dallo studio delle discipline, ma è pur vero che una vita non basta per studiare tutto lo scibile umano; le scorciatoie sono inevitabili. Inoltre utilizzare il buon senso è un ottimo allenamento per le proprie facoltà logiche e non ha controindicazioni. Incominciamo ad applicare la scorciatoia dando un’occhiata ad un settore dove i sondaggi statistici sono pane quotidiano: la politica. Abbiamo avuto il recente esempio di Biden che si è ritirato dalla corsa per la Casa Bianca. Forse perché tutti i sondaggi lo davano per sconfitto in partenza? Non è andata così! I sondaggi erano negativi ma non hanno impressionato il politico di lungo corso. Molto più determinanti sono state la continue gaffe.

Chi ha la mia età si ricorderà di episodi in cui la statistica non solo è stata inutile ma ha rimediato figure meschine. Vi ricordate quelle volte in cui gli exit poll davano per vincente un partito e le schede elettorali, a metà nottata, dicevano il contrario? Molto divertente per chi vinse, meno per i giornalisti costretti a rivoltare le proprie analisi politiche nel giro di poche ore. Non parliamo degli sconfitti…

Passiamo al campo scientifico. Neanche qui la statistica riveste un ruolo centrale, ma non se ne può comunque fare a meno. Nel campo medico, per esempio, non avrebbe senso fare ricerca clinica senza statistica. Un punto di svolta fu la tragedia della talidomide. In quel caso la statistica non riuscì ad evitare la tragedia, ma dopo di allora l’attenzione è stata molto maggiore (anche i costi della ricerca lo sono e, indirettamente, quelli dei farmaci). A parte la tossicità, la statistica serve per dimostrare la maggior efficacia del nuovo farmaco rispetto a quelli precedenti. Nell’epoca d’oro della farmaceutica questa necessità non esisteva. Bastava notare, ad esempio, che senza penicillina i pazienti morivano, con la penicillina guarivano…

Il marketing è geniale. Il nuovo farmaco costa il triplo del precedente? “Il prezzo è giustificato perché la differenza di efficacia è statisticamente dimostrata!” Peccato che la differenza di efficacia sia appena del 10%…. Che cosa c’entra questo con la pedagogia? C’entra. Possiamo trarre la regola generale che, se un nuovo metodo è decisamente migliore del precedente, non è necessario ricorrere alla statistica. I dati parlano da soli. Se, invece, è necessario ricorrere alla statistica, significa che, nel migliore dei casi, il miglioramento, se c’è, è minimo. Triste ma semplice da capire.

Tutto qua? Assolutamente no! Non possiamo paragonare la pedagogia ad una scienza sperimentale perché le sue esperienze non sono altrettanto riproducibili. Che senso ha parlare di una differenza del 10% se i dati di partenza dipendono da una varietà di fattori non controllabili? Non ho ancora detto tutto. La triste realtà è che, purtroppo, alcuni dati scolastici sono manipolati. Non mi riferisco alla pedagogia ma alla dispersione. Come mai adesso quella che interessa è quella implicita? Chi ha ucciso quella esplicita? Ritorno su questo giallo fra qualche rigo, prima voglio aggiungere un particolare quasi dimenticato sulla ricerca farmaceutica.

Mezzo secolo fa, all’incirca, provarono ad applicare la statistica alla ricerca di nuove molecole per scopi terapeutici. Allora come adesso, si prendeva come spunto un farmaco già noto, che prende il nome di lead (sottinteso compound) e si sintetizzano cento o mille molecole simili, ognuna con una distinta variazione, che vengono testate farmacologicamente. Ci vogliono tempo e soldi. Nè c’è mai un termine, perché non si è mai sicuri di aver provato tutte le modifiche possibili. Ecco che comparve la promessa della statistica: sarebbe bastato sintetizzare molte meno molecole, ad esempio venti, e la statistica avrebbe predetto la molecola perfetta, quella più efficace mai realizzabile, con enorme risparmio di tempo e denaro. Malgrado decenni di tentativi, questa branca della chimica farmaceutica non è riuscita neanche lontanamente a competere con l’esperienza e l’intuito dei chimici. Fu un fallimento completo e inatteso per la statistica ed i suoi fan.

Passiamo finalmente alla scuola. Qual è secondo voi la statistica più importante? I test INVALSI? Ovviamente non hanno nessuna importanza. Se da anni continuano a fotografare la catastrofe della scuola italiana eppure non cambia nulla, cosa può significare? Che non gliene frega niente a nessuno. È talmente evidente che non occorre aggiungere altro. Qual è, allora, la statistica che viene letta dai nostri decisori? Quella della dispersione scolastica! Dietro questo nome arcano si nascondono bocciati, rimandati, ritirati e casi affini. Come per magia, questa statistica è destinata a migliorare in eterno: si boccia sempre di meno. Le malelingue non politicamente corrette diranno che oggi si promuovono anche gli asini. Che correggano il proprio linguaggio e che si aggiornino. Da qualche anno si promuovono anche i fantasmi!

Per regolamento, per rendere valido l’anno scolastico, uno studente dovrebbe frequentare almeno il 75% delle ore previste, tranne in casi speciali e specificati dalla stessa normativa o dal regolamento di istituto. Qui inizia il bello. I regolamenti di istituto si mantengono molto sul vago e concedono ai consigli di classe di valutare caso per caso. Per farla breve: gli alunni vengono promossi anche con una frequenza abbondantemente inferiore al 75%. Nei verbali di scrutinio si tace sia sulla mancata frequenza che sulla motivazione che avrebbe spinto il consiglio di classe a non tenerne conto. Inutile dire che la motivazione è inesistente. Molto esplicita la circolare inviata dal dirigente prima degli scrutini: si considera inadempiente rispetto all’obbligo della frequenza solo l’alunno/a che risulti assente dall’inizio dell’anno scolastico. Chiaro? La statistica della dispersione è la signora assoluta e incontrastata della scuola italiana. Tutto si piega alle sue necessità. Dinnanzi a lei null’altro ha valore.

La cenerentola della statistiche si chiama test d’ingresso. Lo somministra la singola scuola ai nuovi entrati, ad inizio anno scolastico. Ad una prima analisi è arduo stabilire se sia un atto di amore nei confronti delle scuole di provenienza o un atto di masochismo degli insegnanti verso se stessi. In teoria essi avrebbero l’interesse di rendere il test o il più accurato possibile oppure, se diversamente onesti, potrebbero alzare l’asticella e dimostrare la crassa ignoranza degli alunni loro assegnati. Invece il buonismo impera in questi test più che altrove: domande facili e controlli allentati. Copiasse chi vuole. Per ironia della sorte i risultati vengono nascosti ai genitori: per loro sarebbero comunque troppo bassi e dimostrerebbero la crudeltà e l’inadeguatezza dei nuovi insegnanti. Perché i test di ingresso sono così facili? Perché in realtà non gliene frega niente a nessuno. Sono solo una rogna da togliersi davanti nel più breve tempo possibile, evitando sul nascere ogni inutile polemica.

Uno che invece nella statistica ci crede è il pedagogista sperimentale. Cerchiamo di immaginare il suo lavoro. Egli chiama il proprio dottorando e gli chiede di preparare un po’ di domande per gli alunni della scuola X. Le domande potrebbero essere del tipo: “Hai fatto tutti i compiti?”. “Sono riusciti gli esercizi?”. “Erano difficili?”. “Qual era il più difficile?”. “Che voto ti daresti”. Teniamo presente che queste persone amano parlare difficile. Pur sapendo che le domande saranno rivolte a dei ragazzini, le domande preparate dal dottorando sono molto più lunghe e contorte delle mie. Una volta pronto ed approvato il questionario, il pedagogista chiede all’insegnante di scuola di farlo compilare a tutti i suoi alunni. Dopo di che parte la sperimentazione del nuovo metodo didattico. Passati due mesi si chiede agli alunni di compilare un questionario identico a quello iniziale. Nella fase successiva ricompare il dottorando che sottopone ad analisi statistica entrambi i questionari. Poi mostra i numeri al pedagogista ed infine i due scrivono l’articolo da pubblicare. Paragonando le risposte date dai ragazzini a due mesi di distanza, si dimostra che il nuovo metodo didattico funziona. Il pedagogista non ha il diritto di controllare i quaderni dei ragazzini. Non che si fidi ciecamente delle loro risposte, ma crede che con la statistica si possa estrarre la verità.

Per me il buon senso è la scorciatoia per non leggere le sue statistiche. Per il pedagogista la statistica è la scorciatoia per non aprire i quaderni dei ragazzi. Che siano quaderni di inglese, tedesco, geometria o latino, lui è sempre in grado di dire se gli esercizi sono corretti, se sono stati copiati oppure no, se si è fatto ricorso al web, all’I.A. o al doposcuola.