Devo ammettere che credo non ci portino molti lontano strumenti anche sofisticati, qualitativi e quantitativi, per misurare il ‘ROI (ritorno dell’investimento) della formazione’.
Devo ammettere che provo sempre un certo fastidio quando alla fine dei corsi mi trovo a distribuire questionari di valutazione. Valutazione del docente, autovalutazione dei partecipanti in merito alle conoscenze acquisite.
Devo ammettere che provo una istintiva repulsione quando mi trovo a leggere frasi come quelle che ora cito:
“… misura dell’efficacia dell’azione, articolata in genere su tre step distanziati nel tempo: primo, la valutazione dell’apprendimento e del gradimento degli utenti in uscita dal percorso formativo (test e questionari); secondo, la misura dell’effettiva acquisizione dei contenuti a uno o due mesi di distanza rispetto alla fine del corso (test); e infine, terzo, l’analisi dell’effettiva applicazione dei contenuti acquisiti nell’ambiente di lavoro e dei relativi benefici per i processi interni (questionari e interviste ai destinatari della formazione e/o ai loro responsabili). Tutto ciò evidentemente per ottenere un feedback che permetta un’iterazione delle operazioni della filiera, al fine di ottimizzare il percorso formativo in tutte le sue componenti: assessment, contenuti e loro applicabilità, metodologia e strumenti didattici, modalità di erogazione, assistenza e tutoraggio.”
Se mi chiedono cosa è per me la ‘valutazione dell’efficacia dell’azione formativa’, mi piace raccontare storie come queste.
Il voto dei partecipanti e le diversità personali
Qualche anno fa facevo formazione insieme a un noto collega, senior, psicologo di formazione.
Aule ripetute, sempre uguali. Io e lui in due stanze accanto. Non era un corso facile. Lavoravamo a sostegno di un cambiamento organizzativo subito dai partecipanti come una violenza e una perdita di identità.
E finiva che ogni volta lui quando terminavamo veniva nella mia aula e si metteva a guardare le valutazioni che mi avevano dato i partecipanti.
Lui era il capoprogetto. Aveva il diritto e il dovere di osservare le valutazioni.
Ma credo fosse mosso anche in qualche modo da un atteggiamento competitivo, era soddisfatto se le sue valutazioni erano migliori delle mie.
Io ero anche un po’ seccato, ma non gli dicevo nulla. Dopo un po’ però, ogni volta, lui mi guardava e (avevo la sensazione che parlasse più a se stesso che a me) diceva: “Certo che poi non è detto che se uno ha beccato una valutazione più alta… non vuol dire che abbia ottenuto risultati migliori. Se si portano le persone a fare riflessioni, a mettersi in questione, queste ti danno un voto basso.”
A questa riflessione se ne può aggiungere un’altra. Erogavamo, vi dicevo, esattamente gli stessi contenuti. Stesse slides, stesso programma, stessa scansione del tempo.
Ma la conduzione non era identica, perché io e lui siamo due persone diverse. Lui parlava dalla cattedra, a voce bassa, con tono oracolare, tra lunghi silenzi, trafficando nel frattempo con la pipa. Non volava una mosca. I partecipanti stavano ad ascoltare, parlavano solo se interrogati.
Da me facevano molto più casino. Io non stavo mai seduto al mio posto, giravo per la sala, stimolavo le persone a parlare. Il rispetto del programma della giornata era solo parziale, e diverso di volta in volta.
Così, nonostante le apparenze, il ‘testo complessivo’ –gesti, mimica, prossemica, empatia– era diverso. Non erogavamo gli stessi contenuti. Che senso ha confrontare le valutazioni se si sono di fatto erogati contenuti diversi?
Il valore della distrazione e la valutazione poetica
La formazione –in virtù dell’uso di tecnologie– è sempre più un processo dotato di una sua intrinseca continuità, che non si riassume nell’aula. Momenti diversi, fondati sull’uso di supporti e strumenti diversi, contribuiscono alla trasmissione del contenuto.
Prima dell’aula si inviano materiali propedeutici. E con l’invio di questi il rapporto docente/discente si è già acceso. Poi c’è il momento del faccia-a-faccia (non sempre: nella formazione a distanza non c’è). Poi quasi sempre viene chiesta ai partecipantiuna valutazione del docente, così come al docente viene chiesta una valutazione sui partecipanti, ed anche queste sono forme di relazione. Relazione tra soggetti prima che valutazione.
Ora, innovazione legata alla tecnologia, accade normalmente che le attività formative siano seguite (talvolta anche preparate) da scambi di messaggi via mail tra docenti e discenti. (questo tipo di relazione è ormai previsto in molti progetti, ad esempio progetti finanziati dalla Comunità Europea).
E qui qualcosa cambia anche dal punto di vista della ‘valutazione’ – non a caso i progetti suddetti chiedono che vengano conservate nei materiali del progetto le mail scambiate.
Questo a prima vista appare naturale: si conservano allo stesso modo le valutazioni sull’attività fatte attraverso appositi questionari ecc. Qui però ci si scontra anche con la privacy, e con la natura profondamente personale del lavoro maieutico: quello che si scambiano privatamente due persone è interessante dal punto di vista della ‘valutazione’, ma resta anche interno a una sfera privata. È giusto renderlo pubblico?
Eppure, personalmente, posso dire per esperienza che spesso le informazioni più importanti sul clima e sul gradimento e sulla qualità della partecipazione passano attraverso messaggi ‘privati’ e tendenzialmente ‘impubblicabili’.
Un esempio. Ecco una e-mail che ho ricevuto:
Gentile Dr.Varanini,
durante la sua ultima lezione, peraltro più che interessante, mi è capitato di distrarmi per qualche minuto, cosa per me usuale: ho quindi buttato giù una quartina di endecasillabi sulla sua persona che spero vorrà apprezzare.
Si tratta, non le dia valenza iettatoria, di una sua possibile iscrizione tombale: È un giochino che da appassionato e precoce lettore dell'antologia di Spoon River mi diverto a giocare ogni tanto.
Con stima,
…..
Vuoto simulacro è questa fossa,
giacché nell'aere volli esser disperso
per seguitare il ragionar diverso
facendo Rete delle morte ossa.
C’è, dentro al tema della valutazione dell’efficacia della formazione– un aspetto paradossale: molte valutazioni significative sono trasmesse perché vengano prese in considerazione, ma si meritano allo stesso tempo di restare ‘segrete’.
Si entra così in un campo non codificabile, come è in genere quello dei materiali etnografici. Le valutazioni ci sono sempre, ma vanno portate alla luce. Scambiate attraverso materiali e supporti diversi, bisogna imparare a scoprirle. E bisogna accettarle.
Ecco, qualcuno ha imparato
In anni ormai lontani facevo l’alfabetizzatore in un villaggio isolato abitato da negri, su per i fiumi, in Ecuador. Villaggio di capanne su palafitte di legno, pareti di canne, tetto di foglie di palma. Non c’è luce elettrica. Alle sei e mezzo di sera è buio, si faceva lezione in una capanna come le altre. A volte alla luce di lumini che erano lattine con uno stoppino, riempite di cherosene; altre volte alla luce di una lampadina, usavo un generatore, motore a scoppio.
Anche questa è formazione, formazione estrema: la distanza docente/discente è massima, la diversa cultura dilata le differenze di atteggiamenti, aspettative, schemi mentali.
È proprio solo un problema di differenze, non di deficit. Gli abitanti del villaggio sono persone intelligentissime, ma disinteressate ad apprendere nel quadro di una attività formativa decisa all’esterno del loro mondo, una attività che dal loro punto di vista è prova di scopo. Perché imparare a leggere e scrivere se la vita quotidiana si svolge felicemente nell’oralità? Perché imparare a leggere se nel villaggio non arriva un giornale, se non c’è una insegna scritta da leggere? Basta una persona capace di leggere e scrivere, per leggere e scrivere le lettere che arrivano e che è necessario inviare. E questa persona c’è.
Tecnicamente, è possibile insegnare a leggere e scrivere in quindici giorni, ma appunto, che fare se manca l’interesse ad apprendere. Inoltre, non avendo nulla leggere, si disimpara subito.
Mi accorgevo che interessava semmai –soprattutto alle donne– una formazione legata a conoscenze che gli abitanti considerano interessanti per motivi ‘ostensivi’: conoscenze utili per poter essere mostrate. Conoscenze che si consideravano del tutto inutili nella pratica, ma utili per vantarsene. Conoscenze che piaceva possedere per sentirsi più ‘moderni’, più vicini a noi bianchi.
Così si sapeva nel villaggio che nella Sesta, la sesta classe delle elementari, che per gli abitanti era la massima vetta concepibile, mettiamo come un Master a Harvard o all’INSEAD, si sapeva che nella Sesta si studiavano iquebrados. Che sarebbero le frazioni.
Questo sapere aveva una valenza mitica, ed era quindi ambito. Non interessava imparare a leggere e scrivere, interessava apprendere questa cosa strana.
Così mi mettevo a insegnare i quebrados e le divisioni con più cifre e con il resto. E invariabilmente provocavo una grande delusione. Perché quelle donne si rendevano conto che c’era poco da imparare. Questo mitico sapere, alla prova dei fatti, si rivelava una banalità. Perché se c’erano da dividere quarantasette sucres e trenta centesimi in otto parti, sapevano fare il calcolo a memoria, molto meglio di me.
Comunque, qualcuno continuava, sera dopo sera, a venire. E a loro continuavo anche a insegnare a scrivere.
Era una partecipazione svogliata. Non c’era modo di capire se avevano imparato qualcosa.
Una notte–usavo una lavagna a fogli– qualcuno ruba carta e pennarelli. Non li ritrovo più.
Però passano, credo, due giorni, e mi accorgo che due o tre canoe arenate sulla riva del fiume sono piene di scritte. Chucha (‘figa’), parolacce così.
Ecco, qualcuno ha imparato.