scritto da Roberto on Home

3 commenti

�
 

 

 

Domenica 6 Ottobre sono partito per Bruxelles, per andare a lavorare una settimana come valutatore per progetti europei. Questo è il resoconto della mia settimana, con in fondo qualche considerazione personale. So di essere lungo (anche se spero non prolisso) ma quel che mi spinge è sia di dire cose utili per chi fa il mio stesso mestiere, sia spiegare un po’, a chi è curioso di queste cose, come la UE finanzia un progetto scientifico. Se si tiene conto che un progetto medio approvato costa  all’incirca 200.000 Euro (spalmati in due anni), e che quelli finanziati sono un  centinaio solo nell’area matematica-ingegneria, è evidente che si tratta di un bel po’ di soldi pubblici; quindi è naturale che ci tenga a far capire a più persone possibile come sono destinati questi soldi che sono di tutti. Che cosa significa dunque fare il valutatore di progetti scientifici? Intanto occorre dire che ce ne sono di tipologie diverse; quelli di cui mi sono occupato io sono i cosiddetti progetti Marie Curie. Ecco come sono presentati sul sito della UE (sezione ricerca):

Marie Curie Fellowships are European research grants available to researchers regardless of their nationality or field of research. In addition to generous research funding scientists have the possibility to gain experience abroad and in the private sector, and to complete their training with competences or disciplines useful for their careers.

Il lavoro del valutatore comincia in remoto.  Quando sono stato avvertito di essere stato scelto ho dovuto selezionare, da una lista sterminata di progetti, un centinaio che avrei potuto in qualche modo valutare, graduando le cose (A sono un vero esperto della materia … C lo prendo solo se siete alla canna del gas, D forget it!). Qualche giorno dopo mi arriva la lista dei progetti che devo valutare, 20, con l’avvertenza che le valutazioni devono essere pronte per il venerdì che cade dopo due settimane, e che per il venerdì dopo due giorni ne devo già mandare due (di prova) al mio VC (vice chair). Cosa che faccio, ovviamente malissimo, perché non è che avessi proprio due giorni vuoti davanti … La settimana dopo in realtà sono a Parigi, quindi quando mi arriva l’avviso che ne vogliono la metà per la fine settimana corrente avverto che non starò nei tempi, visto che non posso andare dove mi invitano (e mi pagano per andare) per fare cose per conto mio e non con loro. Torno e in una settimana  mi leggo questi progetti (una trentina di pagine ciascuno) e compilo le schede di valutazione. Passa ancora una settimana nella quale devo compilare le schede del progetto di cui sono diventato rapporteur. Che significa questo? Ogni progetto viene valutato, in remoto come dicevo, da tre diversi esperti. Il rapporteur ha accesso alle valutazioni degli altri due, le guarda e si mette le mani nei capelli, soprattutto se i risultati delle tre valutazioni sono discordanti. Occorre tenere presente che ci sono voci e sottovoci che gli esperti devono valutare, per ognuna indicando se sono punta di forza o di debolezza. Chiaro che le “outreach activities” possono sembrare interessanti per un valutatore, molto meno per un altro … 

Finalmente si arriva a Bruxelles. Il lunedì mattina ci si incontra per la prima riunione. E qui si scoprono cose interessanti. Nel mio panel, come detto matematica ingegneria, ci sono 180 valutatori,  21 VC (vice chairs) e un chair (Alberto Bonetti, di Brescia). C’è poi lo staff della REA (Research Executive Agency) che segue tutto il processo (ad esempio sono loro che hanno assegnato i progetti ai valutatori).   In questa prima riunione, dopo le informazioni tecniche essenziali (misure di sicurezza in primis, procedure per i rimborsi spese subito dopo) ci viene spiegata come si svolgerà la nostra settimana:

• Nella prima fase incontrerò, per ogni progetto, i due altri esperti. Scopo, arrivare a un accordo sulla valutazione finale. E’ il rapporteur che fa le sue proposte, illustrandole, e gli altri dicono quel che pensano. Tempo previsto: 25 minuti (i 5 che mancano per completare la mezzora è per correre nella stanza del progetto successivo, ovviamente ogni volta la terna cambia, anche se qualche collega in effetti lo/la incontro più volte). Finita questa girandola, o nei tempi morti, il rapporteur prepara la valutazione finale, che porta al VC (vice chair).
• Il VC fa un controllo, essenzialmente formale, sulle schede di valutazione: non ci devono essere potenziali contraddizioni nella valutazione, i punteggi devono essere congrui con numero di punti di forza/debolezza della voce che si considera. Per fare un esempio, se non ci sono punti di debolezza non si può dare un punteggio di 3, essendo 5 il massimo.
• A questo punto possono succedere due cose.

i)                   Il VC approva la scheda (suggerendo magari qualche modifica). In tal caso il rapporteur la salva al computer e chiede gentilmente agli altri due di approvarla. Ancora una volta ci sono due alternative. La prima. La scheda  viene approvata senza modifiche. Allora viene riportata al VC, e firmata da entrambi (VC e rapporteur). Finalmente passa al Chair, che ci dà un ultima controllata. Ma, seconda alternativa, è possibile che uno dei due o entrambi rifiutino la scheda fatta dal rapporteur (a me è successo, per fortuna solo perché avevo fatto un errore di trascrizione, uno dei due se ne è accorto, ha rifiutato la scheda, questo mi è segnalato dal sistema, lui poi mi ha avvertito e ho provveduto alla correzione). In questo caso occorre trovare un accordo. Se come nel mio caso precedente si tratta di dettagli da sistemare, non c’è problema. Ma possono succedere complicazioni varie. Per esempio, uno dei miei cinque è stata una vera spina nel fianco. Intanto ho dovuto richiedere un supplemento di discussione perché su un punto ci siamo dilungati a discutere, e non siamo riusciti a finire. Per di più questo progetto si trattava di una resubmission, cioè di un progetto già presentato l’anno prima, ovviamente non finanziato, ma valutato con un punteggio che poteva incoraggiare il riprovarci, migliorando qualche punto della presentazione. In questo caso, anche se ti dicono che il tuo giudizio è sovrano e indipendente, è chiaro che NON viene apprezzato se per esempio dici che il progetto non è granché originale, e gli dai un voto basso, quando l’anno prima invece era stato definito  originale … chi si occupa un po’ di scienza sa benissimo che queste cose possono succedere, anche tra persone in perfetta buona fede: la ricerca è una cosa talmente di confine che le valutazioni sul significato e l’importanza di certi progetti/risultati è abbastanza soggettiva. La morale è comunque che la valutazione di questo quinto progetto mi ha preso molto  più tempo degli altri quattro messi assieme, e mi ha provocato un attimo di tensione col mio VC, al quale a un certo punto ho detto che mi dicesse lui che scrivere nel rapporto partendo dal presupposto che la nostra votazione unanime a quella voce era tot. Comunque alla fine, dopo un’odissea con le altre due valutatrici e il VC sono finalmente arrivato ad un accordo con tutti. In questo caso, come prima, la scheda viene firmata da rapporteur, VC e finisce nelle mani del Chair. 

 

• Alle 10 di venerdì tutte le schede valutative devono essere approvate dal Chair. Un’ora e passa di attesa, e finalmente si fa una riunione collettiva in cui vengono mostrate le varie classifiche, secondo le tipologie di progetto. Un rito forse inevitabile, anche se vagamente  surreale, perché viene richiesta una formale approvazione, da parte dell’assemblea, delle classifiche stesse. Ora ditemi voi che cosa posso fare io a vedermi scorrere sullo schermo più di un migliaio di acronimi di progetti, quando già faccio fatica a ricordare i 20 che ho valutato. Notare che comunque noi NON sappiamo, e non ci sarà nemmeno comunicato, quali saranno i progetti finanziati. Sappiamo che saranno circa un 10% di ogni gruppo, ma non di più.
• Finalmente, venerdì pomeriggio un paio d’ore di cosiddetto de briefing, e poi liberi tutti.

Mi sono diffuso nel racconto delle procedure, cercando comunque di sintetizzare il più possibile, perché, come dicevo all’inizio, vorrei sia fare capire i meccanismi sia osservare che questa esperienza mi ha portato una visione un po’ nuova su queste procedure concorsuali. Procedo quindi per punti.

1. La burocrazia è elevata. Non può essere altrimenti. E’ un po’ ridicolo che ci facciano firmare il foglio presenza due volte al giorno, altre cose sono eccessivamente minuziose, ma si capisce che per un lavoro complesso ci vuole una struttura poderosa. La differenza con la nostra, almeno a una prima impressione, è che quella di Bruxelles sembra molto più efficiente. Intanto, le regole sembrano collaudate, i meccanismi ben oliati, gli aggiornamenti fatti pochi e meditati. Nulla a che vedere con i nostri meccanismi concorsuali …
2. La trasparenza è davvero un valore. Viene ricordata continuamente, ti viene richiesto costantemente di segnalare se hai un dubbio sul fatto che valutare un certo progetto possa creare un conflitto di interesse, e penso che se ti beccano a fare il furbo passi dei guai … va da sé che io non avrei mai potuto giudicare un progetto del mio dipartimento, ma i potenziali conflitti sono chiari, ben descritti, e anche divisi in diretti e indiretti, una casistica precisa, magari non perfetta, ma chiara  e a sua volta trasparente.
3. Il sistema è convincente. E’ pia illusione che tutti i progetti siano capiti allo stesso modo. Capita il progetto che si ritrova tre veramente esperti, e un altro in cui forse solo uno ha davvero le competenze scientifiche per valutarne fino in fondo la bontà. Tra l’altro, non mi è chiaro se convenga trovare dei veri esperti, oppure gente solo con generica esperienza, a  questo punto dipende anche dai caratteri dei valutatori … Sempre a questo proposito, nella mania, tutta astratta e italiana, di trovare le regole ottime in assoluto, può turbare il fatto che progetti diversi siano valutati da persone diverse. Però è evidente che se una commissione dovesse, magari anche con l’aiuto di esperti, valutare il tutto per omogeneizzare, posto che ci riesca, ci metterebbe 10 anni per finire i lavori … ecco che il sistema inventato mi appare ottimo. Perché è vero che non c’ è un ente solo che produce le classifiche, ma è anche vero che ogni valutatore si ritrova a interagire con tanti altri, e la conoscenza rispettiva, soprattutto se l’esperienza viene ripetuta nel tempo, porta a un naturale processo di omogeneizzazione. Non a caso, nella scelta dei valutatori usano il criterio di tenerne un nucleo sostanzialmente stabile anche se, ogni anno, penso ci siano anche nuovi innesti. Insomma, un giusto ricambio, ma un nucleo stabile nel tempo. Infine, sempre dal punto di vista di efficienza del sistema, ma anche della trasparenza, ho notato che davvero i VC non intervengono mai sulle questioni di merito del progetto. Hanno solo un compito di rendere i giudizi il più chiari e meno contestabili possibile. Occorre infatti tener presente che un ricercatore impiega mesi per presentare un progetto e sospettare di aver fallito per un soffio può provocare proteste e reazioni se le cose non sono ben scritte ed evidenziate. Infatti ci veniva costantemente chiesto di esprimere giudizi chiari (“l’implementazione del progetto non è descritta con sufficiente precisione perché non sono descritti gli obiettivi intermedi”), sui quali il VC non obietta mai nulla. Il suo intervento serve solo a controllare che valutando i voti finali siano coerenti con i pluses e minuses indicati.
4. Last but not least, anche in questi contesti occorre farsi una ragione del fatto che nella vita esiste una parte importante del nostro destino che è giocata dal caso. Dobbiamo vivere come se tutto fosse nelle nostre mani, ma è chiaro che non è mai così. In uno dei progetti presentati, ad esempio, io ero veramente esperto, gli altri due molto meno. Le loro valutazioni ne hanno risentito, io ero il rapporteur e li ho convinti a aumentare non di poco i loro punteggi. Temo che non ce la farà, ma potrebbe essere il primo o il secondo degli esclusi, una buona base per riprovarci l’anno prossimo. Il soggetto è molto specifico, poteva capitare un terzo meno esperto di me e avere una valutazione meno buona. Su questo ci si può fare poco o nulla, ma ricordarcelo sempre forse è utile per avere una visione più serena di quel che ci succede ogni giorno.

E concludo osservando che questo post viene messo praticamente un mese dopo … Si dice che i professori universitari lavorino poco, però tanto mi ci è voluto per recuperare tutto quello che è rimasto qui in attesa del mio ritorno … e il mio ebook sulla teoria dei giochi resta sempre in attesa dell’ultima revisione …