Può l’intelligenza artificiale aiutarci a capire quanto sia solido un risultato scientifico? È la domanda al centro della Predicting Replicability Challenge, competizione internazionale promossa dal Center for Open Science, nella quale Federico D’Atri, dottorando dell’Università di Trieste, ha ottenuto il terzo posto, accompagnato da un premio di 3.375 dollari.

La competizione del COS ha messo alla prova sistemi automatici in grado di stimare la probabilità che un risultato scientifico venga confermato quando uno studio viene ripetuto in modo indipendente. In altre parole, gli algoritmi devono “prevedere” se, ripetendo lo studio con nuovi dati e nuovi campioni, si possano ottenere risultati analoghi. La replicabilità rappresenta infatti un elemento importante per valutare l’affidabilità di un lavoro scientifico, perché contribuisce a capire quanto un risultato sia solido e possa essere confermato anche utilizzando nuovi dati.

Per formulare le sue previsioni, D’Atri ha sviluppato un sistema basato principalmente su un Large Language Model (LLM) adattato e addestrato appositamente per questo compito. Il modello ha analizzato il testo completo degli articoli scientifici, utilizzandone le informazioni per stimare la probabilità che i risultati potessero essere confermati da una replica indipendente.

In una delle soluzioni presentate, le valutazioni dell’LLM sono state inoltre combinate con quelle di un modello di machine learning più tradizionale, che utilizzava anche dati strutturati dello studio come il numero di partecipanti, la significatività statistica dei risultati, la dimensione dell’effetto, l’anno di pubblicazione e la disciplina di provenienza.

Nell’ultimo round della competizione i partecipanti hanno lavorato su studi provenienti dal Replicability Project: Health Behavior, dedicato ai comportamenti legati alla salute. Per ciascun risultato dovevano stimare la probabilità che venisse confermato da una replica indipendente, prima di conoscerne l’esito effettivo.

«Questo tema – spiega D’Atri – ma nasce da un interesse che coltivo da tempo per la replicabilità e l’affidabilità delle scoperte scientifiche, soprattutto nell’ambito della psicologia e delle scienze sociali. Il lavoro mi ha permesso di esplorare in che modo gli strumenti di intelligenza artificiale possano essere applicati all’analisi della letteratura scientifica».

Replicare direttamente uno studio può richiedere molto tempo e risorse. È proprio qui che sistemi di questo tipo potrebbero trovare in futuro una delle loro applicazioni più interessanti. Una previsione automatica non può sostituire una vera replica, ma può fornire una prima indicazione utile, ottenibile in tempi più brevi e a costi inferiori, aiutando a individuare gli studi sui quali può essere più utile concentrare nuove verifiche.

«Il risultato ottenuto dal dottorando Federico D’Atri dimostra ancora una volta la centralità della curiosità nella formazione dottorale», sottolinea il prof. Francesco Longo, delegato UniTS ai dottorati di ricerca. «Una curiosità che si applica anche a temi trasversali o non strettamente legati al proprio progetto di ricerca, come in questo caso, ma che si dimostra fondamentale nella costruzione del proprio profilo di ricercatore».