Giulia Hyeraci, Pharmacoepidemiology Unit, ARS Toscana, Florence, Italy
giulia.hyeraci@ars.toscana.it
Lippi Marco, Department of Information Engineering, University of Florence, Florence, Italy; Nardoni Valeria, Department of Information Engineering, University of Florence, Florence, Italy; Maccari Martina, Physiopathological Optics Department – Clinical Trial Center, Florence, Italy; Limoncella Giorgio, University of Florence, Florence, Italy; Arana Alejandro, RTI Health Solutions, Barcelona, Spain; Lucenteforte Ersilia, Department of Statistics, University of Florence, Florence, Italy; Marinai Simone, Department of Information Engineering, University of Florence, Florence, Italy; Mohammadi Sima, Department of Data Science and Biostatistics, Real World Evidence, University Medical Center Utrecht, Utrecht, the Netherlands; Roberto Giuseppe, Pharmacoepidemiology Unit, ARS Toscana, Florence, Italy Virgili Gianni, Department NEUROFARBA, University of Florence, Italy; Weibel Daniel, University Medical Center Utrecht, Utrecht, the Netherlands; Dehghan Amirreza, Department of Data Science and Biostatistics, Real World Evidence, University Medical Center Utrecht, Utrecht, the Netherlands; Gini Rosa, Pharmacoepidemiology Unit, ARS Toscana, Florence, Italy.
- Categoria Primaria: Metodi epidemiologici e biostatistici
Introduzione La validazione dei casi di una patologia è cruciale per garantire l’accuratezza e l’affidabilità dei risultati generati dagli studi real-world. In questo contesto, l’intelligenza artificiale (AI), in particolare i modelli di linguaggio di grandi dimensioni (LLM), può supportare la compilazione di questionari clinici progettati ad hoc per la validazione di tali casi. Questo studio si inserisce nel progetto internazionale “SeValid”, che mira, tra gli altri obiettivi, a esplorare la fattibilità di integrare strumenti AI nel processo di stima della validità di algoritmi utilizzati per identificare casi di miocardite nei registri di dimissione ospedaliera. Obiettivi (1) Valutare la capacità di un LLM di compilare un questionario sviluppato per la validazione clinica di casi di miocardite; (2) valutare la concordanza tra la validazione umana e quella dell’LLM, nonché l’accuratezza di entrambi. Metodi Un esperto ha avuto accesso alle cartelle cliniche dei casi di miocardite identificati dal registro delle schede di dimissione ospedaliera di un ospedale di Firenze e ha redatto 10 cartelle cliniche fittizie, simili nella struttura a quelle reali. Per ogni caso, un revisore umano e un LLM open-source hanno compilato un questionario clinico di 16 domande su sintomi e risultati di test laboratoristici e strumentali, sviluppato per verificare se l’ospedalizzazione fosse dovuta a episodi di miocardite. Successivamente, le risposte ottenute sono state confrontate e, in caso di discrepanze, attraverso il supporto di esperti medici, è stato determinato chi, tra umano ed LLM, avesse risposto correttamente. L’LLM open-source utilizzato è Gemma2 9B. Risultati Dal confronto dei questionari è emerso che circa l’80% (n=126/160) delle risposte fornite dall’LLM e dal revisore umano sono risultate concordi, il 16% (n=27/160) discordi e il 4% (n=7/160) parzialmente sovrapponibili. Tra le risposte discordanti (n=27), nella maggior parte dei casi (n=21) la risposta corretta è stata fornita dal revisore umano. Nel caso di risposte parzialmente sovrapponibili (n=7), l’umano ha risposto correttamente in 3 casi e l’LLM in 4, fornendo risposte più dettagliate rispetto all’umano. Le domande su cui umano ed LLM hanno fornito risposte più frequentemente discordi riguardano l’interpretazione di di sintomi non specifici per la miocardite (e.g. vertigini, edema, tosse) (numero discordanze=4) e dei risultati di elettrocardiogramma (n=3) ed ecocardiogramma (n=3), e l’identificazione di marker infiammatori rilevanti (n=3). Conclusioni Lo studio evidenzia il potenziale degli LLM come supporto alla compilazione di questionari per la validazione di casi di miocardite. Le discrepanze rilevate saranno utili per ottimizzare i prompt dell’LLM. L’esperimento sottolinea l’importanza di integrare la valutazione umana e quella dell’AI, rendendo la validazione più efficace e ampliandone l’uso per migliorare la qualità dei risultati negli studi real-world.