L’IA nella routine clinica: sei scene

1 · «Nessuna marcatura. Possiamo procedere?»

Questa demo mostra una mattina in clinica inventata. Lei accompagna un team che verifica il proprio strumento di IA.

Nora Possiamo preparare l’intervento?

Mira La tua domanda va oltre.

Lei si trova alla postazione di refertazione, il posto di lavoro in cui le immagini vengono visualizzate e valutate. Mira, la radiologa, apre le immagini TC, cioè le immagini di sezione della tomografia computerizzata. Lea, la tecnica di radiologia medica, ha appena concluso l’esame all’apparecchio. Jan dell’IT gestisce i sistemi informatici. Sulla porta c’è Nora, la chirurga: «Aspettiamo il referto del paziente caduto. Possiamo preparare l’intervento?»

L’elaborazione dell’IA è terminata. Nell’immagine non c’è alcuna marcatura. «Allora nella testa non sembra esserci nulla di urgente», dice Nora.

Mira avvicina le immagini: «Questo non lo sappiamo ancora. Questo strumento cerca indizi di emorragie. Supporta la prioritizzazione nella lista di lavoro, cioè l’ordine in cui apro gli esami. Poco fa un segnale mi ha portata prima a un caso sospetto. Ma devo comunque guardare tutto io.»

Nora: «E se non segnala niente?» Mira: «Allora non ha trovato nulla riguardo alla sua domanda. Alla tua non ha nemmeno guardato. La tua domanda va oltre. Il referto, cioè la valutazione medica dell’intero esame, te lo do io, tra qualche minuto.»

Lo scopo per cui uno strumento è pensato è indicato nella sua destinazione d’uso: quale compito, su quali persone, in quali condizioni. Ciò che sta al di fuori non l’ha verificato nessuno. Il fatto che un segnale una volta sia stato corretto non ne è una prova.

Nora annuisce: «Allora nel nostro reparto deve essere chiaro che cosa significa questo segno. E che cosa non significa.»

Vincolo allo scopo: Uno strumento è verificato per un compito. Risponde comunque anche a ogni domanda che va oltre, e di quella risposta nessuno si fa garante.

2 · «L’avete verificato anche con le nostre immagini?»

Finora l’IA funziona solo per una parte degli esami. Oggi si tratta di abilitarla per un secondo apparecchio TC.

Lea L’avete verificato anche con le nostre immagini?

Jan apre la documentazione: «I risultati dello studio del fabbricante sembrano buoni.» Lea indica attraverso il vetro: «L’avete verificato anche con le nostre immagini? Qui molte persone non riescono a stare ferme.»

Dopo la refertazione aprono nel PACS, il sistema in cui le immagini vengono archiviate e visualizzate, i casi usati finora per la verifica. Quasi tutti provengono dal primo apparecchio. Del secondo non c’è quasi nulla, e i casi difficili dopo interventi alla testa mancano del tutto.

«Allora verifichiamo», dice Mira. Ciò che serve si chiama validazione locale: verificare lo strumento sui propri casi, sui propri apparecchi, con i gruppi di pazienti e le impostazioni d’immagine che qui si presentano davvero. E stabilire prima che cosa vale come superato, non dopo.

«Con che cosa confrontiamo?», chiede Jan. Con uno standard di riferimento: colleghe e colleghi esperti valutano gli stessi casi senza vedere il risultato dell’IA e chiariscono insieme i disaccordi. I casi di verifica non devono essere gli stessi con cui lo strumento è stato messo a punto. Altrimenti il risultato non dice nulla sui casi nuovi.

«Non prendete solo le immagini belle», aggiunge Lea. Il team amplia la selezione e guarda anche al flusso di lavoro: i segnali arrivano in tempo, e in cambio altri esami restano in attesa più a lungo? Finché questo non è chiarito, il secondo apparecchio continua a funzionare come prima, con l’ordine che il team stabilisce da sé.

Trasferibilità locale: Un risultato vale anzitutto là dove è stato ottenuto. Se vale anche per le Sue persone, con i Suoi dati e nel Suo flusso di lavoro, nessuno lo verifica al posto Suo.

3 · «Posso contraddire. Ma la mia decisione resta valida?»

Mira, la radiologa, vuole anticipare un caso per motivi clinici nella vista di prova e verifica con Jan dell’IT se la sua decisione contro l’ordinamento dell’IA resta valida.

Mira La mia modifica non resta.

Jan apre una vista di prova della lista di refertazione prevista, una copia per fare prove che non tocca il servizio in corso. Un caso preparato deve essere anticipato per motivi clinici, anche se l’IA non lo ha evidenziato. Mira lo sposta in cima e aggiorna la vista. È di nuovo in fondo. Lo fa una seconda volta. Di nuovo in fondo.

«Quindi posso contraddire», dice Mira. «Ma la mia decisione resta valida?»

«Con i miei diritti funziona», dice Jan, e sposta il caso in cima. Lì resta. «Ma in servizio non lavoro con il tuo accesso», risponde Mira. Anche Lea prova: può inoltrare una modifica dell’urgenza, ma non vede se qualcuno l’ha recepita.

Ripercorrono il percorso a ritroso fino al RIS, il sistema per richieste d’esame, appuntamenti e referti. Lì l’urgenza stabilita dal medico è registrata correttamente. La nuova lista non la riprende in modo affidabile. In questo stato Mira rifiuta l’estensione.

«Ma si limita a ordinare», dice Jan. «L’ordine decide anche chi viene guardato per primo», risponde Mira. Il modo in cui un dispositivo medico viene classificato giuridicamente, la sua classe di rischio, dipende da ciò per cui viene impiegato e da ciò che può andare storto. Non da quanto innocuo suoni il nome della funzione.

Poi Mira dice che cosa deve valere al prossimo test: l’urgenza stabilita clinicamente resta. Chi la modifica vede che la modifica è arrivata. E chi deve verificare in servizio ha bisogno di tempo, del proprio accesso e dell’autorità di interrompere l’impiego.

Che cosa succede sul Suo posto di lavoro dopo un no? La Sua obiezione viene archiviata, oppure cambia ciò che accade dopo?

Controverifica efficace: Chi deve verificare deve poter modificare davvero la proposta o l’impiego. Se un no resta senza conseguenze, non c’è stata alcuna verifica efficace.

4 · «Ho guardato prima il segno.»

Nora, la chirurga, esamina con Mira un caso concluso del controllo successivo e deve dire che cosa ha guardato per primo stamattina: la marcatura o l’immagine.

Nora Ho guardato prima il segno.

Nora ripassa. Mira le mostra un caso concluso del controllo successivo, la revisione a posteriori di esami già refertati: un’emorragia riconosciuta dal medico, per la quale l’IA non ha fornito alcun segnale. Era proprio il suo compito, e non lo ha svolto.

«Stamattina ho guardato prima la marcatura», dice Nora. «E poi l’immagine?» «Sinceramente, quasi per niente.»

Mira conosce il riflesso: «Se l’indicazione è spesso corretta, la proposta successiva sembra una conferma prima ancora che tu abbia guardato.» Questo ha un nome. Bias da automazione significa fidarsi di una proposta automatica al punto da percepire meno gli indizi contrari e abbreviare la propria verifica. Non serve essere inesperti perché accada. In studi sulla valutazione delle immagini supportata dall’IA, anche radiologhe e radiologi esperti si sono lasciati influenzare da proposte errate.

Mira nasconde i segnali dell’IA nella vista di prova. Ora le due parlano prima della richiesta d’esame, delle condizioni del paziente e della propria valutazione. Poi Mira aggiunge il segnale. «Così vedi che cosa veniva da te e che cosa dallo strumento.»

«Allora proprio questo va nell’istruzione», dice Mira, cioè nella formazione prima che qualcuno possa usare lo strumento: una proposta errata ma convincente e un reperto non visto, non solo i casi andati bene.

Nora formula diversamente la sua prossima telefonata: «Ho bisogno della valutazione medica su questo paziente.» Lo stesso cambio può farlo ovunque Le venga presentato qualcosa di già pronto. Con un riassunto dell’IA significa: vada al punto della documentazione che dovrebbe sostenere la frase ben formulata e lo legga di persona. Un’impressione coerente non è una prova.

Bias da automazione: Più spesso una proposta si rivela corretta, più in fretta si controlla la successiva. Formi la Sua valutazione prima di guardare la proposta.

5 · «Il software è lo stesso. E le immagini?»

Lea, la TRM, porta casi del controllo successivo in cui ultimamente i segnali dell’IA erano meno pertinenti, e chiarisce con Jan dell’IT se è cambiato il software o se sono cambiate le immagini.

Jan Il software è lo stesso.

Lea E le immagini?

Lea ha portato casi dal controllo successivo in corso in cui ultimamente i segnali dell’IA erano meno pertinenti. Jan verifica la versione installata: «All’IA non abbiamo cambiato nulla.» Lea guarda verso l’apparecchio: «Ma dall’aggiornamento dell’apparecchio alcune immagini vengono ricostruite diversamente.»

Una traccia, non una spiegazione. Se è giusta, il fenomeno ha un nome: drift. Non cambia lo strumento, ma ciò che vi entra. Altri gruppi di pazienti, altre condizioni di acquisizione, un’altra elaborazione delle immagini, e le prestazioni in esercizio si spostano senza che nessuno abbia toccato il software.

Confrontano quindi i risultati nel tempo, separati per apparecchio e tipo d’esame. Lea riferisce che cosa è stato modificato all’apparecchio e nel processo di acquisizione. Jan controlla l’arrivo dei dati e la durata dell’elaborazione. Le radiologhe e i radiologi valutano le prestazioni sul piano specialistico su casi valutati in modo indipendente. Da solo, ognuno vede troppo poco. Solo insieme si riesce a distinguere un errore di trasmissione da un problema specialistico.

Mira sottolinea espressamente un punto: guardano anche gli esami senza segnale dell’IA e registrano separatamente quando un caso non è stato elaborato affatto. «Altrimenti un guasto appare esattamente come un reperto nella norma.»

«Chi ci guarda domani?», chiede Nora. Mira, con chi la sostituisce, si occupa della valutazione specialistica, Jan del monitoraggio tecnico; i cambiamenti anomali li esaminano insieme. Se una deviazione riguarda la sicurezza, il team sospende l’impiego interessato e coinvolge il fabbricante.

Misurazione in esercizio: Uno strumento può peggiorare senza che in esso cambi nulla. Chi lo impiega deve rimisurare in esercizio, regolarmente e dopo ogni modifica di ciò che vi entra.

6 · «L’IA non c’è più. Chi subentra ora?»

Durante la prova di guasto concordata, Jan dell’IT scollega il servizio IA, e Mira, Lea e Nora devono portare avanti la lista di refertazione senza l’ordinamento dell’IA.

Lea Ora lo faccio senza il tuo aiuto.

Durante la prova di guasto concordata, il test pianificato con lo strumento spento, Jan interrompe nella vista di prova il collegamento al servizio IA. Immagini e richieste restano disponibili. Nuovi risultati dell’IA non arrivano più.

Lea apre la lista di refertazione completa senza l’ordinamento dell’IA e confronta gli esami aperti. Mira stabilisce l’ordine in base all’urgenza clinica. Nora prova la via diretta e chiama la radiologia. In questa scena Lei lavora con il percorso di ripiego, il percorso di lavoro concordato in anticipo senza lo strumento guasto.

«E se tu non sei in sede?», chiede Lea. Jan toglie le mani, Lea ripercorre i passi da sola. Emerge così che il numero del servizio di picchetto tecnico si trova solo negli appunti di Jan. Viene inserito nelle istruzioni comuni, che devono essere accessibili anche quando i sistemi sono fermi.

Oggi si guasta solo l’IA. Se mancano anche l’archivio immagini e la gestione delle richieste, la vecchia lista di refertazione non basta. Per questo la struttura ha bisogno di una propria procedura in caso di guasto, che non deve dipendere dal sistema appena guastato.

Si prova anche la riaccensione. Jan controlla la tecnica, Mira la visualizzazione. Insieme verificano quali casi sono aperti e quali segnali arrivano in ritardo, prima che il team torni a usare il supporto.

Nora torna in reparto. Lea prepara l’esame successivo. Jan è lì accanto, e nessuno aspetta lui.

Qui finisce la demo. Porti con sé una domanda: quale parte di questa mattina resterebbe ancora da chiarire nel Suo team?

Guasto gestibile: Uno strumento entra nella routine solo quando il percorso senza di esso è stato esercitato e le persone in servizio lo percorrono senza aiuto esterno.