KI im Klinikalltag: sechs Szenen

1 · «Keine Markierung. Können wir weitermachen?»

Diese Demo zeigt einen erfundenen Klinikmorgen. Du begleitest ein Team, das sein KI-Werkzeug überprüft.

Nora Können wir den Eingriff vorbereiten?

Mira Deine Frage geht darüber hinaus.

Du stehst am Befundplatz, dem Arbeitsplatz, an dem die Bilder angesehen und beurteilt werden. Mira, die Radiologin, öffnet die CT-Aufnahmen, also die Schnittbilder aus der Computertomografie. Lea, die Radiologiefachperson, hat die Untersuchung am Gerät gerade abgeschlossen. Jan aus der IT betreut die Computersysteme. In der Tür steht Nora, die Chirurgin: «Wir warten auf den Befund zum Patienten nach dem Sturz. Können wir den Eingriff vorbereiten?»

Die KI-Verarbeitung ist durchgelaufen. Im Bild steht keine Markierung. «Dann scheint im Kopf nichts Dringendes zu sein», sagt Nora.

Mira zieht die Bilder heran: «Das wissen wir noch nicht. Dieses Werkzeug sucht nach Hinweisen auf Blutungen. Es unterstützt die Priorisierung in der Arbeitsliste, also die Reihenfolge, in der ich die Untersuchungen öffne. Vorhin hat mich ein Hinweis zu einem auffälligen Fall früher hingeführt. Ansehen muss ich trotzdem alles selbst.»

Nora: «Und wenn es nichts markiert?» Mira: «Dann hat es zu seiner Frage nichts gefunden. Zu deiner hat es nicht geschaut. Deine Frage geht darüber hinaus. Den Befund, also die ärztliche Beurteilung der ganzen Untersuchung, bekommst du von mir, in ein paar Minuten.»

Wofür ein Werkzeug gedacht ist, steht in seiner Zweckbestimmung: welche Aufgabe, bei welchen Menschen, unter welchen Bedingungen. Was daneben liegt, hat niemand geprüft. Dass ein Hinweis einmal gepasst hat, ist dafür kein Beleg.

Nora nickt: «Dann muss auf unserer Station klar sein, was dieses Zeichen bedeutet. Und was es nicht bedeutet.»

Zweckbindung: Ein Werkzeug ist für eine Aufgabe geprüft. Auf jede Frage daneben antwortet es trotzdem, und für diese Antwort steht niemand ein.

2 · «Mit unseren Bildern habt ihr es auch geprüft?»

Die KI läuft bisher nur für einen Teil der Untersuchungen. Heute geht es darum, sie für ein zweites CT-Gerät freizugeben.

Lea Mit unseren Bildern habt ihr es auch geprüft?

Jan öffnet die Unterlagen: «Die Ergebnisse der Herstellerstudie sehen gut aus.» Lea deutet durch die Scheibe: «Mit unseren Bildern habt ihr es auch geprüft? Hier können viele Menschen nicht ruhig liegen.»

Nach der Befundung öffnen sie im PACS, dem System, in dem die Bilder gespeichert und angezeigt werden, die Fälle, mit denen bisher geprüft wurde. Fast alle stammen vom ersten Gerät. Vom zweiten ist kaum etwas dabei, und schwierige Fälle nach Kopfoperationen fehlen ganz.

«Dann prüfen wir nach», sagt Mira. Was dazu nötig ist, heisst lokale Validierung: das Werkzeug an den eigenen Fällen prüfen, an den eigenen Geräten, mit den Patientengruppen und Bildeinstellungen, die hier wirklich vorkommen. Und vorher festlegen, was als bestanden gilt, nicht hinterher.

«Womit vergleichen wir?», fragt Jan. Mit einem Referenzstandard: Erfahrene Kolleginnen und Kollegen beurteilen dieselben Fälle, ohne das KI-Ergebnis zu sehen, und klären Uneinigkeiten gemeinsam. Die Prüffälle dürfen nicht dieselben sein, mit denen das Werkzeug eingestellt wurde. Sonst sagt das Ergebnis nichts über neue Fälle aus.

«Nehmt nicht nur die schönen Bilder», ergänzt Lea. Das Team erweitert die Auswahl und schaut auch auf den Ablauf: Kommen die Hinweise rechtzeitig an, und bleiben dafür andere Untersuchungen länger liegen? Bis das geklärt ist, läuft das zweite Gerät weiter wie bisher, mit der Reihenfolge, die das Team selbst setzt.

Lokale Übertragbarkeit: Ein Ergebnis gilt zuerst dort, wo es erhoben wurde. Ob es bei deinen Leuten, mit deinen Daten und in deinem Ablauf auch gilt, prüft niemand für dich.

3 · «Ich kann widersprechen. Aber bleibt meine Entscheidung stehen?»

Mira, die Radiologin, will in der Testansicht einen Fall aus klinischen Gründen vorziehen und prüft mit Jan aus der IT, ob ihre Entscheidung gegen die KI-Sortierung bestehen bleibt.

Mira Meine Änderung bleibt nicht stehen.

Jan öffnet eine Testansicht der geplanten Befundliste, eine Kopie zum Ausprobieren, die den laufenden Dienst nicht berührt. Ein vorbereiteter Fall soll aus klinischen Gründen vorgezogen werden, obwohl die KI ihn nicht hervorgehoben hat. Mira setzt ihn nach oben und aktualisiert die Ansicht. Er steht wieder unten. Sie macht es ein zweites Mal. Wieder unten.

«Widersprechen kann ich also», sagt Mira. «Aber bleibt meine Entscheidung stehen?»

«Mit meinen Rechten geht es», sagt Jan und schiebt den Fall nach oben. Dort bleibt er. «Im Dienst arbeite ich aber nicht mit deinem Zugang», antwortet Mira. Lea probiert es auch: Sie kann eine Dringlichkeitsänderung weitergeben, sieht aber nicht, ob sie jemand übernommen hat.

Sie verfolgen den Weg zurück ins RIS, das System für Untersuchungsaufträge, Termine und Befunde. Dort steht die ärztlich gesetzte Dringlichkeit korrekt drin. Die neue Liste übernimmt sie nicht zuverlässig. Mira lehnt die Erweiterung in diesem Zustand ab.

«Es sortiert doch nur», sagt Jan. «Die Reihenfolge bestimmt mit, wer zuerst angesehen wird», antwortet Mira. Wie ein Medizinprodukt rechtlich eingestuft wird, seine Risikoklasse, richtet sich danach, wofür es eingesetzt wird und was dabei schiefgehen kann. Nicht danach, wie harmlos die Funktion heisst.

Dann sagt Mira, was beim nächsten Test gelten muss: Die klinisch gesetzte Dringlichkeit bleibt stehen. Wer sie ändert, sieht, dass die Änderung angekommen ist. Und wer im Dienst prüfen soll, braucht dafür Zeit, den eigenen Zugang und die Befugnis, den Einsatz zu stoppen.

Was passiert an deinem Arbeitsplatz nach einem Nein? Wird dein Einwand abgelegt, oder ändert er, was als Nächstes geschieht?

Wirksame Gegenprüfung: Wer prüfen soll, muss den Vorschlag oder den Einsatz tatsächlich ändern können. Bleibt ein Nein ohne Folgen, hat keine wirksame Prüfung stattgefunden.

4 · «Ich habe zuerst auf das Zeichen geschaut.»

Nora, die Chirurgin, schaut mit Mira einen abgeschlossenen Fall aus der Nachkontrolle an und soll sagen, worauf sie heute Morgen zuerst geschaut hat: auf die Markierung oder auf das Bild.

Nora Ich habe zuerst auf das Zeichen geschaut.

Nora kommt noch einmal vorbei. Mira zeigt ihr einen abgeschlossenen Fall aus der Nachkontrolle, der späteren Durchsicht bereits befundeter Untersuchungen: eine Blutung, die ärztlich erkannt wurde und zu der die KI keinen Hinweis geliefert hat. Genau seine Aufgabe, und es hat sie nicht erfüllt.

«Heute Morgen habe ich zuerst auf die Markierung geschaut», sagt Nora. «Und dann auf das Bild?» «Ehrlich gesagt kaum noch.»

Mira kennt den Reflex: «Wenn die Anzeige oft passt, fühlt sich der nächste Vorschlag wie eine Bestätigung an, bevor du selbst hingeschaut hast.» Das hat einen Namen. Automatisierungsblindheit heisst: Du vertraust einem automatischen Vorschlag so weit, dass du Gegenhinweise schwächer wahrnimmst und die eigene Prüfung verkürzt. Unerfahren muss dafür niemand sein. In Untersuchungen zur KI-unterstützten Bildbeurteilung liessen sich auch erfahrene Radiologinnen und Radiologen von falschen Vorschlägen beeinflussen.

Mira blendet in der Testansicht die KI-Hinweise aus. Jetzt sprechen die beiden erst über den Untersuchungsauftrag, den Zustand des Patienten und die eigene Beurteilung. Danach holt Mira den Hinweis dazu. «So siehst du, was von dir kam und was vom Werkzeug.»

«Dann gehört genau das in die Einweisung», sagt Mira, also in die Schulung, bevor jemand das Werkzeug benutzen darf: ein überzeugender falscher Vorschlag und ein übersehener Befund, nicht nur die Fälle, die gut gelaufen sind.

Nora formuliert ihren nächsten Anruf anders: «Ich brauche die ärztliche Einschätzung zu diesem Patienten.» Denselben Wechsel kannst du überall machen, wo dir etwas Fertiges vorgelegt wird. Bei einer KI-Zusammenfassung heisst er: Geh an die Stelle in der Unterlage, die den gut formulierten Satz tragen soll, und lies sie selbst. Ein stimmiger Eindruck ist kein Beleg.

Automatisierungsblindheit: Je häufiger ein Vorschlag stimmt, desto flüchtiger prüfst du den nächsten. Bilde deine Beurteilung, bevor du den Vorschlag ansiehst.

5 · «Die Software ist gleich. Sind es die Bilder auch?»

Lea, die RFP, bringt Fälle aus der Nachkontrolle mit, bei denen die KI-Hinweise zuletzt schlechter passten, und klärt mit Jan aus der IT, ob sich die Software oder die Bilder verändert haben.

Jan Die Software ist gleich.

Lea Sind es die Bilder auch?

Lea hat Fälle aus der laufenden Nachkontrolle mitgebracht, bei denen die KI-Hinweise zuletzt weniger gut passten. Jan prüft die installierte Version: «An der KI haben wir nichts geändert.» Lea schaut zum Gerät: «Aber seit der Geräteaktualisierung werden manche Bilder anders berechnet.»

Eine Spur, keine Erklärung. Wenn sie stimmt, hat der Vorgang einen Namen: Drift. Nicht das Werkzeug ändert sich, sondern das, was hineinläuft. Andere Patientengruppen, andere Aufnahmebedingungen, eine andere Bildverarbeitung, und die Leistung im Betrieb verschiebt sich, ohne dass jemand die Software angefasst hat.

Also vergleichen sie Ergebnisse über die Zeit, getrennt nach Gerät und Untersuchungsart. Lea bringt ein, was am Gerät und im Aufnahmeablauf geändert wurde. Jan schaut auf Dateneingang und Verarbeitungsdauer. Die Radiologinnen und Radiologen beurteilen die fachliche Leistung an unabhängig bewerteten Fällen. Einzeln sieht jeder zu wenig. Erst zusammen lässt sich ein Übertragungsfehler von einem fachlichen Problem unterscheiden.

Einen Punkt macht Mira ausdrücklich: Sie schauen auch auf Untersuchungen ohne KI-Hinweis, und sie erfassen getrennt, wenn ein Fall gar nicht verarbeitet wurde. «Sonst sieht ein Ausfall genauso aus wie ein unauffälliger Befund.»

«Wer schaut morgen darauf?», fragt Nora. Mira übernimmt mit ihrer Vertretung die fachliche Auswertung, Jan die technische Überwachung, auffällige Veränderungen sehen sie gemeinsam an. Betrifft eine Abweichung die Sicherheit, setzt das Team den betroffenen Einsatz aus und zieht den Hersteller hinzu.

Messung im Betrieb: Ein Werkzeug kann schlechter werden, ohne dass sich an ihm etwas ändert. Wer es einsetzt, muss im Betrieb nachmessen, regelmässig und nach jeder Änderung an dem, was hineinläuft.

6 · «Die KI ist weg. Wer übernimmt jetzt?»

Jan aus der IT trennt bei der vereinbarten Ausfallprobe den KI-Dienst, und Mira, Lea und Nora müssen die Befundliste ohne KI-Sortierung weiterführen.

Lea Ich mache es jetzt ohne deine Hilfe.

Bei der vereinbarten Ausfallprobe, dem geplanten Versuch mit abgeschaltetem Werkzeug, trennt Jan in der Testansicht die Verbindung zum KI-Dienst. Bilder und Aufträge bleiben verfügbar. Neue KI-Ergebnisse kommen nicht mehr an.

Lea ruft die vollständige Befundliste ohne KI-Sortierung auf und gleicht die offenen Untersuchungen ab. Mira setzt die Reihenfolge nach klinischer Dringlichkeit. Nora probiert den direkten Weg und ruft die Radiologie an. In dieser Szene arbeitest du mit dem Rückfallpfad, dem vorher vereinbarten Arbeitsweg ohne das ausgefallene Werkzeug.

«Und wenn du nicht im Haus bist?», fragt Lea. Jan nimmt die Hände weg, Lea geht die Schritte allein durch. Dabei fällt auf: Die Nummer des technischen Bereitschaftsdiensts steht nur in Jans Notizen. Sie kommt in die gemeinsame Anleitung, und die muss auch dann erreichbar sein, wenn die Systeme stehen.

Heute fällt nur die KI aus. Fehlen zusätzlich Bildarchiv und Auftragsverwaltung, reicht die alte Befundliste nicht. Dafür braucht das Haus einen eigenen Ausfallablauf, und der darf nicht von dem System abhängen, das gerade ausgefallen ist.

Auch das Wiedereinschalten wird geprobt. Jan kontrolliert die Technik, Mira die Anzeige. Zusammen gleichen sie ab, welche Fälle offen sind und welche Hinweise verspätet nachkommen, bevor das Team die Unterstützung wieder benutzt.

Nora geht zurück zur Station. Lea bereitet die nächste Untersuchung vor. Jan steht daneben, und niemand wartet auf ihn.

Hier endet die Demo. Nimm eine Frage mit: Welcher Teil dieses Morgens wäre in deinem Team noch ungeklärt?

Beherrschbarer Ausfall: Ein Werkzeug gehört erst in den Alltag, wenn der Weg ohne es geübt ist und die Leute im Dienst ihn ohne fremde Hilfe gehen.