Die zunehmende Leistungsfähigkeit künstlicher Intelligenz eröffnet zahlreiche Möglichkeiten zur Unterstützung medizinischer Tätigkeiten. Grosse Sprachmodelle können komplexe medizinische Fragestellungen bearbeiten, wissenschaftliche Inhalte zusammenfassen und differenzierte Argumentationen formulieren. Gerade die sprachliche Qualität ihrer Antworten kann jedoch dazu verleiten, die fachliche Zuverlässigkeit dieser Systeme zu überschätzen.
Die Grenzen künstlicher Intelligenz sind deshalb nicht nur aus technologischer Sicht von Bedeutung, sondern betreffen unmittelbar die ärztliche Sorgfaltspflicht und die Patientensicherheit. Um KI-Anwendungen verantwortungsvoll einsetzen zu können, müssen medizinische Fachpersonen verstehen, welche Fehler auftreten können, weshalb diese entstehen und mit welchen Strategien sich die damit verbundenen Risiken reduzieren lassen. Im Mittelpunkt dieses Beitrags stehen generative KI-Anwendungen und insbesondere grosse Sprachmodelle.
Die Grundlagen unserer Fachartikelserie erläutert der Beitrag Was ist künstliche Intelligenz?.
Inhaltsverzeichnis anzeigen
- Sprachliche Kompetenz und fachliche Zuverlässigkeit
- Was sind KI-Halluzinationen?
- Welche Arten von Fehlern können auftreten?
- Erfundene wissenschaftliche Literaturangaben
- False Premise – wenn die Frage bereits falsch ist
- Fehlende Informationen und unbegründete Annahmen
- Grenzen der Kontextverarbeitung
- Veraltete Informationen und fehlende Aktualität
- Systematische Verzerrungen – Bias
- Der Umgang mit Unsicherheit
- Kann künstliche Intelligenz ihre eigenen Fehler erkennen?
- Grenzen KI-gestützter Informationsrecherche
- Automation Bias – das Vertrauen in technische Systeme
- Konsequenzen für die Patientensicherheit
- Strategien zur Fehlervermeidung
- Die Empfehlungen der FMH
- Fazit
- Weiterführende Beiträge
- Literatur
Sprachliche Kompetenz und fachliche Zuverlässigkeit
Eine der bemerkenswertesten Eigenschaften grosser Sprachmodelle ist ihre Fähigkeit, Informationen in einer sprachlich überzeugenden Form zu präsentieren. Medizinische Fachbegriffe werden verwendet, Argumentationen nachvollziehbar aufgebaut und komplexe Zusammenhänge scheinbar verständlich erläutert.
Beim Menschen besteht häufig eine gedankliche Verbindung zwischen sprachlicher Ausdrucksfähigkeit und fachlicher Kompetenz. Wer einen medizinischen Sachverhalt differenziert und unter Verwendung der korrekten Terminologie darstellt, wird eher als fachkundig wahrgenommen.
Bei künstlicher Intelligenz müssen diese Eigenschaften jedoch getrennt beurteilt werden. Die Fähigkeit zur sprachlichen Formulierung ergibt sich aus dem Training des Sprachmodells. Die Richtigkeit einer konkreten Aussage muss dagegen anhand geeigneter fachlicher Kriterien überprüft werden.
Vier voneinander zu unterscheidende Qualitätsmerkmale
Sprachliche Qualität
Ist die Antwort verständlich, präzise und angemessen formuliert?
Logische Qualität
Ist die Argumentation nachvollziehbar und widerspruchsfrei?
Faktische Richtigkeit
Entsprechen die Aussagen den überprüfbaren Tatsachen?
Klinische Relevanz
Sind die Aussagen auf die konkrete medizinische Situation übertragbar?
Redaktionelles Orientierungsmodell zur getrennten Beurteilung KI-generierter medizinischer Inhalte.
Eine Antwort kann sprachlich hervorragend formuliert, in ihrer Argumentation schlüssig und dennoch fachlich falsch sein. Umgekehrt kann eine medizinisch korrekte Aussage für die konkrete klinische Fragestellung irrelevant sein.
Merksatz: Die sprachliche Qualität einer KI-Antwort ist kein verlässlicher Indikator für ihre medizinische Richtigkeit.
Was sind KI-Halluzinationen?
Als Halluzinationen werden bei generativen KI-Systemen häufig Ausgaben bezeichnet, die sachlich falsch, erfunden oder durch die verfügbaren Informationsquellen nicht ausreichend gestützt sind. Eine einheitliche wissenschaftliche Definition des Begriffes existiert bislang nicht.
Der Begriff ist nicht mit einer Halluzination im psychiatrischen Sinne gleichzusetzen. Er beschreibt vielmehr ein technisches Fehlerphänomen bei der Generierung von Informationen.
Farquhar und Mitarbeiter unterschieden in einer 2024 in Nature veröffentlichten Untersuchung zwischen verschiedenen Ursachen fehlerhafter Modellausgaben. Sie konzentrierten sich insbesondere auf sogenannte Konfabulationen, bei denen unzutreffende Aussagen ohne hinreichend stabile Grundlage erzeugt werden. Davon grenzten sie unter anderem systematische Wissensfehler und fehlerhafte Schlussfolgerungen ab [1].
Warum entstehen Halluzinationen?
Wie im vorangegangenen Beitrag über grosse Sprachmodelle erläutert, werden generative Sprachmodelle unter anderem darauf trainiert, geeignete Fortsetzungen einer vorhandenen sprachlichen Sequenz zu erzeugen. Diese Optimierung ermöglicht die Formulierung komplexer Inhalte, ist aber nicht mit einer automatischen Überprüfung sämtlicher Aussagen anhand gesicherter Fakten gleichzusetzen.
Wenn relevante Informationen fehlen oder fehlerhafte Zusammenhänge verarbeitet werden, kann das Modell eine Antwort erzeugen, deren sprachliche Plausibilität durch keine ausreichende faktische Grundlage gedeckt ist.
Vereinfachtes Entstehungsmodell einer Halluzination
Didaktisch vereinfachte Darstellung eines möglichen Fehlermechanismus. Halluzinationen können auch unter anderen Bedingungen entstehen.
Halluzinationen sind nicht zwangsläufig offensichtlich. Gerade erfundene Details innerhalb eines ansonsten korrekten Textes können bei einer oberflächlichen Kontrolle unentdeckt bleiben.
Welche Arten von Fehlern können auftreten?
Nicht jede fehlerhafte KI-Antwort ist im engeren Sinne eine Halluzination. Für die medizinische Praxis ist es sinnvoll, unterschiedliche Fehlerarten voneinander zu unterscheiden, da sich daraus unterschiedliche Anforderungen an die Qualitätskontrolle ergeben.
| Fehlerart | Beschreibung | Medizinisches Beispiel |
|---|---|---|
| Erfundene Informationen | Generierung nicht existierender Sachverhalte | Erfundene klinische Studie |
| Faktische Fehler | Unzutreffende Darstellung realer Sachverhalte | Falscher diagnostischer Grenzwert |
| Auslassungsfehler | Nichtberücksichtigung relevanter Informationen | Fehlende Kontraindikation in einer Zusammenfassung |
| Kontextfehler | Fehlende Berücksichtigung des konkreten Zusammenhangs | Übertragung von Empfehlungen für Erwachsene auf Kinder |
| Fehlerhafte Schlussfolgerungen | Unzutreffende Ableitung aus möglicherweise korrekten Informationen | Interpretation einer statistischen Assoziation als Kausalzusammenhang |
| Aktualitätsfehler | Verwendung nicht mehr aktueller Informationen | Wiedergabe einer bereits revidierten Leitlinie |
| Fehlerhafte Ausgangsannahmen | Unkritische Übernahme einer falschen Prämisse | Übernahme einer nicht gesicherten Diagnose als Tatsache |
Redaktionell entwickelte, praxisorientierte Einteilung möglicher KI-Fehler. Die Kategorien können sich überschneiden und stellen keine wissenschaftlich validierte Klassifikation dar.
Besonders problematisch sind Auslassungsfehler. Während eine offensichtlich falsche Aussage möglicherweise unmittelbar auffällt, kann das Fehlen einer wichtigen Information nur erkannt werden, wenn der Anwender weiss, welche Inhalte berücksichtigt werden müssten.
Weiterführende Vertiefung: Was sind grosse Sprachmodelle (LLM)?.
Erfundene wissenschaftliche Literaturangaben
Eine besondere Form von Halluzinationen betrifft die Generierung wissenschaftlicher Literaturreferenzen. Sprachmodelle können bibliografische Angaben erzeugen, die formal wie wissenschaftliche Veröffentlichungen aussehen, obwohl die entsprechenden Arbeiten nicht existieren.
Dabei können beispielsweise reale Autorennamen, existierende Fachzeitschriften und plausible Publikationstitel miteinander kombiniert werden. Gerade die professionelle Formatierung solcher Referenzen erschwert ihre Beurteilung.
Wissenschaftliche Untersuchung von Walters und Wilder
Walters und Wilder untersuchten 2023 die Zuverlässigkeit von Literaturreferenzen, die mit ChatGPT-3.5 und ChatGPT-4 generiert worden waren. Die Autoren analysierten 84 KI-generierte Literaturübersichten zu 42 unterschiedlichen Themen mit insgesamt 636 Literaturangaben. Mithilfe externer Informationsquellen überprüften sie die Existenz der zitierten Veröffentlichungen sowie die Richtigkeit der bibliografischen Angaben [2].
| Untersuchungsparameter | GPT-3.5 | GPT-4 |
|---|---|---|
| Untersuchte Literaturangaben | 222 | 414 |
| Erfundene Literaturangaben | 55 % | 18 % |
| Reale Veröffentlichungen mit wesentlichen bibliografischen Fehlern | 43 % | 24 % |
Daten nach Walters und Wilder, 2023 [2]. Die Prozentangaben der letzten Tabellenzeile beziehen sich ausschliesslich auf die tatsächlich existierenden Veröffentlichungen und nicht auf sämtliche untersuchten Literaturreferenzen.
Anteil erfundener Literaturreferenzen
GPT-3.5 – 55 %
GPT-4 – 18 %
Eigene grafische Darstellung der Untersuchungsergebnisse von Walters und Wilder [2]. Historische Daten aus dem Jahr 2023, keine Aussage über die aktuelle Fehlerhäufigkeit moderner KI-Anwendungen.
Limitationen der Untersuchung
Die Ergebnisse beziehen sich auf zwei frühe Modellgenerationen und eine spezifische experimentelle Aufgabenstellung. Untersucht wurden unterschiedliche wissenschaftliche Themen und nicht ausschliesslich medizinische Fragestellungen. Die Studie erlaubt keine unmittelbare Aussage über die Leistungsfähigkeit heutiger Sprachmodelle mit integrierten Recherchewerkzeugen.
Sie dokumentiert jedoch grundsätzlich, dass formal überzeugende Referenzen nicht zwangsläufig mit tatsächlich existierenden wissenschaftlichen Veröffentlichungen übereinstimmen.
Eine existierende Veröffentlichung ist noch kein Beleg
Selbst wenn eine KI-Anwendung eine tatsächlich existierende Veröffentlichung korrekt zitiert, kann die zugehörige medizinische Aussage fehlerhaft sein. Beispielsweise können Studienergebnisse falsch interpretiert, Zahlen verwechselt oder Schlussfolgerungen formuliert werden, die von den Autoren nicht gezogen wurden.
Die Prüfung einer Literaturreferenz muss deshalb über die Kontrolle ihrer Existenz hinausgehen.
Vier Stufen der wissenschaftlichen Quellenprüfung
Existiert die angegebene Veröffentlichung tatsächlich?
Sind Autorennamen, Titel, Publikationsjahr und DOI korrekt?
Wird die konkrete Aussage durch die Originalpublikation tatsächlich gestützt?
Ist die Evidenz methodisch ausreichend und auf die betreffende Fragestellung übertragbar?
Merksatz: Die Existenz eines DOI oder eines funktionierenden Literaturverweises bestätigt weder die Richtigkeit der zitierten Aussage noch deren wissenschaftliche Qualität.
Weiterführende Vertiefung: KI und medizinische Literaturrecherche.
False Premise – wenn die Frage bereits falsch ist
Eine besondere Herausforderung entsteht, wenn eine Fragestellung bereits eine sachlich falsche oder nicht gesicherte Ausgangsannahme enthält. Eine solche Annahme wird im englischen Sprachgebrauch als False Premise bezeichnet.
Sprachmodelle können die in einer Frage enthaltenen Voraussetzungen übernehmen, ohne sie zuvor ausreichend zu hinterfragen. Dadurch kann eine formal schlüssige Antwort auf einer unzutreffenden Grundlage aufgebaut werden.
Ein Beispiel aus der Schweiz
Das folgende Beispiel verdeutlicht, wie bereits eine scheinbar einfache Frage eine sachlich unzutreffende Prämisse enthalten kann.
Fragestellung:
«Seit welchem Jahr ist Bern offiziell die Hauptstadt der Schweiz?»
Mögliche unkritische Antwort:
Bern ist seit dem Jahr 1848 offiziell die Hauptstadt der Schweiz.
Fachlich differenzierte Antwort:
Die Schweiz besitzt keine offiziell festgelegte Hauptstadt im staatsrechtlichen Sinne. Bern wurde 1848 zum Sitz der Bundesbehörden gewählt und wird als Bundesstadt bezeichnet. Es erfüllt faktisch die Funktion einer Hauptstadt.
Redaktionell konstruiertes Lehrbeispiel, keine dokumentierte Modellantwort auf die konkrete Fragestellung. Die sachliche Einordnung entspricht den offiziellen Informationen des Bundes [3].
Das Problem der ersten Antwort besteht nicht darin, dass die Jahreszahl 1848 grundsätzlich falsch wäre. Vielmehr wird die im Arbeitsauftrag enthaltene staatsrechtliche Annahme unkritisch übernommen.
Übertragung auf medizinische Fragestellungen
In der Medizin können fehlerhafte Ausgangsannahmen wesentlich gravierendere Konsequenzen haben. Eine Fragestellung kann beispielsweise eine Diagnose als gesichert darstellen, obwohl die vorhandenen Befunde lediglich einen Verdacht begründen.
Problematische Fragestellung:
«Welche antibiotische Therapie empfehlen Sie bei der bakteriellen Pneumonie dieses Patienten, die durch die CRP-Erhöhung nachgewiesen wurde?»
Problem:
Die Fragestellung setzt sowohl die Diagnose einer Pneumonie als auch deren bakterielle Ätiologie voraus. Eine CRP-Erhöhung allein kann beides nicht ausreichend belegen.
Geeignetere Fragestellung:
«Welche diagnostische Aussagekraft besitzt eine CRP-Erhöhung bei Verdacht auf eine ambulant erworbene Pneumonie? Welche zusätzlichen klinischen und diagnostischen Informationen sind erforderlich, um die Notwendigkeit einer antibiotischen Therapie beurteilen zu können?»
Fiktives medizinisches Lehrbeispiel zur Darstellung einer nicht ausreichend begründeten Ausgangsannahme. Keine patientenbezogene Therapieempfehlung.
Die entscheidende Verbesserung besteht darin, dass die Diagnose nicht mehr als feststehende Tatsache behandelt wird. Stattdessen wird die diagnostische Unsicherheit zum Gegenstand der Fragestellung.
Merksatz: Eine medizinisch korrekte Antwort setzt voraus, dass auch die zugrunde liegenden Annahmen kritisch überprüft werden.
Fehlende Informationen und unbegründete Annahmen
Medizinische Entscheidungen beruhen auf der Gesamtheit relevanter Informationen. Diese stehen einem Sprachmodell jedoch nur insoweit zur Verfügung, als sie ihm durch die Fragestellung, zusätzliche Dokumente oder entsprechend angebundene Systeme zugänglich gemacht werden.
Bei unvollständigen Informationen besteht das Risiko, dass ein Sprachmodell dennoch ein scheinbar vollständiges Ergebnis erzeugt. Dabei können fehlende Angaben unbemerkt durch Annahmen ergänzt oder wichtige Einschränkungen nicht berücksichtigt werden.
Nicht dokumentiert bedeutet nicht unauffällig
Besonders relevant ist diese Unterscheidung bei der KI-gestützten medizinischen Dokumentation.
Fiktive Ausgangsinformationen:
Patient, 48 Jahre, seit zwei Tagen abdominale Schmerzen, Druckdolenz im rechten Unterbauch. Kein Fieber dokumentiert.
Problematische Ergänzungen:
- Der Patient verneint Fieber.
- Es besteht kein Peritonismus.
- Die übrigen Untersuchungsbefunde sind unauffällig.
Korrekte Einordnung:
Angaben zur tatsächlich gemessenen Körpertemperatur, zu peritonealen Reizzeichen und zu weiteren Untersuchungsbefunden liegen nicht vor.
Konstruiertes Lehrbeispiel mit fiktiven Patientendaten. Die dargestellten Formulierungen sind keine tatsächlich erhobenen Modellantworten.
Die Ergänzung nicht dokumentierter Negativbefunde ist besonders problematisch, da sie bei einer späteren Verwendung des Textes den Eindruck erwecken kann, die entsprechenden Untersuchungen seien tatsächlich durchgeführt worden.
Merksatz: Nicht erhoben, nicht dokumentiert und unauffällig sind drei grundsätzlich unterschiedliche medizinische Aussagen.
Grenzen der Kontextverarbeitung
Moderne Sprachmodelle können umfangreiche Texte und unterschiedliche Dokumente innerhalb eines gemeinsamen Verarbeitungskontextes berücksichtigen. Diese Fähigkeit wird häufig anhand der maximalen Grösse ihres Kontextfensters beschrieben.
Die technische Möglichkeit, umfangreiche Informationen entgegenzunehmen, bedeutet jedoch nicht, dass sämtliche Inhalte vollständig und gleich zuverlässig verarbeitet werden.
Liu und Mitarbeiter untersuchten 2024 die Verarbeitung längerer Eingabesequenzen anhand zweier experimenteller Aufgaben. Bei den untersuchten Sprachmodellen beeinflusste die Position relevanter Informationen innerhalb des Kontextes die Qualität der Ergebnisse. Besonders Informationen in mittleren Abschnitten langer Texte wurden teilweise weniger zuverlässig berücksichtigt [4].
Lost in the Middle – schematische Darstellung
Relevante Information
Möglicherweise weniger zuverlässig berücksichtigt
Relevante Information
Qualitative Veranschaulichung der von Liu et al. beschriebenen Beobachtungen [4]. Keine Darstellung gemessener Wahrscheinlichkeiten und keine allgemeingültige Aussage über sämtliche aktuellen Sprachmodelle.
Für die medizinische Praxis ist diese Problematik beispielsweise bei der Analyse umfangreicher Krankengeschichten, wissenschaftlicher Publikationen oder medizinischer Leitlinien relevant.
Eine KI-Anwendung kann einen langen Text zusammenfassen und dennoch einzelne, für die konkrete Fragestellung entscheidende Informationen übersehen. Hierzu können beispielsweise Allergien, Kontraindikationen, Ausschlusskriterien oder methodische Limitationen einer Studie gehören.
Umfangreiche Dokumente sollten deshalb bei besonders wichtigen Fragestellungen zusätzlich abschnittsweise analysiert werden. Relevante Angaben sind gezielt zu überprüfen und mit dem Originaldokument abzugleichen.
Veraltete Informationen und fehlende Aktualität
Medizinisches Wissen unterliegt einem kontinuierlichen Wandel. Neue wissenschaftliche Erkenntnisse, revidierte Leitlinien, veränderte Arzneimittelzulassungen und aktualisierte Klassifikationen können bisherige Empfehlungen ergänzen oder ersetzen.
Das während des Trainings eines Sprachmodells erworbene Wissen wird nicht zwangsläufig bei jeder neuen wissenschaftlichen Veröffentlichung automatisch aktualisiert. Auch eine moderne KI-Anwendung muss gegebenenfalls externe Informationsquellen heranziehen, um aktuelle Sachverhalte zuverlässig beurteilen zu können.
Für den medizinischen Anwender besteht deshalb eine wichtige Aufgabe darin, Fragestellungen zu identifizieren, bei denen der Zeitpunkt der Informationsbeschaffung von besonderer Bedeutung ist.
| Vergleichsweise zeitstabile Informationen | Besonders aktualitätsabhängige Informationen |
|---|---|
| Grundlagen der menschlichen Anatomie | Aktuelle Leitlinien und Empfehlungen |
| Etablierte physikalische Gesetzmässigkeiten | Arzneimittelzulassungen und Sicherheitsmitteilungen |
| Physiologische Grundprinzipien | Medizinische Klassifikationen und Stadieneinteilungen |
| Grundlegende statistische Verfahren | Nationale Vergütungsregelungen und gesetzliche Vorgaben |
Die Einteilung stellt eine Orientierungshilfe dar. Auch vergleichsweise zeitstabile Informationen können falsch wiedergegeben werden und müssen bei fachlich relevanten Anwendungen überprüft werden.
Ein Beispiel aus der Radiologie
Bei Fragestellungen zur Beurteilung einer Prostata-MRT, zur Klassifikation zystischer Nierenläsionen oder zur strukturierten Befundung pulmonaler Rundherde ist es wichtig, die jeweils verwendete Version der entsprechenden Klassifikation beziehungsweise Empfehlung anzugeben.
Andernfalls besteht das Risiko, dass Kriterien unterschiedlicher Versionen miteinander vermischt oder veraltete Empfehlungen als aktuell dargestellt werden.
Merksatz: Eine medizinische Information kann zum Zeitpunkt ihrer ursprünglichen Veröffentlichung richtig gewesen sein und dennoch für eine aktuelle klinische Entscheidung nicht mehr geeignet sein.
Systematische Verzerrungen – Bias
Unter Bias werden im Zusammenhang mit künstlicher Intelligenz systematische Verzerrungen verstanden, die beispielsweise aus der Zusammensetzung der Trainingsdaten, den verwendeten Bewertungsverfahren oder der Gestaltung einer Anwendung resultieren können.
Sprachmodelle können Zusammenhänge reproduzieren, die innerhalb ihrer Informationsgrundlage besonders stark vertreten sind. Dies betrifft beispielsweise geografische, kulturelle, sprachliche oder demografische Aspekte. Auch die FMH weist auf die Bedeutung solcher Verzerrungen für die medizinische Anwendung hin [5].
Geografische Verzerrungen
Ein allgemein zugängliches Sprachmodell kann medizinische Empfehlungen aus unterschiedlichen Ländern miteinander vermischen. Für die Schweizer Arztpraxis kann dies insbesondere dann problematisch sein, wenn nationale Unterschiede bei Arzneimittelzulassungen, Screeningprogrammen, diagnostischen Empfehlungen oder Versorgungsstrukturen bestehen.
Demografische Verzerrungen
Wenn bestimmte Altersgruppen, Geschlechter oder Bevölkerungsgruppen in medizinischen Daten unzureichend repräsentiert sind, können daraus Einschränkungen bei der Übertragbarkeit automatisiert erzeugter Empfehlungen entstehen.
Verzerrungen durch die Aufgabenstellung
Auch die Formulierung einer Frage kann beeinflussen, welche Zusammenhänge ein Sprachmodell hervorhebt und welche alternativen Interpretationen berücksichtigt werden. Wird beispielsweise ausschliesslich nach Argumenten für eine bestimmte Diagnose gefragt, kann eine einseitige Darstellung entstehen.
Dieses Problem steht in engem Zusammenhang mit dem sogenannten Framing und dem menschlichen Confirmation Bias. Beide Phänomene werden im nachfolgenden Beitrag dieser Artikelserie vertieft.
Weiterführende Vertiefung: Wenn KI uns recht gibt.
Der Umgang mit Unsicherheit
In der medizinischen Praxis ist die Fähigkeit, Unsicherheit zu erkennen und angemessen zu kommunizieren, ein wesentlicher Bestandteil professionellen Handelns. Ärztliche Entscheidungen erfolgen häufig unter Bedingungen unvollständiger Informationen.
Auch bei künstlicher Intelligenz wäre es deshalb wichtig, zwischen ausreichend begründeten Aussagen, wahrscheinlichen Annahmen und nicht zuverlässig beantwortbaren Fragestellungen unterscheiden zu können.
Die von einem Sprachmodell verwendete sprachliche Sicherheit lässt jedoch keinen unmittelbaren Rückschluss auf die tatsächliche Zuverlässigkeit seiner Aussagen zu.
Sprachlich angegebene Sicherheit und tatsächliche Zuverlässigkeit
Eine Aussage wie «Ich bin mir zu 95 % sicher» darf ohne ein entsprechend validiertes Verfahren nicht als verlässliche quantitative Einschätzung der Richtigkeit interpretiert werden. Die Zahl kann Bestandteil des generierten Textes sein, ohne auf einer überprüften statistischen Grundlage zu beruhen.
Sprachliche Sicherheit und faktische Richtigkeit
Sicher formuliert – richtig
Eine eindeutige Aussage, die fachlich bestätigt werden kann.
Sicher formuliert – falsch
Eine überzeugende Aussage ohne ausreichende faktische Grundlage.
Unsicher formuliert – richtig
Eine korrekte Aussage, die mit sprachlichen Vorbehalten versehen ist.
Unsicher formuliert – falsch
Eine unzutreffende Aussage, deren Unsicherheit sprachlich erkennbar sein kann.
Didaktische Gegenüberstellung möglicher Kombinationen. Die vier Felder repräsentieren keine empirisch erhobenen Häufigkeiten.
Wissenschaftliche Ansätze zur Erkennung von Unsicherheit
Farquhar und Mitarbeiter untersuchten ein Verfahren, das Unsicherheit anhand der inhaltlichen Unterschiede zwischen mehrfach generierten Antworten erfasst. Die sogenannte semantische Entropie ermöglicht es, bestimmte Formen instabiler und unbegründeter Aussagen zu identifizieren [1].
Dieses Verfahren kann jedoch keine allgemeine Garantie für faktische Richtigkeit liefern. Gibt ein Sprachmodell aufgrund einer systematisch falschen Informationsgrundlage wiederholt dieselbe falsche Antwort, kann eine geringe Variabilität der Antworten die Unzuverlässigkeit verschleiern.
Für den medizinischen Anwender bleibt deshalb die externe fachliche Überprüfung entscheidend.
Kann künstliche Intelligenz ihre eigenen Fehler erkennen?
Eine naheliegende Strategie zur Verbesserung KI-generierter Inhalte besteht darin, das Sprachmodell zur erneuten Überprüfung seiner eigenen Antwort aufzufordern. Solche Verfahren werden häufig als Self-Reflection, Self-Critique oder Self-Correction bezeichnet.
Ein Sprachmodell kann bei einer erneuten Bearbeitung beispielsweise Widersprüche erkennen, fehlende Aspekte ergänzen oder zuvor formulierte Aussagen korrigieren.
Die entscheidende Frage ist jedoch, ob eine solche Selbstkorrektur auch ohne zusätzliche Informationen und ohne externe Überprüfung zuverlässig funktioniert.
Wissenschaftliche Untersuchung zur Selbstkorrektur
Huang und Mitarbeiter untersuchten die Fähigkeit grosser Sprachmodelle, ihre eigenen Schlussfolgerungen ohne externes Feedback zu korrigieren. Die auf der International Conference on Learning Representations 2024 vorgestellten Ergebnisse zeigten, dass eine solche intrinsische Selbstkorrektur bei den untersuchten Schlussfolgerungsaufgaben nicht zuverlässig zu verbesserten Ergebnissen führte. Teilweise verschlechterte sich die Leistung sogar [6].
Die Ergebnisse beziehen sich auf die damals untersuchten Modelle, Aufgaben und Selbstkorrekturverfahren. Sie dürfen nicht als Nachweis einer generellen Unfähigkeit heutiger KI-Systeme zur Selbstkorrektur interpretiert werden.
Sie verdeutlichen jedoch die Notwendigkeit, zwischen der erneuten Generierung einer Antwort und einer unabhängigen Überprüfung zu unterscheiden.
| Überprüfungsverfahren | Möglichkeiten und Grenzen |
|---|---|
| Erneute Befragung desselben Modells | Kann Widersprüche erkennen, aber auch ursprüngliche Fehler wiederholen. |
| Kritische Gegenargumentation | Kann zusätzliche Perspektiven eröffnen, stellt jedoch keine unabhängige Validierung dar. |
| Verwendung eines anderen KI-Modells | Kann weitere Fehler identifizieren, möglicherweise aber dieselben Verzerrungen aufweisen. |
| Abgleich mit Originalquellen | Ermöglicht die Überprüfung konkreter Aussagen anhand einer externen Informationsgrundlage. |
| Unabhängige fachliche Beurteilung | Ermöglicht die zusätzliche Bewertung von Evidenzqualität, klinischer Relevanz und individueller Anwendbarkeit. |
Merksatz: Wenn künstliche Intelligenz ihre eigene Antwort als korrekt bezeichnet, stellt dies noch keinen unabhängigen Nachweis ihrer Richtigkeit dar.
Weiterführende Vertiefung: KI als virtuelle Expertenrunde.
Grenzen KI-gestützter Informationsrecherche
Die Integration externer Informationsquellen ermöglicht es modernen KI-Anwendungen, ihre Antworten auf zusätzliche Dokumente und aktuelle Veröffentlichungen zu stützen. Dadurch können bestimmte Fehlerquellen reduziert werden.
Der Zugang zu externen Informationsquellen führt jedoch nicht automatisch zu wissenschaftlich belastbaren Ergebnissen.
Innerhalb eines Rechercheprozesses können an verschiedenen Stellen Fehler auftreten.
Mögliche Fehlerquellen einer KI-gestützten Recherche
Ungeeignete Suchbegriffe oder unvollständige Auswahl der Informationsquellen
Nichtberücksichtigung wichtiger Veröffentlichungen oder Bevorzugung ungeeigneter Quellen
Auswertung eines Abstracts oder einer Zusammenfassung anstelle des Originalvolltextes
Fehlerhafte Wiedergabe von Studienergebnissen oder fehlende Berücksichtigung methodischer Limitationen
Nicht ausreichend begründete Schlussfolgerungen aus den ausgewählten Veröffentlichungen
Abstract, Volltext oder Sekundärquelle?
Für die Beurteilung einer wissenschaftlichen Aussage ist es wesentlich, welche Informationen tatsächlich zugänglich waren.
Ein Abstract kann die wichtigsten Ergebnisse einer Untersuchung wiedergeben, enthält jedoch häufig nicht sämtliche methodischen Details, Subgruppenanalysen und Limitationen. Eine journalistische Zusammenfassung einer wissenschaftlichen Veröffentlichung kann zusätzliche Interpretationen enthalten.
Bei der KI-gestützten Erstellung medizinischer Fachinformationen sollte deshalb ausdrücklich dokumentiert werden, ob Aussagen auf einer Originalpublikation, einem Originalabstract oder einer Sekundärquelle beruhen.
Merksatz: Die Durchführung einer Internetrecherche und die wissenschaftliche Prüfung einer Originalpublikation sind zwei unterschiedliche Arbeitsschritte.
Weiterführende Vertiefung: Wie funktioniert ChatGPT?.
Automation Bias – das Vertrauen in technische Systeme
Die Grenzen künstlicher Intelligenz ergeben sich nicht ausschliesslich aus ihren technischen Eigenschaften. Ebenso relevant ist die menschliche Reaktion auf automatisiert erzeugte Informationen.
Unter Automation Bias wird die Tendenz verstanden, automatisierten Entscheidungshilfen ein unangemessen hohes Vertrauen entgegenzubringen und deren Ergebnisse nicht ausreichend kritisch zu überprüfen.
Bereits vor der Verbreitung generativer künstlicher Intelligenz wurde dieses Phänomen wissenschaftlich untersucht. Goddard und Mitarbeiter veröffentlichten 2012 eine systematische Übersichtsarbeit zu Automation Bias und den Faktoren, die sein Auftreten beeinflussen können [7].
Bei der Zusammenarbeit mit grossen Sprachmodellen kann insbesondere die Verbindung aus schneller Informationsverarbeitung und überzeugender sprachlicher Darstellung dazu beitragen, dass Ergebnisse vorschnell übernommen werden.
Zwei grundlegende Fehlermechanismen
Commission Error
Eine fehlerhafte Empfehlung des technischen Systems wird übernommen.
Beispiel: Eine nicht ausreichend begründete diagnostische Empfehlung wird ohne weitere Prüfung umgesetzt.
Omission Error
Eine erforderliche Handlung unterbleibt, weil das technische System nicht darauf hingewiesen hat.
Beispiel: Eine relevante Differenzialdiagnose wird nicht berücksichtigt, weil sie in der KI-Antwort nicht aufgeführt wurde.
Didaktische Übertragung etablierter Fehlermechanismen automatisierter Entscheidungshilfen auf generative KI-Anwendungen.
Besonders problematisch kann Automation Bias in Situationen werden, in denen Zeitdruck, hohe Arbeitsbelastung oder fehlende Fachkenntnisse eine sorgfältige Kontrolle der erzeugten Ergebnisse erschweren.
Automation Bias ist nicht mit Sycophancy gleichzusetzen. Während Automation Bias das Verhalten des Anwenders gegenüber einem technischen System beschreibt, betrifft Sycophancy eine übermässige Orientierung der KI-Antwort an den vermuteten Erwartungen oder Ansichten des Anwenders.
Konsequenzen für die Patientensicherheit
Die klinische Bedeutung eines KI-Fehlers hängt wesentlich davon ab, in welchem Zusammenhang die erzeugte Information verwendet wird.
Ein fehlerhafter Entwurf für eine interne organisatorische Mitteilung kann meist ohne grössere Konsequenzen korrigiert werden. Eine fehlerhafte Arzneimittelinformation, eine unzutreffende diagnostische Einschätzung oder eine unvollständige medizinische Dokumentation kann dagegen unmittelbare Auswirkungen auf die Patientenversorgung haben.
Die FMH beschäftigt sich ausdrücklich mit der Bedeutung grosser Sprachmodelle für die Patientensicherheit. Neben diagnostischen Anwendungen betrifft dies auch vermeintliche Routinetätigkeiten wie die Erstellung medizinischer Berichte, die Dokumentation von Konsultationen und den Medikationsabgleich [8].
Risikoorientierte Einordnung medizinischer Anwendungen
Vergleichsweise geringes unmittelbares Patientenrisiko
- Sprachliche Überarbeitung nicht medizinischer Texte
- Strukturierung nicht vertraulicher organisatorischer Informationen
- Entwicklung von Fortbildungskonzepten
Erhöhte Anforderungen an die fachliche Kontrolle
- Erstellung allgemeiner medizinischer Patienteninformationen
- Zusammenfassung wissenschaftlicher Publikationen
- Aufbereitung medizinischer Leitlinien
- Erstellung medizinischer Lehrmaterialien
Besonders hohe Anforderungen an Validierung und Kontrolle
- Patientenbezogene medizinische Dokumentation
- Diagnostische Entscheidungsunterstützung
- Patientenbezogene Therapieempfehlungen
- Arzneimitteldosierungen und Interaktionen
- Medizinische Triage und Notfallentscheidungen
Redaktionell entwickelte Orientierungshilfe zur Risikowahrnehmung. Keine regulatorische Risikoklassifikation und keine Einstufung konkreter Medizinprodukte. Das tatsächliche Risiko hängt vom vorgesehenen Einsatzbereich und den vorhandenen Sicherheitsmassnahmen ab.
Auch eine Tätigkeit mit vergleichsweise geringem unmittelbarem Patientenrisiko kann bei späterer Verwendung fehlerhafter Informationen relevante Auswirkungen haben. Die Intensität der Qualitätskontrolle sollte deshalb stets der Bedeutung und den möglichen Konsequenzen des Ergebnisses angepasst werden.
Weiterführende Vertiefung: Künstliche Intelligenz in der Hausarztpraxis.
Strategien zur Fehlervermeidung
Eine vollständige Vermeidung aller KI-Fehler kann nicht garantiert werden. Durch geeignete Arbeitsabläufe lassen sich jedoch zusätzliche Möglichkeiten zur Fehlererkennung schaffen und Risiken reduzieren.
1. Die Ausgangsannahmen überprüfen lassen
Bereits bei der Formulierung eines Arbeitsauftrages kann das Sprachmodell aufgefordert werden, die Fragestellung auf sachlich falsche, unvollständige oder widersprüchliche Voraussetzungen zu untersuchen.
2. Fehlende Informationen ausdrücklich kennzeichnen
Bei medizinischen Fragestellungen sollte zwischen dokumentierten Befunden, plausiblen Annahmen und nicht verfügbaren Informationen unterschieden werden. Fehlende Befunde dürfen nicht stillschweigend ergänzt werden.
3. Originalquellen verlangen und tatsächlich überprüfen
Wissenschaftlich relevante Aussagen sollten anhand geeigneter Originalpublikationen oder offizieller Empfehlungen nachvollziehbar sein. Dabei muss zwischen der Identifikation einer Quelle und ihrer inhaltlichen Prüfung unterschieden werden.
4. Umfangreiche Aufgaben in Teilaufgaben gliedern
Eine schrittweise Bearbeitung erleichtert es, einzelne Ergebnisse zu kontrollieren und Fehler zu erkennen, bevor diese in weitere Verarbeitungsschritte übernommen werden.
5. Fakten und Interpretationen voneinander trennen
Die KI-Anwendung sollte kenntlich machen, welche Angaben aus einer Quelle übernommen wurden und welche Schlussfolgerungen im Rahmen der Bearbeitung zusätzlich entstanden sind.
6. Unsicherheit ausdrücklich zulassen
Ein Arbeitsauftrag sollte dem Sprachmodell die Möglichkeit geben, eine Frage nicht abschliessend zu beantworten, wenn keine ausreichende Informationsgrundlage vorliegt.
7. Die fachliche Freigabe nicht delegieren
Die abschliessende Beurteilung medizinisch relevanter Ergebnisse muss durch entsprechend qualifizierte Fachpersonen erfolgen. Eine automatische Selbstkontrolle durch das Sprachmodell kann diese Aufgabe nicht ersetzen.
Ein praktischer Prüfauftrag für medizinische KI-Antworten
Beispiel eines ergänzenden Qualitätsprüfungs-Prompts
«Überprüfen Sie die vorliegende Antwort kritisch anhand folgender Kriterien:
- Sind die in der ursprünglichen Fragestellung enthaltenen Annahmen sachlich korrekt?
- Welche Aussagen sind nachweislich durch geeignete Quellen gestützt?
- Welche Aussagen stellen Interpretationen oder Hypothesen dar?
- Welche Informationen fehlen für eine zuverlässige Beurteilung?
- Gibt es relevante alternative Erklärungen oder widersprüchliche Informationen?
- Sind die angeführten Literaturreferenzen tatsächlich recherchiert worden?
- Welche Originaldokumente wurden eingesehen und welche waren nur als Abstract oder Sekundärquelle zugänglich?
- Welche Aussagen benötigen eine zusätzliche unabhängige fachliche Überprüfung?
Kennzeichnen Sie verbleibende Unsicherheiten und verzichten Sie auf nicht ausreichend begründete Ergänzungen.»
Ein solcher Prüfauftrag kann dazu beitragen, die Aufmerksamkeit auf mögliche Fehlerquellen zu richten. Er stellt jedoch keine Garantie für die tatsächliche Durchführung sämtlicher Prüfschritte oder die Richtigkeit des resultierenden Ergebnisses dar.
Weiterführende Vertiefung: Prompt Engineering – richtig fragen.
Die Empfehlungen der FMH
Die Verbindung der Schweizer Ärztinnen und Ärzte (FMH) hat acht Empfehlungen für den Umgang mit grossen Sprachmodellen im ärztlichen Alltag veröffentlicht [9]. Im Zusammenhang mit den technologischen Grenzen sind insbesondere vier dieser Empfehlungen relevant.
| FMH-Empfehlung | Praktische Konsequenz |
|---|---|
| Nr. 2 – Kritische Ergebnisprüfung | KI-generierte Aussagen fachlich kontrollieren und bei Bedarf korrigieren oder verwerfen. |
| Nr. 3 – Bestehende Fachkompetenz | Sprachmodelle nur dort einsetzen, wo ihre Ergebnisse kompetent beurteilt werden können. |
| Nr. 6 – Inhaltliche Validität | Die technische Verfügbarkeit einer KI-Funktion nicht mit nachgewiesener fachlicher Zuverlässigkeit gleichsetzen. |
| Nr. 7 – Grenzen der Technologie | Realistische Erwartungen entwickeln und die Verwendung sowie die Einschränkungen der Technologie transparent kommunizieren. |
Redaktionell zusammengefasste Auswahl der FMH-Empfehlungen Nr. 2, 3, 6 und 7. Die vollständigen Empfehlungen sind auf der offiziellen Website der FMH verfügbar [9].
Die FMH betrachtet die kritische Überprüfung KI-generierter Inhalte als Bestandteil der ärztlichen Verantwortung. Entscheidend ist nicht allein, welche Aufgaben ein technisches System bearbeiten kann, sondern ob die medizinische Fachperson in der Lage ist, dessen Ergebnisse ausreichend zu beurteilen.
Zu den acht Empfehlungen der FMH zum Umgang mit grossen Sprachmodellen im ärztlichen Alltag
Weiterführende Vertiefung: KI – Datenschutz und ärztliche Verantwortung.
Fazit
Grosse Sprachmodelle können medizinische Informationen in beeindruckender sprachlicher Qualität verarbeiten und präsentieren. Ihre Ergebnisse können jedoch erfundene Sachverhalte, fehlerhafte Literaturangaben, unzutreffende Schlussfolgerungen oder nicht erkennbare Auslassungen enthalten.
Die Qualität einer KI-Antwort hängt nicht ausschliesslich von der Leistungsfähigkeit des verwendeten Modells ab. Ebenso relevant sind die Qualität der Fragestellung, die Vollständigkeit der verfügbaren Informationen, die Auswahl geeigneter Quellen und die fachliche Kontrolle der erzeugten Inhalte.
Für den professionellen medizinischen Einsatz ist es deshalb erforderlich, künstliche Intelligenz als leistungsfähiges, aber überprüfungsbedürftiges Arbeitsinstrument zu betrachten. Technische Verbesserungen können bestimmte Fehler reduzieren, ersetzen jedoch nicht die Notwendigkeit einer angemessenen Qualitätssicherung.
Die entscheidende Kompetenz im Umgang mit künstlicher Intelligenz besteht nicht nur darin, gute Antworten zu erhalten, sondern vor allem darin, fehlerhafte Antworten erkennen und fachlich beurteilen zu können.
Weiterführende Beiträge
Dieser Beitrag ist Teil unserer zwölfteiligen Fachartikelserie zur künstlichen Intelligenz in der Medizin.
Literatur
- Farquhar S, Kossen J, Kuhn L, Gal Y. Detecting hallucinations in large language models using semantic entropy. Nature. 2024;630:625–630. DOI: 10.1038/s41586-024-07421-0.
- Walters WH, Wilder EI. Fabrication and errors in the bibliographic citations generated by ChatGPT. Sci Rep. 2023;13:14045. DOI: 10.1038/s41598-023-41032-5.
- Eidgenössisches Departement für auswärtige Angelegenheiten (EDA). Political system. About Switzerland. 29.04.2026. Zur offiziellen Veröffentlichung. Abgerufen am 18.11.2026.
- Liu NF, Lin K, Hewitt J, Paranjape A, Bevilacqua M, Petroni F, et al. Lost in the Middle: How Language Models Use Long Contexts. Trans Assoc Comput Linguist. 2024;12:157–173. DOI: 10.1162/tacl_a_00638. Originalpublikation.
- Galli C. Grosse Sprachmodelle verstehen. Verbindung der Schweizer Ärztinnen und Ärzte (FMH). Zur Veröffentlichung. Abgerufen am 18.11.2026.
- Huang J, Chen X, Mishra S, Zheng HS, Yu AW, Song X, et al. Large Language Models Cannot Self-Correct Reasoning Yet. International Conference on Learning Representations (ICLR); 2024. Originalpublikation als PDF.
- Goddard K, Roudsari A, Wyatt JC. Automation bias: a systematic review of frequency, effect mediators, and mitigators. J Am Med Inform Assoc. 2012;19(1):121–127. DOI: 10.1136/amiajnl-2011-000089. Originalvolltext.
- Schwappach D. Patientensicherheit und grosse Sprachmodelle. Verbindung der Schweizer Ärztinnen und Ärzte (FMH). Zur Veröffentlichung. Abgerufen am 18.11.2026.
- FMH. Empfehlungen der FMH zum Umgang mit grossen Sprachmodellen (LLMs) im ärztlichen Alltag. Zu den offiziellen Empfehlungen. Abgerufen am 18.11.2026.

